Von Gesichtserkennung bis Risikoprognose – Die automatisierte Gesellschaft

Madeleine Hankele-Gauß
Gesichtserkennung an einem Flughafen

Gesichtserkennungstechnologie an einem Flughafen | sefa ozel via Getty Images

Automating Society Report 2020 veröffentlicht

„Ich denke, also bin ich“, stellte der französische Philosoph, Mathematiker und Naturwissenschaftler René Descartes im 17. Jahrhundert fest. Solange der Mensch zweifelt, muss es auch ein „Ich“ geben, das diesen Denkvorgang ausführt. Für Descartes sind Denken und Zweifeln Beweis des Menschseins.
Was bedeutet es dann für eine Gesellschaft, wenn automatisierte Entscheidungssysteme in immer mehr Bereichen das Denken und Entscheiden übernehmen? Dieser Frage ist der Automating Society Report 2020 nun bereits zum zweiten Mal nachgegangen. Herausgeber der Studie sind die Nichtregierungsorganisation AlgorithmWatch und die Bertelsmann Stiftung.

Automatisierung stark angestiegen – Gesichtserkennung überall

In den 16 untersuchten europäischen Ländern ist der Einsatz von automatisierten Entscheidungssystemen (ADM) im letzten Jahr massiv angestiegen, stellt die kürzlich veröffentlichte Studie fest. Die überwiegende Mehrheit der rund 100 untersuchten Systeme wirke sich dabei nachteilig auf Individuen und Gesellschaft aus.

Bedenklich sei außerdem, dass die meisten ADM-Systeme im Stillen eingeführt worden seien und keine breite gesellschaftliche Diskussion oder Berichterstattung darüber stattgefunden habe. Obwohl es viele denkbare positive Einsatzzwecke solcher Entscheidungssysteme gebe – wie das Aufdecken von Betrugsfällen oder die Risikoeinschätzung von Gewalttäterinnen und Gewalttätern – seien diese aktuell in der Minderzahl.

Eine der größten Veränderungen im Vergleich zum Jahr 2019 betrifft die Technologie der Gesichtserkennung. Während sie im Jahr 2019 in fast keinem der untersuchten Länder präsent war, wird sie inzwischen in fast allen Ländern an öffentlichen Orten genutzt oder zumindest erprobt: von der Schule über das Stadion bis zum Flughafen. Auch die Coronapandemie habe dazu beigetragen. Um Maßnahmen des Social Distancing durchzusetzen, wurde in einigen Ländern automatisierte Gesichtserkennung eingesetzt.

Von der Polizei zum Auswärtigen Amt – Länderbericht für Deutschland

In Deutschland nutzen dem Länderbericht zufolge derzeit vor allem drei Akteure automatisierte Entscheidungssysteme: Polizei, Auswärtiges Amt und öffentliche Behörden. Eine breite öffentliche Debatte gab es dabei lediglich zu einem ADM-System der Bundespolizei. Als Pilotprojekt testete sie im Jahr 2018 am Bahnhof Berlin Südkreuz den Einsatz automatisierter Gesichtserkennung. Infolge massiver Kritik seitens der Zivilgesellschaft gab das Innenministerium jedoch im Nachgang das ursprüngliche Vorhaben auf, das Pilotprojekt auf andere Orte in Deutschland auszurollen.

Unter dem Radar der Öffentlichkeit blieb hingegen bislang die Nutzung automatisierter Entscheidungssysteme durch die Polizei, um islamistische Gefährder einzustufen, Kinderpornografie zu identifizieren oder Suizide in Gefängnissen zu verhindern. Für das Bundeskriminalamt stuft beispielsweise das Tool RADAR-iTE militante Salafisten in drei Bedrohungsstufen ein: von moderat über auffällig bis hoch. Algorithmen unterstützen auch die Zentral- und Ansprechstelle Cybercrime dabei, kinderpornografische Inhalte aufzuspüren und Gesichter von Tätern und Opfern zu identifizieren. In nordrhein-westfälischen Gefängnissen werden Insassen mit mittlerem bis hohem Suizidrisiko außerdem mithilfe automatischer Text-, Bild- und Spracherkennung überwacht – als Ersatz für die ansonsten alle 15 Minuten erfolgende persönliche Überprüfung.

Um bevorstehende internationale Krisen im Blick zu behalten, vertraut auch das Auswärtige Amt auf ein automatisiertes Prognose-Tool. Es untersucht öffentlich verfügbare Daten zu politischen, wirtschaftlichen und gesellschaftlichen Trends und verarbeitet diese zu Karten und Infografiken. Öffentliche Behörden nutzen darüber hinaus ADM-Systeme, um Anträge auf Sozialhilfe und Kindergeld zu bearbeiten und zu verwalten.

Verzeichnis für automatisierte Entscheidungssysteme

Zur Erhöhung der Transparenz empfehlen die Autorinnen und Autoren der Studie unter anderem die Einführung eines öffentlichen Verzeichnisses zu automatisierten Entscheidungssystemen in jedem EU-Land. In diesem Verzeichnis sollen Einsatzzweck, Urheber und Funktionsweise der in einem EU-Land im öffentlichen Sektor eingesetzten ADM-Systeme veröffentlicht werden. Audit-Prozesse, nationale Beiräte und eine Bildungsoffensive im Bereich Algorithmen könnten zudem eine breite gesellschaftliche Debatte darüber anstoßen, welche automatisierten Entscheidungssysteme überhaupt genutzt und welche roten Linien dabei nicht überschritten werden sollten.
 

Zum Länderbericht Deutschland

Zum Comic für Deutschland

Madeleine Hankele-Gauß

E-Mail senden

Diese Seite teilen:

Weitere Informationen

Kategorien: