KI – überwacht, stereotypisiert und algorithmisch diskriminiert?

Unterschiedlichste Formen der Diskrimi-nierung – gepaart mit problematischen Haltungen und Handlungen wie Sexismus, Rassismus oder Homophobie – und anderen extremistischen Aussagen und Haltungen, die sich mittlerweile blitzschnell übers Netz verbreiten, halten sie der Gründung 2012 in Atem, etwa jüngst wieder einmal öffentlich dokumentiert anlässlich der Präsentation des Leitfadens zu Extremismus.

„Aber das ist mittlerweile nur eine Ebene, die es zu beachten gelte.“ Blickt stirnrunzelnd auf die Post-it Zetteln, die vor liegen und anzeigen wieviel Rückrufe sie zu tätigen hat, fährt dann fort. „Denn es drängen sich immer mehr die Kommunikationsformate in den Vordergrund; also die technischen, administrativen und datengetriebene soziotechnischen Systeme[1].

Ebenso werden die gesetzlichen Grundlagen der Politik, oder das Fehlen derselben immer mehr Thema. Die Antidiskriminierungsstelle Steiermark hat eben genau das zum Ziel, „mangelnde Gesetzeslagen, blinde Flecken, nicht beachtete Diskriminierungen aufzuspüren und nach Lösungen zu suchen, eben Monitoring, datenbasierte Aufarbeitung und Vorschläge zur Beseitigung“.

Mit der aktuellen Situation werde Diskriminierung immer häufiger zu einem strukturellen Element unserer Gesellschaft. Und das sei, wie Grabovac betont, auch ein Übermittlungsproblem. Eine Beschimpfung von einer anderen Person könne man leicht ausmachen und aufgreifen. „Aber eine KI, die aufgrund der Trainingsdaten sexistische Inhalte gelernt hat und diese weiterver-breitet, das ist schon viel schwerer zu erklären.“

Analoges Leben sichern, als Diskriminierungsschutz

Der zuvor angeschnittene Bereich umfasst zahlreiche Unterteilungen, als Formen der Diskriminierung, in diesen Strukturen und technischen Voraussetzungen vorkommen kann und vorkommt. Die Digitalisierung der Gesellschaft nimmt rasant zu. Mittlerweile haben in Österreich 95% laut Statistik Austria einen Internetzugang[2]. Die Euphorie über die Möglichkeiten, die damit einhergeht, ist anhaltend. Mittlerweile sind wieder zwei Zetteln auf den Schreibtisch dazu gekommen. Daniela Grabovac zögert kurz, sieht sich die Nummern an, fährt dann fort.

„Eine andere Zahl sollte uns jedoch zu denken geben“, wie auch unlängst in einer Sendung des ORF ausgeführt wurde: „Nur 39% der über 65-jährigen nutzen das Internet mehrmals täglich.[3] In der gleichen Sendung spricht Rena Tangens von der Bielefelder Organisation „Digitalcourage“[4] davon, das von 5% der Menschen auszugehen ist, die überhaupt keinen digitalen Zugang haben; also weder Laptops/Handys, PC, noch einen Internetzugang.

Grabovac weist damit auf einen Ausschluss an, der gravierender ist, als wahrgenommen und gedacht. „Wenn alles nur mehr digital erledigt werden kann und man ohne Zugang oder den nötigen Fertigkeiten und technischen Grundlagen nicht mehr teilhaben kann, dann entsteht hier eine systematische Benachteiligung.“

Es gehe ja nicht darum, ob jemand eine Netflix Serie schauen kann, sondern um Teilhabe am sozialen, kulturelle und politischen Leben: „Um den Ticketkauf für ein Konzert oder ein öffentliches Verkehrsmittel, eine Antragstellung für eine soziale Leistung oder Förderung, wie etwa den „Reparatur- und Handwerkerbonus“ oder um eine telefonische oder persönliche Information in einer Bankfiliale oder bei den Behörden.“

Im Moment werden derartige Dienste noch angeboten, sind analog teurer als digital und sie werden seltener. Wenn der Trend so weitergeht, gibt es analog fast nichts mehr. Die Sozialdemokratische Partei (SPÖ) nahm sich in letzter Zeit auch des Themas verstärkt an[5]. Sie fordert das Recht auf ein Analoges Leben.

Niemanden ausschließen – darum geht’s!

All die zuvor genannten Beispiele stammen aus dem Beratungsalltag der Ad-Stelle. Betroffen sind und benachteiligt werden davon erhebliche Teile der Bevölkerung wie ältere Menschen, die dem digitalen Tempo nicht mehr folgen können. Menschen, mit Beeinträchtigungen, die der komplizierten digitalen Online Sprache nicht ausreichend mächtig sind oder die die finanziellen Ressourcen nicht besitzen, um den jeweiligen notwendigen technischen Anforderungen gerecht zu werden.

Aber es gibt auch eine Reihe von Menschen, die sich bewusst gegen die Digitalisierung und den Kommunikationsformen entscheiden. Die Angst und Sorge haben, was mit den persönlichen Daten passiert, oder vor etwaiger Überwachung. Ungeachtet der Gründe, warum jemand digital nicht anschlussfähig ist oder bleibt, sollte das niemanden vom grundsätzlich gleichem Zugang ausschließen. Ein Grundprinzip auf das der Antidiskriminierungsgedanke fußt, wie Grabovac nicht müde wird, zu betonen.

Rein aus dieser Perspektive ist es notwendig, dass insbesondere öffentliche Dienste und Dinge des täglichen Lebens nach wie vor analog zur Verfügung stehen. Deutlich wird das auch anhand der digitalen Umstellung auf ID-Austria. Dazu hat der AD-Stelle Frau K.[6] geschrieben, die gerade mit der Anmeldung zur ID-Austria kämpft. Grabovac hat das Mail vor sich liegen und zitiert aus dem E-Mail:

„Die bisher gültige Handysignatur konnte mit jedem Handy verwendet werden, es wurde lediglich ein TAN Code per SMS versendet und war somit auch für Menschen, die kein Smartphone haben, nutzbar. Die Umstellung auf die ID-Austria stellt eine Verschlechterung für einen großen Personenkreis dar, mit der Argumentation sie sei „aus Sicherheitsgründen“ erforderlich.

Die ID-Austria verlangt bestimmte Versionen von Smartphones oder Tablets, die über eine Gesichts- oder Iriserkennung bzw. Fingerabdruck-Funktion und mehr verfügen. Das heißt, ein Tablet oder Smartphone zu haben, reicht nicht aus. Es braucht ein Gerät, das diese technischen Voraussetzungen erfüllt.

Ich konnte bzw. kann die ID-Austria dennoch nicht auf meinem Tablet installieren, weil mein 2 Jahre altes Tablet über keine Irisdiagnostik und keine Fingerprintfunktion verfügt und daher für die ID-Austria nicht tauglich ist. Dies trifft übrigens auf viele Geräte zu, auch wenn sie noch relativ neu sind. Deshalb habe ich nach genauer Recherche im Internet ein neues Tablet Ende November 2023 gekauft, das über eine Gesichtserkennung verfügt mit Betriebssystem Android 13. Laut Website des Bundes bedarf es für die ID-Austria Android 10 für Android-Tablets mit Gesichtserkennung, für Geräte mit Fingerprint reicht Android 8 oder mehr – würde somit vorliegen.

[1] Der Begriff entstammt dem Aufsatz von Ilona Horwath, Algorithmen, KI und soziale Diskriminierung. Seiten 71–101. In: K. Schnegg, J. Tschuggnall, C. Voithofer, M. Auer (Eds.), Inter- und multidisziplinäre Perspektiven der Geschlechterforschung, University Press, Innsbruck, 2022 und meint die zur stehenden Mittel an sozialen (Personal, Organisation, IT-Kräfte, …) als auch technische Elementen (soft- und hardware, Algorithmen, Data Mining usw.)  bei der Gestaltung und Weiterentwicklung einer Organisation.

[2] https://www.statistik.at/statistiken/forschung-innovation-digitalisierung/digitale-wirtschaft-und-gesellschaft/ikt-einsatz-in-haushalten

[3] Ass. Prof. Dr. Tobias Dienlin wies bei der Diskussion im Ö1 Format Punkt Eins am 2. Juli 2024 darauf hin. https://oe1.orf.at/programm/20240702/762834/Vom-Recht-auf-analoges-Leben.

[4] Rena Tangens als Studiogast, ebenda.

[5] https://www.spoe.at/analoges-leben/

[6] Name der Redaktion bekannt

Diskriminierungsfreie Daten und Entwicklung

Die zweite Ebene, die verstärkt in den Vordergrund drängt, ist jene der technischen Voraussetzungen, Datengenerierung, der Programmierung und Algorithmen bei der Verwendung von KI. „Auch damit müssen wir uns mittlerweile verstärkt beschäftigen“ meint Daniela Grabovac. Hier würden ja einige Mythen vorherrschen. Eine davon wäre, dass die KI frei von Fehlern sei und objektiv und neutral Entscheidungen träfe, auf die man sich als Mensch dann verlassen könne, was definitiv nicht der Fall ist, wie Grabovac betont.

Ilona Horwath (siehe Fußnote 1) von der Uni Paderborn weist auf diesen Irrtum hin, denn „Sexismus, Rassismus und klassenbasierte Diskriminierung sei in die Architektur und Funktionsweise der technischen Systeme eingeschrieben. Technologien werden nicht im gesellschaftsfreien Raum entwickelt und angewandt, diskriminierungsrelevante Probleme sind in die Gesellschaft und in technische Infrastrukturen eingelagert, die sich wechselseitig beeinflussen.“, so ihr Argument.

Horwath erläutert das in dem genannten Artikel. So habe bei lernenden Systemen nicht nur die Entwickler*innen großen Einfluss, sondern auch die (Trainings-)Daten, mit welchen die Systeme entwickelt und betrieben werden, mit denen sie lernen. Algorithmen suchen in großen Datenmengen nach statistisch auffälligen Mustern („Data Mining“).

Garbage in – Garbage out

Ein Thermometer in der Hand einer Person of Color (POC), der auf die Stirn gerichtet ist, wurde bei Google Vision Cloud als Waffe identifiziert, bei einer hellen Hand jedoch richtigerweise als „elektronisches Gerät“[7].

Die Qualität der Daten spielt dabei eine wichtige Rolle. Mittlerweile weiß man, Algorithmen können anhand von Trainingsdaten Diskriminierung lernen. Wenn diese diskriminierendes Verhalten beinhalten, lernt der Algorithmus, Diskriminierung in seinen Prognosen und Entscheidungen zu reproduzieren.

Eines der Probleme dabei ist auch, dass es bei der Sammlung von Daten keine systematische und strukturierte Vorgehensweise gibt. Bei den Daten, die gesammelt werden, ist alles dabei, was im Netz zu finden ist, bis zu Social Media Posts. Daher kann dabei schon aus quantitativen Aspekten Diskriminierung oder Rassismus überproportional vorhanden sein. „Das Netz ist ja voll davon“ gibt Grabovac zu bedenken.

Das GIGO-Prinzip (Garbage in – Garbage out[8]) ist in der Informatik und Datenwissenschaft bekannt und beschreibt das Phänomen, dass die Qualität der Ausgabedaten direkt von der Qualität der Eingabedaten abhängt. Wenn die Eingabedaten demnach fehlerhaft, unvollständig oder verzerrt sind, werden die von der KI generierten Ergebnisse ebenfalls fehlerhaft oder verzerrt sein[9].

Die Fehlerquote bei Gesichtserkennungssoftware liegt bei 1%! Wenn Sie ein weißer Mann sind. Bei weißen Frauen liegt er bei 7%, bei männlichen POC´s (people of color) bei 12% und die Fehlerquote bei WOC´s (Women of Color) bei 35%[10].

Hinzu kommt, dass sie in den Daten, der Programmierung und den Outputs auch die organisationalen und personellen Hintergründe der daran beteiligten Unternehmen widerspiegeln. Wie schon des Öfteren erwähnt, haben wir es mittlerweile mit globalen monopolartigen Strukturen und Unternehmungen zu tun. Google, Apple, Microsoft, Facebook usw. Betrachtet man ihre vertikalen und horizontalen Unternehmensstrukturen näher, so zeigt sich, dass sie Probleme haben und Diskriminierung erzeugen.

Sie sind überwiegend „jung, weiß und männlich“. Das ist deshalb wichtig, als dass ihre Sicht auf die Algorithmen und die bereits verzerrten Datensätze, die sie benutzen, auch die Ergebnisse dementsprechend beeinflussen. Sie diese jedoch aufgrund ihres Mindset, Habitus und ihren sozioökonomischen Status nicht als problematisch erkennen. Es fehlen die Korrekturinstanzen dafür. Das Problem in der IT- und Hi-Tech Branche ist längst bekannt, hat sich in den letzten Jahren aber nicht verringert; sondern im Gegenteil sogar noch vergrößert[11].

„Vor lauter Euphorie über die technischen Möglichkeiten und Fortschritte, vergessen viele die sozialen, politischen und juristischen Aspekte dabei. Wir müssen darauf hinweisen, dass die wesentlichen Akteure in dem Feld Privatfirmen sind. Es steht der Gewinn im Mittelpunkt und nicht ein etwaiger menschlicher Fortschritt.“ Grabovac zuckt mit den Schultern. „Das löst die Technik nicht, das müssen wir lösen. Aber wir sind da erst am Anfang und immer einige Schritte hinten nach.“  

Was könnte dabei helfen? Natürlich einmal juristische staatliche Eingriffe. Am besten auf EU Ebene und in Koordination mit anderen wichtigen Playern. Zweitens, es müssen staatliche Regeln her, die den Unternehmern und Multis Einhalt gebieten. Durchgeführte Datenprojekte zeigten, dass es möglich, die Daten zu ergänzen und gezielt nach bestimmten Kriterien auszuwählen, sodass die Daten selbst nicht mehr Diskriminierung lernen[12].

„Schattenwirtschaft“ zur „Optimierung“

Nachweislich haben marginalisierte Gruppen durch die für und durch die KI generierten Daten ein höheres Risiko überwacht, stereotypisiert und algorithmisch diskriminiert zu werden. Gerade im Bankenbereich bei der Kreditvergabe wird ja schon lange nicht mehr die individuelle Kreditwürdigkeit betrachtet, sondern durch algorithmisch generierte „credit scores“ entschieden und diese weisen rassistische Biases auf[13].

Darin ist dann etwa die Nachbarschaft ein wesentlicher Bestandteil der Einschätzung von Handlungsrisiken, ethnische, soziale, kulturelle und rassische[14] Aspekte fließen ebenso mit ein.

[7] https://stiftungdatenschutz.org/fileadmin/Redaktion/DatenTag/DatenTag_KI_13122021/Praesentationen/Sina-Youn_Kuenstliche-Intelligenz-und-Diskriminierung-DatenTag-Stiftung-Datenschutz_20211213.pdf

[8] Sinngemäß übersetzt: „Wenn Müll reinkommt, kommt auch Müll raus.“

[9] Siehe Vasiliki Paschou unter https://www.activemind.legal/de/guides/bias-ki/

[10] https://www.nytimes.com/2018/02/09/technology/facial-recognition-race-artificial-intelligence.html

[11] Siehe Fußnote 1.

[12] Die FRA – European Union Agency for fundamental Rights (Europäische Grundrechteagentur) hat in dem Bericht „Verzerrungen in Algorithmen – künstliche Intelligenz und Diskriminierung“, Wien 2022, eine umfassende Problembeschreibung geliefert und zahleiche Lösungsvorschläge eingebracht. https://fra.europa.eu/en/project/2018/artificial-intelligence-big-data-and-fundamental-rights

[13] D’Ignacio, Catherine/Klein, Lauren F.: Data Feminism. Cambridge, Massachusets: The MIT Press. 2020

[14] Aus dem Englischen unzureichend übersetzte Wort „Race“

Horwath weist in dem erwähnten Beitrag auch noch auf eine weitere Entwicklung hin. Algorithmen lernen mit der Zeit, welche Einschaltungen die meisten Klicks bringen. Eine Perspektive, wonach Algorithmen „nur“ Vorurteile von User*innen reproduzierten, ansonsten aber objektiv seien, greife zu kurz.

Denn Algorithmen spiegeln auch die Werte, Normen und Strukturen der Werbepartner*innen, Kund*innen und algorithmischen Praktiken des Unternehmens wider. Suchergebnisse und Rankings werden zudem vielfach manipuliert, z.B. um Werbepartner*innen ganz oben auf Ergebnislisten zu platzieren oder verbotene Inhalte zu entfernen. Es gibt eine ganze „Schattenindustrie“ zur „Optimierung“ von Suchergebnissen.[15]

… und schließlich der problematische Einsatz

Wir kommen zu einem letzten Punkt des gesamten Feldes, nämlich der Nutzung der KI im Alltag?

„Schwierig“, lautet die erste, schnelle Antwort darauf. Da KI mittlerweile in so vielen Anwendungen im Alltag auftaucht, ist es schwer den Überblick zu behalten. Ob es bei Übersetzungs- oder bei Sprachprogrammen ist, die wir fast täglich einsetzen; KI ist praktisch überall dabei. Etwa im schulischen und universitären Bereich, wo Chat GPT das schriftliche Bearbeiten von Lernstoff über den Haufen geworfen hat und die Universitäten, aber auch mittlerweile die Gymnasien mit Matura und vorwissenschaftlicher Arbeit vor neuen Herausforderungen gestellt haben[16].

… Diskriminierende und rassistische Ergebnisse gibt es jedoch auch bei KI gestützten Sprachprogrammen, wie etwa bei GPT-3. Das Programm wurde mit dem Satz gefüttert: „Zwei Muslime gingen in ein …“ In 66 von 100 Versuchen vervollständigte GPT-3 den Satz mit einem gewalttätigen Thema, wobei Wörter wie „schießen“ und „töten“ verwendet wurden. Das Programm erzeugte 40 bis 90 Prozent weniger gewalttätige Assoziationen, wenn das Wort „Muslime“ durch „Christen“, „Juden“, „Sikhs“ oder „Buddhisten“ ersetzt wurde[17].

„Noch stärker sind Grund- und Menschen-rechte in Betracht zu ziehen und daher unter besonderer Beobachtung im Justiz- und Polizeibereich, sowie dem – zumeist privaten – Security Feld. Amnesty International hat kürzlich eine kritische Stellungnahme zum Thema Gesichtserkennung veröffentlicht.“  In dieser wird sehr deutlich auf die Grund- und menschenrechtlichen Gefahren aufmerksam gemacht und davor gewarnt.

Darin werden insbesondere folgende Punkte gegen den massenhaften Einsatz von Gesichtserkennungssoftware vorgebracht:

• Der Einsatz von Gesichtserkennung greift massiv in unsere Menschenrechte, insbesondere in das Recht auf Privatsphäre ein.
• Gesichtserkennungstechnologien sind fehlerhaft und bergen ein hohes Risiko der Diskriminierung von bereits marginalisierten Gruppen.
• Der Einsatz von Gesichtserkennungstechnologie anlässlich von Demonstrationen kann eine abschreckende Wirkung auf die Ausübung des Rechtes auf Versammlungs-, Vereinigungs- und Meinungsäußerungsfreiheit haben und kann so Menschen davon abhalten, sich an Protesten zu beteiligen.
• Gesichtserkennungstechnologie wird in Österreich in der Strafverfolgung zur Identifizierung von Personen eingesetzt. Derzeit sind in Österreich potenziell ca. 600.000 Personen vom Einsatz betroffen.[18]

[15] Noble, Safiya Umoja: Algorithms of Oppression. How search engines reinforce Racism. New York University Press. 2018.

[16] https://kurier.at/wissen/hochschule-uni-universitaet-abschlussarbeit-ki-chatgpt/402818614

[17] Siehe auch Fußnote 7

[18] Amnesty International Österreich: Der Einsatz von Gesichtserkennungstechnologien ist menschenrechtlich gefährlich. Wien, Dezember 2023.

„Ähnliche Diskussionen haben wir ja auch schon in Österreich geführt, als bekannt wurde, dass das Arbeitsmarktservice (AMS) ein neues Arbeitsmarkt-Chancen-Assistenzsystem (AMAS) erprobte, um die Chancen von Arbeitssuchenden am Arbeitsmarkt zu berechnen und zu erhöhen.[19] Zahlreiche Daten werden dazu herangezogen, wie etwa das Alter, Geschlecht, Ausbildung, Arbeitserfahrung usw. um dann „passgenau“ die richtigen Maßnahmen ergreifen zu können. 

Es meldeten sich zahlreiche Organisationen mit kritischen Stimmen zu Wort. Vor allem die Datenschutzbehörde leitete 2020 ein Verfahren ein und stoppte das Projekt[20]. Hauptargument: Es gäbe keine gesetzliche Grundlage. Nach längerem Hin und Her zwischen Bundesverwaltungsgericht und Verwaltungsgerichtshof wurde das Projekt erheblich umgestaltet und ist weiterhin in Arbeit.

Insbesondere der Algorithmus steht im Fokus der Kritik. Dies insbesondere aufgrund den derzeitigen Rechtsgrundlagen. Aber auch der ursprüngliche Plan die Jobsuchenden in drei Kategorien einzuteilen (hohe, mittlere und niedrige Arbeitsmarktchancen), Fördermaßnahmen effizienter einzusetzen und die Vermittlung zu verbessern, wurde kritisch gesehen. Denn es zeigte sich in der Erprobung, dass – wie schon beschrieben – die KI diskriminierende Aspekte au den Trainingsdaten einfach mit übernahm und hingegen bestimmte Punkte, die am Arbeitsmarkt wichtig sind, nicht priorisierte, wie etwa Betreuungspflichten.

Mittlerweile ist das Programm weiter in „Arbeit“ die Gerichtsentscheidungen dazu stehen noch aus, aber Johannes Kopf (AMS Chef) deute bereits an, dass das Programm nur als Entscheidungshilfe herangezogen werden und nicht die Entscheidung des/der AMS-Berater*in ersetzen darf. [21]

Bereits beim AMS in Verwendung ist der sogenannte „Berufsinfomat“[22], der ebenfalls auf Algorithmen basiert und der es ermöglicht, sich über Karrierewege, Schulungen etc. digital zu informieren. Wie nicht anders zu erwarten, fielen auch bei dem Tool die Antworten recht klischeehaft und voller Vorurteile aus.

Und dass das Problem groß ist, beschreibt auch Ilona Horwath in dem erwähnten Artikel denn je größer die Datenmengen werden und komplexer die Algorithmen, desto weniger können wir nachvollziehen, was im Inneren vor sich geht. Auch die Entwickler*innen könnten das oft nicht mehr[23].

[19] Siehe auch: https://www.ams.at/regionen/osterreichweit/news/2024/01/kuenstliche-intelligenz-unterstuetzt-bei-berufsinformation.

[20] https://www.dsb.gv.at/suche.html?q=AMS

[21] https://www.oeaw.ac.at/ita/projekte/der-ams-algorithmus

[22]https://www.ams.at/arbeitsuchende/aus-und-weiterbildung/berufsinformationen/berufsinformation/berufsinfomat

[23] Siehe S. 74 des Beitrages von Ilona Horwath, Algorithmen, KI und soziale Diskriminierung. Seiten 71–101. In: K. Schnegg, J. Tschuggnall, C. Voithofer, M. Auer (Eds.), Inter- und multidisziplinäre Perspektiven der Geschlechterforschung, University Press, Innsbruck, 2022