{"id":2342,"date":"2025-08-05T09:08:12","date_gmt":"2025-08-05T09:08:12","guid":{"rendered":"https:\/\/gulis.at\/schreiben\/?p=2342"},"modified":"2025-11-13T12:56:18","modified_gmt":"2025-11-13T12:56:18","slug":"ki-ueberwacht-stereotypisiert-und-algorithmisch-diskriminiert","status":"publish","type":"post","link":"https:\/\/gulis.at\/schreiben\/ki-ueberwacht-stereotypisiert-und-algorithmisch-diskriminiert\/","title":{"rendered":"KI &#8211; \u00fcberwacht, stereotypisiert und algorithmisch diskriminiert?"},"content":{"rendered":"\n<p><\/p>\n\n\n\n<p><strong>\u201eIch wusste selbst bis vor kurzem \u00fcber den Bereich relativ wenig Bescheid. Wir sind gerade erst dabei, uns einzuarbeiten.\u201c Daniela Grabovac von der Antidiskriminierungsstelle Steiermark (AD-Stelle) seufzt, denn es ist klar, die Arbeit geht ihr und ihrem Team nicht aus. Vor ihr liegen Ausdrucke, Statistiken und am Bildschirm daneben flimmern Artikel und Texte.<\/strong><\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large is-resized\"><img fetchpriority=\"high\" decoding=\"async\" width=\"770\" height=\"1024\" src=\"https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-770x1024.jpg\" alt=\"\" class=\"wp-image-2344\" style=\"width:305px;height:auto\" srcset=\"https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-770x1024.jpg 770w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-226x300.jpg 226w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-768x1022.jpg 768w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-1155x1536.jpg 1155w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-1540x2048.jpg 1540w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-750x998.jpg 750w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/Titelbild-ad-scaled.jpg 1925w\" sizes=\"(max-width: 770px) 100vw, 770px\" \/><\/figure>\n<\/div>\n\n\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-9d6595d7 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<p>Unterschiedlichste Formen der Diskrimi-nierung \u2013 gepaart mit problematischen Haltungen und Handlungen wie Sexismus, Rassismus oder Homophobie \u2013 und anderen extremistischen Aussagen und Haltungen, die sich mittlerweile blitzschnell \u00fcbers Netz verbreiten, halten sie der Gr\u00fcndung 2012 in Atem, etwa j\u00fcngst wieder einmal \u00f6ffentlich dokumentiert anl\u00e4sslich der Pr\u00e4sentation des Leitfadens zu Extremismus.<\/p>\n\n\n\n<p>\u201eAber das ist mittlerweile nur eine Ebene, die es zu beachten gelte.\u201c Blickt stirnrunzelnd auf die Post-it Zetteln, die vor liegen und anzeigen wieviel R\u00fcckrufe sie zu t\u00e4tigen hat, f\u00e4hrt dann fort. \u201eDenn es dr\u00e4ngen sich immer mehr die Kommunikationsformate in den Vordergrund; also die technischen, administrativen und datengetriebene soziotechnischen Systeme<a href=\"#_ftn1\" id=\"_ftnref1\">[1]<\/a>. <\/p>\n\n\n\n<p>Ebenso werden die gesetzlichen Grundlagen der Politik, oder das Fehlen derselben immer mehr Thema. Die Antidiskriminierungsstelle Steiermark hat eben genau das zum Ziel, \u201emangelnde Gesetzeslagen, blinde Flecken, nicht beachtete Diskriminierungen aufzusp\u00fcren und nach L\u00f6sungen zu suchen, eben Monitoring, datenbasierte Aufarbeitung und Vorschl\u00e4ge zur Beseitigung\u201c.<\/p>\n\n\n\n<p>Mit der aktuellen Situation werde Diskriminierung immer h\u00e4ufiger zu einem strukturellen Element unserer Gesellschaft. Und das sei, wie Grabovac betont, auch ein \u00dcbermittlungsproblem. Eine Beschimpfung von einer anderen Person k\u00f6nne man leicht ausmachen und aufgreifen. \u201eAber eine KI, die aufgrund der Trainingsdaten sexistische Inhalte gelernt hat und diese weiterver-breitet, das ist schon viel schwerer zu erkl\u00e4ren.\u201c<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Analoges Leben sichern, als Diskriminierungsschutz<\/strong><\/h4>\n\n\n\n<p>Der zuvor angeschnittene Bereich umfasst zahlreiche Unterteilungen, als Formen der Diskriminierung, in diesen Strukturen und technischen Voraussetzungen vorkommen kann und vorkommt. Die Digitalisierung der Gesellschaft nimmt rasant zu. Mittlerweile haben in \u00d6sterreich 95% laut Statistik Austria einen Internetzugang<a href=\"#_ftn1\">[2]<\/a>. Die Euphorie \u00fcber die M\u00f6glichkeiten, die damit einhergeht, ist anhaltend. Mittlerweile sind wieder zwei Zetteln auf den Schreibtisch dazu gekommen. Daniela Grabovac z\u00f6gert kurz, sieht sich die Nummern an, f\u00e4hrt dann fort.<\/p>\n\n\n\n<p>\u201eEine andere Zahl sollte uns jedoch zu denken geben\u201c, wie auch unl\u00e4ngst in einer Sendung des ORF ausgef\u00fchrt wurde: \u201eNur 39% der \u00fcber 65-j\u00e4hrigen nutzen das Internet mehrmals t\u00e4glich.<a href=\"#_ftn2\">[3]<\/a> In der gleichen Sendung spricht Rena Tangens von der Bielefelder Organisation \u201eDigitalcourage\u201c<a href=\"#_ftn3\">[4]<\/a> davon, das von 5% der Menschen auszugehen ist, die \u00fcberhaupt keinen digitalen Zugang haben; also weder Laptops\/Handys, PC, noch einen Internetzugang.<\/p>\n\n\n\n<p>Grabovac weist damit auf einen Ausschluss an, der gravierender ist, als wahrgenommen und gedacht. \u201eWenn alles nur mehr digital erledigt werden kann und man ohne Zugang oder den n\u00f6tigen Fertigkeiten und technischen Grundlagen nicht mehr teilhaben kann, dann entsteht hier eine systematische Benachteiligung.\u201c<\/p>\n\n\n\n<p>Es gehe ja nicht darum, ob jemand eine Netflix Serie schauen kann, sondern um Teilhabe am sozialen, kulturelle und politischen Leben: \u201eUm den Ticketkauf f\u00fcr ein Konzert oder ein \u00f6ffentliches Verkehrsmittel, eine Antragstellung f\u00fcr eine soziale Leistung oder F\u00f6rderung, wie etwa den \u201eReparatur- und Handwerkerbonus\u201c oder um eine telefonische oder pers\u00f6nliche Information in einer Bankfiliale oder bei den Beh\u00f6rden.\u201c<\/p>\n\n\n\n<p>Im Moment werden derartige Dienste noch angeboten, sind analog teurer als digital und sie werden seltener. Wenn der Trend so weitergeht, gibt es analog fast nichts mehr. Die Sozialdemokratische Partei (SP\u00d6) nahm sich in letzter Zeit auch des Themas verst\u00e4rkt an<a href=\"#_ftn4\">[5]<\/a>. Sie fordert das Recht auf ein Analoges Leben.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Niemanden ausschlie\u00dfen \u2013 darum geht\u2019s!<\/strong><\/h4>\n\n\n\n<p>All die zuvor genannten Beispiele stammen aus dem Beratungsalltag der Ad-Stelle. Betroffen sind und benachteiligt werden davon erhebliche Teile der Bev\u00f6lkerung wie \u00e4ltere Menschen, die dem digitalen Tempo nicht mehr folgen k\u00f6nnen. Menschen, mit Beeintr\u00e4chtigungen, die der komplizierten digitalen Online Sprache nicht ausreichend m\u00e4chtig sind oder die die finanziellen Ressourcen nicht besitzen, um den jeweiligen notwendigen technischen Anforderungen gerecht zu werden.<\/p>\n\n\n\n<p>Aber es gibt auch eine Reihe von Menschen, die sich bewusst gegen die Digitalisierung und den Kommunikationsformen entscheiden. Die Angst und Sorge haben, was mit den pers\u00f6nlichen Daten passiert, oder vor etwaiger \u00dcberwachung. Ungeachtet der Gr\u00fcnde, warum jemand digital nicht anschlussf\u00e4hig ist oder bleibt, sollte das niemanden vom grunds\u00e4tzlich gleichem Zugang ausschlie\u00dfen. Ein Grundprinzip auf das der Antidiskriminierungsgedanke fu\u00dft, wie Grabovac nicht m\u00fcde wird, zu betonen.<\/p>\n\n\n\n<p>Rein aus dieser Perspektive ist es notwendig, dass insbesondere \u00f6ffentliche Dienste und Dinge des t\u00e4glichen Lebens nach wie vor analog zur Verf\u00fcgung stehen. Deutlich wird das auch anhand der digitalen Umstellung auf ID-Austria. Dazu hat der AD-Stelle Frau K.<a href=\"#_ftn1\">[6]<\/a> geschrieben, die gerade mit der Anmeldung zur ID-Austria k\u00e4mpft. Grabovac hat das Mail vor sich liegen und zitiert aus dem E-Mail:<\/p>\n\n\n\n<p>\u201e<em>Die bisher g\u00fcltige Handysignatur konnte mit jedem Handy verwendet werden, es wurde lediglich ein TAN Code per SMS versendet und war somit auch f\u00fcr Menschen, die kein Smartphone haben, nutzbar. Die Umstellung auf die ID-Austria stellt eine Verschlechterung f\u00fcr einen gro\u00dfen Personenkreis dar, mit der Argumentation sie sei \u201eaus Sicherheitsgr\u00fcnden\u201c erforderlich.<br><br>Die ID-Austria verlangt bestimmte Versionen von Smartphones oder Tablets, die \u00fcber eine Gesichts- oder Iriserkennung bzw. Fingerabdruck-Funktion und mehr verf\u00fcgen. Das hei\u00dft, ein Tablet oder Smartphone zu haben, reicht nicht aus. Es braucht ein Ger\u00e4t, das diese technischen Voraussetzungen erf\u00fcllt.<br><br>Ich konnte bzw. kann die ID-Austria dennoch nicht auf meinem Tablet installieren, weil mein 2 Jahre altes Tablet \u00fcber keine Irisdiagnostik und keine Fingerprintfunktion verf\u00fcgt und daher f\u00fcr die ID-Austria nicht tauglich ist. Dies trifft \u00fcbrigens auf viele Ger\u00e4te zu, auch wenn sie noch relativ neu sind. Deshalb habe ich nach genauer Recherche im Internet ein neues Tablet Ende November 2023 gekauft, das \u00fcber eine Gesichtserkennung verf\u00fcgt mit Betriebssystem Android 13. Laut Website des Bundes bedarf es f\u00fcr die ID-Austria Android 10 f\u00fcr Android-Tablets mit Gesichtserkennung, f\u00fcr Ger\u00e4te mit Fingerprint reicht Android 8 oder mehr \u2013 w\u00fcrde somit vorliegen.<\/em><br><\/p>\n\n\n\n<p><a href=\"#_ftnref1\" id=\"_ftn1\">[1]<\/a> Der Begriff entstammt dem Aufsatz von Ilona Horwath, Algorithmen, KI und soziale Diskriminierung. Seiten 71\u2013101. In: K. Schnegg, J. Tschuggnall, C. Voithofer, M. Auer (Eds.), Inter- und multidisziplin\u00e4re Perspektiven der Geschlechterforschung, University Press, Innsbruck, 2022 und meint die zur stehenden Mittel an sozialen (Personal, Organisation, IT-Kr\u00e4fte, \u2026) als auch technische Elementen (soft- und hardware, Algorithmen, Data Mining usw.)&nbsp; bei der Gestaltung und Weiterentwicklung einer Organisation.<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[2]<\/a> https:\/\/www.statistik.at\/statistiken\/forschung-innovation-digitalisierung\/digitale-wirtschaft-und-gesellschaft\/ikt-einsatz-in-haushalten<\/p>\n\n\n\n<p><a href=\"#_ftnref2\">[3]<\/a> Ass. Prof. Dr. Tobias Dienlin wies bei der Diskussion im \u00d61 Format Punkt Eins am 2. Juli 2024 darauf hin. <a href=\"https:\/\/oe1.orf.at\/programm\/20240702\/762834\/Vom-Recht-auf-analoges-Leben\">https:\/\/oe1.orf.at\/programm\/20240702\/762834\/Vom-Recht-auf-analoges-Leben<\/a>.<\/p>\n\n\n\n<p><a href=\"#_ftnref3\">[4]<\/a> Rena Tangens als Studiogast, ebenda.<\/p>\n\n\n\n<p><a href=\"#_ftnref4\">[5]<\/a> https:\/\/www.spoe.at\/analoges-leben\/<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[6]<\/a> Name der Redaktion bekannt<\/p>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<h4 class=\"wp-block-heading\"><strong>Diskriminierungsfreie Daten und Entwicklung<\/strong><\/h4>\n\n\n\n<p>Die zweite Ebene, die verst\u00e4rkt in den Vordergrund dr\u00e4ngt, ist jene der technischen Voraussetzungen, Datengenerierung, der Programmierung und Algorithmen bei der Verwendung von KI. \u201eAuch damit m\u00fcssen wir uns mittlerweile verst\u00e4rkt besch\u00e4ftigen\u201c meint Daniela Grabovac. Hier w\u00fcrden ja einige Mythen vorherrschen. Eine davon w\u00e4re, dass die KI frei von Fehlern sei und objektiv und neutral Entscheidungen tr\u00e4fe, auf die man sich als Mensch dann verlassen k\u00f6nne, was definitiv nicht der Fall ist, wie Grabovac betont.<\/p>\n\n\n\n<p>Ilona Horwath (siehe Fu\u00dfnote 1) von der Uni Paderborn weist auf diesen Irrtum hin, denn \u201eSexismus, Rassismus und klassenbasierte Diskriminierung sei in die Architektur und Funktionsweise der technischen Systeme eingeschrieben. Technologien werden nicht im gesellschaftsfreien Raum entwickelt und angewandt, diskriminierungsrelevante Probleme sind in die Gesellschaft und in technische Infrastrukturen eingelagert, die sich wechselseitig beeinflussen.\u201c, so ihr Argument.<\/p>\n\n\n\n<p>Horwath erl\u00e4utert das in dem genannten Artikel. So habe bei lernenden Systemen nicht nur die Entwickler*innen gro\u00dfen Einfluss, sondern auch die (Trainings-)Daten, mit welchen die Systeme entwickelt und betrieben werden, mit denen sie lernen. Algorithmen suchen in gro\u00dfen Datenmengen nach statistisch auff\u00e4lligen Mustern (\u201eData Mining\u201c).<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Garbage in &#8211; Garbage out<\/strong><\/h4>\n\n\n\n<p><em>Ein Thermometer in der Hand einer Person of Color (POC), der auf die Stirn gerichtet ist, wurde bei Google Vision Cloud als Waffe identifiziert, bei einer hellen Hand jedoch richtigerweise als \u201eelektronisches Ger\u00e4t\u201c<\/em><a href=\"#_ftn1\">[7]<\/a><em>.<\/em><\/p>\n\n\n\n<p>Die Qualit\u00e4t der Daten spielt dabei eine wichtige Rolle. Mittlerweile wei\u00df man, Algorithmen k\u00f6nnen anhand von Trainingsdaten Diskriminierung lernen. Wenn diese diskriminierendes Verhalten beinhalten, lernt der Algorithmus, Diskriminierung in seinen Prognosen und Entscheidungen zu reproduzieren.<\/p>\n\n\n\n<p>Eines der Probleme dabei ist auch, dass es bei der Sammlung von Daten keine systematische und strukturierte Vorgehensweise gibt. Bei den Daten, die gesammelt werden, ist alles dabei, was im Netz zu finden ist, bis zu Social Media Posts. Daher kann dabei schon aus quantitativen Aspekten Diskriminierung oder Rassismus \u00fcberproportional vorhanden sein. \u201eDas Netz ist ja voll davon\u201c gibt Grabovac zu bedenken.<\/p>\n\n\n\n<p>Das GIGO-Prinzip (Garbage in \u2013 Garbage out<a href=\"#_ftn1\">[8]<\/a>) ist in der Informatik und Datenwissenschaft bekannt und beschreibt das Ph\u00e4nomen, dass die Qualit\u00e4t der Ausgabedaten direkt von der Qualit\u00e4t der Eingabedaten abh\u00e4ngt. Wenn die Eingabedaten demnach fehlerhaft, unvollst\u00e4ndig oder verzerrt sind, werden die von der KI generierten Ergebnisse ebenfalls fehlerhaft oder verzerrt sein<a href=\"#_ftn2\">[9]<\/a>.<\/p>\n\n\n\n<p><em>Die Fehlerquote bei Gesichtserkennungssoftware liegt bei 1%! Wenn Sie ein wei\u00dfer Mann sind. Bei wei\u00dfen Frauen liegt er bei 7%, bei m\u00e4nnlichen POC\u00b4s (people of color) bei 12% und die Fehlerquote bei WOC\u00b4s (Women of Color) bei 35%<\/em><a href=\"#_ftn3\">[10]<\/a><em>.<\/em><\/p>\n\n\n\n<p>Hinzu kommt, dass sie in den Daten, der Programmierung und den Outputs auch die organisationalen und personellen Hintergr\u00fcnde der daran beteiligten Unternehmen widerspiegeln. Wie schon des \u00d6fteren erw\u00e4hnt, haben wir es mittlerweile mit globalen monopolartigen Strukturen und Unternehmungen zu tun. Google, Apple, Microsoft, Facebook usw. Betrachtet man ihre vertikalen und horizontalen Unternehmensstrukturen n\u00e4her, so zeigt sich, dass sie Probleme haben und Diskriminierung erzeugen.<\/p>\n\n\n\n<p>Sie sind \u00fcberwiegend \u201ejung, wei\u00df und m\u00e4nnlich\u201c. Das ist deshalb wichtig, als dass ihre Sicht auf die Algorithmen und die bereits verzerrten Datens\u00e4tze, die sie benutzen, auch die Ergebnisse dementsprechend beeinflussen. Sie diese jedoch aufgrund ihres Mindset, Habitus und ihren sozio\u00f6konomischen Status nicht als problematisch erkennen. Es fehlen die Korrekturinstanzen daf\u00fcr. Das Problem in der IT- und Hi-Tech Branche ist l\u00e4ngst bekannt, hat sich in den letzten Jahren aber nicht verringert; sondern im Gegenteil sogar noch vergr\u00f6\u00dfert<a href=\"#_ftn1\">[11]<\/a>.<\/p>\n\n\n\n<p>\u201eVor lauter Euphorie \u00fcber die technischen M\u00f6glichkeiten und Fortschritte, vergessen viele die sozialen, politischen und juristischen Aspekte dabei. Wir m\u00fcssen darauf hinweisen, dass die wesentlichen Akteure in dem Feld Privatfirmen sind. Es steht der Gewinn im Mittelpunkt und nicht ein etwaiger menschlicher Fortschritt.\u201c Grabovac zuckt mit den Schultern. \u201eDas l\u00f6st die Technik nicht, das m\u00fcssen wir l\u00f6sen. Aber wir sind da erst am Anfang und immer einige Schritte hinten nach.\u201c&nbsp;&nbsp;<\/p>\n\n\n\n<p>Was k\u00f6nnte dabei helfen? Nat\u00fcrlich einmal juristische staatliche Eingriffe. Am besten auf EU Ebene und in Koordination mit anderen wichtigen Playern. Zweitens, es m\u00fcssen staatliche Regeln her, die den Unternehmern und Multis Einhalt gebieten. Durchgef\u00fchrte Datenprojekte zeigten, dass es m\u00f6glich, die Daten zu erg\u00e4nzen und gezielt nach bestimmten Kriterien auszuw\u00e4hlen, sodass die Daten selbst nicht mehr Diskriminierung lernen<a href=\"#_ftn2\">[12]<\/a>.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>\u201eSchattenwirtschaft\u201c zur \u201eOptimierung\u201c<\/strong><\/h4>\n\n\n\n<p>Nachweislich haben marginalisierte Gruppen durch die f\u00fcr und durch die KI generierten Daten ein h\u00f6heres Risiko \u00fcberwacht, stereotypisiert und algorithmisch diskriminiert zu werden. Gerade im Bankenbereich bei der Kreditvergabe wird ja schon lange nicht mehr die individuelle Kreditw\u00fcrdigkeit betrachtet, sondern durch algorithmisch generierte \u201ecredit scores\u201c entschieden und diese weisen rassistische Biases auf<a href=\"#_ftn1\">[13]<\/a>.<\/p>\n\n\n\n<p>Darin ist dann etwa die Nachbarschaft ein wesentlicher Bestandteil der Einsch\u00e4tzung von Handlungsrisiken, ethnische, soziale, kulturelle und rassische<a href=\"#_ftn1\">[14]<\/a> Aspekte flie\u00dfen ebenso mit ein.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p><a href=\"#_ftnref1\">[7]<\/a> https:\/\/stiftungdatenschutz.org\/fileadmin\/Redaktion\/DatenTag\/DatenTag_KI_13122021\/Praesentationen\/Sina-Youn_Kuenstliche-Intelligenz-und-Diskriminierung-DatenTag-Stiftung-Datenschutz_20211213.pdf<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[8]<\/a> Sinngem\u00e4\u00df \u00fcbersetzt: \u201eWenn M\u00fcll reinkommt, kommt auch M\u00fcll raus.\u201c<\/p>\n\n\n\n<p><a href=\"#_ftnref2\">[9]<\/a> Siehe Vasiliki Paschou unter https:\/\/www.activemind.legal\/de\/guides\/bias-ki\/<\/p>\n\n\n\n<p><a href=\"#_ftnref3\" id=\"_ftn3\">[10]<\/a> https:\/\/www.nytimes.com\/2018\/02\/09\/technology\/facial-recognition-race-artificial-intelligence.html<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[11]<\/a> Siehe Fu\u00dfnote 1.<\/p>\n\n\n\n<p><a href=\"#_ftnref2\">[12]<\/a> Die FRA \u2013 European Union Agency for fundamental Rights (Europ\u00e4ische Grundrechteagentur) hat in dem Bericht \u201eVerzerrungen in Algorithmen \u2013 k\u00fcnstliche Intelligenz und Diskriminierung\u201c, Wien 2022, eine umfassende Problembeschreibung geliefert und zahleiche L\u00f6sungsvorschl\u00e4ge eingebracht. https:\/\/fra.europa.eu\/en\/project\/2018\/artificial-intelligence-big-data-and-fundamental-rights<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[13]<\/a> D\u2019Ignacio, Catherine\/Klein, Lauren F.: <em>Data Feminism<\/em>. Cambridge, Massachusets: The MIT Press. 2020<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[14]<\/a> Aus dem Englischen unzureichend \u00fcbersetzte Wort \u201eRace\u201c<\/p>\n<\/div>\n<\/div>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full is-resized\"><img decoding=\"async\" width=\"555\" height=\"749\" src=\"https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/grafik.png\" alt=\"\" class=\"wp-image-2347\" style=\"width:213px;height:auto\" srcset=\"https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/grafik.png 555w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/grafik-222x300.png 222w\" sizes=\"(max-width: 555px) 100vw, 555px\" \/><\/figure>\n<\/div>\n\n\n<p>Den ganzen Jahresbericht k\u00f6nnen Sie unter dieser Adresse runterladen: <a href=\"https:\/\/adss.at\/download\/jahresbericht-2023-2024\/?wpdmdl=1374&amp;refresh=6891c71e369661754384158\">https:\/\/adss.at\/download\/jahresbericht-2023-2024\/?wpdmdl=1374&amp;refresh=6891c71e369661754384158<\/a><\/p>\n\n\n\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-9d6595d7 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<p>Horwath weist in dem erw\u00e4hnten Beitrag auch noch auf eine weitere Entwicklung hin. Algorithmen lernen mit der Zeit, welche Einschaltungen die meisten Klicks bringen. Eine Perspektive, wonach Algorithmen \u201enur\u201c Vorurteile von User*innen reproduzierten, ansonsten aber objektiv seien, greife zu kurz.<\/p>\n\n\n\n<p>Denn Algorithmen spiegeln auch die Werte, Normen und Strukturen der Werbepartner*innen, Kund*innen und algorithmischen Praktiken des Unternehmens wider. Suchergebnisse und Rankings werden zudem vielfach manipuliert, z.B. um Werbepartner*innen ganz oben auf Ergebnislisten zu platzieren oder verbotene Inhalte zu entfernen. Es gibt eine ganze \u201eSchattenindustrie\u201c zur \u201eOptimierung\u201c von Suchergebnissen.<a href=\"#_ftn1\">[15]<\/a><\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>\u2026 und schlie\u00dflich der problematische Einsatz<\/strong><\/h4>\n\n\n\n<p>Wir kommen zu einem letzten Punkt des gesamten Feldes, n\u00e4mlich der Nutzung der KI im Alltag?<\/p>\n\n\n\n<p>\u201eSchwierig\u201c, lautet die erste, schnelle Antwort darauf. Da KI mittlerweile in so vielen Anwendungen im Alltag auftaucht, ist es schwer den \u00dcberblick zu behalten. Ob es bei \u00dcbersetzungs- oder bei Sprachprogrammen ist, die wir fast t\u00e4glich einsetzen; KI ist praktisch \u00fcberall dabei. Etwa im schulischen und universit\u00e4ren Bereich, wo Chat GPT das schriftliche Bearbeiten von Lernstoff \u00fcber den Haufen geworfen hat und die Universit\u00e4ten, aber auch mittlerweile die Gymnasien mit Matura und vorwissenschaftlicher Arbeit vor neuen Herausforderungen gestellt haben<a href=\"#_ftn1\">[16]<\/a>.<\/p>\n\n\n\n<p><em>\u2026 Diskriminierende und rassistische Ergebnisse gibt es jedoch auch bei KI gest\u00fctzten Sprachprogrammen, wie etwa bei GPT-3. Das Programm wurde mit dem Satz gef\u00fcttert: &#8222;Zwei Muslime gingen in ein &#8230;&#8220; In 66 von 100 Versuchen vervollst\u00e4ndigte GPT-3 den Satz mit einem gewaltt\u00e4tigen Thema, wobei W\u00f6rter wie &#8222;schie\u00dfen&#8220; und &#8222;t\u00f6ten&#8220; verwendet wurden. Das Programm erzeugte 40 bis 90 Prozent weniger gewaltt\u00e4tige Assoziationen, wenn das Wort \u201eMuslime\u201c durch \u201eChristen\u201c, \u201eJuden\u201c, \u201eSikhs\u201c oder \u201eBuddhisten\u201c ersetzt wurde<\/em><a href=\"#_ftn1\">[17]<\/a><em>.<\/em><\/p>\n\n\n\n<p>\u201eNoch st\u00e4rker sind Grund- und Menschen-rechte in Betracht zu ziehen und daher unter besonderer Beobachtung im Justiz- und Polizeibereich, sowie dem \u2013 zumeist privaten \u2013 Security Feld. Amnesty International hat k\u00fcrzlich eine kritische Stellungnahme zum Thema Gesichtserkennung ver\u00f6ffentlicht.\u201c \u00a0In dieser wird sehr deutlich auf die Grund- und menschenrechtlichen Gefahren aufmerksam gemacht und davor gewarnt.<\/p>\n\n\n\n<p>Darin werden insbesondere folgende Punkte gegen den massenhaften Einsatz von Gesichtserkennungssoftware vorgebracht:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Der Einsatz von Gesichtserkennung greift massiv in unsere Menschenrechte, insbesondere in das Recht auf Privatsph\u00e4re ein.<\/li>\n\n\n\n<li>Gesichtserkennungstechnologien sind fehlerhaft und bergen ein hohes Risiko der Diskriminierung von bereits marginalisierten Gruppen.<\/li>\n\n\n\n<li>Der Einsatz von Gesichtserkennungstechnologie anl\u00e4sslich von Demonstrationen kann eine abschreckende Wirkung auf die Aus\u00fcbung des Rechtes auf Versammlungs-, Vereinigungs- und Meinungs\u00e4u\u00dferungsfreiheit haben und kann so Menschen davon abhalten, sich an Protesten zu beteiligen.<\/li>\n\n\n\n<li>Gesichtserkennungstechnologie wird in \u00d6sterreich in der Strafverfolgung zur Identifizierung von Personen eingesetzt. Derzeit sind in \u00d6sterreich potenziell ca. 600.000 Personen vom Einsatz betroffen.<a href=\"#_ftn1\">[18]<\/a><\/li>\n<\/ul>\n\n\n\n<p><\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[15]<\/a> Noble, Safiya Umoja: <em>Algorithms of Oppression. How search engines reinforce Racism<\/em>. New York University Press. 2018.<\/p>\n\n\n\n<p>[16] https:\/\/kurier.at\/wissen\/hochschule-uni-universitaet-abschlussarbeit-ki-chatgpt\/402818614<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[17]<\/a> Siehe auch Fu\u00dfnote 7<\/p>\n\n\n\n<p><a href=\"#_ftnref1\">[18]<\/a> Amnesty International \u00d6sterreich: Der Einsatz von Gesichtserkennungstechnologien ist menschenrechtlich gef\u00e4hrlich. Wien, Dezember 2023.<\/p>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<p>\u201e\u00c4hnliche Diskussionen haben wir ja auch schon in \u00d6sterreich gef\u00fchrt, als bekannt wurde, dass das Arbeitsmarktservice (AMS) ein neues Arbeitsmarkt-Chancen-Assistenzsystem (AMAS) erprobte, um die Chancen von Arbeitssuchenden am Arbeitsmarkt zu berechnen und zu erh\u00f6hen.<a href=\"#_ftn2\">[19]<\/a> Zahlreiche Daten werden dazu herangezogen, wie etwa das Alter, Geschlecht, Ausbildung, Arbeitserfahrung usw. um dann \u201epassgenau\u201c die richtigen Ma\u00dfnahmen ergreifen zu k\u00f6nnen.\u00a0<\/p>\n\n\n\n<p>Es meldeten sich zahlreiche Organisationen mit kritischen Stimmen zu Wort. Vor allem die Datenschutzbeh\u00f6rde leitete 2020 ein Verfahren ein und stoppte das Projekt<a href=\"#_ftn20\">[20]<\/a>. Hauptargument: Es g\u00e4be keine gesetzliche Grundlage. Nach l\u00e4ngerem Hin und Her zwischen Bundesverwaltungsgericht und Verwaltungsgerichtshof wurde das Projekt erheblich umgestaltet und ist weiterhin in Arbeit.<\/p>\n\n\n\n<p>Insbesondere der Algorithmus steht im Fokus der Kritik. Dies insbesondere aufgrund den derzeitigen Rechtsgrundlagen. Aber auch der urspr\u00fcngliche Plan die Jobsuchenden in drei Kategorien einzuteilen (hohe, mittlere und niedrige Arbeitsmarktchancen), F\u00f6rderma\u00dfnahmen effizienter einzusetzen und die Vermittlung zu verbessern, wurde kritisch gesehen. Denn es zeigte sich in der Erprobung, dass \u2013 wie schon beschrieben \u2013 die KI diskriminierende Aspekte au den Trainingsdaten einfach mit \u00fcbernahm und hingegen bestimmte Punkte, die am Arbeitsmarkt wichtig sind, nicht priorisierte, wie etwa Betreuungspflichten.<\/p>\n\n\n\n<p>Mittlerweile ist das Programm weiter in \u201eArbeit\u201c die Gerichtsentscheidungen dazu stehen noch aus, aber Johannes Kopf (AMS Chef) deute bereits an, dass das Programm nur als Entscheidungshilfe herangezogen werden und nicht die Entscheidung des\/der AMS-Berater*in ersetzen darf. <a href=\"#_ftn20\">[21]<\/a><\/p>\n\n\n\n<p>Bereits beim AMS in Verwendung ist der sogenannte \u201eBerufsinfomat\u201c<a href=\"#_ftn22\">[22]<\/a>, der ebenfalls auf Algorithmen basiert und der es erm\u00f6glicht, sich \u00fcber Karrierewege, Schulungen etc. digital zu informieren. Wie nicht anders zu erwarten, fielen auch bei dem Tool die Antworten recht klischeehaft und voller Vorurteile aus.<\/p>\n\n\n\n<p>Und dass das Problem gro\u00df ist, beschreibt auch Ilona Horwath in dem erw\u00e4hnten Artikel denn je gr\u00f6\u00dfer die Datenmengen werden und komplexer die Algorithmen, desto weniger k\u00f6nnen wir nachvollziehen, was im Inneren vor sich geht. Auch die Entwickler*innen k\u00f6nnten das oft nicht mehr<a href=\"#_ftn23\">[23]<\/a>.<\/p>\n\n\n\n<p><a href=\"#_ftnref2\">[19]<\/a> Siehe auch: <a href=\"https:\/\/www.ams.at\/regionen\/osterreichweit\/news\/2024\/01\/kuenstliche-intelligenz-unterstuetzt-bei-berufsinformation\">https:\/\/www.ams.at\/regionen\/osterreichweit\/news\/2024\/01\/kuenstliche-intelligenz-unterstuetzt-bei-berufsinformation<\/a>.<\/p>\n\n\n\n<p><a href=\"#_ftnref20\">[20]<\/a> https:\/\/www.dsb.gv.at\/suche.html?q=AMS<\/p>\n\n\n\n<p><a href=\"#_ftnref21\">[21]<\/a> https:\/\/www.oeaw.ac.at\/ita\/projekte\/der-ams-algorithmus<\/p>\n\n\n\n<p><a href=\"#_ftnref22\">[22]<\/a>https:\/\/www.ams.at\/arbeitsuchende\/aus-und-weiterbildung\/berufsinformationen\/berufsinformation\/berufsinfomat<\/p>\n\n\n\n<p><a href=\"#_ftnref23\">[23]<\/a> Siehe S. 74 des Beitrages von Ilona Horwath, Algorithmen, KI und soziale Diskriminierung. Seiten 71\u2013101. In: K. Schnegg, J. Tschuggnall, C. Voithofer, M. Auer (Eds.), Inter- und multidisziplin\u00e4re Perspektiven der Geschlechterforschung, University Press, Innsbruck, 2022<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img decoding=\"async\" width=\"566\" height=\"755\" src=\"https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/grafik-1.png\" alt=\"\" class=\"wp-image-2350\" srcset=\"https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/grafik-1.png 566w, https:\/\/gulis.at\/schreiben\/wp-content\/uploads\/2025\/08\/grafik-1-225x300.png 225w\" sizes=\"(max-width: 566px) 100vw, 566px\" \/><\/figure>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"<p>\u201eIch wusste selbst bis vor kurzem \u00fcber den Bereich relativ wenig Bescheid. Wir sind gerade erst dabei, uns einzuarbeiten.\u201c Daniela Grabovac von der Antidiskriminierungsstelle Steiermark (AD-Stelle) seufzt, denn es ist klar, die Arbeit geht ihr und ihrem Team nicht aus. Vor ihr liegen Ausdrucke, Statistiken und am Bildschirm daneben flimmern Artikel und Texte. Unterschiedlichste Formen &hellip; <\/p>\n<p><a class=\"more-link btn\" href=\"https:\/\/gulis.at\/schreiben\/ki-ueberwacht-stereotypisiert-und-algorithmisch-diskriminiert\/\">Weiterlesen<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[362,403,363],"tags":[486],"class_list":["post-2342","post","type-post","status-publish","format-standard","hentry","category-fachbeitraege","category-rassismus-diskriminierung","category-veroeffentlichungen","tag-k-i-artificialintelligence-garbagein-garbage-out-schattenwirtschaft-optimierung-diskriminierung-mraginalisierte-gruppen","item-wrap"],"_links":{"self":[{"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/posts\/2342","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/comments?post=2342"}],"version-history":[{"count":6,"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/posts\/2342\/revisions"}],"predecessor-version":[{"id":2351,"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/posts\/2342\/revisions\/2351"}],"wp:attachment":[{"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/media?parent=2342"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/categories?post=2342"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/gulis.at\/schreiben\/wp-json\/wp\/v2\/tags?post=2342"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}