Künstliche Intelligenz hat ein Verzerrungsproblem, und es ist unsere Schuld

2016 arbeiteten Forscher der Boston University und von Microsoft an Algorithmen für künstliche Intelligenz, als sie rassistische und sexistische Tendenzen in der Technologie entdeckten, die einigen der beliebtesten und kritischsten Dienste zugrunde liegen, die wir täglich nutzen. Die Offenbarung widersprach der konventionellen Weisheit, dass künstliche Intelligenz nicht unter den geschlechtsspezifischen, rassistischen und kulturellen Vorurteilen leidet, die wir Menschen haben.

Die Forscher machten diese Entdeckung, als sie Algorithmen zur Worteinbettung untersuchten, eine Art von KI, die Korrelationen und Assoziationen zwischen verschiedenen Wörtern findet, indem sie große Textmengen analysiert. Beispielsweise kann ein trainierter Algorithmus zum Einbetten von Wörtern verstehen, dass Wörter für Blumen in engem Zusammenhang mit angenehmen Gefühlen stehen. Auf einer praktischeren Ebene versteht die Worteinbettung, dass der Begriff "Computerprogrammierung" eng mit "C ++", "JavaScript" und "objektorientierter Analyse und Design" zusammenhängt. Wenn diese Funktion in eine Anwendung zum Scannen von Lebensläufen integriert ist, können Arbeitgeber mit weniger Aufwand qualifizierte Bewerber finden. In Suchmaschinen können bessere Ergebnisse erzielt werden, indem Inhalte angezeigt werden, die semantisch mit dem Suchbegriff zusammenhängen.

Die Forscher der BU und von Microsoft stellten jedoch fest, dass die Algorithmen zum Einbetten von Wörtern problematische Verzerrungen aufwiesen, z. B. die Zuordnung von "Computerprogrammierer" zu männlichen Pronomen und "Hausfrau" zu weiblichen. Ihre Ergebnisse, die sie in einem Forschungsbericht mit dem treffenden Titel "Mann ist für Computerprogrammierer wie Frau für Hausfrau?" war einer von mehreren Berichten, in denen der Mythos der KI-Neutralität entlarvt und die algorithmische Verzerrung beleuchtet wurde. Dieses Phänomen erreicht eine kritische Dimension, da Algorithmen zunehmend in unsere alltäglichen Entscheidungen einbezogen werden.

Die Ursprünge der algorithmischen Verzerrung

Maschinelles Lernen und Deep-Learning-Algorithmen liegen den meisten modernen AI-gestützten Programmen zugrunde. Im Gegensatz zu herkömmlicher Software, die auf vordefinierten und überprüfbaren Regeln basiert, erstellt Deep Learning seine eigenen Regeln und lernt anhand von Beispielen.

Um beispielsweise eine Bilderkennungsanwendung zu erstellen, die auf vertieftem Lernen basiert, "trainieren" Programmierer den Algorithmus, indem sie ihm beschriftete Daten zuführen: in diesem Fall Fotos, die mit dem Namen des in ihnen enthaltenen Objekts gekennzeichnet sind. Sobald der Algorithmus genügend Beispiele aufnimmt, kann er gemeinsame Muster unter ähnlich gekennzeichneten Daten ermitteln und diese Informationen zur Klassifizierung nicht gekennzeichneter Proben verwenden.

Mit diesem Mechanismus kann Deep Learning viele Aufgaben ausführen, die mit regelbasierter Software praktisch unmöglich waren. Es bedeutet aber auch, dass Deep-Learning-Software verdeckte oder verdeckte Vorurteile erben kann.

"AI-Algorithmen sind nicht von Natur aus voreingenommen", sagt Professor Venkatesh Saligrama, der am Institut für Elektrotechnik und Computertechnik der Universität Boston unterrichtet und an den Algorithmen zur Worteinbettung gearbeitet hat. "Sie verfügen über deterministische Funktionen und greifen alle Tendenzen auf, die bereits in den Daten vorhanden sind, auf denen sie trainieren."

Die von den Forschern der Boston University getesteten Algorithmen zur Worteinbettung wurden in Hunderttausenden von Artikeln aus Google News, Wikipedia und anderen Online-Quellen geschult, in denen soziale Vorurteile tief verwurzelt sind. Als Beispiel: Aufgrund der Bro-Kultur, die die Tech-Branche dominiert, tauchen männliche Namen häufiger bei Jobs auf, die sich auf Tech beziehen - und das führt dazu, dass Algorithmen Männer mit Jobs wie Programmierung und Software-Engineering in Verbindung bringen.

"Algorithmen haben nicht die Macht des menschlichen Geistes, richtig von falsch zu unterscheiden", fügt Tolga Bolukbasi, Doktorandin im letzten Jahr an der BU, hinzu. Menschen können die Moralität unseres Handelns beurteilen, auch wenn wir uns gegen ethische Normen entscheiden. Für Algorithmen sind Daten der entscheidende Faktor.

Saligrama und Bolukbasi waren nicht die Ersten, die wegen dieser Voreingenommenheit Alarm schlugen. Forscher von IBM, Microsoft und der University of Toronto unterstrichen in einem 2011 veröffentlichten Artikel die Notwendigkeit, algorithmische Diskriminierung zu verhindern. Damals war algorithmische Voreingenommenheit eine esoterische Angelegenheit, und Deep Learning hatte noch keinen Weg in den Mainstream gefunden. Die algorithmische Verzerrung hinterlässt jedoch bereits heute Spuren in vielen unserer Aktivitäten, beispielsweise beim Lesen von Nachrichten, bei der Suche nach Freunden, beim Online-Shopping und beim Ansehen von Videos auf Netflix und YouTube.

Der Einfluss der algorithmischen Verzerrung

Im Jahr 2015 musste sich Google entschuldigen, nachdem die Algorithmen für die Fotos-App zwei Schwarze als Gorillas markiert hatten - möglicherweise, weil der Trainingsdatensatz nicht genügend Bilder von Schwarzen enthielt. Im Jahr 2016 waren fast alle der 44 Gewinner eines von AI bewerteten Schönheitswettbewerbs weiß, einige waren asiatisch und nur einer hatte dunkle Haut. Der Grund war wiederum, dass der Algorithmus hauptsächlich mit Fotos von Weißen trainiert wurde.

Google Photos, ihr seid beschissen. Mein Freund ist kein Gorilla. pic.twitter.com/SMkMCsNVX4

- Jackyalciné antwortet hier nicht viel. DM (@jackyalcine) 29. Juni 2015

In jüngerer Zeit hat ein Test der Gesichtsanalysedienste von IBM und Microsoft ergeben, dass die Algorithmen der Unternehmen das Geschlecht von Männern mit heller Haut nahezu fehlerfrei erkennen, jedoch häufig fehlerhaft sind, wenn Bilder von Frauen mit dunkler Haut dargestellt werden.

Während diese Vorfälle wahrscheinlich vernachlässigbare Schäden verursachten, kann das Gleiche nicht für KI-Algorithmen in kritischeren Bereichen wie Gesundheitswesen, Strafverfolgung und Rekrutierung gesagt werden. Im Jahr 2016 ergab eine Untersuchung von ProPublica, dass COMPAS - eine AI-gesteuerte Software, die das Risiko von Rückfällen bei Tätern bewertet - gegen farbige Personen voreingenommen ist. Die Entdeckung war besonders besorgniserregend, da Richter in einigen Bundesstaaten COMPAS verwenden, um festzustellen, wer frei läuft und wer im Gefängnis bleibt.

In einem anderen Fall ergab eine Studie über Googles Werbeplattform, die auf Deep-Learning-Algorithmen basiert, dass Männern häufiger Anzeigen für hochbezahlte Jobs gezeigt wurden als Frauen. Eine separate Studie ergab ein ähnliches Problem mit den Stellenanzeigen von LinkedIn. Ein weiteres Beispiel zeigte, dass voreingenommene Einstellungsalgorithmen mit einer um 50 Prozent höheren Wahrscheinlichkeit eine Einladung zu einem Vorstellungsgespräch an eine Person mit einem europäisch-amerikanischen Namen senden als an eine Person mit einem afroamerikanischen Namen.

Bereiche wie Kreditgenehmigung, Bonität und Stipendien sind ähnlichen Bedrohungen ausgesetzt.

Die algorithmische Verzerrung ist weiterhin besorgniserregend, da sie soziale Vorurteile verstärken könnte. Unter der Illusion, dass KI kalt ist, mathematische Berechnungen ohne Vorurteile oder Vorurteile, neigen Menschen dazu, algorithmischem Urteilsvermögen zu vertrauen, ohne es in Frage zu stellen.

In einem Interview mit Wired UK stellte Andrew Wooff, Dozent für Kriminologie an der Edinburgh Napier University, fest, dass die "unter Zeitdruck stehende, ressourcenintensive" Welt der Polizei dazu führen könnte, dass sich Strafverfolgungsbeamte zu sehr auf algorithmische Entscheidungen verlassen. "Ich kann mir eine Situation vorstellen, in der sich ein Polizeibeamter mehr auf das System als auf seine eigenen Entscheidungsprozesse verlassen kann", sagte er. "Zum Teil könnte das so sein, dass Sie eine Entscheidung rechtfertigen können, wenn etwas schief geht."

Das Verlassen auf voreingenommene Algorithmen erzeugt eine Rückkopplungsschleife: Wir treffen Entscheidungen, die voreingenommene Daten erzeugen, die Algorithmen dann in Zukunft analysieren und trainieren werden.

In sozialen Netzwerken wie Facebook und Twitter passiert so etwas bereits. Algorithmen, mit denen die Newsfeeds ausgeführt werden, erzeugen "Filterblasen", die Inhalte anzeigen, die den Vorlieben und Vorurteilen der Benutzer entsprechen. Dies kann sie weniger tolerant gegenüber gegensätzlichen Ansichten machen und die Gesellschaft weiter polarisieren, indem ein Keil durch die politische und soziale Kluft getrieben wird.

"Algorithmische Verzerrungen können potenziell Auswirkungen auf jede Gruppe haben", sagt Jenn Wortman Vaughan, Senior Researcher bei Microsoft. "Gruppen, die in den Daten unterrepräsentiert sind, sind möglicherweise besonders gefährdet."

In Bereichen, die bereits für ihre Voreingenommenheit bekannt sind, wie der endemischen Diskriminierung von Frauen in der Technologiebranche, können KI-Algorithmen diese Verzerrungen verstärken und zu einer weiteren Marginalisierung von Gruppen führen, die nicht gut vertreten sind.

Gesundheit ist ein weiterer kritischer Bereich, betont Wortman. "Es könnte ernsthafte Probleme verursachen, wenn ein Algorithmus für maschinelles Lernen, der für die medizinische Diagnose verwendet wird, auf Daten einer Population trainiert wird und infolgedessen bei anderen keine guten Ergebnisse erzielt", sagt sie.

Vorspannung kann auch auf subtilere Weise schädlich sein. "Letztes Jahr hatte ich vor, meine Tochter für einen Haarschnitt zu nehmen und suchte online nach Bildern von" Kleinkind-Haarschnitten ", um mich zu inspirieren", sagt Wortman. Bei den zurückgegebenen Bildern handelte es sich jedoch fast ausschließlich um weiße Kinder, hauptsächlich mit glattem Haar, und überraschenderweise bemerkte sie, dass es sich hauptsächlich um Jungen handelte.

Experten bezeichnen dieses Phänomen als "repräsentativen Schaden": Wenn Technologie Stereotype verstärkt oder bestimmte Gruppen verkleinert. "Es ist schwierig, die genauen Auswirkungen dieser Art von Verzerrung zu quantifizieren oder zu messen, aber das bedeutet nicht, dass es nicht wichtig ist", sagt Wortman.

Bias aus AI-Algorithmen entfernen

Die zunehmend kritischen Auswirkungen der KI-Voreingenommenheit haben die Aufmerksamkeit mehrerer Organisationen und Regierungsstellen auf sich gezogen, und es werden einige positive Schritte unternommen, um die ethischen und sozialen Probleme im Zusammenhang mit dem Einsatz von KI in verschiedenen Bereichen anzugehen.

Microsoft, dessen Produkte stark von AI-Algorithmen abhängen, startete vor drei Jahren ein Forschungsprojekt mit dem Titel Fairness, Accountability, Transparency und Ethics in AI (FATE), mit dem die Benutzer die verbesserten Einblicke und die Effizienz von AI-gestützten Diensten ohne Diskriminierung nutzen können vorspannen.

In einigen Fällen, wie beim Schönheitswettbewerb, ist das Auffinden und Beheben der Ursache des voreingenommenen Verhaltens eines AI-Algorithmus möglicherweise so einfach wie das Überprüfen und Auswechseln der Fotos im Trainingsdatensatz. In anderen Fällen, wie den von den Forschern der Boston University untersuchten Algorithmen zur Worteinbettung, wird die Verzerrung in den Trainingsdaten auf subtilere Weise verankert.

Das BU-Team, dem Microsoft-Forscher Adam Kalai beigetreten war, entwickelte eine Methode, um Worteinbettungen anhand ihrer Geschlechtskategorisierung zu klassifizieren und potenziell voreingenommene Analogien zu identifizieren. Sie trafen jedoch nicht die endgültige Entscheidung und führten jede der verdächtigen Assoziationen von 10 Personen auf Mechanical Turk, dem Online-Marktplatz von Amazon für datenbezogene Aufgaben, durch, die darüber entschieden, ob die Assoziation entfernt werden sollte oder nicht.

"Wir wollten keine eigenen Vorurteile in den Prozess einbringen", sagt Saligrama, Professor und Forscher der BU. "Wir haben gerade die Werkzeuge zur Verfügung gestellt, um problematische Assoziationen zu entdecken. Der Mensch hat die endgültige Entscheidung getroffen."

In einer neueren Arbeit schlugen Kalai und andere Forscher die Verwendung separater Algorithmen vor, um verschiedene Personengruppen zu klassifizieren, anstatt für alle die gleichen Messgrößen zu verwenden. Diese Methode kann sich in Domänen als effektiv erweisen, in denen vorhandene Daten bereits zugunsten einer bestimmten Gruppe verzerrt sind. Zum Beispiel würden die Algorithmen, die weibliche Bewerber für einen Programmierjob bewerten, Kriterien verwenden, die für diese Gruppe am besten geeignet sind, anstatt den breiteren Datensatz zu verwenden, der stark von vorhandenen Verzerrungen beeinflusst wird.

Microsofts Wortman sieht die Inklusivität in der KI-Branche als einen notwendigen Schritt, um Verzerrungen in Algorithmen zu bekämpfen. "Wenn wir wollen, dass unsere KI-Systeme für alle und nicht nur für bestimmte Bevölkerungsgruppen von Nutzen sind, müssen Unternehmen verschiedene Teams einstellen, um an KI zu arbeiten", sagt sie.

2006 half Wortman bei der Gründung von Women in Machine Learning (WiML), einem jährlichen Workshop, bei dem Frauen, die in der KI-Branche studieren und arbeiten, sich treffen, austauschen und an Podiumsdiskussionen mit hochrangigen Frauen aus Industrie und Wissenschaft teilnehmen können. Eine ähnliche Anstrengung ist der neue Black in AI Workshop, der von Timnit Gebru, einem anderen Microsoft-Forscher, gegründet wurde und der darauf abzielt, vielfältigere KI-Talente aufzubauen.

Bolukbasi von der Boston University schlägt auch vor, die Art und Weise zu ändern, wie KI-Algorithmen Probleme lösen. "Algorithmen werden einen Regelsatz auswählen, der ihr Ziel maximiert. Es gibt viele Möglichkeiten, für gegebene Eingabe-Ausgabe-Paare zu denselben Schlussfolgerungen zu gelangen", sagt er. "Nehmen wir das Beispiel von Multiple-Choice-Tests für Menschen. Man kann die richtige Antwort mit einem falschen Denkprozess erhalten, aber trotzdem die gleiche Punktzahl. Ein qualitativ hochwertiger Test sollte so konzipiert sein, dass dieser Effekt minimiert wird und nur den Menschen das wirklich erlaubt Das Thema kennen, um die richtigen Ergebnisse zu erhalten. Algorithmen auf soziale Zwänge aufmerksam zu machen, kann als Analogie zu diesem Beispiel angesehen werden (wenn auch nicht als genaues Beispiel), bei dem das Erlernen eines falschen Regelsatzes im Ziel bestraft wird. Dies ist eine fortlaufende und herausfordernde Forschung Thema."

Die Opazität der KI erschwert die Fairness

Eine weitere Herausforderung, die der Verbesserung der KI-Algorithmen im Wege steht, ist das "Black-Box" -Phänomen. In vielen Fällen schützen Unternehmen ihre Algorithmen eifersüchtig: Beispielsweise hat Northpointe Inc., der Hersteller von COMPAS, der kriminalitätsvorhersagenden Software, die Offenlegung seines proprietären Algorithmus verweigert. Die einzigen Personen, die in das Innenleben von COMPAS eingeweiht sind, sind die Programmierer, nicht die Richter, die damit urteilen.

Abgesehen vom Unternehmensgeheimnis sind KI-Algorithmen manchmal so verworren, dass die Gründe und Mechanismen, die hinter ihren Entscheidungen stehen, selbst ihren Machern verborgen bleiben. In Großbritannien verwendet die Polizei in Durham das KI-System HART, um festzustellen, ob Verdächtige ein geringes, mittleres oder hohes Risiko haben, innerhalb von zwei Jahren weitere Straftaten zu begehen. Ein akademischer Rückblick von HART aus dem Jahr 2017 ergab jedoch, dass "Opazität schwer zu vermeiden ist". Dies liegt zum Teil an der Menge und Vielfalt der Daten, die das System verwendet, was es schwierig macht, die Gründe für seine Entscheidungen zu analysieren. "Diese Details könnten der Öffentlichkeit frei zugänglich gemacht werden, aber es würde sehr viel Zeit und Mühe kosten, um sie vollständig zu verstehen", heißt es in der Zeitung.

Mehrere Unternehmen und Organisationen sind bestrebt, AI transparenter zu machen, darunter Google, das mit GlassBox eine Initiative ins Leben gerufen hat, um das Verhalten von Algorithmen für maschinelles Lernen verständlicher zu gestalten, ohne die Ausgabequalität zu beeinträchtigen. Die Defense Advanced Research Projects Agency (DARPA), die den Einsatz von KI im Militär überwacht, finanziert auch Anstrengungen, damit KI-Algorithmen ihre Entscheidungen erklären können.

In anderen Fällen wird menschliches Urteilsvermögen der Schlüssel zum Umgang mit Voreingenommenheit sein. Um zu verhindern, dass sich bestehende rassistische und soziale menschliche Vorurteile in die HART-Algorithmen einschleichen, versorgte die Durham Constabulary ihre Mitarbeiter mit Sensibilisierungssitzungen zu unbewussten Vorurteilen. Die Polizei hat auch Schritte unternommen, um Datenpunkte wie Rassenmerkmale zu entfernen, die die Gründe für voreingenommene Entscheidungen schaffen könnten.

Menschliche Verantwortung

Aus einer anderen Perspektive können KI-Algorithmen die Gelegenheit bieten, über unsere eigenen Vorurteile und Vorurteile nachzudenken. "Die Welt ist voreingenommen, die historischen Daten sind voreingenommen, daher ist es nicht verwunderlich, dass wir voreingenommene Ergebnisse erhalten", sagte Sandra Wachter, Forscherin für Datenethik und Algorithmen an der Universität Oxford gegenüber The Guardian .

Wachter ist Teil eines Forschungsteams des Alan Turing Institute in London und der University of Oxford, das einen Artikel veröffentlicht hat, in dem Vorschriften und Institutionen zur Untersuchung möglicher Diskriminierung durch AI-Algorithmen gefordert werden.

Joanna Bryson, Informatikerin an der University of Bath und Mitautorin eines Forschungsberichts über algorithmische Voreingenommenheit, sagte im Gespräch mit The Guardian : "Viele Leute sagen, dass KI Vorurteile hat. Nein. Das zeigt uns sind voreingenommen und die KI lernt es."

2016 brachte Microsoft Tay auf den Markt, einen Twitter-Bot, der von Menschen lernen und intelligente Gespräche führen sollte. Aber innerhalb von 24 Stunden nach Tay musste Microsoft das Programm schließen, nachdem es rassistische Kommentare abgegeben hatte, die es aus seinen Gesprächen mit Twitter-Nutzern aufgegriffen hatte. Vielleicht ist dies eine Erinnerung daran, dass es vergangene Zeit ist, dass wir Menschen unsere eigene Rolle bei der Erscheinung und Ausbreitung des algorithmischen Verzerrungsphänomens anerkennen und kollektive Schritte unternehmen, um seine Auswirkungen rückgängig zu machen.

"Das ist eine sehr komplizierte Aufgabe, aber es ist eine Verantwortung, die wir als Gesellschaft nicht scheuen sollten", sagt Wachter.