(Knapp) daneben ist auch vorbei – Algorithmus Fails
Von Daniela Gjuraj
Wir haben in den vorherigen Artikel dieser Reihe schon gesehen, wie voreingenommen Algorithmen und darauf basierende künstliche Intelligenz sein kann – Fehler passieren nun mal nicht nur Menschen, sondern auch Computern. Leider sind diese Fehler alarmierend für Betroffene – ziemlich peinlich für die Firmen, die dahinterstehen und ein richtiger Wink mit dem Zaunpfahl für alle anderen, die wieder einmal vor Augen geführt bekommen, wie wichtig es ist, sich mit Datensicherheit auseinanderzusetzen. Wie sehen solche Algorithmus-Fails aus?
Die Geschichte mit Microsofts AI Chatbot Tay und Twitter
Der wohl bekannteste Schlagzeilen-AI Fail wird der Chatbot Tay sein. Microsoft hat diesem Chatbot einen Twitter-Account erstellt – er konnte automatisch antworten und mit anderen Twitter-Nutzenden Konversationen führen. Zunächst war er nett und lieb, sein Schreibstil hatte Anklänge eines Teenagers, voller Abkürzungen und Jugend-Slang. Um zu lernen, wie man Konversationen im Internet führt, wurde Chatbot Tay mit künstlicher Intelligenz ausgestattet, um so von den anderen Nutzenden auf Twitter zu lernen und bessere Gespräche und Posts bieten zu können. Wie genau der Algorithmus funktioniert, hat Microsoft nie preisgegeben – vielleicht war es auch besser so.
Innerhalb von weniger als 24h machte Tay nämlich mithilfe von maschinellem Lernen und Algorithmen eine stattliche Wandlung vom menschenfreundlichen Teenager zum Neonazi durch. Dadurch, dass er von Internet-Trolls mit rassistischen, frauenfeindlichen und anti-semitischen Inhalten geflutet wurde, hat er diese Inhalte in seine Tweets übernommen – so lernen Algorithmen schließlich. Obwohl Microsoft bestätigte, dass sie im algorithmischen Lernprozess für Tay nur relevante und gefilterte Daten verwendet hätten, hätten sie niemals mit einem Algorithmus-Fail in diesem Ausmaß gerechnet. So verlief das kurze Leben des Chatbots Tay.
Amazons Recruiting Algorithmus hat ein Problem mit Frauen
Amazons Expertiseteam für maschinelles Lernen baut seit 2014 Computerprogramme, die sich mit den Bewerbungen und Lebensläufen derjenigen befassen sollen, die sich bei Amazon bewerben – mit dem Ziel, davon nur die besten und am meisten qualifizierten Bewerber*innen auszuwählen. Das Programm vergibt den Bewerber*innen dann eine Bewertung, wie man sie von Amazon kennt: 1 – 5 Sterne.
Klingt erstmal so, als würde das den Joballtag im Personalmanagement total erleichtern. Bis Amazon 2015 merkte, dass der Algorithmus alles andere als feministisch ist.
Die Algorithmen wurden auf Datensätzen der letzten zehn Jahre trainiert, und da die Technik/ MINT-Branche generell männerdominiert ist, erhielt der Algorithmus dementsprechend auch männlich dominierte Bewerbungen. Der Algorithmus hatte also gelernt, dass die männlichen Bewerber die besseren sind und diese dann besser bewertet und eher angestellt. Amazon musste den Algorithmus dann einstellen, weil man es nicht geschafft hatte, den Bias vollständig zu entfernen und nicht garantieren konnte, dass der Algorithmus ihn nicht wieder anlernte. Mittlerweile verwenden sie einen schwächeren Algorithmus und schauen noch einmal von Menschenhand über jede Bewerbung. Klar, wenn man so eine Vorgeschichte hatte.
AI-Algorithmen und Gesichtserkennungssoftware
Neben Frauen schafft es AI auch, schwarze Menschen nicht richtig zu erkennen. Forschende glauben, dass der Grund dafür darin liegt, dass die Informatik-Branche von weißen Männern dominiert ist. Sie erweitern Codes, die von anderen weißen Männern geschrieben wurden – nach diversen Perspektiven kann man hier lange suchen. Gerade in der Gesichtserkennungssoftware fokussiert man sich so oft auf Gesichtsstrukturen, die bei europäisch-kaukasischen Menschen die Norm darstellen und testet die Algorithmen eben auch an genau solchen Menschen – da wundert es nicht, dass alle Menschen, die davon abweichen, nicht erkannt werden. Die Software ist ja auch nur darauf aus, weiße Menschen zu erkennen. Und selbst wenn die Software selbst lernt, bestehen die Trainingsdatensätze weiterhin aus überwiegend weißen Gesichtern – der Algorithmus kann also nicht diverser werden, wenn er mit überwiegend weißen Gesichtern lernt.
Gerade wenn Gesichtserkennung in der Justiz verwendet wird, die ja sowieso dafür bekannt ist, gerade in Ländern wie den USA sehr rassistisch zu sein, kann das höchst problematisch werden. So werden Schwarze, die sowieso schon häufiger dem Justizsystem zum Opfer fallen, auch noch der Gefahr ausgesetzt, von der Gesichtserkenungssoftware nicht richtig erkannt zu werden.
Auch Google musste sich schon wegen seiner Gesichtserkennungssoftware entschuldigen, als diese den Programmierer Jacky Alciné und seine Freundin nicht als Menschen erkannte, sondern als Gorillas einstufte.
Quelle: Facebook Account von Richard Lee
Ein ähnliches Problem hatte der 22-jährige Neuseeländer Richard Lee. Als er seinen Pass erneuern wollte, erkannte die Gesichtserkennungssoftware keines seiner Fotos an – jedes Mal kam nur die Fehlermeldung, dass seine Augen geschlossen wären.
Auch als 2016 ein Schönheitswettbewerb namens Beauty.AI ins Leben gerufen wurde, mit dem Anspruch, objektiver zu sein, da hochkomplexe Algorithmen Gesichststrukturen bewerten und so über die Schönheit entscheiden würden. 6000 Menschen aus 100 Ländern haben ihr Bild eingereicht und die Ergebnisse waren wie zu erwarten – von 44 Gewinnenden waren so gut wie alle weiße Menschen, eine Handvoll aus Asien und nur eine einzige schwarze Person.
Auch hier zeigt sich wieder die europäische Perspektive, die in Algorithmen und AI den Ton angibt und alles, was davon abweicht, falsch erkennt. Richard Lee konnte glücklicherweise seinen Pass doch noch neu beantragen, nachdem er sich bei den „menschlichen“ Mitarbeitern des Ministeriums gemeldet hat.
Fazit
Glücklicherweise werden Algorithmen und selbstlernende Systeme stetig angepasst und verbessert. Damit Fails wie oben aber nicht zur Norm werden, ist Diversität in den Entwicklungs- und Programmierteams unabdingbar – schließlich müssen Menschen in allen Hautfarben und Ethnien genau als solche auch von den Programmen der Zukunft erkannt werden, denn es ist nicht Sinn der Sache, Algorithmen genau das weitertreiben zu lassen, was Menschen falsch machen.
Quellen:
https://www.pcmag.com/news/10-embarrassing-algorithm-fails
https://www.entrepreneur.com/slideshow/289621
https://www.theguardian.com/technology/2016/sep/08/artificial-intelligence-beauty-contest-doesnt-like-black-people
https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognition-white-coders-black-people-police
https://www.theguardian.com/technology/2018/oct/10/amazon-hiring-ai-gender-bias-recruiting-engine
https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist
