Language Models und Ethik - KI Journal Club

Das Jahr nimmt langsam Fahrt auf, aber die Themen bleiben – Language Models und Ethik. Während die Arbeit an GPT-X  als europäische Antwort auf GPT-3 oder auch das chinesische Wu Dao 2.0  startet, konzentriert sich ein großer Teil der aktuellen Forschung auf die Frage der Ethik und des Bias.

Nachdem bereits 2020 und 2021 mehrere Mitglieder der Gruppe Ethical AI Research um Timnit Gebru Google den Rücken gekehrt haben, geht der Verlust an Mitarbeitern auch 2022 weiter. Das Mitarbeiter wechseln ist sicher nicht ungewöhnlich, aber die geäußerten Vorwürfe – “Google is not just a tech organization. Google is a white tech organization” – lassen befürchten, dass das Thema Bias in der AI bei Google nicht mit höchster Priorität behandelt wird. Aber gerade bei einer so dominierenden AI-Firma wie Google, darf so ein Thema nicht in den Hintergrund geraten. Wer will schon eine Suche, die als Ergebnisse bestimmte Vorurteile fördert.

OpenAI, die Firma die unter anderem für GPT-3 verantwortlich ist, befasst sich ebenfalls mit dem Thema. So wurde gerade ein neues Language Model vorgestellt, InstructGPT, das unter anderem mittels von menschlicher Annotatoren versucht, Bias und toxische Sprache zu als Ausgabe aus dem Modell zu vermindern. Ein durch Vorgaben von den Annotatoren – Personen, die gewünschte Ausgaben formulieren, die dann zum Verbessern des Modells genutzt werden – optimiertes Modell konnte dabei eine starke Verbesserung gegenüber dem Ursprungsmodell GPT-3 erreichen und ist der aktuelle Standard hinter der OpenAI API.

In diesem Rahmen ist auch das Interview von Jennifer Chayes, stellvertretende Leiterin der Microsoft Division of Computing, Data Science and Society, die unter anderem den Bias in Microsofts Gesichtserkennung mit aufgedeckt hat.

Wer schon mal programmiert hat, der hat die Vorteile einer IDE (Integrated Development Environment) und deren Code-Autocomplete Werkzeuge zu schätzen gelernt. Dank KI ist hier hoffentlich zeitnah eine weitere Erleichterung auf dem Weg. Unter anderem Microsoft (mit Unterstützung von OpenAI und deren GPT-3 Modell) als auch Google arbeiten an KI-gestützten Programmiersystemen. Dabei wurden existierende Modelle mit vielen Programmierbeispielen finegetuned, und sollen perspektivisch bei der Erstellung von Programmen helfen. Dabei hat Alphacode in einer Reihe von Programmierwettbewerbern unter den Top 54% abgeschlossen – ein respektables Ergebnis. Man kann unter https://alphacode.deepmind.com/ und https://copilot.github.com/ selbst probieren, ob der aktuelle Stand vielleicht schon eine Unterstützung ist.

Datum: 28.02.2022