Emotionen und Language Models - KI Journal Club

Es war ein unterhaltsamer Monat im Bereich der KI. Die Diskussion ob, wann und wie KI den Menschen überflügelt und selbständig werden wird (AGI – Artificial General Intelligence) ist wieder aufgekommen und es wurden neue gefährliche Language Models entwickelt, die die Stanford Universität zu einer harschen Petition genötigt haben.
Wir stellen außerdem ein Paper aus unserem wöchentlichen Journal Club vor und ziehen uns ansonsten in den klimatisierten Serverraum zurück.

Ein leitender Software-Ingenieur bei Google wurde suspendiert, nachdem er Medienberichten zufolge Abschriften eines Gesprächs mit einer künstlichen Intelligenz (KI) geteilt hatte, die er für „empfindungsfähig“ hielt. LaMDA (Language Model (LM) for Dialogue Applications), ist ein Language Model für Dialogsysteme. Wie Transkripte aus Chats mit LaMDA zeigen, ist das System in dieser Hinsicht unglaublich effektiv. Es beantwortet komplexe Fragen über die Natur von Emotionen, erfindet auf der Stelle Fabeln im Stil von Äsop und beschreibt sogar seine angeblichen Ängste.

Das mag alles beeindruckend sein, allerdings sehen wir immer wieder Ergebnisse von Systemen mit neuronalen Netzen, die unglaublich erscheinen, aber die gleichen Systeme scheitern dann auch an den einfachsten Aufgaben. Ein Language Model wird durch Inputs getriggert und gibt hier eine Antwort, die die Frage aufgreift und mit den aus riesigen Mengen an Daten gelernten statistisch am wahrscheinlichsten Wortkombinationen beantwortet.

Auch Microsoft scheint die eigene KI etwas unheimlich geworden zu sein. Es beschränkt den Zugriff auf die Emotionserkennung, allerdings nicht weil die KI zu mächtig ist. Eher das Gegenteil, Microsoft verstärkt die Bemühungen mehr auf die Qualität der Ergebnisse zu achten, auch aus dem Blickwinkel von z.B. Minderheiten, Hautfarbe, Geschlecht etc. (Bias ist hier ein wichtiges Thema). Dabei ist man zum Schluss gekommen, dass die aktuellen Ergebnisse nicht gut genug sind, um genutzt zu werden.

Yannic Kilcher, bekannt durch seinen Youtube Channel, hat einen GPT Model gefinetuned mit Daten aus 4Chan. 4Chan ist ein Messageboard, auf dem jeder anonym Kommentare posten und Bilder austauschen kann. Besonders bekannt ist 4Chan für rassistische, extreme und politisch unkorrekte Diskussionen. Mit genau diesen Daten wurde das GPT Model nun trainiert. Ergebnis war ein Language Model, das erstaunlicherweise in einem Benchmark für Glaubwürdigkeit sehr gut abgeschnitten hat. Das sagt aber wahrscheinlich mehr über den Benchmark aus als über das Modell. Was besonders für Wellen gesorgt hat war der Einsatz des Modells durch Yannic Kilcher, der das Modell wieder in 4Chan eingebunden hat und mitdiskutieren lassen hat. Es wurden sogar mehrere Modelle gleichzeitig eingebunden, die dann miteinander gesprochen haben. So unterhaltsam das auf den ersten Blick ist, so schwierig ist es auf den Zweiten. Das Modell hat auf extremen Dialogen gelernt und gibt dadurch auch extreme Meinungen wieder. Bestärkt als in einem echten Dialog extreme Meinungen. Unter anderem diese Problematik hat auch die Stanford Universität bewogen dazu Stellung zu nehmen.

Als letzten Punkt für den heutigen Blog wollen wir noch einen Auszug aus unserem wöchentlichen Journal Club präsentieren:

• Titel: Tabular Data: Deep learning is not all you need

• Autoren: Ravid Shwartz-Ziv, Amitai Armon

• Link: https://arxiv.org/abs/2106.03253

• TLDR:  Das Paper schlägt vor ein BIFI-Framework (break it fix it) für die Autokorrektur von Sätzen zu verwenden. Ein solches Framework benötigt einen Critic Classifier für den ein LM genutzt wird, weil es für natürliche Sprache keinen korrekten Compiler gibt. Dabei wird unsupervised learning mit BIFI zur Verbesserung der Language Modelle genutzt, insbesondere wenn keine gelabelten Daten vorhanden sind (z.B. domänen- oder sprachbedingt). Die unsupervised Methode für Error Correction hat als Kernidee die Nutzung lokaler Nachbarn zu dem zu korrigierenden Satz. Lokale Nachbarn sind automatisch generierte Sätze die abgeleitet, per Perturbation, vom originalen Satz sind. Das LM bestimmt dann welches aus der Menge der perturbierten Sätze das lokale Maximum, also den Satz der am wahrscheinlichsten ein korrekter Satz ist. Dieser wird dann als Korrektur genutzt, Das Verfahren hat einige Schwachstellen, so kann auch bei einem korrekten Satz durch eine Perturbation ein noch “korrekterer” Satz entstehen. Damit wird etwas korrigiert was gar nicht falsch war. Die Ergebnisse zeigen das auch. Während beim überwachten, supervised, Setup keine Verbesserungen erreicht werden, werden im unüberwachte Setup größere Verbesserungen erreicht.

In unserer monatlichen Serie “KI-Journal Club” stellen wir wissenschaftliche Beiträge und Presseberichte vor aus den Bereichen Text Mining, Machine Learning, KI, Natural Language Processing.

Datum: 30.06.2022