Erkenntnisse der ACL Konferenz - KI Journal Club

In der Augustausgabe von KI und Forschung widmen wir uns den Erkenntnissen aus der ACL Konferenz, u.a. ob NLP Modelle die Syntax der menschlichen Sprache gelernt haben. Darüber hinaus schauen wir uns ein paar Beispiele an, wie schnell KI-Anwendungen in produktiven Einsatz genommen werden und dessen Folgen.

Die ACL-IJCNLP 21, genauer The Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, hat Anfang des Monats stattgefunden, und eine Menge neue spannende Forschung präsentiert. Wir sind bereits dabei, uns durch die Menge der Publikationen zu arbeiten. 

Ein spannendes Paper, das wir in unserem wöchentlichen Journal Club gereviewed haben ist das Paper “Unnatural Language Inference” von Koustuv Sinha, Prasanna Parthasarathi, Joelle Pineau and Adina Williams. Das Paper beschäftigt sich mit der Frage, ob aktuelle NLP Modelle wie Large Language Models (zum Beispiel RoBERTa) oder auch Transformer & RNN-based Models die Syntax der menschlichen Sprache gelernt haben, diese verstehen und dann auch nutzen. Überprüft wird die These am Beispiel des Natural Language Inference Tasks (NLI). Dabei wird auf klassischen NLI Datasets, MNLI und weitere, trainiert und dann mittels Permutationen von Sätzen überprüft, wie die Modelle damit umgehen. Insgesamt ist das Paper sehr gut zu lesen und zu verstehen. Kritik gab es in der Diskussion an der Methodik z.b. der Art der Berechnung von Lambda Max, was nicht als geeignete Metrik erscheint für die Erkennung, ob Syntax verwendet wird oder nicht.

Im weiteren Verlauf des Papers zeigen die Autoren, dass die aktuellen Language Models zwar in kleinen Teilen Syntax nutzen, aber weit davon entfernt sind, wirklich die Syntax der menschlichen Sprache zu verstehen, geschweige denn zu nutzen. Insgesamt ein empfehlenswertes Paper mit einigen Schwächen.

Das Deutschlands Verwaltung digital noch nicht gut aufgestellt ist, das war schon vor der Krise bekannt. E-Akte, digitaler Ausweis – alles Vorhaben, die schon lange in Arbeit, aber noch nicht abgeschlossen sind. Hier sollte man sich vielleicht ein wenig an unseren Nachbarn orientieren: „Estland und Dänemark starten dagegen, wenn das IT-Projekt zu 60 bis 70 Prozent fertig ist, und der Rest ist learning by doing.“ Mehr dazu

Zum Abschluss noch zwei weitere Referenzen zum Thema Bias und Ethik in der KI. Das Thema ist, war und wird immer wichtig sein. Mit dem aktuellen steigenden Tempo von KI Anwendungen, die im produktiven Einsatz sind, muss hier bei allen Beteiligten ein Hauptfokus liegen. Ein konkreter Fall, wo die KI fälschlicherweise jemanden als Verdächtigen gebrandmarkt hat, ist hier zu finden. 

Eine gute Zusammenstellung zu dem Thema findet man bei KDNuggets.

Datum: 30.07.2021