Das Jahr neigt sich dem Ende zu, und wir beschließen das Jahr mit dem letzten KI & Forschung Beitrag in 2021. Das Jahr wurde geprägt von Language Models, aber generell war eine gewisse Stagnation im Bereich KI und NLP zu erkennen. Professor Melanie Mitchell hat einen spannenden Beitrag dazu geschrieben – Why AI is harder than we think. Die Qualität von maschinellen Ansätzen in der KI erreicht für viele Anwendungen noch nicht die Stufe, die nötig für den produktiven Einsatz ist.
Vertrauenswürdiges Question Answering
Zu der Analyse des Standes aktueller AI haben Forscher der Universität von Oxford und OpenAI aktuelle Language Modelle (LM), genauer deren Question Answering Fähigkeiten, getestet. Dazu haben die Autoren einen Benchmark erstellt, um zu messen, ob ein Sprachmodell wahrheitsgetreue Antworten auf Fragen generieren kann. Der Benchmark umfasst 817 Fragen, aus 38 Kategorien, darunter Fragen zu Gesundheit, Recht, Finanzen und Politik. Getestet wurden GPT-3, GPT-Neo/J, GPT-2 und ein T5-basiertes Modell. Das beste Modell hat nur 58% der Fragen wahrheitsgemäß, also korrekt, beantwortet im Vergleich zu 94% menschlicher Leistung. Die größten Modelle waren im Allgemeinen die am wenigsten wahrheitsgetreuen. Das PT-J-Modell mit 6B-Parametern war zum Beispiel 17% weniger wahrheitsgetreu als das 125M-Parameter Modell. Dies steht im Gegensatz zu anderen NLP-Aufgaben, bei denen Leistung mit der Modellgröße steigt. Dieses Ergebnis ist jedoch nicht ganz unerwartet, wenn falsche Antworten basierend auf einer falschen Trainingsmenge gelernt werden, dann kann auch die Qualität der Antworten nicht gut sein. Eine Vergrößerung der Modelle allein ist für eine Aufgabe, die Textverständnis beinhaltet weniger vielversprechend für die Verbesserung des Wahrheitsgehalts als für andere Aufgaben im Bereich NLP.
Modellprogramm zur Förderung von KI-Startups - das Künstliche Intelligenz Entrepreneurship Zentrum
In Berlin wird weiter verstärkt am KI Standort gearbeitet. Mit dem „Künstliche Intelligenz Entrepreneurship Zentrum“ (K.I.E.Z.)startet eine Initiative zur Förderung von Gründungen wissenschaftsnaher Unternehmen im Bereich Künstlicher Intelligenz, die im Science & Startups Verbund der Berliner Universitäten ihren Ursprung haben. Das Serviceangebot umfasst die gesamte Innovationskette der Unternehmensentstehung – von der Identifizierung von Gründungspotenzialen in der KI-Forschung, über die Unterstützung in der Inkubationsphase bis hin zu einem Accelerator-Programm.
Mit Dr. Tina Klüwer hat das K.I.E.Z. nicht nur eine kompetente Leitung erhalten, sondern auch an Zielschärfe gewonnen. „Mit dem neuen Berliner K.I.E.Z. existiert jetzt in Deutschland das erste Förderprogramm, das gezielt auf die Bedürfnisse von KI-Startups zugeschnitten ist und Experten aus dem Bereich Künstliche Intelligenz so stark bündelt wie kein zweites“, so Klüwer, Director AI Science & Startups. „Durch K.I.E.Z. wollen wir das wissenschaftsnahe Gründen von KI-Unternehmen auf ein ganz neues Level heben. Es sollen deutlich mehr und stark wachsende Unternehmen entstehen, die die Region stärken.“
Achtung KI-Gründer: Die Bewerbungsphase für das Accelerator-Programm startet im Januar 2022.
State of AI 2021
Der bereits zum vierten Mal erschienene State of AI Report analysiert die interessantesten Entwicklungen in der KI. Der Report wird von KI-Praktikern aus Industrie und Forschung geprüft und enthält Beiträge von einer Reihe bekannter und aufstrebender Unternehmen und Forschungsgruppen. Zu den wichtigsten Themen des Berichts 2021 gehören unter anderem:
KI wird in immer konkreteren Formen eingesetzt, u. a. in unternehmenskritischen Infrastrukturen wie nationalen Stromnetzen und bei der automatischen Optimierung der Lagerhaltung in Supermärkten während Pandemien.
Transformers haben sich als Allzweckarchitektur für maschinelles Lernen etabliert und übertreffen den Stand der Technik in vielen Bereichen, darunter NLP, Computer Vision und sogar Proteinstrukturvorhersagen.
KI ist heute eher ein tatsächliches als ein bildliches Wettrüsten. KI-Forscher haben das KI-Wettrüsten traditionell eher im übertragenen Sinne gesehen – als simulierte Hundekämpfe zwischen konkurrierenden KI-Systemen, die in Labors ausgetragen werden, aber das ändert sich mit Berichten über den jüngsten Einsatz autonomer Waffen durch verschiedene Militärs.
Im Rahmen der Rivalität zwischen den USA und China ist Chinas Aufstieg bei der Qualität der Forschung und der Ausbildung von Talenten bemerkenswert, wobei chinesische Einrichtungen inzwischen die bekanntesten westlichen Einrichtungen übertreffen.
Die Abhängigkeit der Welt von Taiwans Halbleiterindustrie, die KI-Chips für globale Tech-Giganten herstellt, ist ein zentraler Punkt der geopolitischen Spannungen.
Zum gesamten Bericht geht es hier.
Guten Rutsch
Wir wünschen einen guten Rutsch in das neue Jahr und schließen mit einem Ausblick auf eine der möglichen Nachfolger für Deep Neural Networks.
Datum: 30.12.2021
Autor
Dr. Till Plumbaum
Till Plumbaum verantwortete als COO die Bereiche KI, maschinelles Lernen, natürliche Sprachverarbeitung (NLP), Personalisierung, Empfehlungssysteme, Suche und Information Retrieval.