Die Minds Mastering Machines (M3) Konferenz wendet sich an Softwareentwickler, Data Scientists und Forschende, die Machine Learning und KI-Anwendungen entwickeln. Qi Wu von ontolux stellt Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation in einem Vortrag vor.
Vom 01. bis 03. Juni 2022 findet die M3 zum insgesamt bisher fünften Mal in Karlsruhe statt. In Workshops und Vorträgen werden in diesem Jahr hauptsächlich Themen rund um das Potenzial von Machine Learning, künstliche neuronale Netze, dem praktischen Einsatz von Natural Language Processing und Predictive Analytics vorgestellt.
Der Vortrag „Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation“ von Qi Wu – Machine Learning Engineer bei ontolux – findet am 02.06.2022 um 14:15 bis 15:00 Uhr statt.
Inhalt des Vortrages:
Über die letzten Jahre hat sich die Forschung im Bereich Natural Language Processing (NLP) zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.
Trotz all ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten- sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine gesamte, durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht.
Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden. Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle. Im Vortrag zeigt Qi Wu Ihnen verschiedene Optionen, wie Modelle komprimiert und beschleunigt werden können. Unser Fokus liegt insbesondere darauf, wie Sie Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren können, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sinkt.
Mehr zum Thema Methoden zur Ressourceneinsparung von KI-Modellen
Veröffentlichung am 05.05.2022
Bildquelle: Pietro Jeng-unsplash
Datum: 28.02.2022
Autor
Qi Wu
Qi Wu arbeitet als Machine Learning Engineer bei der Neofonie GmbH. Nach ihrem Masterstudium der Statistik hat sie sich mit maschinellem Lernen im Bereich der Verarbeitung natürlicher Sprache, wie z.B. der Informationsextraktion, beschäftigt.