Am Thema Prompt Engineering kommt man im Machine Learning momentan nicht vorbei. Gut also, dass nun erste Schritte in Richtung einer Systematisierung des Verfahrens gegangen werden.
In einer neuen Veröffentlichung analysieren Wissenschaftler der Mohamed bin Zayed University of AI, welches Vorgehen beim Prompting besonders erfolgversprechend ist. Dabei untersuchen sie die gängigsten Open- und Closed Source Language Models (Llama und GPT3.5 & 4) und wie diese auf eine ganze Batterie an Prompts reagieren.
Das Resultat der Studie sind 26 praktische Leitprinzipien, anhand derer sich Prompts verbessern lassen. Diese reichen von "Sparen Sie sich die Höflichkeiten" über "Geben Sie Beispiele an" bis hin zu - und hier wird es besonders skurril - "Stellen Sie dem Modell ein Trinkgeld in Aussicht, wenn es die Aufgabe erfolgreich löst".
Die Wissenschaftler zeigen darüber hinaus, dass die Effektivität der verschiedenen Prompts variiert, sie einzeln genommen jedoch alle zu einer Verbesserung führen. Sie stellen dabei auch fest, dass größere Modelle, wie GPT-4, mit einer größeren Zunahme der Genauigkeit auf die Prompting-Prinzipien reagieren.
Sind die gefundenen Empfehlungen nun der heilige Gral des Promptings? Wahrscheinlich nicht. Die Modelle entwickeln sich in rasendem Tempo weiter - ein Grundsatz, welches bei dem einen Modell noch funktioniert, kann beim nächsten bereits überholt sein. Und obwohl eine methodische Herangehensweise der Disziplin gut tut, und die Leitlinien in der praktischen Arbeit einen hohen Nutzen haben, wird man wohl weiterhin die Augen und Ohren nach den neuesten Tricks und Kniffen offen halten müssen, wenn man die beste Leistung aus LLM herausholen möchte.
Datum: 29.01.2024