Billigere Tokens, teurere Fehler: Was KI im Einsatz leisten muss

OpenAI hat GPT-6.1 „Terra“ veröffentlicht, ein auf Bildverständnis und die Bedienung von Softwareoberflächen ausgerichtetes Modell. Es ist in ChatGPT Work und Codex verfügbar, ausdrücklich jedoch nicht im regulären Chat. Entwickler erreichen es über die API als `gpt-6.1-terra`. Die Standardpreise liegen bei 1 US-Dollar je Million Eingabetokens, 0,05 Dollar für zwischengespeicherte Eingabetokens und 5 Dollar je Million Ausgabetokens.

Der Schwerpunkt ist konkreter als das Versprechen eines allgemeinen Assistenten: Terra soll etwa Produktbilder Katalogeinträgen zuordnen, technische Zeichnungen interpretieren und auf Anwendungsoberflächen handeln. Die Dokumentation nennt ein Kontextfenster von 1,05 Millionen Tokens und bis zu 128.000 Ausgabetokens. Das sind Kapazitätsgrenzen, keine Garantie dafür, dass lange Arbeitsabläufe zuverlässig gelingen.

Artificial Analysis ordnet die Preise gegenüber einem herangezogenen Vorgängermodell mit 2 Dollar für Eingaben und 12 Dollar für Ausgaben als deutlichen Rückgang ein. Für Unternehmen bleibt allerdings die Gesamtrechnung entscheidend: Wie viele Bildschirmansichten, Wiederholungen und Korrekturen benötigt Terra bis zum erfolgreichen Abschluss? Die günstigeren Tokens können agentische Arbeit wirtschaftlicher machen; einen belastbaren Nachweis niedrigerer Kosten pro erledigter Aufgabe liefern die genannten Preise allein nicht. Für produktive Anwendungen gehören deshalb Erfolgsmessung, begrenzte Zugriffsrechte und Freigaben vor folgenreichen Aktionen weiterhin zur Architektur.

Mehr Verarbeitungstiefe, ohne für jede zusätzliche Schicht neue Gewichte zu speichern: Dieses Prinzip untersucht Meta FAIR im Preprint „How to Loop Your Transformer“. Ein Transformer oder ein Teil seiner Schichten wird mehrfach durchlaufen. Damit knüpft die Arbeit an das Prinzip rekurrenter Verarbeitung an: Zusätzliche Rechenschritte ersetzen einen Teil der zusätzlichen Parameter.

Der Haken liegt im jeweiligen Ressourcenlimit. Bei festem Parameterbudget erzielt laut Studie häufig das Wiederholen des gesamten Transformers die beste Qualität; bei begrenztem Trainingsrechenbudget ist ein wiederholter mittlerer Schichtenblock günstiger. Mehr Schleifen helfen zudem nicht unbegrenzt: Die Gewinne können stagnieren, sich umkehren oder instabil werden. Bei gewöhnlicher sequenzieller Ausführung verlangsamt sich die Tokenausgabe proportional zur Schleifenzahl.

Die Forschenden untersuchen deshalb auch Parallel Loop Transformers, bei denen Zustände zwischen benachbarten Tokenpositionen weitergegeben werden und Schleifenstufen gleichzeitig laufen können. In ihren Versuchen bewahrt die bisherige Formulierung die Qualitätsgewinne jedoch nicht durchgängig. Eine angepasste Architektur erhält die Repräsentation des aktuellen Tokens und normalisiert sie getrennt vom weitergereichten Zustand, bevor beide kombiniert werden. Kleine schleifenspezifische Low-Rank-Adapter verbessern zusätzlich die Qualität.

Der Erkenntniswert ist weniger ein pauschales Effizienzversprechen als eine Entscheidungshilfe: Speicherbedarf, Trainingsaufwand und Antwortlatenz sind verschiedene Optimierungsziele. Der Preprint liefert dafür experimentelle Ergebnisse, noch keinen allgemeinen Nachweis für günstigere Produktionseinsätze.

Forschende von Google und DeepMind haben Sprachmodelle mit mehrstufigem Reinforcement Learning für simulierte psychiatrische Aufnahmegespräche trainiert. Anders als bei medizinischen Einzelfragen geht es dabei um einen Gesprächsverlauf: relevante Informationen erfragen, eine tragfähige Kommunikation aufbauen und mögliche Diagnosen sowie Risiken einordnen.

Die Evaluation im Preprint geht über automatische Bewertungen hinaus. In einem randomisierten, doppelt verblindeten Crossover-Format spielten 32 Fachärztinnen und Fachärzte standardisierte Patienten; ein separates Gremium aus 15 psychiatrischen Fachleuten bewertete anonymisierte Transkripte. Das trainierte Modell übertraf das Basismodell in 76,7 Prozent der verglichenen Szenariopaare. Auch die Bewertungen patientenzentrierter Kommunikation und angemessener Differenzialdiagnosen verbesserten sich.

Besonders relevant ist der Sicherheitstest: Simulationsbasiertes Training senkte die Untertriage akuter Risiken – also deren zu niedrige Einstufung – von 30,5 auf 12,9 Prozent. Das ist eine erhebliche Verbesserung, aber weiterhin eine relevante Fehlerquote innerhalb dieser Tests. Zudem wurden Trainingsszenarien teilweise von einem Sprachmodell erzeugt und nicht einzeln klinisch geprüft.

Die Ergebnisse sprechen dafür, ganze Gesprächsabläufe gezielt zu trainieren und fachlich zu evaluieren. Sie belegen weder einen Nutzen bei realen Patientinnen und Patienten noch die Sicherheit einer autonomen psychiatrischen Versorgung. Die Autoren betonen entsprechend verbleibende diagnostische und sicherheitsbezogene Lücken sowie die Notwendigkeit ärztlicher Aufsicht und externer Schutzmaßnahmen.

Der übliche Trainingsablauf großer Sprachmodelle trennt Vortraining, überwachte Anpassung und Reinforcement Learning in mehrere Phasen. Die Arbeit „Unified Training“ stellt diese Trennung auf Ebene des Lernverfahrens infrage: Unterschiedliche Phasen lassen sich demnach als Anpassung an wechselnde Zieldatenverteilungen mit einem gemeinsamen, likelihood-basierten Trainer formulieren.

Praktisch mischt das System statische Textkorpora, Demonstrationen und vom Modell erzeugte, anhand von Belohnungssignalen ausgewählte Antworten. Generator und Trainer arbeiten asynchron über einen Datenpuffer zusammen. Während der Trainer aus dieser Mischung lernt und regelmäßig neue Gewichte bereitstellt, erzeugen die Generatoren mit einem jüngeren Modellstand weitere bewertete Beispiele.

Die zentrale Gestaltungsfrage verschwindet damit nicht, sondern verlagert sich: Welche Daten kommen wann und in welchem Verhältnis ins Training? Auch die Qualität der Belohnungssignale bleibt entscheidend. „Ein Algorithmus“ bedeutet also weder eine einzige Datenquelle noch ein System ohne zusätzliche Auswahl- und Bewertungslogik.

Die Autoren berichten bessere Genauigkeits-Rechenaufwand-Verhältnisse, breitere Aufgabenabdeckung und Vorteile beim Erhalt allgemeiner Fähigkeiten sowie beim fortlaufenden Lernen. Interessant ist vor allem die Aussicht, Spezialisierung und Fähigkeitserhalt gemeinsam zu steuern, statt sie strikt aufeinanderfolgenden Phasen zu überlassen. Ob sich diese Vorteile auf andere Modellgrößen und Trainingsumgebungen übertragen, muss über die im Preprint beschriebenen Experimente hinaus geprüft werden.