Nach ihrem Weggang von OpenAI und Google haben die beiden zentralen Verantwortlichen für große KI-Modelle beschlossen, sich voll und ganz der Erforschung der nächsten Generation der zugrundeliegenden Architektur zu widmen.

Einer der einst größten Befürworter des Reinforcement Learning vertritt heute die Ansicht: Reinforcement Learning hat uns nicht zu AGI gebracht.

Jerry Tworek war einst ein überzeugter „Maximalist des Reinforcement Learning“ im Inneren von OpenAI. Nach GPT-3 und GPT-4 glaubte er stets, dass das letzte fehlende Puzzleteil für große Modelle das groß angelegte Reinforcement Learning sei. Solange dieser Weg wirklich bis zum Äußersten vorangetrieben werde, könnten die verbleibenden Probleme möglicherweise alle gelöst werden. Im Jahr 2024 urteilte er sogar, dass AGI möglicherweise bereits 2025 eintreten werde.

Später stand er wirklich im Zentrum dieses Experiments.

Die Modelle wurden Generation für Generation stärker, die Bewertungswerte stiegen kontinuierlich und die komplexen Schlussfolgerungsfähigkeiten verbesserten sich rasch. Aber eine andere Tatsache, die Jerry erkannte, war: Die Fortschritte im Labor haben sich nicht vollständig in zuverlässige Fähigkeiten in der realen Welt umgewandelt. Die Trainingsaufgaben werden immer schwieriger, die Modelle werden immer besser im Prüfungen ablegen, können sich aber immer noch nicht an eine große Anzahl unscharfer, veränderlicher und nie vordefinierter Probleme anpassen.

Dies ließ ihn zweifeln, dass das Problem möglicherweise nicht nur darin liegt, dass das Reinforcement Learning noch nicht groß genug ist, sondern dass die heutigen Modelle grundsätzlich eine grundlegendere Fähigkeit fehlt: Sie können nach dem Eintritt in die reale Welt nicht weiterlernen.

Mit dieser Einsicht gründete Jerry gemeinsam mit Rohan Anil Core Automation. Rohan war einst einer der Leiter der Vortrainingsarbeit bei Googles Gemini und forschte lange Zeit an Optimierungsalgorithmen, Modellarchitekturen und zugrunde liegenden Berechnungssystemen. Einer kam aus dem Bereich des groß angelegten Reinforcement Learning, der andere aus dem Bereich Vortraining und Optimierung – die Erfahrungen der beiden decken fast die beiden zentralen Wege ab, die aktuelle große Modelle verfolgen.

Aber sie beschlossen, nicht weiter auf diesen beiden Wegen zusätzliche Ressourcen zu investieren.

Während die gesamte Branche noch daran arbeitet, Transformer zu vergrößern, die Berechnungsleistung für Schlussfolgerungen zu erhöhen und nach stärkeren Programmieragenten zu streben, wählten sie, eine grundlegendere Frage zu stellen: Wenn ein Modell nur im Labor lernen kann und Menschen ständig Daten sammeln, es neu trainieren und neue Versionen veröffentlichen müssen, kann es dann wirklich zu AGI gelangen?

In einem kürzlichen Gespräch erklärten die beiden Gründer systematisch ihre Einschätzung zum aktuellen KI-Entwicklungsweg: Warum ist das groß angelegte Reinforcement Learning nicht zum letzten Puzzleteil auf dem Weg zu AGI geworden? Warum ist Lernen aus Erfahrungen nicht gleichbedeutend mit Reinforcement Learning? Welche Fähigkeit fehlt Transformer wirklich? Und wie könnte eine Architektur der nächsten Generation aussehen, die nach der Bereitstellung kontinuierlich lernen kann?

Videolink: https://www.youtube.com/watch?v=2RJiaf0SY8s

Die Modelle werden Generation für Generation stärker, aber das Problem liegt außerhalb des Labors

Reinforcement Learning hat die Modelle tatsächlich stärker gemacht. Es hat die Fähigkeiten zur komplexen Schlussfolgerung und Aufgabenausführung verbessert und ermöglicht es den Modellen, immer mehr vordefinierte Arbeitsabläufe zu beherrschen.

Aber Jerry wurde allmählich klar, dass Trainingsaufgaben und Standardbewertungen oft nur „zwei Seiten derselben Medaille“ sind: Forscher entwerfen Trainingsdaten basierend auf den Fähigkeiten, die die Modelle beherrschen sollen, und prüfen die Wirkung mit ähnlichen Aufgaben. Solange das Training fortgesetzt wird, können die Modelle natürlich Fortschritte bei diesen Indikatoren erzielen.

Die reale Welt hat jedoch keine so klaren Grenzen. Die Fragen der Nutzer sind oft unschärfer, die Umgebung verändert sich ständig, und verschiedene Aufgaben bilden neue Kombinationen, die in den Trainingsdaten nicht abgedeckt sind. Selbst wenn das Forschungsteam kaum noch genügend herausfordernde Trainingsaufgaben finden kann, bedeutet das nicht, dass das Modell die gesamte Komplexität der realen Welt abgedeckt hat.

Dies offenbart den grundlegenden Widerspruch in der aktuellen Trainingsmethode: Das Modell wird im Labor auf der Grundlage vorab gesammelter Daten, festgelegter Umgebungen und Rückmeldungen trainiert; nach Abschluss des Trainings wird es in eine offenere und chaotischere Welt bereitgestellt.

Reinforcement Learning kann das Modell dabei unterstützen, die von Forschern bereits definierten Aufgaben besser zu erledigen, garantiert aber nicht, dass es sich auch an Probleme außerhalb der Trainingsverteilung selbst anpassen kann. Jedes Mal, wenn das Modell auf einen neuen Fehler stößt, müssen Menschen noch Fälle sammeln, Daten ergänzen und es zurück ins Labor schicken, um die nächste Aktualisierung abzuschließen.

Daher übernimmt nach wie vor das eigentliche Labor die Lernarbeit, nicht das Modell selbst.

Reinforcement Learning ist nicht unwirksam, aber es macht den fehlenden Teil noch deutlicher: Modelle der nächsten Generation müssen nicht nur in der Trainingsphase stärker werden, sondern auch nach dem Eintritt in die reale Welt weiterlernen.

Die dritte Möglichkeit des „Lernens“

Nach Jerrys Ansicht liegt das grundlegendste Problem der aktuellen Modelle nicht darin, dass sie nicht genug Wissen beherrschen, sondern dass Lernen fast ausschließlich vor der Bereitstellung stattfindet.

Das Vortraining ist dafür zuständig, riesige Datenmengen aufzunehmen, und das Reinforcement Learning formt das Verhaltensmuster des Modells. Nach Abschluss dieser Schritte wird das Modell an die Nutzer übergeben, aber seine Parameter sind im Wesentlichen festgelegt. Selbst wenn sich die externe Umgebung danach verändert und neue Tools, Codebasen oder Aufgaben auftauchen, wird sich das Modell nicht wie ein Mensch während der Nutzung natürlich selbst aktualisieren. Es kann sich möglicherweise vorübergehend anpassen, aber es ist schwierig, diese neuen Erfahrungen stabil in langfristige Fähigkeiten umzuwandeln.

Das bedeutet, dass der Wert des Modells immer davon abhängt, ob die Trainingsdaten die realen Anforderungen im Voraus abdecken. Bei unbekannten Problemen besteht die übliche Vorgehensweise immer noch darin, Fehlerfälle zu sammeln, Daten zu ergänzen und das Modell anschließend vom Labor neu trainieren zu lassen. Oberflächlich betrachtet hilft das Modell den Nutzern bei der Erledigung von Aufgaben, aber das tatsächlich für Lernen und Aktualisierung verantwortliche Team ist nach wie vor das Forschungs- und Entwicklungsteam dahinter.

Die vorhandenen Systeme verfügen nicht vollständig über keine Anpassungsfähigkeit nach der Bereitstellung. Die erste Methode ist das In-Context-Lernen: Der Nutzer schreibt neue Informationen in den Prompt oder den Kontext, und das Modell kann diese Informationen im aktuellen Dialog nutzen. Es erfordert keine Änderung der Parameter und verursacht kaum katastrophales Vergessen, daher ist es relativ flexibel.

Aber die Kapazität dieses „Lernens“ ist begrenzt. Egal wie lang das Kontextfenster ist, es kann nur eine bestimmte Menge an Informationen speichern. Sobald der Inhalt komprimiert, gelöscht oder eine neue Sitzung gestartet wird, lassen sich die vom Modell erworbenen Erfahrungen kaum weiter behalten. Jerry nimmt Programmierwerkzeuge als Beispiel: Nach einiger Nutzung muss der Kontext sortiert oder komprimiert werden. Wenn das Modell sich nur an die Dinge erinnern kann, die in den letzten Dutzend Minuten passiert sind, kann dies noch nicht als echtes langfristiges Lernen bezeichnet werden.

Die zweite Methode ist das kontinuierliche Feintuning, d. h. die Parameter des Modells werden ständig auf der Grundlage neuer Daten aktualisiert. Es scheint dem echten Lernen näher zu kommen, bringt aber eine andere Reihe von Problemen mit sich. Wenn das Modell neues Wissen aufnimmt, kann es die zuvor beherrschten Fähigkeiten beeinträchtigen – das ist das katastrophale Vergessen; gleichzeitig erfordert Feintuning oft eine große Menge an Daten und Rechenleistung und kann nicht wie ein Mensch aufgrund weniger Erfahrungen schnell angepasst werden.

Daher weisen die beiden aktuellen Wege jeweils deutliche Einschränkungen auf: Das In-Context-Lernen ist ausreichend flexibel, kann aber keine lange Zeit überdauern; Feintuning kann das Modell verändern, ist aber nicht stabil genug und nicht effizient genug. Forscher versuchen seit langem, diese Probleme zu lösen, haben aber bislang noch keine einfache und zuverlässige Methode gefunden.

Was Jerry anstrebt, ist eine dritte Möglichkeit: Meta-Lernen zu betreiben und das „Wie man lernt“ selbst in die Modellarchitektur zu schreiben, sodass das System während des Bereitstellungsprozesses kontinuierlich auf der Grundlage von Nutzern, Daten und realen Aufgaben aktualisiert werden kann und gleichzeitig vermeidet, die ursprünglichen Fähigkeiten leicht zu vergessen.

Das ist auch der Grund, warum er das Problem auf die Architektur lenkt, nicht nur auf den Trainingsumfang. Ein Modell, das wiederholt zurück ins Labor geschickt werden muss, um neu trainiert zu werden, kann zu einem immer leistungsfähigeren Werkzeug werden, fehlt aber dennoch eines der wichtigsten Merkmale intelligenter Systeme – Erfahrungen in der Umgebung anzusammeln und dadurch langfristige Veränderungen herbeizuführen.

Lernen aus Erfahrungen ist nicht gleichbedeutend mit Reinforcement Learning

Wenn das Modell in der realen Welt kontinuierlich lernen soll, stellt sich eine natürliche Frage: Kann das Reinforcement Learning diese Aufgabe übernehmen?

Jerrys Einschätzung ist, dass Reinforcement Learning wichtig ist, aber es ist nur eine der Möglichkeiten, „aus Erfahrungen zu lernen“. Normalerweise lässt es das Modell in der Umgebung Handlungen ausprobieren, erhält Belohnungen basierend auf den Ergebnissen und passt dann das Verhalten durch zahlreiche Wiederholungen an. Spiele wie Go, StarCraft, Dota und heutige Programmieraufgaben können auf diese Weise trainiert werden: Das Modell erzeugt seine eigenen Erfahrungen und aktualisiert dann seine Strategien aus Erfolgen und Misserfolgen.

Aber aktuelles Reinforcement Learning hängt oft von einer großen Anzahl paralleler Versuche ab. Forscher lassen das Modell in vielen ähnlichen Umgebungen gleichzeitig verschiedene Lösungen ausprobieren und vergleichen dann die Ergebnisse, um die Unsicherheit während des Trainings zu verringern. Diese Methode kann Rechenressourcen effektiv nutzen, stimmt aber nicht vollständig mit der Art und Weise überein, wie Menschen Erfahrungen lernen. Menschen können normalerweise nicht gleichzeitig in Tausenden von parallelen Welten eintreten und führen auch keine groß angelegten Versuch-und-Irrtum-Versuche für jedes Problem durch.

Was noch wichtiger ist: Menschen wenden unterschiedliche Lernmethoden an, wenn sie mit verschiedenen Aufgaben konfrontiert sind.

Beim Lernen, Fußball zu spielen, probieren Menschen wiederholt aus und passen ihre Bewegungen an, je nachdem, ob der Ball in die erwartete Richtung fliegt. Dieser Prozess ähnelt stark dem Reinforcement Learning: Handlung, Rückmeldung, Korrektur, erneute Handlung.

Beim Lernen von Mathematik ist der Prozess jedoch völlig anders. Eine Person kann Definitionen lesen, Konzepte vergleichen und im Kopf wiederholt nachvollziehen, bis die ursprünglich verstreuten Informationen Verbindungen aufbauen. Hier gibt es nicht unbedingt klare externe Belohnungen, und es sind auch nicht Tausende von Handlungen zu wiederholen, aber das Lernen findet trotzdem statt.

Beide Prozesse gehören zum Lernen aus Erfahrungen, hängen aber von unterschiedlichen Mechanismen ab. Ersteres ähnelt eher Versuch und Irrtum, Letzteres eher dem Verstehen, Komprimieren und Neugestalten von Wissen. Daher ist Jerry der Ansicht, dass im Gehirn höchstwahrscheinlich kein einziger Lernalgorithmus existiert, der alle Aufgaben übernimmt, sondern mehrere Mechanismen zusammenwirken.

Dies erklärt auch, warum die bloße Erweiterung des Reinforcement Learning nicht unbedingt ausreicht, um das Problem des kontinuierlichen Lernens zu lösen. Erfahrungen in der Realität lassen sich nicht immer in klare Handlungen, Belohnungen und Runden einteilen. Einige Rückmeldungen sind stark verzögert, einige Aufgaben haben keine einzig richtige Antwort, und ein Teil des Lernens ergibt sich aus Beobachtung, Interpretation und internem Denken statt aus externen Belohnungen und Strafen.

Daher bedeutet das sogenannte „Zeitalter der Erfahrungen“ nicht nur, mehr Rechenleistung in das Reinforcement Learning zu investieren. Die eigentliche Herausforderung besteht darin, reichhaltigere und effizientere Wege zur Nutzung von Erfahrungen zu finden: Modelle können ihr Verhalten sowohl aus Erfolgen und Misserfolgen anpassen, als auch aus wenigen Fällen, neuem Wissen und langfristigen Interaktionen ein stabiles Verständnis entwickeln.

Nach Jerrys Ansicht sind die Rechenressourcen, die heute in das erfahrungsbasierte Lernen investiert werden, noch nie dagewesen, aber Reinforcement Learning wird nicht das Ende dieses Weges sein. Der nächste Durchbruch könnte von einem allgemeineren Lernalgorithmus ausgehen – der nicht mehr verlangt, dass alle Erfahrungen in standardisierte Belohnungen umgewandelt werden, sondern in der Lage ist, sie entsprechend der Struktur der Erfahrungen selbst auf geeignete Weise aufzunehmen.

Welche Fähigkeiten muss eine KI-Architektur der nächsten Generation besitzen?

Nach Ansicht von Core Automation muss die Architektur der nächsten Generation Transformer nicht vollständig aufgeben, aber die Probleme lösen, die Transformer nicht gelöst hat.

Das Wichtigste davon ist, das Lernen von einem einmaligen Trainingsprozess zu einem Teil des langfristigen Betriebs des Systems selbst zu machen. Das Modell muss in der Lage sein, nach der Bereitstellung neue Informationen aufzunehmen, seine Fähigkeiten an Nutzer und Umgebung anzupassen und kurzfristige Erfahrungen in langfristige Veränderungen umzuwandeln. Es darf nicht nur auf einen begrenzten Kontext angewiesen sein und darf nicht jedes Mal, wenn es eine neue Aufgabe lernen will, zurück ins Labor gehen, um neu gefinetuned zu werden.

Dieses Lernen muss außerdem ausreichend stabil sein. Das System soll sowohl neues Wissen beherrschen als auch die ursprünglichen Fähigkeiten nicht leicht zerstören; es soll sowohl Erfahrungen aus langfristigen Interaktionen sammeln als auch aus wenigen Daten schnell aktualisiert werden. Wenn jede Anpassung eine riesige Anzahl von Stichproben und Rechenleistung erfordert, kann kontinuierliches Lernen kaum wirklich in der realen Umgebung stattfinden.

Daher schlägt Jerry vor, dass Forscher möglicherweise auf Architekturebene zum Ausdruck bringen müssen, „wie Lernen stattfindet“. Das bedeutet, dass das Modell nicht nur das bereits erlernte Wissen enthalten soll, sondern auch einen internen Mechanismus zur Verarbeitung neuer Erfahrungen. Es muss entscheiden, welche Informationen es wert sind, behalten zu werden, wie Verbindungen zu vorhandenem Wissen hergestellt werden und wann das ursprüngliche Verhaltensmuster geändert werden soll.

Rohan ergänzt aus der Perspektive der Recheneffizienz eine weitere Anforderung: Die neue Architektur muss Vortraining und Reinforcement Learning als Ganzes entwerfen.

Der aktuelle Trainingsablauf besteht normalerweise darin, zuerst ein Basismodell durch Vortraining aufzubauen und dann durch Reinforcement Learning die Fähigkeiten zur Schlussfolgerung und Aufgabenausführung hinzuzufügen. Aber die Optimierungsziele und Berechnungsmethoden der beiden sind unterschiedlich. Das Vortraining eignet sich gut für die parallele Berechnung mit großen Datenmengen, während das Reinforcement Learning Trajektorien erzeugen, Ergebnisse vergleichen muss und eine höhere Varianz beim Training aufweist. Ein einfaches nacheinander Aneinanderfügen der beiden ist nicht unbedingt die effektivste Lösung.

Daher darf die Architektur der nächsten Generation nicht nur bei den Vortrainingsindikatoren gut abschneiden. Forscher müssen ausgehend von der endgültigen Aufgabe berücksichtigen, wie das Modell seine Wissensgrundlage aufbaut, wie es die Rechenleistung für Schlussfolgerungen verteilt und wie es durch Erfahrungen weiterlernt. Trainingsalgorithmen, Modellarchitekturen und zugrunde liegende Hardware dürfen nicht voneinander isoliert sein.

Rohan betont, dass eine Architektur, die theoretisch überlegen