Die vor 5 Jahren von einem MIT-Professor als „Unsinn“ gescholtene PPT hat die Kernideen von OpenAI o1 und o3 vorhergesagt.

In der KI-Branche mangelt es nicht an Klatsch und Tratsch.

Der Protagonist dieser Geschichte heißt Giambattista Parascandolo, ein bedeutender Forscher im Bereich der Inferenzmodelle bei OpenAI.

Im Jahr 2020 bewarb er sich um eine Professur am MIT und hielt einen Vortrag über die Nutzung von GPT für Inferenzzwecke. Die meisten Mitglieder des Prüfungsausschusses brandmarkten dieses Forschungsfeld jedoch als Unsinn.

https://x.com/turingbook/status/2084003612687249836?s=20

Der Kollege ging direkt auf Konfrontationskurs: Er nahm diese Erfahrung in seine persönliche Homepage auf und fügte die Einleitung des damaligen Vortrags sowie Links zu den Folien hinzu.

https://sites.google.com/view/giambattista-parascandolo/home

Worum ging es in dem damals als Unsinn abgetanen Vortrag?

Laut der offiziellen Website des MIT drehte sich das Thema dieses Vortrags darum, wie künstliche neuronale Netze die Trainingsverteilung durchbrechen und eine dem Menschen ähnlichere Generalisierungs- und Planungsfähigkeit erlangen können.

Parascandolo ist der Ansicht, dass Menschen vorhandenes Wissen neu kombinieren, wichtige Invarianten erkennen, abstrakte Modelle erstellen und langfristige Planungen durchführen können. Künstliche neuronale Netze haben in diesen Bereichen noch großes Verbesserungspotenzial.

Am Ende des Vortrags stellte er drei zukünftige Forschungsrichtungen vor: offenes Schlussfolgern in neuronalen Netzen, noch unentdeckte Freiheitsgrade in künstlichen neuronalen Netzen sowie die Nutzung von Sprache als Träger des Schlussfolgerns im Verstärkungslernen zur Erhöhung der Stichprobeneffizienz.

Das wichtigste Konzept darunter ist das „offene Schlussfolgern“.

Parascandolo definierte es wie folgt: Das Modell kann mehr Zeit und Rechenleistung aufwenden, um die Antwort kontinuierlich zu korrigieren. Je schwieriger die Aufgabe ist, desto mehr Schritte sollte das Modell durchdenken, und die zusätzliche Rechenleistung sollte in besseren Ergebnissen münden.

Das klingt bereits stark nach der heutigen Erweiterung der Rechenkapazität während des Inferenzvorgangs.

Das damalige Standard-Transformer-Modell verfügte über eine feste Netzwerktiefe, der Vorwärtsberechnungsaufwand für jedes Token war im Wesentlichen festgelegt, während die Aufgabenschwierigkeit keine stabile Beziehung zur Eingangslänge aufwies. Eine Aufgabe kann sehr lang sein, aber die Antwort sehr einfach. Eine andere Aufgabe besteht nur aus einem Satz, erfordert aber möglicherweise mehrstufige Zerlegung und Überprüfung.

RNNs scheinen für diese Art von Aufgaben besser geeignet zu sein. Sie können wiederholt ausgeführt werden und theoretisch eine beliebig lange Denkzeit erhalten. Die Kurven, die Parascandolo in seinen Folien zeigte, belegen jedoch, dass RNNs normalerweise nur in der Nähe der Schlussfolgerungsschritte, die sie während des Trainings gesehen haben, die beste Leistung erbringen. Bei weiterer Erhöhung der Anzahl der Zyklen kann die Genauigkeit sogar abnehmen.

Das bedeutet, dass die Erhöhung des Rechenaufwands nur der erste Schritt ist: Das Modell muss zudem lernen, wie es diese Rechenleistung sinnvoll einsetzt.

Die damals leistungsstärkste mehrstufige Planung stützte sich stark auf modellprädiktive Steuerung und Monte-Carlo-Baumsuche. Neuronale Netze übernahmen die Vorhersage der Umgebung oder die Bewertung von Werten, externe Suchalgorithmen übernahmen die Erschließung zukünftiger Pfade. Parascandolo wollte die Fähigkeit zum langfristigen Schlussfolgern weiter in neuronale Netze integrieren.

Seine zweite Vorstellung lautete Sprache zum Träger des Schlussfolgerns zu machen.

Parascandolo nutzte das klassische Spiel *Montezuma's Revenge* als Beispiel. Ein von Grund auf neu trainierten Agent für Verstärkungslernen muss zahlreiche Kombinationen aus Zuständen und Aktionen ausprobieren. Viele korrekte Handlungen sind an sich nicht komplex, was dem Agenten wirklich fehlt, ist die Urteilskraft darüber, „welches Verhalten angemessener ist“.

GPT hat bereits eine große Menge an Weltwissen aus Texten aufgenommen. Sprache kann Modellen helfen, Umgebungen zu beschreiben, Ziele zu verstehen, Aufgaben zu zerlegen und übergeordnete Pläne zu erstellen, und zudem den Suchbereich erheblich einengen.

Heute erinnert diese Herangehensweise leicht an Chain-of-Thought, Sprachplanung und die Arbeitsabläufe von KI-Agenten.

Die dritte von Parascandolo vorgeschlagene Richtung lautet: Künstliche Intelligenzsysteme können Aufgaben zurücksetzen, zu beliebigen Zuständen im Gedächtnis zurückkehren, kontrafaktische Szenarien konstruieren und zudem Zeit, Gravitation und Beobachtungsergebnisse im Simulator anpassen. Das System kann sogar seine eigenen Aktivierungswerte und Gewichte des neuronalen Netzes direkt lesen, kopieren und modifizieren.

Das bedeutet im Klartext, den Lernprozess selbst in den Handlungsspielraum des Agenten einzubeziehen. Er kann gezieltes Üben durchführen, spezielle Trainingsszenarien erstellen, vorhandenes Wissen transferieren und anhand fehlgeschlagener Abläufe neu lernen.

In den Folien von vor fünf Jahren stand fast die gesamte Roadmap der heutigen Inferenzmodelle geschrieben.

Wir haben zudem einen Blogbeitrag ausgegraben, den er im Juni 2021 verfasst hat, mit dem Titel „Backpropagation, Evolution und der Irrtum mit den ‚zwei Hunden‘“.

Dieser Blogbeitrag widerspricht hauptsächlich der Ansicht, dass „neuronale Netze riesige Datenmengen benötigen und daher nicht dem menschlichen Gehirn ähneln“.

Parascandolo ist der Ansicht, dass Menschen bereits nach dem Ansehen weniger Hunde lernen, diese zu erkennen, was nicht bedeutet, dass sie zuvor keine Erfahrung gesammelt haben. Die lange Evolution hat die Erfahrungen der Vorfahren im Umgang mit der Welt in die Struktur und die induktiven Vorurteile des menschlichen Gehirns einfließen lassen.

Aus dieser Perspektive lässt sich das umfangreiche Vortraining neuronaler Netze mit der biologischen Evolution vergleichen, während die Feinabstimmung des Modells und das Lernen im Kontext dem Lernen im Laufe des Lebens eines Individuums ähneln. Die von GPT-3 gelesenen Texte übersteigen bei weitem die jeder einzelnen Person, aber sein Vortraining übernimmt die Aufgabe, riesige Erfahrungsmengen zu komprimieren und eine effiziente Lernfähigkeit zu formen. Daher lassen sich die gesamten Vortrainingsdaten des Modells nicht direkt mit den wenigen Lernbeispielen eines Menschen nach seiner Geburt vergleichen.

Dieses Verständnis bedeutet zudem, dass die weitere Erweiterung von Daten und Rechenkapazität noch deutliche Verbesserungen bringen kann. Er verglich die Funktionsweisen beider Seiten, ohne zu behaupten, dass die spezifischen Mechanismen des Gradientenabstiegs und der biologischen Evolution identisch sind.

Welcher Hintergrund hat dieser junge Mann?

Der Kollege ist sehr zurückhaltend: Sein letzter Beitrag auf X stammt aus November 2024, als er zwei Forschungsingenieure (RE) und Softwareingenieure (SWE) für o1 einstellte.

Laut seiner persönlichen Homepage dreht sich