Ehemaliger Mitbegründer von OpenAI: Wo hakt es eigentlich bei der rekursiven Selbstverbesserung?

Der bekannte US-amerikanische Podcast-Moderator Dwarkesh Patel hat kürzlich drei Forscher eingeladen, die bei führenden KI-Unternehmen arbeiten, um eine tiefgehende Diskussion über die technischen Engpässe und Perspektiven des rekursiven Selbstverbesserungsprozesses von KI (RSI) zu führen. Die drei Gäste stammen jeweils aus verschiedenen „quasi-offenen“ Unternehmen und sind bereit, öffentlich über echte technische Einschätzungen und Meinungsverschiedenheiten zu sprechen.

Es handelt sich um Beren Millidge, Chief Technology Officer des Open-Source-KI-Unternehmens Zyphra, John Schulman, Chief Scientist von Thinking Machines (ehemals Mitbegründer von OpenAI, der einst die Arbeit zum Reinforcement Learning aus menschlichem Feedback (RLHF) leitete, das zur Entstehung von ChatGPT führte) sowie Charlie O'Neill, Leiter des Modelltrainings bei der Modelltrainingsplattform Baseten.

Über die Frage, ob RSI eintreten wird, bestehen zwischen den drei Gästen Unterschiede, aber es gibt einen grundlegenden Konsens: Der aktuelle technische Weg weist mehrere ungelöste Engpässe auf, und RSI wird nicht so schnell eintreten, wie einige Menschen erwarten. Millidge ist der Ansicht, dass das wahrscheinlichste Hindernis nicht die Technik, sondern die Regulierung ist. Schulman weist darauf hin, dass das „Geschmacksvermögen“ und die langfristige Urteilsfähigkeit des Modells immer noch deutlich schwächer sind als die des Menschen. O'Neill hingegen glaubt, dass der kritische Engpunkt darin liegt, ob die KI in der Lage ist, Forschungsziele selbstständig festzulegen, anstatt nur bereits vorhandene Ziele zu optimieren.

Bezüglich des Aufholprozesses chinesischer Labore verweisen die Diskussionen der Beteiligten auf mehrere strukturelle Faktoren: Die Destillation selbst erfordert nur wenige Trajektorien, um Fähigkeiten zu replizieren, und ist die Hauptkraft zur Bekämpfung der Zentralisierung. Führende Labore kaufen Daten von großen Datenunternehmen, und chinesische Unternehmen können dieselben Daten erwerben. Darüber hinaus ist die Verteilung der Nutzer in der realen Welt wichtiger als die RL-Umgebung selbst, sodass der Vorteil führender Labore in der RL-Umgebung möglicherweise nicht so groß ist wie angenommen.

Über die Wirksamkeit des Reinforcement Learning (RL) weist Millidge darauf hin, dass viele Erfolge, die dem RL zugeschrieben werden, tatsächlich aus dem mittleren Training stammen. RL selbst ist nur eine Strategie-Feinabstimmung, deren Signal-Rausch-Verhältnis jedoch weitaus höher ist als das der überwachten Feinabstimmung (SFT). O'Neill stellte fest, dass die Hauptgeneralisierung, die durch RL entsteht, nicht horizontal ist (das Training in Mathematik macht dich nicht zum besten Programmierer), sondern sich über die Zeitspanne erstreckt: Das Modell lernt, über längere Aufgaben hinweg kontinuierlich zu arbeiten.

Bezüglich der Zeitachse unterscheiden sich die Einschätzungen der Gäste erheblich: Es dauert ein bis drei Jahre, bis KI zu einem umfassenden Telearbeiter wird, etwa zwei Jahre, um die Produktivität von KI-Forschern um das Zehnfache zu steigern, und drei bis zehn Jahre, bis KI in allen Bereichen die Top-Experten der Menschheit übertrifft.

Im Folgenden ist das vollständige Interview mit Millidge, Schulman und O'Neill zu sehen, das von Tencent Technology redaktionell bearbeitet wurde und ohne Änderung des ursprünglichen Sinns Kürzungen und Anpassungen enthält:

01 Wenn es im Jahr 2036 keine Superintelligenz gibt, woran wird es höchstwahrscheinlich scheitern?

Patel: Wenn es bis zum Jahr 2036 keine Milliarden von wild laufenden Superintelligenzen auf der Welt gibt, was ist der wahrscheinlichste technische Grund? Schließen Sie externe Faktoren wie politische Schocks, Kriege oder Verbote aus.

Millidge: Es gibt eine Möglichkeit, die dem „Moravec-Paradoxon“ ähnelt. Die KI könnte bei allen Benchmark-Tests hervorragende Leistungen erbringen, aber es gibt immer eine hartnäckige Sim-to-Real-Lücke (d. h. die Kluft zwischen Simulation und Realität), die sie daran hindert, echte Generalisierung zu erreichen.

Wenn es schwierig ist, generalisierendes Meta-Lernen zu realisieren und kontinuierliches Lernen nicht funktioniert, könnte die KI für immer auf Benchmarks extrem stark sein, aber in der realen Welt fehlt ihr noch das letzte Quäntchen. Aber ehrlich gesagt können wir in der Praxis bereits Anzeichen der Generalisierung durch RL sehen, daher halte ich die Wahrscheinlichkeit dieses Szenarios für gering. Das wahrscheinlichste Hindernis kommt von der Regulierung.

(Anmerkung: Das Moravec-Paradoxon ist ein kontraintuitives Phänomen im Bereich der KI. Einfach ausgedrückt ist es für Computer einfach, schwierige logische Schlussfolgerungen durchzuführen, aber es ist schwierig, einfache menschliche Wahrnehmungen und Handlungen zu imitieren.)

Schulman: Jedes Mal, wenn ein neues Modell veröffentlicht wird, rufen die Menschen aus „Das ist AGI“, aber nach etwa einem Monat beginnen sie, es für dumm zu halten. Dieser Zyklus wird sich wahrscheinlich wiederholen. Selbst wenn das Modell weitaus mehr Code schreiben kann als Menschen, bedeutet das nicht, dass Ihre Produktivität um das 100-fache gestiegen ist. Sie werden immer noch von den schwachen Stellen des Modells aufgehalten, von den Stellen, an denen sein Urteilsvermögen nicht gut genug ist.

O'Neill: Für mich ist das Kernproblem, wie weit das aktuelle Schema aus Transformer + RL vom globalen Optimum entfernt ist. Die Menschen stellen sich vor, dass sobald Sie einen KI-Forscher haben, der um 0,1 % stärker ist als alle Menschen, und ihn mit Hunderttausenden parallelen Instanzen multiplizieren, alle Engpässe überwunden werden können.

Aber wenn ein weiterer diskontinuierlicher Durchbruch erforderlich ist, der dem Übergang von den Gesetzen der Vor trainingsskalierung zu RL in früheren Jahren ähnelt, kann die aktuelle Methode ihn möglicherweise nicht entdecken. Wenn dieser Durchbruch zu weit vom aktuellen Paradigma entfernt ist, ist es unwahrscheinlich, dass man ihn findet, egal wie viele LLM man ausführt.

Patel: Glauben Sie, dass dieser Durchbruch schwieriger sein wird als jeder Durchbruch seit 2012?

O'Neill: Wenn wir die Antwort wüssten, hätten wir sie wahrscheinlich bereits realisiert. Aber die Schlüsselfrage lautet: Ist dieser Durchbruch kumulativ und innerhalb des aktuellen Paradigmas auffindbar, oder müssen Sie den Gradientenabstieg und die neuronalen Netze vollständig verwerfen? Im letzteren Fall ist es unwahrscheinlich, dass Sie ihn entdecken, egal wie viele LLM Sie ausführen.

Patel: Ich möchte eine gegenteilige Ansicht vorbringen. Wenn Deep Learning sich in den nächsten Jahren weiter entlang der Linie der letzten zehn Jahre entwickelt, aber immer noch nicht in der Lage ist, die KI die wissenschaftliche Forschung dominieren zu lassen, wäre das im Gegenteil seltsam. Ryan Greenblatt ist der Ansicht, dass sobald die KI ihre Forschungs- und Entwicklungsfähigkeiten durch Simulation kontinuierlich verbessern kann, sie schnell das menschliche Forschungsniveau überschreiten könnte, genau wie der Bruch, der auftrat, nachdem Schach-KI die menschliche Elo-Bewertung überschritten hatte.

Millidge: Ich stimme zu. Wenn die KI nicht darüber hinauskommt, ist die wahrscheinlichste Erklärung, dass sie bei Annäherung an das menschliche Niveau einen Fähigkeitsengpass erleidet oder einer starken Regulierung unterliegt. Im Vergleich zu technischen Engpässen halte ich letzteres für realistischer.

O'Neill: Der Schlüssel liegt darin, dass es zwei Arten von wissenschaftlicher Forschung gibt. Eine Art hat klare Ziele und kann ständig optimiert werden. Die andere Art erfordert die Aufstellung völlig neuer Fragen und Paradigmen, und diese Ziele selbst können nicht im Voraus definiert werden. Letzteres ist der Ort, an dem KI wirklich schwer zu durchbrechen ist.

Patel: Was ist der letzte Schritt bei der Automatisierung der menschlichen KI-Forschung und -Entwicklung?

Millidge: Das Schwierigste zu automatisieren ist nicht die Durchführung von Experimenten, sondern iterativ die richtigen Fragen zu stellen. Die KI kann jedes Experiment für Sie durchführen, weiß aber möglicherweise nicht, welches Experiment durchgeführt werden soll. Wenn sie über Forschung spricht, wirft sie meist verstreute kleine Schritte hervor – sie ist gut darin, bereits vorhandene Richtlinien voranzutreiben, aber schlecht darin zu beurteilen, welche Richtlinien es wert sind, vorangetrieben zu werden.

O'Neill: Die Auswahl der richtigen Richtung ist sogar noch seltener als technische Entdeckungen. Von DeepMinds „Intelligenz durch Spielen von Spielen lösen“ bis Radfords „Versuchen, das nächste Wort in massiven Daten vorherzusagen“ geht es nicht nur um die Technik selbst, sondern auch um die Aufstellung des Skalierungsgesetzes und den Glauben, dass es zuverlässig vorhergesagt werden kann. Selbst nachdem Radford die Richtung entdeckt hatte, brauchten die Menschen lange, um sich zu entscheiden, darauf zu setzen. Jeder Schritt – die Richtung zu entdecken, an sie zu glauben und auf sie zu setzen – kann ins Stocken geraten.

Schulman: Ziele definieren und entscheiden, was wir eigentlich wollen. Selbst wenn die KI alle technischen Arbeiten erledigen kann, müssen wir immer noch entscheiden, wie der KI-Assistent sich verhalten soll, was als hilfreich gilt und was die Ziele von RLHF sind.

Die Ausrichtung selbst kann in zwei Teile unterteilt werden: die Festlegung von Zielen und die Umsetzung von Zielen. Ersteres wird kurzfristig nicht automatisiert. Denken Sie darüber nach, warum ein Nachbearbeitungsteam so viele Menschen benötigt – das liegt daran, dass es in zu vielen verschiedenen Bereichen klar werden muss, wie sich das Modell verhalten soll.

02 Warum chinesische Labore so schnell aufholen

Patel: Warum gibt es keine massive Konsolidierung unter den Modellanbietern? Viele Faktoren deuten auf Zentralisierung hin.

Schulman: Die Destillation ist die Hauptkraft zur Bekämpfung der Zentralisierung. Alles, was durch RL gelernt werden kann, lässt sich leicht destillieren, da es nur wenige Daten erfordert. Wenn Sie Trajektorien erhalten, die ein bestimmtes Verhalten aus dem Modell zeigen, können Sie es leicht destillieren. Es gibt noch ein weiteres bemerkenswertes Phänomen.

Einige chinesische Unternehmen verwenden möglicherweise Proxy-Dienste, die ursprünglich dazu gedacht waren, chinesischen Benutzern den Zugriff auf blockierte führende US-Modelle zu ermöglichen. Diese Proxy-Dienste sammeln und verkaufen Daten. Dies ist ein sehr nützlicher Datensatz für die Destillation, da er eine perfekte Prompt-Verteilung bietet.

Millidge: Führende KI-Labore kaufen Daten von großen Datenunternehmen, und chinesische Unternehmen können dieselben Daten von denselben Datenunternehmen kaufen. Sie können genau dieselben Daten erwerben, und mit der Destillation ist es tatsächlich ziemlich einfach, aufzuholen.

O'Neill: Daraus lässt sich eine konkrete Vorhersage ableiten. Sonnet 5 und Opus 5 sind in mancher Hinsicht objektiv schlechter als GLM-5.3 und Kimi K3, selbst wenn sie die Mythos-Logit-Destillation nutzen können. Das zeigt, dass die Verteilung der Nutzer in der realen Welt wichtiger ist als die RL-Umgebung selbst. Der Vorteil führender Labore in der RL-Umgebung ist möglicherweise nicht so groß wie angenommen.

Patel: Dann ist die Bereitstellung in der realen Welt wichtiger als die Umgebung?

Schulman: Ich stelle eine andere Hypothese vor. Die Umgebung hat zwei Dimensionen: Schwierigkeit und Authentizität. Es ist relativ einfach, den Schwierigkeitsgrad zu erhöhen, indem man eine große Anzahl anspruchsvoller puzzleähnlicher Aufgaben erstellt.

Aber die Authentizität ist eine andere Sache – sie erfordert menschliches Feedback, um die Belohnungsfunktion zu definieren. Wenn die Destillation nur auf der Verteilung des „Benchmark-Jagens“ durchgeführt wird, kann das Schülermodell die Leistung des großen Modells bei allen Benchmarks erreichen, aber in breiteren realen Szenarien schlechter abschneiden.

Große Modelle sind möglicherweise besser in der Generalisierung von engen Aufgaben zu realen Aufgaben. Dies könnte auch die Probleme einiger kleinerer Modelle von Anthropic wie Sonnet 5 erklären. Natürlich ist es auch möglich, dass sie am Nachbearbeitungsstapel ständig Anpassungen vornehmen, bestimmte Dinge zu hoch einstellen und dadurch Eigenarten erzeugen, die auf Benchmarks nicht sichtbar sind.

03 Was wird eigentlich trainiert, wenn man KI-Forscher trainiert

Patel: Wie wird das erste Modell trainiert, das die KI-Forschung und -Entwicklung automatisieren kann?

Schulman: Wahrscheinlich eine Kombination aus zwei Wegen. Man lernt den Geschmack des Forschers aus menschlichem Feedback und erstellt gleichzeitig eine große Anzahl von Übungsumgebungen, die mehrstufige Forschungsprojekte umfassen. Bei jeder Iteration werden die schlechtesten Teile der vorherigen Runde behoben. Die Forscher nutzen KI intensiv, bemerken ihre konsistenten Schwächen und beheben sie dann, indem sie menschliches Feedback sammeln oder Umgebungen erstellen.

O'Neill: Die aktuelle praktische Vorgehensweise besteht darin, dass wir an die Spitze der Spektrums gehen und die Fehler, die das Unternehmen in den letzten Monaten im Trainingsstapel entdeckt hat, in Umgebungen umwandeln. Sie müssen an der Spitze trainieren und Fortschritte machen, also sperren Sie die gesamte vorherige Geschichte ein.

Sie können sich eine Welt vorstellen, in der Sie die Zeitachse vor GRPO zurückrollen und dann Umgebungen entwerfen, damit die KI die optimale RL-Form entdeckt. Aber ich denke, wir sind immer noch durch die Rechenleistung eingeschränkt, daher werden die Leute weiterhin an der Spitze bleiben und die Fortschritte der letzten Monate differenzieren, um sie zu Trainingsumgebungen zu machen.

Das ist im Wesentlichen Destillation. Sie versuchen immer, die Fortschritte der letzten drei Monate einzuholen. Diese Fortschritte haben natürlich Beiträge von KI, aber Menschen sind immer noch im Kreislauf. Es fühlt sich an, als würde man sich ständig Zentimeter für Zentimeter dem Niveau menschlicher Forscher nähern.

Millidge: Aber es gibt einen entscheidenden Unterschied. Die Destillation auf Trajektorienebene kann den Lehrer niemals übertreffen. Aber Umgebungen können weit über menschliche Fähigkeiten hinausgehen. Es ist sehr einfach, eine Umgebung zu entwerfen, die Menschen nicht lösen können, aber die KI versuchen kann. Zum Beispiel sagen Sie, dass der Verlust 1,3 erreichen muss – kein Mensch kann das jetzt tun, aber das ist eine extrem messbare und überprüfbare Aufgabe. Das ist der Weg, um die menschliche KI-Forschung zu übertreffen.

Schulman: Viele Forschungen laufen nicht so, als würde man auf ein klares Ziel hinaufklettern. Meistens ist es so: Wir haben eine Intuition, wie sich das Modell verbessern soll, und es gibt eine algorithmische Idee, die ungefähr in diese Richtung geht. Also entwerfen wir eine Aufgabe, um zu prüfen, ob es Anzeichen von Leben in dieser Richtung gibt. Wenn ja, bauen wir schrittweise