Es ist zweifelsfrei bestätigt, dass GPT-5.6 sich selbst optimiert, und das neue Phänomen des "linken Fußes tritt auf den rechten Fuß, um sich selbst nach oben zu befördern" ist bereits aufgetaucht.

OpenAIs RSI-Verbrennungstechnik ist da!

Kurz nachdem Jensen Huang auf X seine Stimme erhoben und die Öffnung der Gewichte gefordert hat, ist OpenAI plötzlich ebenfalls "offen" geworden ~

In dem neuesten technischen Bericht haben sie einen Teil des "Geheimnisses" von RSI (rekursive Selbstevolution von KI) offen gelegt:

Lassen Sie GPT-5.6 mit sich selbst auf die Sprünge helfen, und beginnen Sie, das System, auf dem es läuft, selbst zu modifizieren.

Dem Bericht zufolge wurde GPT-5.6 bereits in der echten Produktivumgebung von OpenAI eingesetzt, um Online-Datenverkehr zu analysieren, Anfrage-Routen anzupassen und sogar direkt den zugrunde liegenden Kernel neu zu schreiben sowie das spekulative Dekodierungsmodell zu optimieren.

Nach einer Reihe von Maßnahmen sind die End-to-End-Dienstkosten von OpenAI um 20 % gesunken, und die Effizienz der Token-Generierung hat sich um mehr als 15 % verbessert.

Darüber hinaus ist erwähnenswert, dass unter den fünf Autoren, die dieses Ingenieursprojekt veröffentlicht haben, auch der berühmte Vater von Triton, Philippe Tillet, steht.

Als OpenAI 2021 Triton 1.0 veröffentlichte, war das Ziel, dass auch Personen ohne Kenntnisse von CUDA GPU-Programme schreiben können, die fast das Niveau von Experten erreichen.

Fünf Jahre später hat GPT-5.6 bereits damit begonnen, mit Triton seinen eigenen zugrunde liegenden Code neu zu schreiben, der auf GPUs ausgeführt wird.

Von der Anleitung für Menschen, Kernel zu schreiben, bis hin dazu, dass das Modell selbst seine eigenen Kernel modifiziert – das schmeckt immer mehr nach RSI.

(Kein Wunder, dass Weng Li zu ihrem alten Arbeitgeber zurückgekehrt ist. Für die Entwicklung von RSI muss man einfach bei OpenAI sein.)

RSI-Verbrennungstechnik: Beginnt mit der Optimierung der untersten Ebene

Dieses Ereignis ist besonders bemerkenswert, da es bereits deutliche Anzeichen von RSI aufweist.

Das sogenannte RSI, also die rekursive Selbstverbesserung, bedeutet im Klartext:

Lassen Sie die KI in eine Rückkopplungsschleife eintreten, in der sie "sich selbst verbessert" – nachdem ihre Fähigkeiten in dieser Runde gestärkt wurden, beschleunigt sie wiederum die nächste Aktualisierung.

Natürlich ist GPT-5.6 noch weit davon entfernt, die RSI vollständig zu realisieren, bei der GPT die nächste Generation von GPT automatisch trainiert.

Aber es hat bereits begonnen, an der Optimierung seiner eigenen Laufumgebung teilzunehmen: Das Modell ist nicht mehr nur ein Werkzeug, das von Ingenieuren bereitgestellt und aufgerufen wird, sondern wird nach und nach zu einem Ingenieur, der das Modellsystem selbst modifiziert.

Konkret hat es vier Dinge getan.

1. Analyse des echten Produktivverkehrs von OpenAI.

GPT-5.6 sucht nach ungleicher Lastverteilung zwischen verschiedenen Maschinen und Dienstknoten, testet neue Routing-Strategien und verteilt Anfragen an die am besten geeigneten Stellen.

2. Neuschreiben und Optimieren von Produktiv-Kerneln.

GPT-5.6 taucht tief in den Forward-Pass des Modells ein, sucht nach Teilen, die vorab berechnet, weggelassen oder parallel ausgeführt werden können, und schreibt dann die Triton- und Gluon-Kernel in der Produktivumgebung über Codex neu.

3. Optimierung des eigenen spekulativen Dekodierungssystems.

GPT-5.6 entwirft Lösungen für sein eigenes Draft-Modell und führt automatisch Hunderte von Experimenten durch, um verschiedene Modellgrößen, Strukturen und Merkmale zu testen.

Während des Trainings überwacht es die Experimente kontinuierlich und greift aktiv ein, wenn Hardware-Fehler auftreten oder das Training instabil wird.

4. Selbstständiges Suchen nach optimalen Bereitstellungsparametern für verschiedene Aufgaben.

Bei unterschiedlichen Lasten wie kurzen Dialogen, langen Kontexten und Code-Aufgaben sucht GPT-5.6 automatisch nach einer besseren Kombination aus Batching, Sharding und KV-Cache-Verwaltung.

Zusammengenommen geht es bei den vier Dingen, an denen GPT-5.6 beteiligt ist, nicht mehr um eine einzelne isolierte Codierungsaufgabe, sondern um eine echte technische Rückkopplungsschleife:

Beobachten des Produktivsystems, Erkennen von Engpässen, Vorschlagen von Lösungen, Durchführen von Experimenten, Beheben von Fehlern und anschließendes Bereitstellen der wirksamen Verbesserungen zurück in dem System, auf dem es selbst läuft.

Der Mensch befindet sich immer noch in der Schleife

Natürlich entwickelt sich RSI nicht so schnell. Der Mensch befindet sich immer noch in der Schleife, also im sogenannten "Human in the Loop".

Obwohl GPT-5.6 begonnen hat, sich selbst zu modifizieren, werden die Optimierungsziele, die Berechtigungen für Werkzeuge, die Bewertungsmetriken und die Entscheidung, ob Code in die Produktivumgebung aufgenommen werden darf, immer noch von Menschen getroffen.

Darüber hinaus gibt es außerhalb des Modells noch viele wiederholte Kosten, selbst nachdem interne Optimierungen im Modell vorgenommen wurden.

Beispielsweise müssen ChatGPT Work und Codex bei der Ausführung komplexer Aufgaben häufig ständig folgende Schritte durchlaufen:

Modell denkt – Werkzeug wird aufgerufen – Ergebnis wird gelesen – Denken wird fortgesetzt.

Hinter einer einzelnen Benutzeranfrage können mehr als zehn oder sogar Dutzende Schleifen stecken.

Wenn eine Aufgabe 30 Aufrufe des Modells erfordert und jeder Aufruf nur 1 Sekunde zusätzliche Verschwendung verursacht, summiert sich das zu 30 Sekunden.

Kontext, Werkzeugbeschreibungen und historische Ergebnisse werden in jeder Schleife wiederholt übertragen und berechnet.

Aus diesem Grund hat OpenAI eine Schicht von Agent Harness erstellt, die in Rust geschrieben ist und das Modell, die Werkzeuge und die Benutzeroberfläche verbindet, um wiederholte Arbeiten in der Agent-Schleife gezielt zu reduzieren.

Hier gibt es zwei entscheidende Optimierungen.

1. Verzögerte Offenlegung: Geben Sie dem Modell nicht sofort alle Werkzeuge zur Verfügung

Heutige Agenten können eine große Anzahl von Werkzeugen, Fähigkeiten, Plugins und benutzerdefinierten MCPs verwenden, aber eine einzelne Aufgabe erfordert normalerweise nur einen sehr kleinen Teil davon.

OpenAI fügt nicht mehr alle Anleitungen von Anfang an in den Kontext ein, sondern zeigt dem Modell die entsprechenden Werkzeuge erst, wenn sie wirklich benötigt werden.

Standardmäßig sind die von den Werkzeugen zurückgegebenen Inhalte auf maximal 10.000 Token beschränkt. Wenn mehr benötigt werden, fordert das Modell dies aktiv an.

2. Nur Anhängen, kein Zurückschreiben: Lassen Sie den Prompt-Cache dauerhaft gültig bleiben

Der Prompt-Cache kann bereits berechnete Kontextpräfixe wiederverwenden, unter der Voraussetzung, dass dieses Präfix vollständig unverändert bleibt.

Aus diesem Grund werden neue Nachrichten und Werkzeug-Ergebnisse nur am Ende des Kontexts angehängt und nicht mehr in alte Inhalte eingefügt. Die Werkzeuge behalten eine feste Reihenfolge bei, während Genehmigungen und Berechtigungseinstellungen bis zur Ausführungsphase aufgeschoben werden.

Auf diese Weise kann die GPU die vorherige Berechnung direkt wiederverwenden und nur die in dieser Runde neu hinzugefügten Inhalte verarbeiten.

Man kann sagen, dass eine einzelne Schleife vielleicht nur wenig Zeit einspart, aber wenn Tausende von Agenten täglich Dutzende von Schleifen durchlaufen, summieren sich die Einsparungen zu einem beträchtlichen Wert.

Daher stammt diese Effizienzoptimierung eigentlich aus zwei Kräften: Auf der einen Seite hilft GPT-5.6, das Modell zu optimieren; auf der anderen Seite säubern Menschen weiterhin die wiederholten Arbeiten in der Laufumgebung des Modells.

Der Mensch befindet sich immer noch in der Schleife, aber die KI in der Schleife hat bereits damit begonnen, selbst den Schraubenschlüssel in die Hand zu nehmen.

Je besser die KI funktioniert, desto häufiger wird sie verwendet

Neben der Beteiligung von GPT-5.6 an der Optimierung seiner selbst hat OpenAI in dem Bericht noch ein weiteres Detail offengelegt:

Während der internen Testphase von GPT-5.6 überstieg die durchschnittliche tägliche Token-Ausgabe pro aktivem Forscher mehr als das Doppelte des Spitzenwerts in der Zeit von GPT-5.5.

In den letzten sechs Monaten hat sich der Anteil der Forschungsrechenleistung von OpenAI, die für interne Programmier- und Inferenzaufgaben verwendet wird, um das 100-fache erhöht, und der interne Verbrauch von Agent-Token hat sich um etwa das 22-fache gesteigert.

Diese Zahlen belegen natürlich nicht direkt, dass die Forschungsgeschwindigkeit von OpenAI sich ebenfalls um das 100-fache verbessert hat.

Aber sie zeigen zumindest eines:

Sobald KI günstiger und benutzerfreundlicher wird, wird ihre Nutzung nicht abnehmen, sondern stetig zunehmen.

Referenzlinks

[1]https://openai.com/index/gpt-5-6-frontier-intelligence-efficiency/

[2]https://deploymentsafety.openai.com/gpt-5-6/introduction

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „QbitAI“, Autor: Fokus auf Spitzentechnologie, veröffentlicht mit Genehmigung von 36Kr.