OpenAI veröffentlicht die Geheimnisse der Selbstevolution von GPT-5.6, und es wurde bekannt, dass Weng Li zurückkehrt.

Nachrichten von Zhidongxi vom 30. Juli: In den frühen Morgenstunden heute wurden vier große Neuigkeiten von OpenAI veröffentlicht:

1. OpenAI gibt neue Fortschritte bekannt, dass GPT-5.6 damit beginnt, sich selbst zu optimieren: Mit GPT-5.6 Sol werden die GPU-Kerne in der Produktionsumgebung optimiert, wodurch die Bereitstellungskosten der Inferenzdienste um 20 % stark sinken; durch die Optimierung der spekulativen Dekodierungstechnologie steigt die Effizienz der Token-Generierung um mehr als 15 %.

2. Im Bereich der selbstevolutionären KI-Forschung holt OpenAI möglicherweise einen weiteren Top-Mitarbeiter zurück: Wie bekannt wurde, wird Lilian Weng, Mitbegründerin des gerade ausgeschiedenen US-KI-Unicorns Thinking Machines Lab, wieder zu OpenAI stoßen, um das Unternehmen bei der Forschung zur selbstevolutionären KI zu unterstützen.

3. Neue Nachrichten zur mit Spannung erwarteten Hardware-Entwicklung von OpenAI: Greg Brockman, Präsident von OpenAI, hat durchblicken lassen, dass OpenAI derzeit an KI-Hardware arbeitet und „Benutzer sie sehr bald sehen könnten“. Zur Form des Geräts meinte er, dass die Menschen in den allermeisten Fällen wählen würden, mit einem Computer zu sprechen.

4. Die Produktgröße von OpenAI bricht einen neuen Rekord: Die Nutzerzahl übersteigt erstmals 1 Milliarde Menschen und es werden 2 Millionen Unternehmen bedient.

Begleitet von der durchgehenden Durchbruch bei Modellleistung, Kernpersonal und Nutzerumfang hat OpenAI in den frühen Morgenstunden heute viele Details veröffentlicht und die technischen Geheimnisse für die Selbstoptimierung der leistungsstärksten GPT-5.6-Modellreihe offengelegt.

01. Mit GPT‑5.6 Sol steigt die gesamte Effizienz der Token-Generierung um mehr als 15 %

Heutzutage übersteigt die Wachstumsgeschwindigkeit der Nachfrage nach Modelldiensten bereits die Erweiterungsgeschwindigkeit der Rechenleistung, sodass die Effizienz zum Kern aller Systemdesigns wird. Das oberste Ziel von OpenAI besteht darin, unter denselben Hardwarebedingungen mehr Dienste bereitzustellen und gleichzeitig die Intelligenz, Reaktionsgeschwindigkeit, Verfügbarkeit und Zuverlässigkeit aufrechtzuerhalten, die die Benutzer erwarten.

Dafür ist die Optimierung des gesamten Systems erforderlich, was sich hauptsächlich in der Verkehrsweiterleitung (Zielknoten für die Anforderungsverteilung), Aufgabenplanung (Ausführungszeitpunkt der Anforderungen), GPU-Kernprogrammen (untergeordnete Rechenprogramme, die auf der Grafikkarte ausgeführt werden), Cache-Mechanismus (Speichern und Wiederverwenden berechneter Ergebnisse) sowie der Implementierung des Modellcodes (Anordnungslogik der GPU-Anweisungen) widerspiegelt.

Vollschichtiges schichtweises Effizienzoptimierungsschema für GPT-5.6

Anfang dieses Monats wurde die GPT-5.6-Modellreihe von OpenAI offiziell veröffentlicht. Das Flaggschiffmodell GPT‑5.6 Sol übertrifft Claude Fable 5 in der Bewertungsliste der Programmieragenten von Artificial Analysis, und die Aufrufkosten betragen etwa 2/3 von diesem; das ausgewogene Modell Terra für die tägliche Arbeit erreicht in allen intelligenten Benchmarks das Niveau von GPT‑5.5, die Kosten betragen nur die Hälfte des letzteren; das schnelle und erschwingliche Luna ist das Modell mit der schnellsten Reaktionsgeschwindigkeit und dem höchsten Preis-Leistungs-Verhältnis in der GPT-5.6-Serie, der Preis liegt um 80 % unter dem von Sol.

Um die oben genannten Effekte zu erzielen, hat OpenAI bei seinem Designansatz zwei Schlüsselbereiche des Technologie-Stacks verbessert:

Erstens das Inferenzdienstsystem: Durch die Optimierung von Prozessen wie Lastenausgleich, spekulative Dekodierung, Cache-Mechanismus und Kernoperatoroptimierung wird die effektive Ausgabemenge unter der Voraussetzung unveränderter Hardwarekonfiguration erhöht;

Zweitens das Grundgerüst der Agentenplanung: Es werden gezielt Probleme wie die Kontextausweitung, die Logik des Toolaufrufs und Redundanz bei wiederholten Berechnungen optimiert.

GPT‑5.6 Sol hat bereits mit seiner Fähigkeit zum autonomen Betrieb bei den oben genannten Ergebnissen mitgewirkt.

Das erste Beispiel ist der Lastenausgleich: Auf globaler Ebene verteilt es die Anforderungsweiterleitung nach Faktoren wie dem geografischen Standort der Benutzer, der verbleibenden Rechenkapazität und dem Chiptyp; innerhalb eines einzelnen Clusters verteilt es die Berechnungsaufgaben auf die einzelnen Modellinstanzen nach Lastdruck, Kontextlänge, Verfügbarkeit des Caches und anderen Anforderungsmerkmalen; innerhalb jeder Modellinstanz müssen die Berechnungsaufgaben effizient auf Beschleunigungschips, Teilnetzwerke des Modells und einzelne Rechenkerne aufgeteilt und zugewiesen werden.

In diesem Prozess kann das auf Codex ausgeführte GPT‑5.6 Sol den echten Geschäftsverkehr online analysieren, die zuvor vernachlässigten Probleme mit dem Ungleichgewicht der Rechenleistung lokalisieren, neue Routing-Strategien testen und dann die Planungsregeln iterieren.

GPT‑5.6 Sol wird auch zur Optimierung der Vorwärtsberechnung des Modells verwendet, d. h. die Eingabedaten in den Vorhersagewert des nächsten Tokens umzuwandeln. Über Codex hat GPT-5.6 Sol den Kerncode von OpenAI, der für die Ausführung der mathematischen Operationen des Modells verantwortlich ist, selbst neu geschrieben und optimiert.

Denn die Forscher haben GPT-5.6 trainiert, Kerncode in den beiden Open-Source-GPU-Programmiersprachen Triton und Gluon zu schreiben und zu optimieren.

Durch die oben genannten Optimierungen werden die gesamten End-to-End-Kosten der Inferenzdienste um 20 % gesenkt.

Das zweite Mittel ist die spekulative Dekodierung: Bei diesem Mechanismus wird gleichzeitig ein kleineres Vorhersagemodell bereitgestellt, das mit dem Hauptmodell zusammenarbeitet: Ein Entwurfsmodell generiert zunächst eine Reihe von Tokens im Voraus und übermittelt sie zur parallelen Prüfung an das Hauptmodell. Wenn die vorab generierten Inhalte die Prüfung bestehen, muss das System nur eine einzige Vorwärtsberechnung des Hauptmodells durchführen, um mehrere Tokens auf einmal auszugeben, wodurch der Aufwand für serielle Berechnungen reduziert wird.

GPT‑5.6 Sol hat das zugehörige Vorhersagemodell iteriert und Hunderte von Architekturvergleichsexperimenten in Bezug auf Modellgröße, Netzwerkstruktur, Funktionsmodule usw. durchgeführt. Es kann auch den gesamten Trainingsprozess des Vorhersagemodells autonom starten und überwachen und automatisch eingreifen, wenn Ausnahmen wie Hardwarefehler und Trainingsschwankungen auftreten. Dadurch steigt die gesamte Effizienz der Token-Generierung um mehr als 15 %.

Wenn das Modell nicht zwischengespeicherte Eingabetoken verarbeitet, erstellt es über einen rechenintensiven Berechnungsvorgang einen KV-Cache, liest dann in der Phase der Generierung der Ausgabedaten den Cache wiederholt aus und erweitert ihn kontinuierlich.

Optimale Online-Dienstkonfigurationen wie Stapelverarbeitung, segmentierte Bereitstellung und KV-Cache-Verwaltung werden durch die Länge der Prompten im tatsächlichen Geschäft, die Länge des Ausgabetexts, den Stapelverarbeitungsumfang, die Trefferrate des Caches, die Attribute der Abfrageanforderungen usw. beeinflusst.

Da der Bereich der wählbaren Parameter für solche Konfigurationen in der Vergangenheit jedoch sehr groß war und keine systematische Optimierung durchgeführt werden konnte, konnten die Entwickler nur auf allgemeine Erfahrungsregeln zurückgreifen, um grobe Konfigurationen abzuschließen.

Mit Hilfe von GPT‑5.6 Sol können die Forscher die echten Online-Geschäftslasten analysieren, verschiedene alternative Konfigurationsschemata generieren und vergleichen und die verfeinerte Hyperparameter-Optimierung für die Inferenz-Engine und die Modellparameter in verschiedenen Nutzungsszenarien durchführen.

Gleichzeitig ist die Inferenzoptimierung auch ein nachhaltig betriebenes geschlossenes Rückkopplungssystem: Es erfasst die echten Betriebsdaten online, lokalisiert die hervorstechendsten Leistungsengpässe des Systems, setzt die entsprechenden Optimierungsschemata um und prüft schließlich, ob die Änderungen die Leistung des gesamten Systems verbessern können.

Wenn GPT‑5.6 Sol und Codex zusammenwirken, können alle oben genannten Umgebungen optimiert werden.

02. Vereinfachung wiederholter Arbeitsabläufe: Drei Methoden zur Optimierung des Grundgerüsts der Agentenplanung

ChatGPT Work und Codex können über aufeinanderfolgende Ketten von Modellaufrufen und Toolaufrufen verschiedene komplexe Aufgaben erledigen.

In einem einzelnen Interaktionsprozess, von der Übermittlung der Anweisung durch den Benutzer bis zur Rückgabe des Endergebnisses, muss Codex oft eine Reihe von Vorgängen ausführen, z. B. den Quellcode anzeigen, Bereitstellungsaufzeichnungen abrufen, Fehlerberichte einsehen, Dateien bearbeiten und Tests durchführen. Jeder dieser Schritte erfordert einen Modellaufruf.

Schritte wie das Zusammenbauen des Kontexts, die Datenübertragung, die Inferenzberechnung, der Toolaufruf und das Starten von Prozessen verursachen Zeit- und Rechenaufwand. Wenn eine Aufgabe 30 Modellaufrufe erfordert und jeder Aufruf eine Sekunde zusätzliche Verzögerung aufweist, summieren sich die Verluste noch weiter auf.

Ein Benutzerbetriebszyklus kann Iterationsprozesse mehrerer Modelle und Tools umfassen

Die Forscher sind der Ansicht, dass eine wesentliche Verbesserung der Gesamtleistung nicht nur durch die einfache Beschleunigung des Modells selbst erreicht werden kann, sondern auch durch die Reduzierung verschiedener wiederholter Berechnungen und redundanter Vorgänge im gesamten System.

Ihr Ansatz besteht darin, das Grundgerüst der Agentenplanung zu gestalten, einschließlich dreier Maßnahmen: die Ausweitung des Kontexts steuern, den Lademechanismus der Tools optimieren und bereits vorhandene Berechnungsergebnisse wiederverwenden, um redundante Informationen zu reduzieren und die Wiederverwendung von Ergebnissen einfacher und genauer zu gestalten.

1. Vermeidung unnötiger redundanter Informationen

Agenten können mehr Tools aufrufen und Zugriff auf den Gesprächsverlauf erhalten usw. Das Kontextfenster neigt leicht zu redundanter Ausweitung, was die Aufrufkosten erhöht, die Urteilsfähigkeit des Modells stört und sogar eine große Anzahl ungültiger Inferenzberechnungen auslöst.

Auf dieser Grundlage reduziert das Agentenplanungsgerüst den Overhead durch einen Mechanismus für verzögertes Laden und Abrufen: Verschiedene integrierte Komponenten, benutzerdefinierte MCP-Tools, Funktionsmodule und Plugins werden nur dann in den Kontext geladen, wenn sie tatsächlich aufgerufen werden.

Gleichzeitig kann dieses Framework verhindern, dass einzelne Tools und MCP-Integrationsprogramme den Kontextraum unbegrenzt belegen. Das System beschränkt standardmäßig die Ausgabedaten, die von den Tools zurückgegeben werden, auf weniger als 10000 Token, und das Modell kann eine Anpassung dieses Grenzwerts nach den geschäftlichen Anforderungen beantragen.

2. Beibehalten des genauen Präfixes, das für den Prompt-Cache verwendet wird

Wie bereits erwähnt, werden im Aufgabenzyklus des Agenten in einem einzelnen Interaktionszyklus dieselben Anweisungen, Gesprächsverläufe, Tooldefinitionen und vergangenen Berechnungsergebnisse wiederholt an die GPU zur Berechnung übermittelt. Der Prompt-Cache-Mechanismus kann die Berechnungsergebnisse wiederverwenden, die dem Präfix der bereits berechneten Prompten entsprechen.

Um diesen Inhalt des Präfix-Caches stabil zu erhalten, legt das Agentenplanungsgerüst alle historischen Daten, die für das Modell sichtbar sind, in den Nur-Append-Schreibmodus fest: Neue Nachrichten, von Tools zurückgegebene Daten und Informationen zu Umgebungsänderungen werden nur am Ende des Kontexts angehängt, ohne dass die vorherigen Kontextinhalte eingefügt oder geändert werden.

Das Framework übermittelt verschiedene Toolinformationen in einem festen geordneten Format an das Modell. Zum Beispiel werden Laufzeitkonfigurationsparameter wie Genehmigungsregeln für Berechtigungen auch in der Ausführungsphase der Aufgabe dynamisch wirksam, anstatt fest in die Tooldefinitionsdatei geschrieben zu werden.

03. GPT‑5.6 Sol kann das zweidimensionale Rätsel nicht lösen, was an der API-Konfiguration liegt

Zuvor hat GPT‑5.6 Sol bereits lange bestehende offene mathematische Probleme wie die Vermutung der Kreisabdeckung gelöst, aber im Bewertungsmaßstab für zweidimensionale Rätsel ARC-AGI-3 liegt die Genauigkeitsrate von GPT‑5.6 Sol nur bei 7,8 %. Das Vorgängermodell GPT‑5.5 kann diese Rätselaufgabe fast nicht lösen, die Punktzahl liegt nur bei 0,4 %.

Für ARC-AGI-3 wurde ein sehr einfaches allgemeines Agentenplanungsgerüst verwendet, an das keine Tools und exklusiven Erweiterungsfunktionen angehängt wurden. Sein Designansatz besteht darin, ein leichtgewichtiges Planungsgerüst zu verwenden, um die Fähigkeitsdefizite des Modells selbst intuitiver aufzudecken und auch den horizontalen Vergleich zwischen verschiedenen Modellen objektiver zu gestalten.

Im Fall von ARC-AGI-3, als die Forscher zwei standardmäßig in ChatGPT und Codex verwendete API-Konfigurationen aktivierten: die Speicherung der Inferenzerinner