Gerade eben ist das neue Transformer von OpenAI viral gegangen, und die Astra-Architektur wurde erstmals öffentlich bekannt gemacht.
Leute, habt ihr das schon gehört?
Die nächste Generation von OpenAI, Astra, verwendet eine neue Inferenzmethode namens „rekurrente Tiefe“ (recurrent depth).
Die Anzahl der Denk-Tokens wird stark reduziert, während die Leistung sprunghaft ansteigt!
Kein Wunder, dass die im Grautest befindliche Astra so leistungsstark ist – OpenAI hält tatsächlich ein echtes technisches Ass im Ärmel.
Aber der Preis dafür ist, dass der Denkprozess von Astra vollständig „unsichtbar“ geworden ist. Sogar OpenAI selbst kann das Gehirn der KI kaum durchschauen, und die Überwachung wird noch viel schwieriger.
Sobald die Nachricht bekannt wurde, geriet das gesamte Internet in Panik.
Jakub Pachocki, Chefwissenschaftler bei OpenAI, reagierte umgehend darauf –
Bei den modernsten internen Modellen (einschließlich Astra) beträgt die Tiefe ihres Berechnungsgraphen höchstens das Doppelte von GPT-4, es ist nicht so phantastisch wie von außen behauptet.
Fast gleichzeitig enthüllte ein großer Influencer, dass der Name gpt-6-astra bereits in der OpenAI-API aufgetaucht ist.
So wie es aussieht, wird GPT-6 voraussichtlich morgen online gehen.
Woher stammt eigentlich die neue Architektur dahinter?
„Looped Transformer“ erobert das gesamte Internet
Die „rekurrente Tiefe“ hat einen anderen Namen, nämlich „Looped Transformer“.
Tatsächlich wurde dieses Konzept nicht erstmals von OpenAI vorgeschlagen.
Davor hat die gesamte Branche bereits zahlreiche Forschungen zum „Looped Transformer“ durchgeführt.
Um zu verstehen, worin sich Astra verbessert hat, muss man zunächst wissen, wie herkömmliche große Modelle funktionieren.
Ein herkömmlicher Transformer gleicht einem Hochhaus, das man nur einmal durchqueren kann: Daten steigen von der untersten bis zur obersten Etage, führen eine festgelegte Anzahl von Operationen durch und geben dann das nächste Token aus.
Soll die Inferenz tiefer erfolgen? Dann muss man das Gebäude einfach höher bauen und die Parameterzahl vergrößern. Der Preis dafür sind extrem hohe Kosten für Rechenleistung und Grafikkartenspeicher.
Der Looped Transformer verfolgt einen sehr direkten Ansatz: Er lässt das System im Kreis laufen.
Informationen durchlaufen das Netzwerk nicht nur einmal in einer Richtung, sondern dieselbe Gruppe von Transformer-Schichten wird wiederholt zyklisch verwendet.
Die im ersten Durchlauf berechneten verborgenen Zustände (Hidden States) werden direkt zum Ausgangspunkt zurückgesandt, um weiter verarbeitet zu werden, und dies mehrere Runden lang, bevor das Ergebnis schließlich ausgegeben wird.
Er gleicht einer spiralförmig nach oben führenden Treppe: Es sind immer noch dieselben wenigen Stufen, aber wenn man mehrere Runden dreht, erreicht man trotzdem die oberste Etage.
Dieser Weg ist in der Wissenschaft schon lange bewiesen.
Ein 2025 von Google veröffentlichter Artikel mit dem Titel Reasoning with Latent Thoughts lieferte ein sehr anschauliches Ergebnis –
Ein Transformer mit k Schichten, der L-mal zyklisch durchlaufen wird, erreicht bei vielen Inferenzaufgaben fast die Leistung eines gewöhnlichen Modells mit k×L Schichten.
Die Parameterzahl wird nicht entsprechend vergrößert, aber die effektive Berechnungstiefe wird deutlich verlängert.
Diesen Februar zeigte ein Artikel über „latentes Denken“ (latent reasoning) eindrucksvoll die Stärke dieser Architektur.
Die Forscher verwendeten ein kleines Modell mit 3,5 Milliarden Parametern, dessen zentraler Kernblock wiederholt zyklisch durchlaufen wurde. Als die Anzahl der Durchläufe hoch genug war, erreichte dieses kleine 3,5B-Modell eine Leistung, die der eines großen Modells mit 50 Milliarden Parametern entsprach.
Das ist so, als würde man einen Übertaktungsschalter für die „Rechenleistung während der Testphase“ umlegen.
Ohne zusätzliche Parameter und ohne zusätzlichen Grafikkartenspeicher kann die Leistung sprunghaft steigen, indem man einfach mehrere Runden in den vorhandenen Gewichten durchläuft (Zeit gegen Speicher eintauscht).
Für OpenAI, das gerade von Anthropic beim Umsatz überholt wurde und dringend einen sprunghaften Fortschritt braucht, ist die Anziehungskraft dieser Technik einfach unüberwindbar.
Wie das Denken „unsichtbar“ wird
In dem zuvor viralen Artikel „AI 2027“ wurde dieser Ansatz als „neuronale Sprachschleife“ bezeichnet.
Astra denkt über Probleme immer noch in Sprache, aber viele der Gedanken zwischen den Worten können jetzt stumm ablaufen.
Die Entwicklung von Astra bricht direkt die Prophezeiung von AI 2027
Die Gefahr der „rekurrenten Tiefe“ liegt darin, dass sie das Denken in einen blinden Bereich drängt.
Davor musste die Branche eine kontraintuitive Realität akzeptieren: Für aktuelle Inferenzmodelle ist CoT das Arbeitsgedächtnis, in dem das Modell wirklich seine Notizen macht.
Früher musste das Modell, egal wie tief es dachte, durch den engen Trichter des „Ausgebens des nächsten Tokens“ gelangen.
Genau dieses Durchpressen wandelte abstrakte Berechnungen in für Menschen lesbare Texte um. Das war in den letzten zwei Jahren die einzige Grundlage, auf der Menschen „durchschauen“ konnten, was im Gehirn der KI vorgeht.
Auf der anderen Seite erweitert die „rekurrente Tiefe“ jedoch die interne Berechnungsleitung.
Bei Modellen mit fester Schichtenzahl ist die serielle Inferenz, die vor der Ausgabe jedes Tokens durchgeführt werden kann, begrenzt.
Jetzt durchläuft das Modell im zentralen Zyklusblock R Runden, sodass hinter jedem Token das R-fache an seriellen Berechnungen steckt. Die langen Ketten von Inferenzen, die früher in den sichtbaren Texten untergebracht werden mussten, können jetzt still im Vektorraum ablaufen, ohne ein einziges Wort auszugeben.
Die eingesparten Tokens fallen genau bei den nicht geschriebenen Gedanken an. Noch problematischer ist: Was es im latenten Raum „denkt“, ist nicht unbedingt menschliche Sprache.
Wie Meta bereits in seiner Forschung zum „Continuous Chain of Thought“ (Coconut) feststellte:
Modelle, die mit Zahlen und Vektoren schlussfolgern, können genauer und effizienter arbeiten, als wenn sie gezwungen werden, in menschlicher Sprache zu denken.
Die Logik dahinter ist einfach: Große Modelle verstehen Konzepte von Natur aus als mathematische Vektoren. Wenn man sie zwingt, jeden Schritt in menschliche Sprache zu übersetzen, geht nur Information verloren.
Vergleich zwischen Coconut und CoT
Die Stärke dieser Technik liegt darin, dass ein kleines Modell die Leistung eines sehr großen Modells entfalten kann, die Kosten sinken drastisch und zudem Speicher sowie Bandbreite eingespart werden.
Aber während es die Rechenkosten senkt, schließt es auch vollständig den Blick der Menschen auf das Geschehen im Inneren.
Das wahre Ass von Astra ist der neue Transformer
Für Mathematik und Programmierung ist die „Looped Transformer“-Architektur äußerst attraktiv.
Viele reale Aufgaben hängen von „mehrfachen Iterationen“ ab: Zuerst wird eine Lösung vorgeschlagen, dann werden Fehler überprüft, der Zwischenzustand aktualisiert und die Lösung weiter verfeinert.
Der „Looped Transformer“ ist von Natur aus für die Ausführung solcher Algorithmen geeignet.
Er bietet dem Modell auch eine neue Methode des „Scaling während der Inferenz“.
Früher bedeutete es, das Modell länger nachdenken zu lassen, dass es mehr Denkketten-Tokens generieren musste.
Jetzt kann ein Teil der Berechnung abgeschlossen werden, bevor das Token ausgegeben wird. Das Modell scheint äußerlich nur kurz zu pausieren, während sein innerer Zustand bereits viele Iterationen durchlaufen hat.
Die Leistung von Astra ist allen bekannt: Obwohl es noch nicht offiziell veröffentlicht wurde, haben einige Demos seine überlegene Dominanz im Frontend-Bereich bewiesen.
Zudem gab Sam Altman zu, dass Astra bei der Nutzung von Computern direkt das Niveau von menschlichen Fähigkeiten erreicht.
Gerade aufgrund dieser architektonischen Innovation ermöglicht Astra auch „dauerhafte Agenten“, die wochenlang ohne Unterbrechung laufen können, solange sie nicht gestoppt werden.
Jetzt wartet das gesamte Internet gespannt darauf, dass Astra/GPT-6 endlich erscheint.
Mehrere OpenAI-Forscher, darunter der „Cyber-Pate“, haben bereits stark auf die leistungsstarke Astra hingewiesen.
