GPT-5.6 steht kurz vor dem Launch, die Inferenzgeschwindigkeit erreicht beeindruckende 750 Tokens pro Sekunde und es wird vermutlich auf 100 Wafern betrieben.
【Einleitung】 Die Inferenzgeschwindigkeit von GPT-5.6 erreicht erstaunliche 750 Token pro Sekunde! Branchenexperten enthüllen Insiderinformationen: Das Modell wird auf 100 Wafern ausgeführt. Die KI wechselt vom Denken zum sofortigen Reagieren – ist die Ära der Echtzeitintelligenz endgültig angebrochen?
Nach verschiedenen Leaks steht GPT-5.6 kurz vor der öffentlichen Verfügbarkeit für alle Nutzer.
In letzter Zeit haben zahlreiche Spekulationen über dieses Modell auf X große Aufmerksamkeit erregt.
Am 26. Juni kündigte OpenAI offiziell die neue Generation der GPT-5.6-Produktfamilie an.
Auf dem offiziellen Blog heißt es zudem: OpenAI plant, in diesem Monat ein neues Spitzenmodell namens GPT-5.6 Sol auf der angepassten Hardware des Chipherstellers Cerebras einzuführen – mit einer beeindruckenden Inferenzgeschwindigkeit von 750 Token pro Sekunde!
Das bedeutet: Komplexe Agent-Aufgaben, für die früher mehrere Minuten Wartezeit nötig waren, lassen sich jetzt in einem Augenblick erledigen.
Offensichtlich hat OpenAI im Bereich der koordinierten Gestaltung von Hardware und Modell einen bahnbrechenden Schritt nach vorne gemacht.
Zusätzlich wurde vor kurzem der erste selbstentwickelte KI-Inferenzchip namens Jalapeño offiziell vorgestellt – dies zeigt deutlich, dass OpenAI das Ziel verfolgt, ein vollständiges KI-Imperium mit allen Ebenen aufzubauen.
Nur Geschwindigkeit gewinnt: Die überlegene Leistung von 750 Token pro Sekunde
Was bedeutet „750 Token pro Sekunde“ eigentlich?
Für Menschen entspricht dies der Fähigkeit, etwa 500 bis 600 Zeichen in einer Sekunde zu lesen und auszugeben.
GPT-5.6 Sol braucht weniger als eine Zehntelsekunde, um diesen gesamten Text hier zu generieren.
Auf X äußerte sich der bekannte Entwickler Caleb Shepherd begeistert: „Das ist das Aufregendste für mich – GPT-5.6 Sol läuft auf Cerebras. Nicht nur, dass das Schreiben von Code schneller geht, sondern die Nutzung von Computern erlebt einen qualitativen Sprung. Wir müssen nicht mehr zwei Minuten warten, bis die KI einen Klick auf eine Schaltfläche ausführt.“
Lange Zeit war die Inferenzlatenz trotz der zunehmenden Intelligenz großer Modelle das größte Hindernis für die praktische Umsetzung von Echtzeit-Interaktionen und mehrstufigen Agent-Aufgaben.
Wenn Modelle Billionen von Parametern erreichen, stoßen herkömmliche GPU-Cluster bei der Kommunikation zwischen Knoten (über NVLink) oft an physikalische Grenzen.
Die Lösung von OpenAI lautet: Nicht das Modell an die Hardware anpassen, sondern Hardware und Modell zu einer Einheit verschmelzen.
Nach ersten offiziellen Angaben wird GPT-5.6 Sol im Juli in sehr begrenztem Umfang für ausgewählte Kunden freigegeben – die Verfügbarkeit wird mit steigender Produktionskapazität schrittweise ausgeweitet.
Wie viele Nutzer online spekulieren, ist dies zweifellos ein äußerst kostspieliger Dienst – ein exklusives Angebot für Spitzenunternehmen, die bereit sind, für Geschwindigkeit zu zahlen.
Wie passt ein Riese mit 3 Billionen Parametern auf einen Chip?
Als die Nachricht von 750 Token pro Sekunde bekannt wurde, stellte Peter Gostev, Leiter von LLM Arena, eine Frage, die alle beschäftigte:
Was genau läuft auf Cerebras bei GPT-5.6 Sol? Soweit ich weiß, handelt es sich offenbar um das vollständige Modell (mit multimodalen Fähigkeiten wie Bildverarbeitung) – keine abgespeckte Version ohne Bildverarbeitung und erweiterte Kontextverarbeitung wie früher bei GPT-5.3-Codex-Spark.
Aber meiner Kenntnis nach kann ein einzelner Cerebras-Chip maximal ein Modell mit 700 bis 900 Milliarden Parametern aufnehmen. Wurde das Modell also verkleinert? Gibt es neue unbekannte Chiptypen? Oder eine innovative Technologie zur Zusammenarbeit mehrerer Chips?
Diese Frage löste sofort zahlreiche Diskussionen unter Nutzern aus.
Einige scherzten, die Leute führten gerade eine „forensische Chip-Prüfung mitten in der Nacht“ durch und fügten hinzu: „Wenn es wirklich das vollständige Modell ist, ist es so, als würde man ein großes Kreuzfahrtschiff in eine Glasflasche stecken – ohne zu verraten, wie das funktioniert.“
Bald darauf lieferte der erfahrene Technikexperte Bleys Goodson eine überzeugende, fundierte Analyse –
GPT-5.6 Sol ist nicht auf einem einzelnen Chip untergebracht, sondern erstreckt sich über 70 bis 100 wafergroße Chips von Cerebras!
Die perfekte Bereitstellung: „Ein Wafer pro Netzwerkebene“
Experten schätzen, dass die Spezifikationen von GPT-5.6 Sol extrem groß sind:
- Gesamtparameterzahl: ca. 3 Billionen
- Aktivierte Parameter: ca. 150 Milliarden
- Anzahl der Netzwerkebenen: ca. 70 bis 90
Um optimale Inferenzeigenschaften zu erzielen, haben OpenAI und Cerebras eine äußerst aufwändige und beeindruckende Bereitstellungsmethode gewählt – jede einzelne Ebene des neuronalen Netzes wird auf einem gesamten Cerebras-Wafer ausgeführt.
Wie ein Nutzer betonte: Mit mehr Pipeline-Stufen lassen sich Modelle theoretisch beliebig groß skalieren, solange genügend Wafer zur Verbindung zur Verfügung stehen. Dies beeinträchtigt nicht die Token-Generierungsgeschwindigkeit, sondern führt höchstens zu einer geringfügigen Änderung der Zeit bis zum ersten Token (TTFT).
Radikale Architekturanpassung: Die notwendige Leichtbauweise des KV-Caches
Aber allein viele Wafer reichen nicht aus. Ein Hauptmerkmal der Cerebras-Chiparchitektur ist der enorme On-Chip-SRAM (statischer Direktzugriffsspeicher) – extrem schnell, aber dessen Kapazität ist sehr wertvoll.
Würde OpenAI wie früher einen herkömmlichen schwergewichtigen KV-Cache in GPT-5.6 Sol verwenden, würde die teure SRAM-Bandbreite sofort vollständig ausgelastet werden.
Dies führt zur wichtigsten strategischen Umstellung dieser Zusammenarbeit: Die Modellarchitektur wird speziell auf die ausgewählte Hardware zugeschnitten.
Laut Bleys Goodson hat OpenAI, da es tief in die kooperative Gestaltung der Hardware eingebunden war, höchstwahrscheinlich auf die herkömmliche Cache-Lösung für den Aufmerksamkeitsmechanismus verzichtet und stattdessen eine fortschrittlichere Leichtbauweise verwendet.
Die wahrscheinlichsten Lösungen umfassen:
Eine Architektur ähnlich DeepSeekV4: Extrem optimierte Cache-Nutzung.
Ein hybrides SSM-Design: Kombination von Modellen mit linearer Zeitkomplexität wie Mamba mit Transformern, um die historischen Einschränkungen des KV-Caches vollständig zu beseitigen.
Zusätzlich hat der bekannte Entwickler John Lam eine faszinierende Vermutung aufgestellt – die Entkopplung von Aufmerksamkeitsmechanismus und Feedforward-Netzwerk (FFN).
Er vermutet, dass OpenAI möglicherweise herkömmliche GPUs für die Berechnung des Aufmerksamkeitsmechanismus nutzt – während eine große Anzahl von Cerebras-Wafern die Berechnung des Feedforward-Netzwerks massiv beschleunigt.
Dies ist keine unbegründete Vermutung. Nutzer fanden schnell frühere Blog-Beiträge von Cerebras mit Details zur Bereitstellung von Kimi K2.6:
Auf dem CS-3-System speichert Cerebras die ursprünglichen Gewichte von Kimi K2.6 in 4-Bit-Format und führt die Berechnungen in 16-Bit-Gleitkomma durch, um die Genauigkeit zu gewährleisten. Die Gewichte sind auf mehrere Wafer verteilt, und die Aktivierungen werden zwischen den Wafern gestreamt. Die vollständige Verbindung zwischen den Ebenen erfolgt ausschließlich über die Netzwerkstruktur auf den Wafern – deren Bandbreite mehr als 200 Mal so hoch ist wie die von NVLink auf Nvidia NVL72! In Kombination mit angepassten Operatoren und spekulativer Dekodierung lassen sich MoE-Modelle mit Billionen von Parametern mit einer Geschwindigkeit von fast 1000 Token pro Sekunde ausführen.
Laut offiziellen Spezifikationen ist das revolutionäre CS-3-System nicht nur extrem schnell, sondern kann auf einem einzelnen logischen Gerät problemlos Modelle mit bis zu 24 Billionen Parametern skalieren!
Wie jemand staunend bemerkte: „Wenn das vollständige Sol-Modell tatsächlich auf Cerebras läuft, wird die von allen angenommene Obergrenze für die Modellgrenze heute Nacht direkt durchbrochen.“
Die wahre Geheimwaffe: OpenAIs erster selbstentwickelter Chip „Jalapeño“
Und vor kurzem hat OpenAI offiziell den ersten selbstentwickelten Chip der Welt vorgestellt – Jalapeño.
Die Einführung dieses Chips erklärt die tieferliegenden Gründe für die Zusammenarbeit zwischen OpenAI und Cerebras: Durch die Erprobung auf erstklassiger Inferenzhardware von Drittanbietern hat OpenAI die Stärken und das Potenzial spezialisierter Inferenzarchitekturen vollständig verstanden – und diese in eine selbst kontrollierbare untere Plattform umgewandelt.
Jalapeño ist eine der mildesten Sorten von mexikanischen Chilis. Mit diesem Namen macht OpenAI deutlich: Dies ist erst der Anfang.
Dieser Chip ist ein angepasstes ASIC, das speziell für die Inferenz großer Modelle entwickelt wurde. Von der ersten Designlinie an ist jeder Transistor nur für einen Zweck optimiert: Die Ausführung großer KI-Modelle.
Überraschenderweise läuft Jalapeño nicht nur mit OpenAIs eigenen Modellen – seine Architektur ist auch mit LLMs aus der gesamten Branche kompatibel, was große Ambitionen als Plattform zeigt.
Und der gesamte Entwurfs- und Herstellungsprozess des Chips dauerte nur 9 Monate.
Dahinter steht eine äußerst starke Industriepartnerschaft:
Leitung der Architektur