Die gemessenen Benchmark-Ergebnisse der OpenAI-Chips sind veröffentlicht worden, die Ära der "Entwicklung von Chips eigens für Modelle" ist angebrochen.

Neun Monate später ist die erste Leistungsbilanz des ersten Chips von OpenAI endlich enthüllt worden.

Am 25. August trat Richard Ho, der Leiter der Hardware-Abteilung von OpenAI, auf der Hot Chips-Konferenz auf die Bühne und veröffentlichte die ersten öffentlichen Benchmark-Ergebnisse des Jalapeño-Chips.

Im Rahmen des InferenceX-Benchmarks von SemiAnalysis übertrifft dieser gemeinsam von OpenAI und Broadcom entwickelte Inferenzchip beide Schlüsselindikatoren „Token-Anzahl pro Nutzer“ und „Durchsatz pro Kilowatt“ und übertrifft damit das derzeit fortschrittlichste Inferenzprozessor-System auf dem Markt, Nvidias Blackwell.

Konkret hat OpenAI mit dem öffentlichen Benchmark-Tool InferenceX von SemiAnalysis einen Vergleichstest mit Nvidia auf drei öffentlichen großen Modellen durchgeführt: GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. Die Ergebnisse zeigen, dass der maximale Durchsatz pro Watt von Jalapeño auf allen drei Modellen das 1,5- bis 1,9-fache des Nvidia-Systems beträgt – mit der gleichen Strommenge kann Jalapeño fast doppelt so viele Aufgaben erledigen.

Vergleich des maximalen Durchsatzes pro Kilowatt bei drei Modellen | Bildquelle: OpenAI

Der Unterschied in Szenarien mit niedriger Latenz ist noch größer: Beim Ausführen von DeepSeek R1 erreicht die maximale Generierungsgeschwindigkeit für einen einzelnen Nutzer etwa 700 Token/s, während Nvidias GB300 nur etwa 169 Token/s erreicht. Umgerechnet ist die Geschwindigkeit von Jalapeño das 4,9-fache des Letzteren, was bedeutet, dass die Wartezeit der Nutzer um fast drei Viertel verkürzt wird.

Vergleich der Durchsatz-Latenz-Kurven von Jalapeño und Nvidia GB300 beim Ausführen von DeepSeek R1 | Bildquelle: OpenAI

„Jalapeño kann mehr KI-Aufgaben bei gleichem Leistungsverbrauch verarbeiten und gleichzeitig schneller Antworten zurückgeben. Mit einer einzigen Architektur erreicht Jalapeño einen höheren Durchsatz und eine niedrigere Latenz, während herkömmliche Hardwaresysteme normalerweise einen Kompromiss zwischen beiden eingehen müssen“, fasst OpenAI in seinem offiziellen Blog zusammen. Geplant ist, dass dieser Chip erst Ende 2026 in „extrem kleinem Umfang“ eingesetzt wird, die Massenproduktion wird erst 2027 beginnen.

Das Besondere an diesem Chip ist jedoch nicht nur seine überlegene Leistung. Er ist der erste Schritt zur Umsetzung selbst entwickelter Chips durch führende Modellanbieter und ein Chip, der speziell für Modelle entwickelt wurde. In den letzten zwei Jahrzehnten galt die Standardordnung der Branche: „Modelle an Chips anpassen“ – was Nvidia veröffentlichte, passten alle an. Diesmal ist die Reihenfolge umgekehrt. Was macht diesen für Modelle entwickelten Chip so besonders?

01

KI-gesteuerte Chipherstellung dauert nur 9 Monate

Jalapeño wurde hauptsächlich von OpenAI für die Architekturentwicklung verantwortlich, Broadcom war an der Implementierung, dem Netzwerk und der Konnektivität beteiligt, während Celestica für die Integration von Leiterplatten und Racks zuständig ist.

Derzeit ist der Chip auf eine Nennleistung von 700 W ausgelegt, ist mit HBM4 ausgestattet, hat eine Speicherbandbreite pro Gehäuse von etwa 15,4 TB/s und verfügt über einen separaten I/O-Chip zur Verarbeitung der Kommunikation innerhalb und außerhalb des Racks. Die theoretische Rechenleistung des MXFP4 der B0-Version beträgt 13,4 PFLOPS.

Von der ersten Designphase bis zum Abschluss des Tape-Outs hat Jalapeño nur 9 Monate gebraucht. Zählt man ab der offiziellen Ankündigung der Zusammenarbeit zwischen OpenAI und Broadcom im Oktober 2025 bis zur Vorlage der vollständigen, von Dritten bestätigten Benchmark-Ergebnisse heute, dauert es insgesamt weniger als ein Jahr.

Was ist der normale Rhythmus in der Chipbranche? Für einen Hochleistungs-ASIC dauert der reguläre Zyklus von der Architekturdefinition, RTL-Design, Verifikation, physischen Implementierung bis zum Tape-Out mindestens 18 bis 24 Monate. Dieser Zyklus hat sich über Jahrzehnte nur äußerst langsam verkürzt, da er häufig von der Geschwindigkeit begrenzt wird, mit der Ingenieure Anforderungen verstehen, Code schreiben und Verifikationen abschließen.

Googles TPU und die erste Generation von Amazons Trainium haben jeweils zwei Jahre gebraucht, um alle Prozesse abzuschließen. Als Unternehmen, das noch nie Chips hergestellt hat, hat OpenAI den Zyklus bei seinem ersten Versuch um mehr als die Hälfte verkürzt.

Hinter der rasanten Chipherstellung beschleunigt die KI den Chipherstellungsprozess selbst. Laut Angaben ist der von KI generierte Kernel in einigen Attention- und MoE-Modulen von GPT-OSS 1,5- bis 1,8-mal schneller als die zuvor von menschlichen Experten geschriebene Version. Mit Hilfe von Codex und GPT-Astra hat OpenAI die Portierung und Optimierung von DeepSeek R1 und Kimi K2.5 in nur etwa zwei Monaten abgeschlossen.

Diese KI-Fähigkeit beschränkt sich längst nicht mehr auf die Modelloptimierung, sondern durchdringt den gesamten Prozess von Chipdesign, Treiberentwicklung und Hard-Software-Anpassung.

Noch wichtiger ist, dass dies keine einmalige Beschleunigung ist. Laut öffentlichen Informationen wurden die Benchmark-Ergebnisse von OpenAI noch mit dem Engineering-Chip der A0-Version erzielt, die verbesserte B0-Version befindet sich bereits in der Fertigung mit dem TSMC N3P-Prozess; die Entwicklung der zweiten Generation von Chips ist in vollem Gange, die Planung der dritten Generation hat begonnen.

Wenn der Entwicklungszyklus von Chips von 24 auf 9 Monate verkürzt wird, bedeutet dies, dass in der gleichen Zeit mehr als doppelt so viele Chip-Iterationen durchgeführt werden können, wobei jede Generation die neuesten Erkenntnisse zur Modellarchitektur aufnimmt. Der Weg, mit eigenen Modellen das eigene Chipdesign zu beschleunigen, steht nun Unternehmen offen, die über führende Modelle und Chipprojekte verfügen. Der Rhythmus von „eine Generation pro Jahr“ ist nicht mehr nur etablierten Chipherstellern vorbehalten – OpenAI will mit KI einen direkten Weg einschlagen.

02

Das Geheimnis, Nvidia zu übertreffen: Daten nicht verschieben

Wenn man die Designphilosophie dieses Chips verstehen will, reicht ein Satz: Verschiebe so wenig Daten wie möglich.

Es gibt eine harte Wahrheit in der Chipbranche: „Die Berechnung ist fast kostenlos, das Verschieben von Daten ist teuer.“ Der Engpass bei der Inferenz großer Modelle liegt nicht in der Rechenleistung, sondern darin, dass bei jeder Generierung eines Tokens riesige Mengen an Modellgewichtungen und Kontextcaches (KV-Caches) aus dem Speicher ein- und ausgelesen werden müssen. Die Recheneinheiten von allgemeinen GPUs verbringen die meiste Zeit nicht mit Berechnungen, sondern mit dem Warten auf Daten. Das ist auch der Grund, warum viele Chips auf dem Papier eine sehr hohe Spitzenleistung haben, aber in der tatsächlichen Nutzung nur 60 bis 70 Prozent davon erreichen.

Fast alle Architekturentscheidungen von Jalapeño zielen auf dieses Problem ab. Es teilt die Rechenkerne und den HBM4-Speicher in entsprechende „Slices“ auf, wobei jeder Kern einen direkten Pfad mit niedriger Latenz zu seinem eigenen Speicherbereich hat. Das bedeutet, dass die Arbeiter nicht in ein öffentliches Lager laufen müssen, um Material zu holen, sondern jeder erhält ein eigenes Werkzeugkasten.

Gleichzeitig sorgt die Speicherbandbreite von 15,4 TB/s pro Gehäuse dafür, dass die Werkzeugkästen groß und schnell genug sind. Laut offizieller Angabe können die „Daten“, die das Modell wiederholt zur Generierung von Antworten benötigt, explizit lokal platziert und dort gehalten werden – direkt am Arbeitsplatz, ohne wiederholt ferngesteuert abgerufen zu werden, wodurch die Zeit für das Hin- und Herschieben von Daten eingespart wird.

Die bemerkenswerteste Entscheidung in der Architektur ist, dass auf Jalapeño sowohl Prefill (Verarbeitung von Nutzereingaben) als auch Decode (schrittweise Generierung von Token) von demselben Beschleuniger ausgeführt werden, anstatt wie bei Nvidias Rubin das Prefill an einen speziellen CPX-Chip zu übergeben.

OpenAIs Begründung ist pragmatisch: Die Zusammensetzung des tatsächlichen Datenverkehrs während des Chipbetriebs ändert sich ständig. Von Chats über Inferenzmodelle bis hin zu Agenten ist das Verhältnis von Eingabe-, Cache- und Ausgabe-Token völlig anders. Wenn man heute zwei Arten von Chips in einem festen Verhältnis auslegt, wird morgen, wenn sich der Datenverkehr ändert, die Hälfte davon ungenutzt bleiben.

Anstatt eine auf dem Papier optimale Lösung anzustreben, ist es besser, dass jeder Chip alle Aufgaben erledigen kann. Das ist eines der eindrucksvollsten Beispiele für „Chips, die für Modelle entwickelt werden“: Das Chipdesign folgt den Änderungen des Datenverkehrs der eigenen Modelle, nicht traditionellen Logiken.

Am Beispiel von GPT-OSS 120B: In Bezug auf die Effizienz werden etwa 85.400 Token pro Sekunde und pro Kilowatt verarbeitet, also fast doppelt so viele Aufgaben mit der gleichen Kilowattstunde Strom. In Bezug auf die Geschwindigkeit generiert ein einzelner Nutzer maximal 1459 Token pro Sekunde, während der Konkurrent nur 535 Token erreicht.

Vergleich der maximalen Generierungsgeschwindigkeit für einzelne Nutzer bei drei Modellen | Bildquelle: OpenAI

Je größer das Modell, desto deutlicher der Vorteil: Bei DeepSeek R1 mit 670 Milliarden Parametern ist die Effizienz 1,7-mal höher, im Modus mit niedriger Latenz erreicht ein einzelner Nutzer 700 gegenüber 169 Token/s. Bei Kimi K2.5 mit Billionen von Parametern beträgt die minimale Latenz von der Fragestellung bis zur vollständigen Antwort 1,56 Sekunden, während der Konkurrent 5,31 Sekunden benötigt.

Wenn die Interaktionsgeschwindigkeit auf das übliche Niveau von 100 Token/s pro Nutzer festgelegt wird, beträgt der Durchsatz von Jalapeño bei Kimi K2.5 mehr als das 9-fache von Nvidias GB300. Das bedeutet, dass es bei gleicher Servicequalität 9-mal so viele Nutzeranfragen gleichzeitig bearbeiten kann.

Vergleich des Durchsatzes pro Kilowatt bei gleicher Geschwindigkeit beim Ausführen von Kimi K2.5 auf Jalapeño und Nvidia GB300 | Bildquelle: OpenAI

Aber diese Leistungsbilanz enthält auch Übertreibungen und bedeutet keinen endgültigen Sieg. Wir sehen, dass die Benchmark-Daten hauptsächlich von OpenAI bereitgestellt werden, SemiAnalysis hat nur den Betrieb im Labor vor Ort bezeugt, aber nicht alle Tests unabhängig abgeschlossen. Außerdem stammen alle öffentlichen Ergebnisse von Jalapeño aus einseitigen Inferenzläufen mit etwa 8k Eingabe und 1k Ausgabe – eine relativ einfach zu optimierende Last. Gleichzeitig hat OpenAI keine einzige öffentliche Zahl zu Aufgaben von Agenten mit längeren Kontexten und mehrstufigen Interaktionen veröffentlicht. Man muss wissen, dass Agenten genau das Szenario sind, in dem die Nachfrage nach Inferenz derzeit am schnellsten wächst, und es auch die Systemfähigkeiten wie Routing und Präfix-Caching am meisten auf die Probe stellt.

03

Chips, die für Modelle entwickelt werden, beginnen, die Preismacht für KI zu erobern

In dieser Leistungsbilanz verbirgt sich auch ein Ehrgeiz. Bei diesen Benchmark-Tests wurden die beiden Modelle der Konkurrenten, DeepSeek R1 und Kimi K2.5, genau gleich behandelt wie das eigene GPT-OSS. Obwohl der von DeepSeek verwendete MLA-Attentionsmechanismus eine selbst entwickelte Architektur ist, hat OpenAI trotzdem von Grund auf die zugrundeliegenden Kernberechnungscodes implementiert, die für diese Architektur benötigt werden.

Die spezielle Entwicklung von zugrundeliegendem Code für die private Architektur eines Konkurrenten geht über die Notwendigkeit hinaus, die Allgemeingültigkeit des Chips zu beweisen. Es ist eher ein stiller Beweis, dass jedes Modell auf diesem Chip schnell die optimale Leistung erreichen kann.

Diese Pipeline weist auf ein noch nicht angekündigtes Geschäft hin. Wenn die Kosten pro Token von Jalapeño tatsächlich niedriger sind als die von Nvidia, kann OpenAI die Inferenz-Rechenleistung genau wie AWS, das Cloud-Dienste verkauft, an andere Modellanbieter vermieten – zuerst baut es die Infrastruktur für sich selbst auf, dann stellt es die überschüssige Kapazität zur Verfügung. OpenAI hat bislang keine öffentliche Erklärung zum „Verkauf von Rechenleistung“ abgegeben, aber der langfristige Ehrgeiz eines Unternehmens zeigt sich normalerweise zuerst in seinen technischen Entscheidungen.