OpenAI „schmeißt den Spieltisch um“: Der selbst entwickelte Inferenzchip „Jalapeño“ übertrifft Nvidia

Als ich aufwachte, gab es überall Nachrichten über OpenAI.

Zuerst behauptete der X-Nutzer Leo@synthwavedd exklusiv: OpenAI hat eine neue vortrainierte Modellgeneration abgeschlossen, mit dem Codenamen „Bel“. Die Anzahl der Parameter soll über 10 Billionen betragen, es könnte der Nachfolger von Doug sein und das Grundmodell für Astra / GPT-6 werden……

Nach einer Suche im Netz stellte sich heraus, dass es keine genauen bestätigten Informationen zu dieser Nachricht gibt. Aber es ist zweifelsfrei, dass der erste selbstentwickelte Inferenzchip von OpenAI beeindruckende Ergebnisse erzielt hat.

Gerade eben hat OpenAI die neuesten Testergebnisse seines ersten selbstentwickelten Inferenzchips Jalapeño veröffentlicht: Es wurde ein großer Durchbruch erzielt. Dieser Chip wurde speziell für die Inferenz von großen Sprachmodellen entwickelt. Durch ein neuartiges Architekturdesign kann er gleichzeitig den Durchsatz erhöhen und die Latenz senken, beides erreichen und dabei eine hohe Energieeffizienz beibehalten. In mehreren Modelltests übertrifft er die Effizienzleistung von NVIDIA-Systemen der Serien GB200 und GB300.

Unmittelbar danach äußerte sich OpenAI-CEO Sam Altman auch auf X: „Wir haben einen Chip hergestellt, der sehr schnell ist.“

Es ist zu beachten, dass Jalapeño als erster selbstentwickelter Inferenzchip von OpenAI kein Chip für das Training der nächsten GPT-Modellgeneration ist, sondern für die Betriebsphase nach der Inbetriebnahme des Modells optimiert wurde.

Einfach ausgedrückt: In der Trainingsphase erlernt das Modell seine Fähigkeiten, in der Inferenzphase antwortet das Modell schnell auf Anfragen von Nutzern. Jalapeño löst hauptsächlich das zweite Problem.

OpenAI gibt an, dass herkömmliche Hardwaresysteme oft zwischen zwei Kennwerten abwägen müssen:

• Höherer Durchsatz (Throughput): Mehr Anfragen pro Zeiteinheit verarbeiten;
• Niedrigere Latenz (Latency): Nutzer erhalten schneller eine Antwort.

Beispielsweise kann eine umfangreiche Stapelverarbeitung die Gesamteffizienz steigern, aber die Wartezeit für einzelne Anfragen verlängern. Wenn man dagegen eine extrem niedrige Latenz anstrebt, kann dies die Ressourcenauslastung beeinträchtigen. Das Ziel von Jalapeño ist es, beide Werte in einer einzigen Architektur gleichzeitig zu optimieren.

Was die spezifische Leistung angeht, gibt OpenAI an, dass Jalapeño in mehreren Inferenztests für große Modelle die Systeme NVIDIA GB200 und GB300 übertrifft. Zu den getesteten Modellen gehören: OpenAI GPT-OSS 120B; DeepSeek R1 670B; Moonshot AI Kimi K2.5 1T.

Besonders auffällig ist das Auftauchen von DeepSeek R1 und Kimi K2.5, was darauf hindeutet, dass Jalapeño nicht nur für die eigenen Modelle von OpenAI optimiert ist, sondern sich an unterschiedliche Arbeitslasten großer Modelle anpassen kann.

Interessanterweise lässt sich Jalapeño als „Mexikanische Chili“ übersetzen, und unmittelbar nach der Veröffentlichung dieser Nachricht löste sie sofort Späße und heiße Diskussionen bei Nutzern aus allen Bereichen aus.

„Du willst deinen Chip nach einer Chili benennen? Ich kann es kaum erwarten, es auszuprobieren.“

Für OpenAI zeigt die Einführung von Jalapeño, dass das Unternehmen versucht, die gesamte Kette „Modell – Software – Chip – Rechenzentrum“ durchgängig zu gestalten.

Es ist außerdem erwähnenswert, dass OpenAI bei der Hardwareentwicklung des Jalapeño-Chips mit Cerebras zusammengearbeitet hat.

Tibo schrieb in einem Beitrag: „Diese Fähigkeit verdanken wir unserer tiefen Zusammenarbeit mit Cerebras und ihrer einzigartigen Hardwarearchitektur. In Zukunft wird diese Zusammenarbeit die Grenzen des „ultraschnellen“ Erlebnisses weiter vorantreiben.

Ich freue mich sehr darauf, dass beide Seiten weiterhin zusammenarbeiten, auf der Cerebras-Plattform ständig die Grenzen durchbrechen und erforschen, wie wir unsere leistungsstärksten Modelle mit der höchsten Geschwindigkeit ausführen und dieses Erlebnis den Kunden mit den höchsten Leistungsanforderungen zugänglich machen können.“

Tatsächlich ist OpenAI nicht das erste KI-Unternehmen, das sich der selbstständigen Chipentwicklung widmet. Viele große KI-Unternehmen haben bereits vor einiger Zeit mit der Chipfertigung begonnen. Beispielsweise hat Google TPU eingeführt; Amazon hat Trainium und Inferentia entwickelt; Microsoft arbeitet an Maia; Meta hat ebenfalls selbstentwickelte KI-Beschleuniger im Portfolio……

Die zugrundeliegende Logik ist sehr ähnlich: Allgemeine GPUs sind zwar flexibel genug, aber nicht für alle KI-Arbeitslasten optimiert. Für Unternehmen, die täglich riesige Mengen an KI-Anfragen verarbeiten, besteht die Möglichkeit, die Kosten weiter zu senken, wenn sie Chips speziell für ihre eigenen Modelle, Softwaresysteme und Dienstleistungsformen entwickeln……

Im Folgenden werfen wir einen genaueren Blick auf die Fähigkeiten von Jalapeño.

Schneller, stromsparender

Der Kernvorteil von Jalapeño liegt darin, dass es bei gleichem Stromverbrauch mehr KI-Arbeitsaufgaben erledigen und gleichzeitig schneller Antworten zurückgeben kann. Herkömmliche Systeme müssen in der Regel zwischen Durchsatz und Latenz abwägen, während Jalapeño versucht, mit ein und derselben Architektur gleichzeitig einen höheren Durchsatz und eine niedrigere Latenz zu erreichen.

OpenAI betont, dass dieser Vorteil nicht nur bei den eigenen Modellen auftritt, sondern auch bei extern entwickelten Modellen greift, was beweist, dass Jalapeño eine allgemeinere Inferenzarchitektur ist.

Bei den drei öffentlichen Modellen GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T erreicht Jalapeño bei Spitzendurchsatz das 1,5- bis 1,9-fache der KI-Arbeitsleistung pro Watt, die Ende-zu-Ende-Latenz sinkt auf 1/1,7 bis 1/3,6 der Vergleichssysteme; bei stark interaktiven Arbeitslasten beträgt der Leistungsvorteil das 2,1- bis 4,1-fache.

Auf GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T erreicht der Spitzendurchsatz pro Watt von Jalapeño jeweils das 1,9-fache, 1,7-fache und 1,5-fache des derzeit besten Systems.

Bei dem größten Modell Kimi K2.5 steigt die Spitzenleistung pro Watt von Jalapeño um etwa das 1,5-fache, die Ende-zu-Ende-Latenz sinkt um etwa das 3,4-fache.

Auf Kimi K2.5 1T erweitert sich der Vorteil von Jalapeño beim Durchsatz pro Watt gegenüber GB300 mit steigender Decodiergeschwindigkeit für einzelne Nutzer von dem 1,5-fachen Spitzenwert auf bis zu 56,1-fache.

OpenAI vergleicht nicht nur die Spitzenleistung einzelner Chips, sondern konzentriert sich stärker auf einen Kennwert: Wie viele nützliche KI-Arbeitsaufgaben pro Einheit Strom erledigt werden können, wenn die Latenzanforderungen von Nutzern und interaktiven Agenten erfüllt sind.

Der Grund hängt ebenfalls mit Agenten zusammen. Agenten müssen oft mehrere Schritte nacheinander ausführen, eine scheinbar geringfügige Latenz bei einer einzelnen Anfrage summiert sich im Laufe der gesamten Aufgabenausführung stetig auf.

Das ist auch der Bereich, in dem Jalapeño seine Vorteile in der Niedrig-Latenz-Zone am deutlichsten ausspielt. Am Beispiel von DeepSeek R1: Unter den Bedingungen, die dem vorherigen besten TBT des Vergleichssystems entsprechen, erreicht Jalapeño einen Durchsatz von 12.258 gemischten TPS/kW pro Kilowatt, gegenüber 118 bei GB300 – ein Unterschied von etwa 104,3-fach.

Auf DeepSeek R1 670B beträgt der Spitzendurchsatz pro Watt von Jalapeño etwa das 1,7-fache von GB300; bei gleicher Decodiergeschwindigkeit erweitert sich der Vorteil auf bis zu 104,3-fache.

OpenAI hat die Tests mit dem öffentlichen Benchmark InferenceX von SemiAnalysis durchgeführt und mit derzeit führenden kommerziellen Systemen verglichen. Von Diensten mit hohem Durchsatz bis hin zu hochinteraktiven Szenarien mit niedriger Latenz erreicht Jalapeño bei drei öffentlichen Modellen eine bessere Kombination aus Leistung pro Watt und Latenz und liegt an der Pareto-Grenze.

An unterschiedlichen Betriebspunkten von DeepSeek R1 670B bildet Jalapeño eine bessere Kombination aus Durchsatz pro Watt, Interaktionsgeschwindigkeit und Ende-zu-Ende-Latenz und liegt an der Pareto-Grenze.

Die Nennleistungsaufnahme von Jalapeño beträgt 700W, aber bei den in diesem Test behandelten Arbeitslasten liegt die tatsächliche dauerhafte Leistungsaufnahme stets bei 550W oder darunter.

Geboren für Agenten

Jalapeño wurde von Anfang an auf große Sprachmodelle der Gegenwart und Zukunft ausgelegt, insbesondere auf interaktive Agenten.

Verschiedene Phasen der LLM-Inferenz weisen unterschiedliche Engpässe auf: Die Prefill-Phase hängt stärker von der Rechenleistung ab, die Decode-Phase ist stärker durch die Speicherbandbreite begrenzt, und die Datenübertragung zwischen Kernen und Chips erhöht ebenfalls die Latenz.

Aus diesem Grund hat OpenAI Chips, Speicher, Netzwerke, Software und Systeme auf Rakebene gemeinsam entworfen. Modellzustände einschließlich KV-Cache können explizit platziert werden und verbleiben so weit wie möglich lokal, sodass Jalapeño sich gleichzeitig an Prefill und Decode anpasst und sich mit den Änderungen der Arbeitslasten beider Phasen abstimmt.

OpenAI geht davon aus, dass dies genau das zentrale Merkmal von Agent-Arbeitslasten ist.

Interessanterweise ist KI nicht nur das Einsatzgebiet von Jalapeño, sondern war auch direkt an der Entwicklung dieses Chips beteiligt.

Mit Hilfe von Modellen unterschiedlicher Generationen hat das OpenAI-Team von dem ersten Entwurf bis zum Tape-out (Abschluss des Entwurfs für die Fertigung) nur 9 Monate benötigt. Die Modelle wurden verwendet, um unterschiedliche Implementierungen zu erforschen, die Entwurfs-, Mess- und Überprüfungszyklen zu verkürzen und auch die arithmetischen Schaltkreise des Chips zu optimieren.

Jalapeño wurde ebenfalls als vorhersehbares, klares Programmierziel für Menschen und Modelle gestaltet. Mit Codex, das von GPT-Astra angetrieben