Jensen Huang hat drei Mal mit seinen Vorhersagen danebengelegen, und der Wettbewerbsgraben von CUDA wurde von einer einzigen Codezeile von Google durchstoßen.

Der Mythos des Inferenz-Preis-Leistungs-Verhältnisses, an dem Nvidia festgehalten hat, ist zerbrochen.

Gerade hat SemiAnalysis die erste unabhängige Messung der Inferenzleistung von Googles siebter TPU-Generation Ironwood veröffentlicht.

Bei vollständig gleicher Modelllast übertrifft die TPU die Nvidia B200 in der Leistung pro Dollar um bis zu 50 %, und der Vorsprung gegenüber der B300 beträgt sogar fast das Doppelte mit 96 %!

Kosten pro Million Token im externen TCO-Maßstab gegenüber der Interaktionsgeschwindigkeit

Umgerechnet auf die in der Branche am meisten beachteten Kosten pro Million Token ist der Unterschied erschütternd.

Die TPU benötigt nur 0,181 US-Dollar, die B200 0,222 US-Dollar und die B300 sogar bis zu 0,276 US-Dollar.

Noch dramatischer ist der Faktor Zeit.

Im April dieses Jahres erklärte Jensen Huang im Dwarkesh-Podcast, dass weder TPU noch Trainium es wagten, Benchmarks durchzuführen. Er ermutigte sogar öffentlich Konkurrenten, InferenceMAX zu verwenden, um ihren angeblichen Vorteil bei den Inferenzkosten zu beweisen.

Fünf Monate später, heute, ist die TPU mit den verheerenden Daten wie versprochen erschienen.

Die drei Behauptungen von Jensen Huang

In dieser Podcast-Folge ließ sich Jensens Huang strategische Verachtung für die TPU auf drei Behauptungen zurückführen.

Erstens erklärte er, dass er sehr darauf gespannt sei, dass Konkurrenten den Kostenvorteil der TPU beweisen, und war überzeugt, dass dies logisch überhaupt nicht möglich sei.

Die Testmethode diesmal ist absolut fair und unparteiisch —

Dasselbe Open-Source-Modell, FP8 gegen FP8, Eingabe 8k, Ausgabe 1k, die B200 und B300 laufen mit genau der gleichen Last wie die TPU.

Bei dem Benchmark für den Nutzerdurchsatz von 100 Token pro Sekunde ist die TPU 19 % günstiger als die B200 und 34 % günstiger als die B300.

Wenn die mittlere Antwortzeit auf 20 Sekunden festgelegt wird, betragen die Kosten der TPU 0,098 US-Dollar, die der B200 0,106 US-Dollar und die der B300 steigen auf 0,132 US-Dollar.

Die B200 hat nicht in allen Indikatoren verloren. Im engen Bereich der Antwortzeit von 30 Sekunden hält sie noch einen schwachen Widerstand aufrecht. Aber mit der Lockerung der Latenzanforderungen übernimmt die TPU wieder die Spitzenposition.

Die B300 hingegen befindet sich während des gesamten Zeitraums in einem Kostennachteil.

Kosten pro Million Token gegenüber der End-to-End-Latenz

Zweitens behauptete er, dass aus Sicht der ersten Prinzipien der Vorteil der TPU völlig unbegründet sei.

Die physischen Tests haben seine grundlegende Ableitung nicht widerlegt, Jensen Huang hat lediglich die Rechnung der Geschäftswelt falsch berechnet.

In den meisten Bereichen der ursprünglichen Durchsatzkurve ist die physische Leistung der TPU tatsächlich nicht so gut wie die der GPU. Aber die stündlichen Mietkosten der TPU sind sprunghaft niedrig.

Ein physischer Durchsatzvorteil von 5 % gepaart mit extrem niedrigen Mietkosten pro Zeiteinheit verwandelt sich sofort in einen 50%igen Preis-Leistungs-Vorteil pro Dollar.

Wenn man die unteren Kosten von 1,03 US-Dollar pro Chip und Stunde im internen Maßstab von Google berechnet, wird dieser Vorteil auf 77 % bis sogar 130 % vergrößert.

Durchsatz des einzelnen Beschleunigers gegenüber der Interaktionsgeschwindigkeit

Jensen Huang berechnet die absolute Rechenleistung, die ein einzelner Chip liefern kann, während kommerzielle Kunden die tatsächliche Ausgabe messen, die sie für jeden Dollar erhalten.

Diese veröffentlichten Benchmark-Daten durchbrechen direkt die psychologische Verteidigungslinie auf Kundenseite.

Interner TCO-Maßstab von Google

Drittens behauptete er, dass Anthropic nur ein Einzelfall sei und die TPU ohne die Unterstützung von Anthropic den Wachstumsmotor vollständig verlieren würde.

Diese Behauptung ist derzeit nur oberflächlich gültig.

Anthropic hat tatsächlich mehr als 1 Million TPUs übernommen, von denen etwa 400.000 direkt gekauft und 600.000 über Google Cloud gemietet werden. Bis 2029 wird es DeepMind übertreffen und zum größten einzelnen TPU-Nutzer der Welt werden.

Aber die andere Hälfte der Behauptung verliert schnell ihre Gültigkeit.

Google hat seit letztem Jahr den direkten Verkauf von Chips geöffnet und hält nicht mehr nur an dem einzigen Modell der Cloud-Miete fest. Sogar Forscher bei DeepMind müssen jetzt in überfüllten Warteschlangen um Rechenressourcen konkurrieren.

Jensen Huang konnte das im April so sagen, weil die TPU nach außen nie einen Preis angegeben hatte.

Jetzt ist der Preis angegeben, und zwar von jemand anderem für Google.

Der tiefe Kostenbereich der TPU

Wie kann ein spezialisierter Chip überhaupt die Kosten der allgemeinen GPU unterbieten?

Dazu hat SemiAnalysis auf der Ebene der grundlegenden Logik Googles völlig unterschiedliche Ingenieursphilosophie aufgedeckt —

Google strebt nicht nur nach dem physischen Spitzenwert des Chips, sondern gießt Rechen-Dies, Chip-zu-Chip-Verbindungen und den grundlegenden Compiler zu einem geschlossenen Kreislaufsystem und drückt die Kosten an jeder Verbindungsstelle.

Auf Chipebene wird Ironwood physisch in zwei unabhängige Rechen-Dies unterteilt, von denen jeder zwei TensorCores und vier SparseCores enthält.

Seine HBM-Kapazität erreicht das Sechsfache der vorherigen Generation Trillium. Diese Zahl bestimmt direkt, wie groß der KV-Cache sein kann und wie groß die Batch-Größe eingestellt werden kann.

Es ist außerdem die erste TPU mit nativer Unterstützung für FP8-Operationen, die die Kompromisse der Software-Simulation der vorherigen Generationen vollständig beendet.

Die Matrixeinheit verwendet ein 256×256-Systolic-Array, das 65536 Multiplikations-Additions-Operationen pro Zyklus abschließt, und der Rechendurchsatz steigt direkt auf das Vierfache der v5-Architektur.

Diese Route wird bei der achten Generation noch radikaler: Google hat zum ersten Mal Training und Inferenz in zwei Chips 8t und 8i getrennt. Der On-Chip-SRAM von 8i wurde auf 384 MB erweitert, dreimal so viel wie die vorherige Generation, um den KV-Cache des Inferenzmodells speziell auf dem Chip zu behalten.

Vergleich der Spezifikationen aller Generationen von Googles TPU

Bei der Netzwerkverbindung tauschen die Chips Daten direkt über den von Google selbst entwickelten ICI-Bus aus, wobei der Host-CPU, PCIe und allgemeine Netzwerkkarten vollständig umgangen werden.

Seine Topologie hat die Form eines 3D-Torus, jeder Chip ist physisch mit 6 benachbarten Knoten verbunden, 64 Chips bilden einen kubischen Würfel auf Rack-Ebene, der dann über optische Schaltungsschalter zu einer Supermatrix mit 9216 Chips zusammengesetzt wird.

Logische Konfiguration des 4×4×4-Würfels der TPU v7

Wenn eine Glasfaserleitung ausfällt, kann das System die Umleitung innerhalb von Sekunden mit optischen Spiegeln abschließen, ohne dass menschliche Eingriffe erforderlich sind.

Bei der TPU 8i wird der 3D-Torus durch die Boardfly-Topologie ersetzt. Bei einer Größenordnung von tausend Chips wird die maximale Anzahl von Hops von 16 auf 7 reduziert, und die durch jeden Hop aufgebaute Endlatenz bei MoE-Routing und mehrstufigen Agenten wird direkt halbiert.

Boardfly-Topologie von Google TPU 8i

Code-Level-Rekonstruktion zur Erzielung von 50 % mehr Leistung

Extreme Leistung verbirgt sich oft in der gewaltsamen Rekonstruktion der grundlegenden Software.

Um das erste Modell auf dem TorchTPU-Stack erfolgreich starten zu lassen, haben Google, Inferact und RadixArk gemeinsam hunderte von Ingenieurstunden investiert.

Wenn man die riesigen Mengen an Code-Commit-Protokollen gründlich durchdringt, lassen sich drei entscheidende Optimierungen extrahieren.

Erstens: Die Anzahl der KV-Cache-Seiten wird verdoppelt, was die Latenz des ersten Tokens stark reduziert.

Die Kachel, die die Vektoreinheit der TPU jedes Mal verarbeitet, ist in der letzten Dimension hardwareseitig auf 128 Lanes festgelegt. Wenn die Dimension nicht ausreicht, wird sie zwangsläufig mit Nullen aufgefüllt.

Der alte Attention-Kernel packte KV entlang der Kopfdimension, was dazu führte, dass bei Modellen mit einem einzelnen KV-Kopf die Hälfte der Rechenressourcen durch ungültige Nullauffülloperationen verschwendet wurde.

Jetzt verschiebt Google die Token in die Dimension mit 128 Lanes, und die Anzahl der verfügbaren KV-Seiten steigt von 5141 auf 10283.

Bei 128 gleichzeitigen Anfragen steigt der Durchsatz um 16,5 %, die mittlere Latenz des ersten Tokens sinkt um 95 %, und Inferenzanfragen müssen nicht mehr in der Warteschlange auf KV-Speicherplatz warten.

Vergleich vor und nach der Umgestaltung des KV-Cache-Layouts

Zweitens: Parameter werden aufgeteilt, um den Decodierungsdurchsatz zu erhöhen.

Der seitenbasierte Attention-Mechanismus nutzt Doppelpufferung, um die HBM-Latenz zu überdecken, d. h. während aktuelle Daten berechnet werden, wird der nächste Datenblock im Voraus geladen.

Der alte heuristische Algorithmus sperrt sowohl den Rechenblock als auch den Leseblock auf 16k Token, sodass kein zusätzlicher Speicherplatz im VMEM für Vorladevorgänge übrig bleibt.

Jetzt hält das Entwicklungsteam den Leseblock bei 16k und reduziert den Rechenblock