Enthüllung des selbstentwickelten Chips von Waymo: 1000 TOPS sind nur die Oberfläche, erst 160 TOPS sind wirklich sehenswert

Ein einziger Chip, dessen offiziell beworben Rechenleistung über 1000 TOPS liegt, weist tatsächlich eine veröffentlichte dichte Berechnungsdurchsatzrate von nur 160 TOPS auf.

Verwendet Waymo hier „aufgeblähte“ Werte, oder ist die Zahl von 1000 TOPS an sich gar nicht so wichtig?

Die Antwort ist wahrscheinlich Letzteres.

Das Bemerkenswerteste an dem selbst entwickelten Chip von Waymo ist nicht die Anzahl seiner TOPS-Rechenleistung, sondern dass Waymo den Wettbewerb um Chips für autonomes Fahren von dem „Aufhäufen von Rechenleistung“ hin zu dem „Wettbewerb um die Effizienz des Datentransports“ verlagert.

01

1000 TOPS,

Warum sind es in der Praxis nur 160 TOPS?

Am 20. August kündigte Waymo offiziell die Markteinführung seines selbst entwickelten 5-Nanometer-Chips an und erläuterte diesen detailliert auf der Hot Chips-Konferenz am 24. August.

Auf der offiziellen Website von Waymo gibt das Unternehmen an, dass die Rechenleistung des Chips über 1000 TOPS liegt.

Für normale Menschen ist der Rechenleistungswert gleich dem TOPS-Wert, je höher desto besser – auch Waymo kann sich dieser Logik nicht entziehen.

Aber auf der Hot Chips-Konferenz vor fachkundigem Publikum musste Waymo nicht nur den Spitzenwert der Rechenleistung hervorheben.

Die dichte Tensor-Berechnungsdurchsatzkapazität dieses Chips beträgt nur 160 TOPS. Wie Nvidia hat auch Waymo eine 2-fache strukturierte Sparsamkeit implementiert, was bedeutet, dass die Durchsatzkapazität im sparsamen Modus 320 TOPS beträgt.

Bedeutet das, dass die Rechenleistung von Waymo nicht hoch ist?

Auch das stimmt nicht: Seine tatsächliche Rechenleistung sollte viel höher sein als die vieler Chips, die angeblich über 1000 TOPS erreichen.

In der Branche wird normalerweise der theoretische Spitzenwert der Rechenleistung veröffentlicht, zwischen dem theoretischen TOPS-Wert und dem tatsächlichen Durchsatz sowie der Latenz des Modells besteht jedoch oft eine deutliche Lücke.

Waymo hat dieses Mal die Durchsatzkapazität unter dichten/sparsamen Bedingungen und unterschiedlicher Genauigkeit sehr klar dargestellt, was die Zahl von 160 TOPS umso referenzwerter macht.

Zum Beispiel ähnelt TOPS der „theoretischen Höchstgeschwindigkeit“ eines Autos.

Aber im tatsächlichen Fahrbetrieb hängt die Geschwindigkeit eines Autos nicht nur von der Höchstgeschwindigkeit ab, sondern auch von Faktoren wie Straßenverhältnissen, Getriebe, Reifen und Antriebssystem, die bestimmen, ob die tatsächliche Leistung vollständig entfaltet werden kann.

Bei Chips ist es genauso: 1000 TOPS ist der theoretische Spitzenwert, was nicht bedeutet, dass das tatsächliche Modell dauerhaft 1000 TOPS erreichen kann.

Der TOPS-Wert eines Chips ist wie die PS-Zahl eines Autos: Der Zahlenwert auf dem Papier ist wichtig, aber was das Erlebnis tatsächlich bestimmt, ist „wie viel Leistung man tatsächlich nutzen kann“.

Die Fläche dieses Chips von Waymo beträgt 208 Quadratmillimeter, was ungefähr der Hälfte des Li Auto Maher M100 entspricht. Er wird im 5-Nanometer-Verfahren von TSMC hergestellt, verfügt über ein integriertes Design aus MOP-Speicher und Gehäuse, nutzt die modernste 8-Lane-PCIe-5.0-Schnittstelle für den Host mit einer Bandbreite von 32 GB/s, das 25-fache von 10-Gigabit-Ethernet, und ist zusätzlich mit 25G-Ethernet ausgestattet. Der Gesamtverbrauch des Chips liegt unter 75 W.

Dieses Leistungsniveau ist sehr verträglich für die Wärmeabgabeumgebung im Fahrzeug.

02

Warum ist Waymo nicht mehr damit zufrieden, fertige Chips einzukaufen?

Viele Menschen mögen sich eine Frage stellen: Waymo verfügt bereits über ein ausgereiftes Intel-Rechensystem, warum entwickelt es trotzdem eigene Chips?

Tatsächlich hat Waymo bereits 2016 begonnen, die Entwicklung eigener Chips in Betracht zu ziehen, aber die Modelle ändern sich so schnell, dass das Chipdesign immer wieder neu iteriert werden musste.

Für ein Robotaxi-Unternehmen wie Waymo wachsen die Kopplung zwischen Modellen, Algorithmen, Daten und Hardware immer stärker, sodass auf generischen Chips eine große Menge ungenutzter Ressourcen verschwendet wird.

Die Entwicklung eigener Chips dient nicht nur der Kosteneinsparung, ihre Bedeutung gliedert sich in drei Ebenen:

Chipdesign auf das eigene Modell zugeschnitten. Nicht „jedes KI-Modell kann darauf laufen“, sondern „was mein Modell braucht, das entwerfe ich“.

Reduzierung des Datentransports. Der tatsächliche Berechnungsprozess läuft ab als „Berechnung → Datentransport → erneute Berechnung → erneuter Datentransport“. Wenn viel Zeit für den Datentransport aufgewendet wird, sind selbst viele Recheneinheiten nutzlos.

Koordination von Software und Hardware. Die gemeinsame Gestaltung von Modellen, Compilern und Chips ist der Punkt, an dem dieser Chip von Waymo die Automobilbranche wirklich aufmerksam machen sollte.

Der Kern der Chiparchitektur von Waymo ist carTPU. Die von Waymo eingekauften IPs umfassen GPU, On-Chip-Verbindung, LPDDR5X-Controller und Physical Layer, PCIe-Controller und Physical Layer, Ethernet-Controller und Physical Layer sowie Sicherheitswurzel. Die eigenentwickelten Komponenten umfassen Video-ISP, Codec, MIPI und Scratchpad-Speicher.

Es ist zu beachten, dass dies die Qualität der „Eigenentwicklung“ nicht beeinträchtigt.

Heutzutage bedeutet „selbst entwickelter Chip“ längst nicht mehr, alles ab den Transistoren selbst herzustellen, sondern um das eigene Modell und die eigene Arbeitslast herum die entscheidenden Berechnungspfade wie Chiparchitektur, Datenfluss, Videoverarbeitung, Compiler und Rechenkern neu zu gestalten.

Genau so hat Waymo es gemacht.

Die Schlüsselfigur für die selbst entwickelte Chipentwicklung von Waymo ist Pieter Kapsenberg, der 2005 zu Intel kam, 2014 in die Abteilung für Video-Codec-Hardware von Google eintrat und 2016 zu Waymo wechselte.

Eine weitere Schlüsselfigur ist Sabareesh Ravikumar, der früher bei Apple tätig war und im September 2017 zu Waymo stieß, er ist besonders erfahren im Design von Speichersystemen.

03

Was Waymo wirklich lösen will,

ist nicht die Rechenleistung, sondern das Problem „Daten lassen sich nicht transportieren“

Tatsächlich sinkt der Grenzwert des TOPS-Werts im Transformer-Zeitalter nach Überschreiten von 100 TOPS rapide, der Engpass liegt vollständig im Speicherbereich.

Etwa 70-90 % der Zeit laufen die Recheneinheiten leer und warten darauf, dass das Speichersystem Daten transportiert – das ist das berühmte Roofline-Modell. In der Automobilbranche kann kein Multi-Batch-Betrieb verwendet werden, die Batch-Größe beträgt normalerweise 1, wodurch dieses Phänomen noch deutlicher auftritt.

Heute sind wir im Zeitalter des Weltmodells angekommen, also im Zeitalter von DiT (Diffusion Transformer), wo der Speicherengpass noch deutlicher zutage tritt.

Das Roofline-Performance-Modell: Die X-Achse der Roofline-Modellkurve stellt Flops/Byte (GFlops pro Byte) also die Operationsintensität dar, die Y-Achse stellt GFlops/s (GFlops pro Sekunde) dar.

Das ist die Realität, die das berühmte Roofline-Modell im Chipdesign offenbart: Chips haben zwei Grenzfälle, einer ist unzureichende Rechenleistung, der andere ist unzureichende Datenversorgung. Der Kern besteht aus nur einer Formel: Tatsächliche Leistung = min (Spitzenrechenleistung, Speicherbandbreite × arithmetische Intensität).

Die horizontale Linie stellt die maximale Gleitkommaleistung des Computers oder Chips dar, die tatsächliche Leistung jeder Gleitkommaoperation kann diese Linie nicht überschreiten, da sie die Hardwarebegrenzung darstellt.

Die schräge Linie stellt die maximale unterstützte Gleitkommaoperationsleistung des Speichersystems des Computers bei unterschiedlicher Operationsintensität dar.

Waymo ist der Ansicht, dass viele KI-Aufgaben heute nicht mehr auf den ersten, sondern auf den zweiten Fall treffen. In den meisten Szenarien ist die arithmetische Intensität der Operatoren niedriger als der Gleichgewichtspunkt des Chips, die Leistung wird durch die Speicherbandbreite begrenzt.

Mit anderen Worten: Die Berechnung erfolgt sehr schnell, aber der Datentransport kann nicht Schritt halten.

KI-Modelle weisen sowohl Szenarien mit „Massenberechnungen“ (Matrixmultiplikation, also GEMM) als auch Szenarien mit „Berechnung von Daten einzeln nacheinander“ (Matrix-Vektor-Multiplikation, also GEMV) auf.

Die letztere GEMV-Berechnung ist besonders empfindlich gegenüber Speicherbandbreite und Effizienz des Datentransports.

Genau das ist das häufigste Berechnungsmodell für Echtzeit-Inferenz beim autonomen Fahren.

Dieser Chip von Waymo ist offensichtlich auf diese Art von Berechnungen optimiert.

Wenn man das verstanden hat, erkennt man bei der Betrachtung der Architekturgestaltung von Waymo, dass hinter jedem Parameter ein kausaler Zusammenhang steht, keine einfache Auflistung von Parametern.

Dabei gibt es drei entscheidende Gestaltungsmerkmale:

Hochentwickeltes 5nm-Verfahren beweist, dass Waymo nicht nur einen Hilfschip entwickelt, sondern wirklich in die erste Liga des Hochleistungs-KI-Chipdesigns eintritt;

Großkapazitäts- und Hochbandbreiten-On-Chip-SRAM: Jeder carTPU enthält zwei Kerne, jeder Kern umfasst 16 Recheneinheiten (PE), jeder Kern ist mit 2 MB SRAM ausgestattet mit einer Bandbreite von bis zu 640 GB/s. Die gesamte On-Chip-SRAM-Kapazität des Chips beträgt 64 MB, ergänzt durch 8 MB Registerdatei. Dies dient direkt dem Kernziel „Datentransport ist wichtiger als reine Rechenleistung“: Daten sollen möglichst auf dem Chip verbleiben, um Umwege zum externen Speicher zu vermeiden;

GEMV + Dual-DMA-Architektur: Bei der PE-Architektur von Waymo enthält jede PE 4 Berechnungs-Slices, pro Takt können 512 INT8-GEMV-Operationen ausgeführt werden – Waymo hat den Chip offensichtlich speziell auf den GEMV-Operator zugeschnitten. DMA steht für Direct Memory Access, zwischen den PEs wird Mesh-DMA verwendet, für Gewichts- und Berechnungswertausgabe wird Ring-DMA verwendet. Die beiden DMA-Einheiten arbeiten arbeitsteilig zusammen, um den Datentransport so weit wie möglich zu reduzieren. Dies beweist direkt, dass dieser Chip auf die eigene Arbeitslast für autonomes Fahren von Waymo zugeschnitten ist.

Darüber hinaus kann der flexible GEMV-Pfad an unterschiedliche Berechnungsprimitive (die grundlegendsten, nicht weiter zerlegbaren Basisoperationen, Datentypen oder Elemente) angepasst werden.

Waymo passt die Berechnungsart dynamisch an, um die maximale Auslastung der PEs zu erreichen.

Dies ist von entscheidender Bedeutung, da es sicherstellt, dass die Tensor-Kerne bei der Verarbeitung verschiedenartiger Netzwerkschichten stets mit hoher Last betrieben werden.

04

Chips für autonomes Fahren,

beginnen das Zeitalter der Integration von Software und Hardware

Hardware ist nur die Hälfte, Software ist die eigentliche Schwierigkeit dieses Chips.