Der erste Trainingschip von Meta feierte sein offizielles Debüt.

Im März dieses Jahres enthüllte Meta Pläne für eine Reihe von Chips wie den MTIA 300. Vor kurzem haben sie endlich den Schleier vom ersten Chip in dieser Roadmap gelüftet.

Den Angaben zufolge ist der MTIA 300 Metas erster KI-Trainingschip, der speziell für Deep Learning Recommendation Models (DLRM) optimiert ist. Anders als bei GenAI-Training erfordert DLRM-Training zwar keine hohe Gleitkommaleistung, aber großen Arbeitsspeicher, hohe Netzwerkbandbreite und häufige kollektive Kommunikation – eine Kombination, die normalerweise zu einer geringen Auslastung der Beschleuniger führt. Der MTIA 300 begegnet diesen Herausforderungen mit drei zentralen Innovationen:

Ein integriertes Netzwerkkontroller-Chipsatz mit 12×800 Gbps RDMA-Netzwerkkarten sorgt für hohe Netzwerkleistung und beseitigt PCIe-Overhead;

Ein dedizierter Nachrichten-Engine für das kollektive Offloading bietet einen Durchsatz, der dem der Berechnungs-Engine entspricht, und beansprucht dabei nur ein Drittel der Chipfläche;

Nahspeicher-Rechenarchitektur platziert die Nachrichten-Engine in unmittelbarer Nähe zu HBM, Cache und I/O und ist mit spezialisierter Hardware ausgestattet, um reduktionsbasierte kollektive Operationen wie ReduceScatter zu beschleunigen.

Obwohl der MTIA 300 ursprünglich für DLRM entwickelt wurde, gelten diese breit anwendbaren Designprinzipien auch für die nachfolgenden MTIA-Chips der Serie, die für GenAI-Modelle optimiert sind (MTIA 400, 450 und 500).

Unseren Kenntnissen zufolge ist der MTIA 300 der erste Beschleuniger mit integriertem Netzwerkkontroller-Chip und universellem kollektiven Offloading-Engine, der eine effiziente vertikale und horizontale Skalierung der Kommunikation ermöglicht. Darüber hinaus wurden die mittlere Gleitkommaleistung und die höhere HBM-Bandbreite und -Kapazität des MTIA 300 ursprünglich für das Training von DLRM-Modellen optimiert – diese Eigenschaften machen ihn aber auch für GenAI-Inferenz geeignet. Leistungsevaluierungen zeigen, dass der MTIA 300 in seiner Leistung mit GPUs gleicher Generation mithalten kann und zudem einen Kostenvorteil bietet.

Einführung

Die KI-Arbeitslasten wachsen in der gesamten Branche weiterhin rasant. Bei Meta verlassen sich Produkte wie Facebook und Instagram auf Deep Learning Recommendation Models (DLRM), um personalisierte Inhalte wie Werbung, Kurzvideos und Freundes-Feeds bereitzustellen. Dieses Wachstum hat Meta dazu veranlasst, eigene KI-Chips zu entwickeln. Zuvor haben wir bereits den MTIA 1 und den MTIA 2i (auch bekannt als MTIA 100 und 200) auf den Markt gebracht – beide Chips sind für die DLRM-Inferenz optimiert, wobei der MTIA 2i derzeit mit Hunderttausenden von Exemplaren im Einsatz ist.

Dieser Artikel beschreibt den nächsten Schritt in dieser Entwicklung: Metas ersten Trainingschip, den MTIA 300.

Meta unterstützt zwei große Kategorien von KI-Arbeitslasten: GenAI und DLRM. DLRM-Training unterscheidet sich von GenAI-Training: Es erfordert weniger Gleitkommaoperationen (FLOPS), aber eine größere HBM-Kapazität, eine höhere Netzwerkbandbreite und häufigere Kommunikation. Diese Kombination führt normalerweise zu einer geringeren Auslastung der Beschleuniger. Anders als universelle GPUs ist der MTIA 300 für DLRM optimiert, und sein Design unterscheidet sich bewusst von der GPU-Architektur, um diesen Fokus zu verdeutlichen.

Um die Designmotivation des MTIA 300 für Deep Learning Recommendation Models (DLRM) zu erläutern, fassen wir zunächst die Eigenschaften der Arbeitslast zusammen. DLRM wenden normalerweise Multi-Layer-Perzeptron (MLP) auf dichte Merkmale (z. B. Alter des Nutzers) und Einbettungstabellen auf spärliche kategoriale Merkmale (z. B. Beitrags-ID) an, die über eine dichte Interaktionsschicht verbunden sind. Die dichten Komponenten erfordern eine hohe Gleitkommaleistung (FLOPS) – wenn auch deutlich weniger als GenAI – während die spärlichen Komponenten unregelmäßig auf sehr große Einbettungstabellen zugreifen und normalerweise durch Arbeitsspeicher oder Anweisungen begrenzt sind. Da Einbettungstabellen häufig die Speicherkapazität eines einzelnen Beschleunigers überschreiten (manchmal machen sie über 99 % der Modellparameter aus), verwendet DLRM beim Training eine gemischte Parallelisierung: Dichte Schichten verwenden Datenparallelität, während spärliche Schichten die Einbettungstabellen tabellen- oder zeilenweise aufteilen. Dieser Ansatz ermöglicht das Training großer Modelle, ohne die Recheneffizienz der dichten Schichten einzubüßen.

Die Kombination aus Datenparallelität und Modellparallelität für verschiedene Modellkomponenten führt zu komplexen Kommunikationsmustern. Bei der Datenparallelität erhält jeder Beschleuniger einen lokalen Stapel und führt eine AllReduce-Operation durch, um die Gradienten zu synchronisieren. Die Modellparallelität tauscht Merkmale über AllToAllv-Kollektive aus und verteilt die Ergebnisse während der Vorwärts- und Rückwärtsausbreitung neu. Darüber hinaus verwenden viele DLRM-Algorithmen einen verteilten Shampoo-Optimierer für die dichten Komponenten, der während der Optimierungsphase eine AllGather-Operation hinzufügt. Die effiziente Ausführung dieser Kollektive ist entscheidend für eine hohe Leistung.

Da DLRM höhere Anforderungen an die Kommunikationsdatenpfade stellt, integriert der MTIA 300 die folgenden Eigenschaften, um diese Herausforderung zu meistern:

• Integrierter Netzwerkkontroller-Chip: Der MTIA 300 verwendet eine Chip-Architektur mit zwei eingebetteten Netzwerkkontroller-Chips, die insgesamt 12 hochoptimierte 800 Gbps RDMA-Netzwerkkarten enthalten. Der integrierte Netzwerkkontroller vermeidet den PCIe-Overhead zwischen Beschleuniger und Netzwerkkarte, und die Netzwerkkarten können flexibel für Netzwerke mit vertikaler oder horizontaler Skalierung verwendet werden.

Kollaboratives Offloading: Bei GPUs verarbeiten die Berechnungs-Engine und der Host-CPU kollektive Operationen, was normalerweise ineffizient ist. Im Gegensatz dazu verwendet der MTIA 300 eine dedizierte Nachrichten-Engine, die bei nur einem Drittel der Chipfläche den gleichen Kommunikationsdurchsatz für diese Operationen liefert wie die Berechnungs-Engine.

Nahspeicher-Rechenarchitektur: Die Berechnungs-Engine und die Nachrichten-Engine teilen sich ein On-Chip-Netzwerk für den Zugriff auf Arbeitsspeicher und I/O. Um Überlastungen durch hochbandbreitige kollektive Operationen zu vermeiden, ist die Nachrichten-Engine am Rand des Chips in der Nähe von HBM, Cache und I/O-Ports platziert. Der Logikblock für Nahspeicherrechenoperationen der Nachrichten-Engine bietet einen hohen Durchsatz für alle reduktionsbasierten kollektiven Operationen, einschließlich Reduce, AllReduce und ReduceScatter.

Neben der Beschreibung der einzigartigen Hardwareeigenschaften und der Gesamtarchitektur des MTIA 300 beschreiben wir auch den Software-Stack, wobei der Fokus auf der Kollektivbibliothek liegt, die eine vertraute Schnittstelle bietet und gleichzeitig die dedizierte Nachrichten-Engine und den integrierten Netzwerkkontroller des MTIA effizient nutzt, um eine schnelle Kommunikation zu ermöglichen.

Obwohl bereits viele GPUs und KI-ASIC-Chips bekannt sind, zeigen unsere Erfahrungen, dass DLRM einige einzigartige Anforderungen stellt, die in früheren Untersuchungen nicht berücksichtigt wurden. Unseren Kenntnissen zufolge ist der MTIA 300 der erste Beschleuniger mit integriertem Netzwerkkontroller-Chip und universellem kollektiven Offloading-Engine, der die Ineffizienz vermeidet, Berechnungs-Engines für kollektive Berechnungen zu verwenden, und eine flexible Netzwerkkonfiguration ermöglicht, die sowohl für vertikale als auch horizontale Skalierungsanforderungen geeignet ist. Im Gegensatz dazu können die spärlichen Kerne von TPUs zwar auch Fernzugriffe auf Einbettungstabellen offloaden, sind aber auf nicht-RDMA-fähige, nicht vermittelnde Torus-Netzwerke ausgelegt und verfügen über keine universelle Kollektivbibliothek-Schnittstelle – dies schränkt ihre Nutzung in anderen branchenüblichen Beschleunigern ein, die normalerweise auf RDMA und ähnlichen Kollektivbibliothek-Schnittstellen basieren.

Obwohl die herausragenden Merkmale des MTIA 300 – integrierter Netzwerkkontroller-Chip, kollektives Offloading und Nahspeicherrechenarchitektur – ursprünglich für das DLRM-Training entwickelt wurden, behalten diese Designprinzipien ihre breite Anwendbarkeit und wurden von den nachfolgenden MTIA-Produktlinien übernommen, die für GenAI-Modelle optimiert sind. Die Entwicklung des MTIA 300 begann vor mehreren Jahren, um mit den H100- und H200-GPUs zu konkurrieren, während sein Nachfolger, der MTIA 400, darauf ausgelegt ist, mit der GB300-GPU gleichzuziehen. Darüber hinaus zielen die kommenden Modelle MTIA 450 und 500 darauf ab, bei der GenAI-Inferenzleistung die zukünftigen GPUs zu übertreffen und ein branchenführendes Niveau zu erreichen.

Architektur des MTIA 300

Abbildung 1 gibt einen Überblick über den MTIA 300, der eine Chip-Set-Architektur verwendet. Um seine Besonderheiten hervorzuheben, vergleichen wir den MTIA 300 zunächst mit dem MTIA-2i und anschließend mit GPUs.

A. Vergleich zwischen MTIA 300, MTIA-2i und GPU

Tabelle I vergleicht die Spezifikationen des MTIA 300 und des MTIA-2i. Während der MTIA-2i für die Inferenz entwickelt wurde, ist der MTIA 300 für das Training ausgelegt. Der MTIA 300 führt mehrere Verbesserungen ein: Die Fläche hat sich um etwa das 3-fache vergrößert, die thermische Verlustleistung (TDP) um etwa das 10-fache, er verwendet Flüssigkühlung statt Luftkühlung, HBM3E statt LPDDR, FP8-Berechnungen statt INT8, die BF16-FLOPS-Leistung ist um mehr als das 3-fache gestiegen, er verwendet 2,5D-CoWoS-Verpackung, die Größe des Berechnungs-Chips entspricht der Retikelgröße, er verfügt über einen RoCE-fähigen Netzwerkchip und eine Nachrichten-Engine für das Offloading kollektiver Kommunikation. Bemerkenswert ist, dass die SIMD-Gleitkommaleistung für FP32 um mehr als das 6-fache gestiegen ist, was zu einem Verhältnis von GEMM zu SIMD von 16:1 führt – im Vergleich zu 32:1 beim MTIA-2i. Dieser Anstieg ist angesichts der wachsenden und vielfältigen Anforderungen an Nicht-GEMM-Berechnungen während des Trainings (z. B. tabellenbasierte Stapel-Einbettungsvorwärts-/Rückwärtsiterationen und Optimierer) erheblich.

Anders als universelle GPUs ist der MTIA 300 für DLRM optimiert. Tabelle II hebt seine Unterschiede zur H100-GPU hervor. Bemerkenswert ist, dass der MTIA 300 die Spitzengleitkommaleistung reduziert und stattdessen die HBM-Bandbreite und die Netzwerkleistung verbessert – gekennzeichnet durch einen integrierten Netzwerkkontroller-Chip und spezialisierte Hardwareunterstützung für das Offloading kollektiver Kommunikation.

B. Berechnungs-Chip des MTIA 300

Abbildung 2 zeigt die Architektur des Berechnungs-Chips des MTIA 300. Er besteht aus einem 12×6-Raster von Verarbeitungseinheiten (PE), die Berechnungsaufgaben ausführen, und enthält 16 Nachrichten-Engines (ME), die kollektive Operationen durchführen. An den Ost- und Westseiten können SRAM-Bänke als Last-Level-Cache (LLC) oder Last-Level-Speicherbereich (LLS) verwendet werden. Jede Seite ist mit 3 12-stufigen HBM3E-Stapeln verbunden. Die Verarbeitungseinheiten sowie die Verarbeitungseinheiten und der On-Chip- und Off-Chip-Speicher sind über ein vermaschtes Verbindungsnetz verbunden.

On-Chip-Netzwerk (NoC): Das NoC ist eine zweidimensionale Router-Masche, die die Verarbeitungseinheiten und Nachrichten-Engines innerhalb des Hauptrasters verbindet. Es verbindet zudem den Berechnungs-Chip mit Steuerungs- und Host-Schnittstellenmodulen sowie den Chip-Schnittstellen-IP-Modulen an den Nord- und Südseiten, die mit den Netzwerkkontroller-Chips verbunden sind. Das NoC stellt Daten-, Steuerungs-, Dienstprogramm- (z. B. Registerzugriff und Debugging), Synchronisations- und Reduktionskanäle bereit. Um Leistung und Skalierbarkeit zu verbessern, haben wir Cluster-Router eingeführt, die sechs PE-Knoten lokal verbinden und so die gesamte Hop-Verzögerung reduzieren. Anders als beim MTIA-2i verwendet der Berechnungs-Chip keinen Speicher-Crossbar – stattdessen übernimmt das On-Chip-Netzwerk (NoC) das Routing für die Speicherbankauswahl. Es verwendet einen Lrouting-Algorithmus – der sich zuerst entlang einer Dimension (z. B. der X-Achse) und dann entlang der anderen Dimension (der Y-Achse) bewegt – um den Datenverkehr gleichmäßig über das gesamte Raster zu verteilen, und verwendet virtuelle Kanäle, um Deadlocks zu vermeiden.

Host-Schnittstelle: Der MTIA 300 bietet eine leistungsstarke Host-Schnittstelle mit Unterstützung für PCIe, DMA und einen sicheren Startprozessor. Sie enthält Schnittstellen für die Host-Verwaltung von Berechnungs- und Netzwerkkontroller-Chips sowie eine Debug-Schnittstelle.

Steuerungskern: Dies ist ein RISC-V-Vierfach-S