Eine weitere "offene Verschwörung" von NVIDIA

In den letzten zwanzig Jahren war der Leistungsfortschritt von Rechenzentren hauptsächlich auf die ständige Weiterentwicklung von Rechenchips wie CPU, GPU und FPGA zurückzuführen. Doch seit wir in die Ära der generativen KI eingetreten sind, wird das gesamte Rechenleistungssystem von Netzwerken neu definiert. Bei der Training von großen Modellen sind die Kommunikationsverzögerungen und Bandbreiteneinschränkungen zwischen GPUs zu einem Schlüsselengpass für die TrainingsEffizienz geworden. Vor allem wenn die Modellparameter die Billionengrenze überschreiten, ist es für eine einzelne GPU schwierig, die Aufgabe zu bewältigen. Deshalb müssen Tausende oder sogar Tausende von GPUs parallel zusammenarbeiten, um das Training abzuschließen.

In diesem Prozess wird die Wichtigkeit des Netzwerks immer deutlicher. Kürzlich gab es eine große Neuigkeit in der Branche: Zwei Techriesen, Meta und Oracle, haben sich für die NVIDIA Spectrum-X-Ethernet-Switches und die dazugehörige Technologie entschieden. Dies wird von der Branche als ein wichtiger Schritt für die Entwicklung von Ethernet zu einer speziellen KI-Schnittstelle angesehen.

Außerdem zeigt dies, dass NVIDIA beschleunigt in die offene Ethernet-Ökosystem eindringt und Cloudriesen und Unternehmenskunden bindet. NVIDIA kontrolliert bereits das geschlossene High-End-Netzwerk mit InfiniBand und errichtet nun eine zweite Mauer in der "offenen" Ethernet-Ökosystem.

Spectrum-X: Die Ethernet-Netzwerke werden für KI optimiert

In den letzten Jahrzehnten war Ethernet das am weitesten verbreitete Netzwerk in Rechenzentren. Doch in der Ära, in der KI im Mittelpunkt steht, liegt die zentrale Herausforderung von KI nicht in der Rechenleistung einzelner Knoten, sondern in der Effizienz der Zusammenarbeit in verteilten Architekturen. Beim Training eines Basis-Modells (wie GPT, BERT oder DALL-E) müssen riesige Mengen an Gradientenparametern zwischen Knoten synchronisiert werden. Die Geschwindigkeit des gesamten Trainingsvorgangs hängt vom langsamsten Knoten ab - dies ist die Ursache für das Problem der "Tail Latency".

Deshalb ist das Ziel bei der Gestaltung von KI-Netzwerken nicht die "durchschnittliche Leistung", sondern die Gewährleistung, dass auch in extremen Situationen keine Verzögerungen auftreten. Dies stellt an die Netzwerkverzögerung, die Paketverlustrate, die Verkehrsverwaltung, die Staukontrolle und sogar die Cache-Architektur Anforderungen, die weit über die Traditionellen Ethernet-Netzwerke hinausgehen. Um dies zu erreichen, hat NVIDIA Spectrum-X entwickelt, die erste Ethernet-Lösung, die speziell für KI optimiert ist.

Was genau hat Spectrum-X verbessert? In der neuesten NVIDIA-Whitepaper "Networking for the Era of AI: The Network Defines the Data Center" wird dies ausführlich beschrieben.

Erstens, die Schaffung eines verlustfreien Ethernet-Netzwerks. In traditionellen Ethernet-Netzwerken werden Paketverluste und Wiederholungen als "akzeptable Kosten" angesehen. Doch beim KI-Training kann jeder Paketverlust dazu führen, dass GPUs inaktiv bleiben, die Synchronisierung fehlschlägt oder der Energieverbrauch sprunghaft ansteigt.

Spectrum-X nutzt die RoCE (RDMA over Converged Ethernet)-Technologie, um eine CPU-bypass-Kommunikation zu ermöglichen. PFC (Priority Flow Control) + DDP (Direct Data Placement) sorgen für eine verlustfreie Übertragung von Ende zu Ende. Zusammen mit dem Spectrum-X SuperNIC wird eine Hardware-Level-Stauerkennung und eine dynamische Verkehrsverwaltung realisiert.

Abbildung der RDMA-Implementierung für die GPU-to-GPU-Kommunikation (Quelle: NVIDIA)

Dadurch hat Ethernet erstmals eine Übertragungsbestimmtheit, die der von InfiniBand nahe kommt.

Zweitens, adaptive Routing und Paketverwaltung. Der größte Unterschied zwischen KI-Workloads und traditionellem Cloud-Computing besteht darin, dass KI-Workloads nur wenige, aber extrem große "Elephant Flows" erzeugen. Diese Verkehrsströme können leicht zu Hotspots im Netzwerk führen und schwerwiegende Staus verursachen.

Spectrum-X nutzt die Paket-Level-adaptive Routing-Technologie und die Paket-Spraying-Technologie. Durch die Echtzeitüberwachung der Link-Belastung wird dynamisch der optimale Pfad gewählt, und die Pakete werden auf SuperNIC-Ebene neu sortiert. Dieser Mechanismus überwindet die Grenzen des statischen Hash-Routings (ECMP) in Ethernet-Netzwerken und ermöglicht es, dass KI-Clustern auch bei ungleichmäßiger Verkehrsverteilung weiterhin linear skalieren können.

Abbildung der adaptiven Routing-Implementierung von NVIDIA Spectrum-X Ethernet (Quelle: NVIDIA)

Drittens, die Lösung des Staukontrollproblems. Das größte Problem der traditionellen ECN-Staukontrolle ist die hohe Reaktionsverzögerung. Wenn ein Switch einen Stau erkennt und ein ECN-Markierung sendet, ist der Puffer oft bereits voll, und die GPUs laufen im Leerlauf.

Spectrum-X meldet die Netzwerkstatus in Echtzeit über die Hardware-Level-In-band-Telemetrie. Basierend auf diesen Informationen führt das SuperNIC sofort eine Flow Metering durch und realisiert eine Sub-Mikrosekunden-Feedback-Schleife. NVIDIA behauptet, dass seine Technologie eine rekordverdächtige Effizienz aufweist. Ihre Staukontrolltechnologie erreicht eine Daten-Throughput von 95%, während die Throughput von bestehenden großen Ethernet-Netzwerken nur etwa 60% beträgt.

Viertens, Leistungsisolation und Sicherheit. KI-Clouds müssen oft Trainingsaufgaben von verschiedenen Benutzern oder Abteilungen auf derselben Infrastruktur ausführen. Spectrum-X gewährleistet durch die Universal Shared Buffer-Architektur einen fairen Zugang zum Cache für verschiedene Ports und verhindert, dass "lärmende Nachbarn" die Leistung anderer beeinträchtigen. Zusammen mit dem BlueField-3 DPU bietet es auf Netzwerk- und Speicherebene MACsec/IPsec-Verschlüsselung (Sicherheit von Daten in Transit), AES-XTS 256/512-Verschlüsselung (Sicherheit von Daten im Ruhezustand) sowie Root-of-Trust und Secure Boot (sichere Hardware-Boot). Dadurch erhält die KI-Cloud eine Sicherheitsisolation ähnlich wie bei privaten Clustern.

Man kann sagen, dass Spectrum-X Ethernet "KI-Gene" verleiht. Deshalb hat es auch die Gunst von Meta und Oracle gewonnen. Beide Unternehmen haben jedoch unterschiedliche Implementierungsstrategien für die Nutzung von Spectrum-X gewählt und haben die Lösung entsprechend ihren eigenen Geschäftsanforderungen optimiert.

Metas Ansatz konzentriert sich stärker auf eine "offene und orchestrierbare Netzwerkplattform". Sie kombiniert die Spectrum-Serie mit FBOSS und setzt dies in Open-Source-Switch-Designs wie Minipack3N um. Dies zeigt Metas kontinuierliche Investitionen in die Trennung von Hardware und Software sowie in die programmierbare Steuerungsebene. Für Meta ist das Ziel, die generativen KI-Dienste für Milliarden von Benutzern mit offenen Standards zu unterstützen, wobei Effizienz und Kontrollierbarkeit gleichermaßen wichtig sind.

Oracle hingegen nutzt Vera Rubin als Accelerator-Architektur und Spectrum-X als Netzwerkkern. Das Ziel ist es, verteilte Rechenzentren und Tausende von Knoten zu einer einheitlichen, orchestrierbaren Supercomputerplattform zusammenzufassen, um Unternehmenskunden End-to-End-Training und -Inferenzdienste anzubieten. Die Oracle-Management schlägt diese Art von Implementierung als "Giga-Scale AI Factory" vor und sieht es als Differenzierungsfaktor im Cloud-Wettbewerb.

Unabhängig von den unterschiedlichen Ansätzen ist einer Gemeinsamkeit sehr deutlich: Wenn die Rechenleistung weiterhin exponentiell wächst, entscheidet die Netzwerkebene, ob diese "theoretische Rechenleistung" in "tatsächlich nutzbare Durchsatz und Geschäftswert" umgewandelt werden kann.

Wie stark ist die Wirkung von Spectrum-X?

Wenn man die Wettbewerbssituation in der Branche betrachtet, ist die Einführung von NVIDIA Spectrum-X eine Art "Dimensionalitätsreduktion" für die Ethernet-Netzwerkbranche.

Zunächst muss man verstehen, dass Spectrum-X nicht nur ein einzelner Switchprodukt ist, sondern eine Systemstrategie. Es bindet die folgenden drei Komponenten zu einer "Hardware-Software-Integrations-Ökosystem" zusammen:

• Der Spectrum-X-Switch-ASIC (der verlustfreies Ethernet und adaptives Routing ermöglicht);
• Das Spectrum-X SuperNIC (das für die Paket-Level-Neusortierung, Staukontrolle und Telemetrie-Feedback verantwortlich ist);
• Das BlueField-3 DPU (das Sicherheitsisolation und RoCE-Optimierung bietet).

Das bedeutet, dass NVIDIA die dreistufige Netzwerk-Ökosystem (Switches, Netzwerkkarten, Acceleratoren), die ursprünglich von unabhängigen Herstellern angeboten wurde, in einem Zug übernommen hat und das "Netzwerk zu einer Erweiterung der GPU" gemacht hat. Somit hat es eine vertikale Schließung von Compute-Netzwerk-Speicher erreicht. Diese Strategie hat fast die gesamte Ethernet-Ökosystem erschüttert.

Dies bedeutet, dass Netzwerkunternehmen, die bisher von den Ethernet-Standards lebten - sei es Hersteller von Chips, Switches oder Optimierungssoftware - gezwungen sind, an einem neuen Wettbewerb teilzunehmen: Entweder sie integrieren sich in das NVIDIA-KI-Netzwerkssystem oder werden an der Peripherie zurückgedrängt.

Unter den direkt betroffenen Unternehmen sind zunächst die Hersteller von Ethernet-Chips für Rechenzentren, wie Broadcom (Trident/Tomahawk-Serie), Marvell (Teralynx, Prestera). Die RDMA over Ethernet-Fähigkeit von Spectrum-X stellt im Wesentlichen die Wertigkeit aller High-End-Ethernet-Chips in Frage. Diese Hersteller haben die Doppelekosystem von "Switch-Chip + NIC" lange Zeit monopolisiert. Früher war ihr Verkaufsargument "Offenheit + Kosteneffizienz". Doch nachdem NVIDIA KI-Optimierungsmerkmale (wie DDP, Telemetrie, Lossless Routing) in das GPU/DPU-Zusammenarbeitssystem integriert hat, bedeutet dies, dass Spectrum-X tatsächlich die "Rechenleistungsschwarzbox" von Ethernet aufgedeckt hat und diese Hersteller in gewissem Maße beeinträchtigen wird.

Ein weiteres betroffenes Segment sind die traditionellen Netzwerkgerätehersteller, wie Cisco, Arista Networks und Juniper Networks. Diese Unternehmen sind in hyperskaligen Cloud-Rechenzentren immer die Vertreter der "Ethernet-Standard-Szene" gewesen. Der Hauptverkaufspunkt ihrer High-End-Produkte ist die Unterstützung von 400/800 GbE, die Bereitstellung einer Vielzahl von programmierbaren Merkmalen und die Fähigkeit zur Software-Definierten Netzwerkverwaltung (SDN).

Aber im Rahmen der Spectrum-X-Architektur bildet NVIDIA durch die Kombination von "GPU + SuperNIC + Switch + DPU" eine geschlossene, aber extrem leistungsstarke Kette. Kunden müssen sich nicht länger auf die traditionellen Optimierungslösungen von Cisco/Arista verlassen. Insbesondere in einer "Single-Tenant + Extreme Performance"-Umgebung wie einer KI-Fabrik kann NVIDIA ihre Rolle allmählich übernehmen. Die Marktkapitalisierung von Arista stammt bereits zu Hälfte aus der Erwartung an KI-Netzwerke. Wenn Spectrum-X von großen Kunden wie Meta, Oracle und AWS vollständig übernommen wird, könnte Aristas Wachstumsmodell geschwächt werden.

Eine dritte Gruppe sind junge Chipunternehmen, die sich auf Interkonnektivität spezialisiert haben, wie Astera Labs, Cornelis Networks, Liqid, Rockport Networks, Lightmatter und Celestial AI. Sie entwickeln benutzerdefinierte Interkonnektivitätslösungen mit geringer Latenz und hoher Skalierbarkeit der Topologie.

Zunächst müssen wir verstehen, warum diese Hersteller existieren. In der Welt von NVIDIA ist die Interkonnektivität vertikal integriert: GPU → NVLink → Spectrum-X/InfiniBand → BlueField. Aber für andere Hersteller wie AMD, Intel und Google TPU haben sie keine Möglichkeit, den gesamten Stack zu kontrollieren. Deshalb brauchen sie dringend diese "neutralen Interkonnektivitätsanbieter", um alternative Lösungen anzubieten. Beispielsweise werden die Leo/Cosmos-Serie von Astera Labs bereits in den AMD MI300- und Intel Gaudi-Plattformen eingesetzt, um die Interkonnektivität zwischen GPU und Speicherpool zu verwalten. Cornelis Networks hat zusammen mit europäischen Supercomputerzentren das Omni-Path 200G-Netzwerk entwickelt, um InfiniBand zu ersetzen. Liqids Composable Fabric-Lösung wird von Dell und HPE integriert und für "AI Infrastructure as a Service (AI IaaS)" eingesetzt. Lightmatter und Celestial AI zielen auf die Zukunft ab - wenn optische Interkonnektivität elektrische Interkonnektivität ersetzt, wird die Architektur des gesamten KI-Rechenclusters neu geschrieben.

Wenn große Cloud-Anbieter die Spectrum-X-Architektur wählen, bedeutet dies, dass ihr gesamter Cluster auf NVIDIA in Bezug auf Treiber, Telemetrie und QoS-Kontrolle angewiesen ist. Die offenen Fabrics von jungen Herstellern sind schwer kompatibel. Kurzfristig wird der Marktplatz für diese unabhängigen Innovatoren durch die Integrationsgeschwindigkeit und die Tiefe der Kundenbindung von Spectrum-X deutlich eingeschränkt.

InfiniBand behält seinen Thron in der Hochleistungsrechnung

Wenn man sagt, dass Spectrum-X Ethernet für KI optimiert, dann ist NVIDIA Quantum InfiniBand ein Supernetzwerk, das von Anfang an für KI entwickelt wurde.

Vom Anfang an strebte Ethernet nach Offenheit und Allgemeingültigkeit. Es akzeptiert gewisse Paketverluste und Verzögerungen, um Kosten und Kompatibilität zu erreichen. Die Designphilosophie von InfiniBand ist genau das Gegenteil: Es strebt nach einer extremen Bestimmtheit und verlustfreien Übertragung (Lossless Determinism). Bereits 1999 trat es als Standard für die Dateninterkonnektivität in der HPC (High Performance Computing)-Branche auf und ist heute der faktische Standard in globalen Supercomputerzentren.

Dank drei Eigenschaften hat InfiniBand in den letzten zwanzig Jahren immer die Spitze der Leistung gehalten:

• Verlustfreie Übertragung (Lossless Networking): Es gewährleistet, dass kein Byte an Daten während des Trainings verloren geht;
• Sehr geringe Latenz (Ultra-Low Latency): Die Kommunikationsverzögerung wird in Mikrosekunden gemessen, was weit unter der von traditionellen Ethernet-Netzwerken liegt;
• Eingebaute RDMA und In-Network Computing: Es führt die Berechnung und Aggregation auf Netzwerkebene durch und entlastet den Host.