Die Grenzen des Siliziums „herauspressen“: Wie sorgen wir dafür, dass GPUs nicht „untätig“ sind?

In der KI-Branche hat plötzlich ein „Krieg um die Chipherstellung“ begonnen.

Am 20. Juli berichtete The Information, dass Google an einem Serverchip mit dem internen Codenamen „Frozen v2“ arbeitet. Geplant ist, Teile der Architektur des Gemini-Modells direkt in Silizium zu verankern.

Einen Monat zuvor, am 24. Juni, stellte OpenAI den ersten gemeinsam mit Broadcom entwickelten Inferenzchip Jalapeño vor, dessen Entwicklung von dem Entwurf bis zur Herstellung des ersten Wafers nur neun Monate dauerte.

Darüber hinaus wurde bekannt, dass auch Anthropic, Zhipu und DeepSeek entsprechende Vorkehrungen treffen.

Aber nicht jedes Unternehmen verfügt über die finanziellen Mittel und die Fähigkeiten, einen eigenen Chip von Grund auf neu zu entwickeln. Daher zieht ein Markt die Aufmerksamkeit von Kapitalgebern und Großkonzernen auf sich: AI Infra. Die dahinterstehende Logik lautet: Die bereits eingesetzten Rechenzentren und GPUs bieten noch Optimierungspotenzial.

Die Einnahmen der KI-Inferenzplattform Baseten haben sich innerhalb eines Jahres um das 20-fache gesteigert, und ihre Bewertung ist von 2,1 Milliarden US-Dollar auf 13 Milliarden US-Dollar explodiert. Bei dem Konkurrenten fireworks hat sich die Bewertung innerhalb von sieben Monaten vervierfacht und 17,5 Milliarden US-Dollar erreicht, wobei der jährliche Umsatz 1 Milliarde US-Dollar übersteigt.

In jüngster Zeit ist ein starker Akteur in diesem Markt aufgetreten. Die quelloffenen Inferenz-Engines „Gemini“ vLLM und SGLang haben nacheinander ihre Kommerzialisierung angekündigt. Ihre Seed-Finanzierungsrunden übersteigen jeweils 100 Millionen US-Dollar, hinter denen sich fast alle Giganten der KI-Industrie und Top-Risikokapitalgeber versammelt haben, was den Beginn eines Wettbewerbs zwischen starken Partnern einläutet.

Daher ist die „Auslastung der GPUs“ zum neuen Schlüsselwort im Silicon Valley geworden und hat einen neuen Markt im Wert von Hunderten Milliarden Yuan hervorgebracht.

In diesem Artikel sprechen wir mit den Mitbegründern und Kernmitgliedern von RadixArk, das aus SGLang hervorgegangen ist, sowie mit Experten für Rechenzentren über die vier Schichten der AI-Infra-Architektur, wie die Branche das Potenzial von „Silizium“ maximal ausschöpft, und die dahinterstehenden Schlüsseltechnologien.

Der Fokus großer Modelle verlagert sich von dem Training auf die Inferenz, was völlig andere Anforderungen an die Rechenleistung stellt.

Die Trainingskosten sind extrem hoch, aber nach Abschluss des Trainings ist die Aufgabe erledigt. Die Inferenz ist jedoch anders: Je mehr KI-Anwendungen es gibt, wie Chatbots oder Agenten, desto mehr Anforderungen müssen die GPUs verarbeiten. Diese Anforderungen laufen ununterbrochen, sodass die Nachfrage nach Inferenz exponentiell wächst.

Zhu Banghua

Mitbegründer von RadixArk

Mit der zunehmenden Anzahl neuer Anwendungen wird das Gesamtvolumen an Inferenzaufgaben weit größer als bisher. Da die Menschen ständig neue Anwendungen entwickeln und die intelligenten Grenzen der Modelle erweitern, wird die Nachfrage nach Inferenz immer größer. Heute ist die Situation so, dass es fast unmöglich ist, auf dem Markt verfügbare GPUs zu finden – jedes Unternehmen fehlt es an Grafikkarten.

Heute fehlt es jedem Unternehmen an Grafikkarten. Für die finanzstarken Großkonzerne besteht die direkteste Methode natürlich darin, weiterhin Rechenzentren zu bauen und mehr GPUs zu erwerben.

Tech-Giganten wie Meta, Google und Microsoft erhöhen ihre Kapitalausgaben kontinuierlich. In diesem Jahr werden sie voraussichtlich insgesamt 1 Billion US-Dollar übersteigen. Jensen Huang prognostiziert, dass das weltweite jährliche Investitionsvolumen in KI-Infrastrukturen bis 2030 4 Billionen US-Dollar erreichen wird.

Aber die Wall Street ist besorgt.

Ethan Xu

Ehemaliger Energie-Strategiemanager bei Microsoft, Forschungsdirektor von Breakthrough Energy

Die Sorgen der Wall Street sind nicht unbegründet. Wir haben in der Vergangenheit entsprechende Erfahrungen gemacht. Wie beim Platzen der Blase im Internetzeitalter wurde damals viel Geld in den Glasfaserausbau und Internetunternehmen investiert. Obwohl diese Investitionen langfristig ihren Wert realisiert haben, gab es kurzfristig große Probleme.

Wenn wir also die Rechenleistung nicht kurzfristig massiv steigern können, welche anderen Methoden gibt es, um die Anforderungen der rasanten Entwicklung der KI zu erfüllen? Die Antwort lautet: Die Auslastung der GPUs erhöhen. Die dahinterstehende Industrie heißt AI Infra (Künstliche Intelligenz-Infrastrukturschicht).

Zuerst klären wir aus der Perspektive der gesamten Architektur von AI Infra über ein Missverständnis bezüglich GPUs auf: Sie denken vielleicht, die GPUs seien sehr beschäftigt, aber in Wirklichkeit sind sie die meiste Zeit sehr „untätig“.

Die GPU ist nur ein Glied im gesamten KI-System. Wenn eine Benutzeranfrage in das System eintritt, muss sie die Netzwerkübertragung, Ressourcenplanung, Modellladung, Speicherverwaltung durchlaufen, bis schließlich die Inferenz abgeschlossen und das Ergebnis zurückgegeben wird. Sobald in irgendeinem Glied des gesamten Prozesses ein Engpass auftritt, muss die GPU warten.

Eine im April dieses Jahres von der Carnegie Mellon University (CMU) veröffentlichte Studie führte 31 Tage lang detaillierte Telemetrie an 756 GPUs in einem großen akademischen KI-Cluster durch, die sechs Modelle von A6000, L40S, A100, H100 bis zum neuesten B200 abdeckte. Die Ergebnisse zeigten, dass die GPUs oft in einem Zustand namens „execution-idle“ (Leerlauf während der Ausführung) verharren.

Wie schwerwiegend ist dieser „scheinbar beschäftigte, aber tatsächlich untätige“ Zustand? In dem beobachteten Cluster wurden insgesamt fast 20 % der Ausführungszeit und etwa 11 % des Energieverbrauchs durch Warten verschwendet. Besonders auffällig ist der Inferenzbereich: Bei der Azure-Code-Arbeitslast entfallen bis zu 65 % des Energieverbrauchs auf diesen Leerlauf, bei Chat-Anfragen von OpenAI sogar 52 %.

Warum können die GPUs nicht vollständig ausgelastet werden? Zuerst müssen wir die vier Schichten der AI-Infra-Architektur verstehen – jede Schicht beeinflusst die Auslastung der GPUs.

Erste Schicht: Energieinfrastruktur (Power Infrastructure), also Strom. Diese Schicht bestimmt, ob die GPU dauerhaft und stabil betrieben werden kann.

Zweite Schicht: Hardware-Infrastruktur (Hardware Infrastructure), also die Grafikkarten. Neben GPUs gehören dazu heute auch Hochgeschwindigkeitsspeicher (HBM), Hochgeschwindigkeitsverbindungen (NVLink, InfiniBand) und CPUs. Diese Schicht bestimmt die theoretisch maximal verfügbare Rechenkapazität.

Dritte Schicht: Systemsoftware (System Software), einschließlich CUDA, Compiler, Kommunikationsbibliotheken, Speicherverwaltung und untergeordneter Kernel-Bibliotheken. Sie bestimmt, ob jede Berechnung die physischen Grenzen der Hardware erreichen kann.

Vierte Schicht: Dienstorchestrierung (Service Orchestration). Diese Schicht koordiniert die GPU-Ressourcen, bestimmt, welche Aufgaben vorrangig ausgeführt werden, und verwaltet die dynamische Planung zwischen verschiedenen Geschäftsbereichen. Inferenz-Engines, Trainingsframeworks, Anfrageplanung und Ressourcenverwaltung gehören zu dieser Schicht. Repräsentative Projekte sind vLLM und SGLang – dies ist auch der Bereich mit den meisten Innovationen in den letzten Jahren.

Nachdem wir die Architektur von AI Infra verstanden haben, kehren wir zu unserer Frage zurück: Warum bleiben so viele GPUs unausgelastet, in welchem Glied liegt der Hauptengpass?

Theoretisch beeinflusst jedes Problem in einer der vier Schichten die GPU-Auslastung: Bei unzureichender Stromversorgung und Kühlung wird die GPU gezwungen, mit reduzierter Taktfrequenz zu arbeiten. Wenn die Hardware-Verbindungen nicht mithalten können, verbringt die GPU viel Zeit damit, auf Daten zu warten, statt sie zu verarbeiten. Unzureichende Optimierung der Systemsoftware verhindert, dass jede Berechnung die physischen Grenzen der Hardware erreicht. Eine unsachgemäße Planung von Anfragen führt dazu, dass kombinierbare Berechnungen getrennt werden und wiederverwendbare Ergebnisse neu berechnet werden, was zu Verschwendung führt.

Aber die Probleme dieser vier Schichten sind unterschiedlicher Natur. Die Energieinfrastrukturschicht und die Hardware-Schicht sind „harte“ Probleme: Der Umbauzyklus von Stromversorgung, Kühlung und Chips wird in Jahren gemessen, und das Optimierungspotenzial erreicht schnell seine Grenzen. Die Systemsoftware-Schicht und die Dienstorchestrierungsschicht sind „weiche“ Probleme, im Wesentlichen Ingenieur- und Algorithmusprobleme. Nach der Optimierung können sie die Leistung um ein Vielfaches steigern.

Vor diesem Hintergrund verlagert sich die Aufmerksamkeit der Branche schnell auf diese beiden „weichen“ Probleme.

Chen Zhenlin (Richard)

RadixArk Member of Technical Staff

Obwohl die Kosten hauptsächlich in der physischen Schicht anfallen, muss der größte Teil der Arbeit in der Software-Schicht und der Dienstorchestrierung erledigt werden. Denn die Investition von Personal in diesen Bereich bietet das größte Optimierungspotenzial.

Nehmen wir ein konkretes Beispiel: Ein NVIDIA GB200 NVL72-Rack kostet etwa 4 Millionen US-Dollar bei der Anschaffung. Wenn der Software-Stack jedoch keine gute Planung und Optimierung durchführt, beträgt die tatsächliche Auslastung der GPU möglicherweise nur 50 %. Das entspricht einer Nutzung von nur 2 Millionen US-Dollar, während die restlichen 2 Millionen US-Dollar in Form von Stromkosten, Abschreibungen und Opportunitätskosten nutzlos verschwendet werden. Umgekehrt: Wenn die Auslastung von 50 % auf über 90 % gesteigert werden kann, entspricht das Effekt dem, als hätte man plötzlich ein zusätzliches Rack.

Chen Zhenlin (Richard)

RadixArk Member of Technical Staff

Die bestmögliche Ausgestaltung der Software-Schicht führt zu besseren Diensten und einem geringeren Verbrauch von Tokens. Durch die Neufassung und Optimierung dieser Schicht verbessern wir die Interaktion zwischen Inferenz-Engines und Trainingsframeworks, einschließlich der Planung von beliebten Post-Training-Prozessen wie Reinforcement Learning, um die Auslastung der GPUs zu steigern.

Aus diesem Grund wird jede Optimierung in der Software-Schicht zu einem direkten Geschäftsproblem, wenn die Hardware-Kosten diese Größenordnung erreichen.

Vor kurzem haben Internetnutzer herausgefunden, dass der größte Anteil der Mitarbeiter von Anthropic heute Ingenieure im Bereich AI Infra sind – was direkt mit dieser Logik zusammenhängt.