Unternehmen wie DeepSeek fertigen massiv Chips an – ist NVIDIA endlich nicht mehr begehrt?

Alter Kumpel, will DeepSeek wirklich selbst Chips entwickeln???

Die Sache ist die: Vor einiger Zeit berichtete Reuters, dass DeepSeek, das bisher als seriös galt, bereits seit einem Jahr heimlich an KI-Chips arbeitet und Kontakt zu Chipherstellern, Wafer-Foundries und Speicheranbietern aufnimmt.

Aber nur wenige Tage nach der Veröffentlichung dieser Nachricht stellte OpenAI seinen gemeinsam mit Broadcom entwickelten Jalapeño-Chip-Cluster vor. Zur selben Zeit kündigte auch Anthropic an, ein eigenes Chipherstellungsteam aufzubauen...

Ihr alle kauft wahnsinnig viel Produktionskapazität von Nvidia und erklärt gleichzeitig öffentlich, selbst Chips entwickeln zu wollen. Sind die GPUs, die Jensen Huang ihnen verkauft, etwa nicht mehr gut genug?

Nach einiger Recherche habe ich herausgefunden: Tatsächlich sind sie nicht mehr gut genug...

Und der Grund dafür liegt ganz klar auf der Hand: Inferenzchips.

Dieser sogenannte Inferenzchip ist eigentlich kein neuer Begriff. Vor vielen Jahren begann Google bereits mit der ersten Generation von TPU, die sich mit Inferenz befasste. In den letzten Jahren gab es auch viele Startups, die an Inferenzchips forschten, wie Groq, Cerebras und SambaNova – jedes von ihnen hat seine eigenen einzigartigen Vorteile.

Aber der Grund, warum die meisten Menschen heute damit nicht vertraut sind, ist offensichtlich: Diese Branche entwickelte sich in den vergangenen Jahren nur langsam und galt als Bereich, den große Technologiekonzerne überhaupt nicht beachteten.

Nun stellt sich die Frage: Warum haben alle großen Konzerne plötzlich ein so großes Interesse daran, obwohl sie sich in den vergangenen Jahren kaum darum gekümmert haben?

Weil es sich früher nicht gelohnt hat... Damals gab es noch keine klare Perspektive für dieses Vorhaben.

Wie allgemein bekannt ist, entwickelt sich die Branche der großen KI-Modelle sehr schnell. Ein Modell oder eine Technologie, die heute sehr populär ist, kann in zwei Monaten schon völlig vergessen sein. Wir wissen nicht einmal, wo die einst populären OpenCLaw-Projekte heute stehen, geschweige denn die großen Modellhersteller von vor zwei Jahren.

Damals gab es sogar viele Leute, die sich offen gegen LLM ausgesprochen haben (du weißt schon, Yann LeCun)... Es war ungewiss, wie weit sich große Modelle entwickeln würden, also war es für Modellhersteller noch weniger sinnvoll, extra Chips für die Inferenz zu entwickeln.

Immerhin funktionierten die Karten von Nvidia problemlos, das Training lief auch sehr gut. Es wäre reine Zeitverschwendung gewesen, sich mit Inferenzchips zu befassen. Sogar Googles TPU, die sich schon früh mit Inferenz befasste, war ursprünglich nicht für große Modelle konzipiert – damals gab es die großen Modelle nämlich noch gar nicht.

Aber der Wendepunkt ereignete sich vor zwei Jahren um diese Zeit.

Im August 2024 veröffentlichte das Google DeepMind-Team eine bahnbrechende Arbeit. Sie fanden heraus, dass die Genauigkeit des Modells sprunghaft ansteigt, wenn man die Denkzeit des Modells verlängert.

Ab September begann die o-Serie von OpenAI, die Branche zu revolutionieren. Im darauffolgenden Jahr sorgten DeepSeek-R1 und andere Modelle mit tiefem Denkvermögen für einen großen Schock auf der ganzen Welt.

Von letztem Jahr bis heute haben alle Beteiligten erkannt, dass KI-Agenten, kooperierende Gruppen von mehreren Agenten und die Analyse extrem langer Kontexte mit Hunderttausenden von Wörtern zum Standard für den praktischen Einsatz großer Modelle geworden sind. Der technologische Ansatz der tiefen Inferenz und von Agenten wurde von der gesamten Branche anerkannt.

Mit der Bestätigung und Weiterentwicklung dieses technologischen Ansatzes steht neben den Entwicklern an der Front auch die GPU unter dem größten Druck...

Öffnet man ein beliebiges KI-Dialogfenster, gibt man Text ein und die KI gibt Text zurück – das wirkt sehr natürlich und reibungslos.

Aus der Sicht der KI aber muss sie zuerst verstehen, „was dieser Satz überhaupt bedeutet“, wenn man ihr sagt, sie soll „eine Katzenmädchen-Rolle spielen“. Dieser Schritt wird als Prefill bezeichnet. Der Prozess, in dem die KI den Satz verstanden hat und nun beginnt, wie ein Katzenmädchen zu sprechen und das Ergebnis auszugeben, heißt Decode.

In der Prefill-Phase teilt die KI den gesamten Satz in einzelne Tokens auf und versteht die Bedeutung dieser Tokens jeweils. Dieser Prozess ähnelt stark der Trainingsphase der KI.

Wie kann das Modell die Bedeutung dieser Tokens bestimmen? Das hängt mit der Matrix zusammen.

Und unter allen verfügbaren Hardwarekomponenten ist die GPU der absolute König der Berechnungen, der am besten für Matrixoperationen geeignet ist.

Aber für die GPU ist der Berechnungsprozess in der Prefill-Phase, in der die Frage übermittelt wird, völlig anders als in der Decode-Phase, in der die Antwort ausgegeben wird...

In der Prefill-Phase liegen die Daten auf einmal vor, die GPU kann sie selbst aufteilen und alle Kerne rechnen parallel zusammen – das funktioniert sehr reibungslos.

Man kann das mit der vereinfachten Formel im folgenden Bild nachvollziehen: Angenommen, die eingegebenen Tokens erfordern eine Matrix mit 4096 Parametern, dann kann die GPU mit jedem Byte an Daten, das sie aus dem Speicher holt, Tausende von Operationen durchführen.

Aber sobald wir in die Decode-Phase eintreten, ändert sich die Situation komplett.

Wie allgemein bekannt ist, sind aktuelle große Modelle autoregressiv: Man braucht das vorherige Wort, um das nächste Wort berechnen zu können. Deshalb sinkt die Eingabematrix mit 4096 Zeilen aus der Prefill-Phase in der Decode-Phase auf nur eine einzige Zeile.

Bei derselben Berechnung kann die GPU mit jedem Byte an Daten, das sie aus dem Speicher holt, nur noch eine einzige Operation durchführen...

Das ist ein großes Problem...

Im Inneren des Chips ist der Energieverbrauch für die Multiplikation zweier Daten sehr gering. Aber um ein Datum aus dem Grafikspeicher in die GPU zu holen, werden oft Dutzende oder sogar Hunderte Mal so viel Energie und Zeit verbraucht wie für die Multiplikation selbst.

Um die volle Rechenleistung eines Chips auszunutzen, ist die ideale Situation also: Man holt Daten einmal in den Rechenkern und rechnet dann zehntausende Male lokal damit. Das Schlimmste ist, wenn man jedes Datum nur einmal verarbeitet und es dann später wieder neu holen muss.

Deshalb muss ein großes Modell mit 70 Milliarden Parametern und 140 GB Gewichten in der Decode-Phase die gesamten 140 GB Daten einmal vollständig aus dem HBM-Grafikspeicher lesen, bevor es ein einzelnes Token an den Nutzer ausgibt – und bei jedem weiteren Token muss es die Daten noch einmal neu lesen.

Sogar mit einem Top-Grafikspeicher mit 3 TB/s Bandbreite liegt die Ausgabegeschwindigkeit nur bei 21 Tokens pro Sekunde...

Anders ausgedrückt: Man gibt so viel Geld für Grafikkarten aus, aber der Chip verbringt 80 % seiner Zeit damit, auf die Übertragung von Daten zu warten – das ist absolut nicht hinnehmbar.

Noch schlimmer: Neben der längeren Inferenzzeit muss das Modell alle Merkmale der vorherigen Hunderttausenden von Wörtern im Grafikspeicher zwischenspeichern, um den gesamten Denkprozess zu behalten. Mit jedem weiteren Denkschritt explodiert die Menge an Daten, die im Grafikspeicher transportiert werden muss (KV-Cache). (Das ist der Grund, warum die Preise für Grafikspeicher und Arbeitsspeicher stark angestiegen sind.)

Früher, als der Grafikspeicher noch ausreichte, konnten die großen Hersteller das Problem leicht mit rein softwarebasierten Methoden bewältigen.

Zum Beispiel durch kontinuierliche Stapelverarbeitung, bei der Anfragen von Dutzenden von Nutzern zusammengefasst werden, um die Transportkosten zu senken. Oder durch die effiziente Multi-Head-Aufmerksamkeitsmechanik von Liang Sheng, die den KV-Cache komprimiert, um die zu transportierende Datenmenge der GPU zu reduzieren.

Aber all das beseitigt nur die Symptome, nicht die Ursache... Die GPU ist von Grund auf ein Allzweckchip, kein Inferenzchip – sie ist einfach nicht für die Decode-Phase konzipiert!

Tatsächlich hat Google dieses Problem schon vor vielen Jahren erkannt. Ihre Lösung war sehr einfach und direkt: Wenn die allgemeine GPU so schlecht für diese Aufgabe geeignet ist, warum entwickeln wir dann nicht einen speziellen Chip, der nur für die Inferenz gedacht ist?

So entstand die erste Generation von TPU. Ihre Kerntechnik zur Lösung des Datentransportproblems heißt Systolic Array.

Man kann sich das Innere des Chips wie eine Fabrik vorstellen: Der HBM-Grafikspeicher ist das zentrale Lager außerhalb der Fabrik, das SRAM ist ein kleiner Korb neben der Fließband, und die Rechenkerne sind Arbeitsplätze zum Anbringen von Schrauben. Bei einer normalen GPU für Matrixberechnungen ist es so, dass ein Arbeiter für jede einzelne Schraube ins Lager gehen muss, um ein Teil zu holen, und das fertige Teil danach wieder ins Lager zurückbringt.

Das Systolic Array von Google hingegen verwandelt den Schraubprozess in eine Fließband – und zwar eine zweidimensionale Fließband.

Google hat Zehntausende von Multiplikationseinheiten (PE) zu einem quadratischen Verbund zusammengeschaltet. Sobald die Gewichtsdaten der Matrix in die Fließband gelangen, werden sie wie ein Staffelstab zwischen den Arbeitsplätzen horizontal weitergerechnet und verarbeitet, bevor die Ergebnisse nacheinander an die nächste Verarbeitungsebene weitergegeben werden.

Da die Daten direkt zwischen benachbarten Kernen weitergegeben werden, werden sie nach dem Eintreten in einen Kern Dutzende oder Hunderte Male weitergereicht und wiederverwendet, ohne jemals zum externen Grafikspeicher zurückzukehren – es ist überhaupt kein Zwischentransport von Daten nötig.

Diese Technik der TPU war einer der Schlüsselfaktoren, mit denen Google sich von der Abhängigkeit von Nvidia lösen und im Zeitalter von Gemini 2.5 extrem schnelle Inferenz erreichen konnte. (Natürlich hat die Leistung von Gemini inzwischen wieder nachgelassen.)