Googles KI-Chips – Eine gewaltige Veränderung
Laut Quellen, die mit der Situation bei Theinformation vertraut sind, entwickelt Google einen neuen Serverchip, der direkt den Bauplan (Blueprint) seines Gemini-KI-Modells integrieren soll. Dadurch kann das Unternehmen Nutzern KI-Modell-Dienste effizienter bereitstellen.
Es ist allgemein bekannt, dass in den frühen Jahren des Aufstiegs der KI die künstliche Intelligenz hauptsächlich auf allgemeinen GPUs basierte. Als man die Chancen von GPUs erkannte, tauchten nacheinander Chips wie TPU, NPU, LPU und Unternehmen wie Crebras auf. Dennoch war die Position der GPU über einen sehr langen Zeitraum unangefochten.
Allerdings hat sich die Landschaft der KI-Chips unter dem Einfluss von Unternehmen wie Google und Amazon, die ihre eigenen Modelle und Infrastrukturen aufbauen, verändert. Insbesondere mit der beschleunigten Umsetzung der KI fanden KI-Chips neue Chancen. Sogar Google entwickelte bei der Herstellung von TPUs Produkte, die jeweils auf Inferenz und Training ausgerichtet waren. Dennoch haben diese Produkte die Eigenschaften traditioneller allgemeiner Chips nicht verlassen.
Jetzt, da Google das Modell in den Chip einbaut, hat sich die Welt der KI-Chips drastisch verändert, und die traditionellen Regeln werden gebrochen.
Was für einen Chip hat Google entwickelt?
Wie berichtet wird, plant Google, mit diesem neuen Chip mit dem inoffiziellen Namen „Frozen v2“ das Problem des schwerwiegenden Mangels an KI-Rechenleistung zu lösen. Dieses Problem hat zu Spannungen im Unternehmen geführt und Google Cloud gezwungen, die Zusammenarbeit einiger externer Kunden abzulehnen.
Vor diesem Hintergrund hat Google vermutlich begonnen, eine neue KI-Chip-Linie zu erforschen: Statt nur nach stärkerer allgemeiner Rechenleistung zu streben, wird der Chip tief mit spezifischen Modellen kombiniert, um die KI-Rechenleistung durch die Zusammenarbeit von Software und Hardware zu verbessern.
Quellen zufolge stammt der Name „Frozen“ aus der Idee, Teile des Modells dauerhaft auf dem Siliziumwafer zu verätzen. Die Ingenieure bestimmen noch die Hauptfunktionen des neuen Chips und die Art und Weise, wie die einzelnen Komponenten zusammenarbeiten. Laut mit der Situation vertrauten Personen plant Google, den Chip frühestens 2028 einzusetzen.
Tatsächlich ist Google nicht das erste Mal, dass es versucht, die KI-Effizienz durch spezialisierte Hardware zu verbessern. Bereits 2016 hat Google den Tensor Processing Unit (TPU) eingeführt, um die Abhängigkeit von allgemeinen GPUs zu verringern. Aber wie die Nvidia-GPUs ist die TPU im Wesentlichen immer noch ein allgemeiner KI-Beschleuniger, der eine Vielzahl verschiedener Modelle und Algorithmen unterstützen muss.
Das bedeutet, dass sowohl GPUs als auch TPUs während des Betriebs ständig dynamisch nach der Modellstruktur, den Rechenaufgaben und den Datenflüssen geplant werden müssen. Zum Beispiel muss der Chip während der Inferenz großer Modelle eine große Anzahl von Matrixoperationen, Speicherzugriffen und Modellplanungsaufgaben verarbeiten. Diese allgemeinen Fähigkeiten bieten zwar einen größeren Anwendungsbereich, führen aber auch zu zusätzlichem Rechenaufwand.
Das Projekt Frozen verfolgt einen völlig anderen Ansatz.
Es versucht, die Rechenlogik, den Inferenzablauf und sogar die Entscheidungsmechanismen eines Teils des Gemini-Modells direkt im Chip zu verankern, sodass die Hardware die Funktionsweise des spezifischen Modells „verstehen“ und so den Planungsaufwand während der Laufzeit reduzieren kann. Mit anderen Worten: Traditionelle KI-Chips ähneln eher einem allgemeinen Computer, während Frozen eher einer „spezifischen Maschine“ entspricht, die für ein bestimmtes KI-Modell entwickelt wurde.
Dieses Modell ähnelt dem ASIC (Application-Specific Integrated Circuit)-Ansatz in der früheren Chipindustrie. Im Vergleich zu allgemeinen Architekturen wie GPUs kann ASIC bei bestimmten Aufgaben oft eine höhere Leistung und einen geringeren Stromverbrauch erreichen, allerdings auf Kosten der Flexibilität. Sollte sich der Algorithmusansatz erheblich ändern, stehen spezialisierte Chips möglicherweise vor dem Problem einer Neuentwicklung.
Das ist auch die größte Herausforderung für das Projekt Frozen.
Da die Chip-Entwicklungszyklen normalerweise mehrere Jahre dauern, während die Iterationsgeschwindigkeit von KI-Modellen viel schneller ist als in der traditionellen Halbleiterindustrie, könnte der Frozen-Chip seine Leistung nicht vollständig entfalten, wenn sich die Architektur des Gemini-Modells in Zukunft ändert. Daher muss Google ein Gleichgewicht zwischen der „Effizienz durch Spezialisierung“ und der „Fähigkeit zur fortlaufenden Modellentwicklung“ finden.
Laut mit der Situation vertrauten Personen wird Google in der Lage sein, den Chip zu modifizieren, einschließlich der Aktualisierung der Modellgewichte – also der Parameter, die bestimmen, wie das Modell Antworten generiert. Das bedeutet, dass Frozen nicht völlig unveränderlich ist, sondern versucht, einen neuen Kompromiss zwischen Hardware-Verankerung und Modellaktualisierung zu schaffen.
Wenn dieser Ansatz erfolgreich ist, könnte Frozen eine wichtige Richtung für die Entwicklung von KI-Chips darstellen: Da sich die Architektur großer Modelle allmählich stabilisiert, wird sich das Chip-Design von der „Unterstützung aller Modelle“ hin zu einer „tiefen Optimierung rund um die Mainstream-Modelle“ verändern.
Ähnliche Trends zeigen sich bereits. Der Kern des Wettbewerbs in der aktuellen KI-Industrie hat sich von dem reinen Vergleich der Spitzen-Rechenleistung von Chips hin zu einer umfassenden Zusammenarbeit von Modellen, Software, Chips und Systemen verlagert. Nvidia baut seine GPU-Vorteile mit dem CUDA-Ökosystem auf, während Google hofft, mit dem Gemini-Modell, TPUs und zukünftigen Frozen-Chips einen enger geschlossenen Kreislauf aus Software und Hardware zu bilden.
Laut Prognosen von an der Entwicklung beteiligten Personen könnte die Effizienz des Frozen-Chips nach seiner Veröffentlichung, gemessen an der Anzahl der verarbeiteten Tokens pro Leistungseinheit, das 6- bis 10-fache der aktuell neuesten KI-Chips von Google erreichen. Wenn dieses Ziel erreicht wird, kann es nicht nur den Druck auf die KI-Rechenressourcen von Google selbst verringern, sondern auch die Art des Wettbewerbs um zukünftige KI-Infrastrukturen verändern.
Eintritt in die von Taalas verfolgte Bahn
Tatsächlich hatte Taalas schon vor der Veröffentlichung dieser Google-Nachricht die Entscheidung getroffen, Modelle in Chips einzubauen.
Wie auf ihrer offiziellen Website angegeben, verändern KI-Modelle die Welt. Als Software stellen sie extrem hohe Anforderungen an die Rechenleistung. Wir müssen die Effizienz um das 1000-fache steigern. Dieses Ziel ist für unsere derzeit fortschrittlichsten allgemeinen Computer noch weit entfernt.
Um dieses Ziel zu erreichen, erklärte Taalas, müssen wir die folgenden Punkte erkennen:
Das Modell sollte nicht auf einem traditionellen Computer simuliert werden;
Es ist der Computer selbst;
Verkörpert in nativer Hardware;
Optimaler, fest verdrahteter Silizium-Chip;
Menschliche Sprache ist seine Software;
Taalas erstellt Hardcore-Modelle;
Ihrer Meinung nach kann jedes KI-Modell über Taalas Foundry zu einem Hardcore-Modell aufgerüstet werden. Hardcore-Modelle unterstützen Feinabstimmungen, und die dazugehörigen Anwendungen werden in menschlicher Sprache geschrieben.
Angetrieben von diesem Ansatz hat das Unternehmen sein erstes Produkt HC1 auf den Markt gebracht – einen Chip, der für das Open-Source-Sprachmodell Llama 3.1 8B optimiert ist. Den Parametern zufolge wird der Chip mit dem N6-Prozess von TSMC hergestellt. Seine Fläche beträgt 815 Quadratmillimeter, was nahe an der aktuellen Grenze der Maskengröße von Chips liegt. Jeder HC1-Chip enthält 53 Milliarden Transistoren in seinem Gehäuse, von denen die meisten wahrscheinlich für ROM- und SRAM-Speicher verwendet werden. Laut Bajic beträgt der Stromverbrauch der HC1-Karte etwa 200 Watt, während ein Dual-X86-Server mit zehn HC1-Karten bis zu 2500 Watt verbraucht.
Laut Taalas kann der Chip 17.000 Ausgabe-Tokens pro Sekunde generieren, was das 73-fache der Nvidia H200-Grafikkarte ist. Darüber hinaus erreicht der Prozessor diese hohe Leistung bei nur einem Zehntel des Stromverbrauchs der H200.
Übrigens bedeutet die extrem hohe Geschwindigkeit der HC1-Karte, dass sie Inferenz mit niedriger Latenz ohne Stapelverarbeitung von Abfragen ermöglichen kann, was zu einem sehr geringen Bandbreitendruck auf die Taalas-Geräte führt. So gering, dass selbst das parallele Ausführen größerer Modelle auf mehreren Karten den PCI-Express-Bus völlig ausreicht. Taalas wird Kunden später in diesem Jahr die Möglichkeit geben, Arbeitslasten mit Pipeline-Parallelität auf mehrere HC-Karten zu verteilen. Tatsächlich wird Taalas bis zum Sommer dieses Jahres ein Llama 3.1-Modell mit 20 Milliarden Parametern auf den Markt bringen, das auf dem HC-Chip fest kodiert ist.
Die Anpassung von Chips für spezifische KI-Modelle kann die Effizienz verbessern, teilweise weil es Ingenieuren ermöglicht, redundante Komponenten zu entfernen. Zum Beispiel kann eine handelsübliche Grafikkarte mehr DRAM enthalten, als ein KI-Modell benötigt. Bei einem angepassten Chip kann der nicht genutzte RAM durch zusätzliche Transistoren ersetzt werden, sodass das Modell schneller läuft.
Für die meisten KI-Projekte sind die Kosten für die Entwicklung eines vollständig angepassten Prozessors zu hoch. Laut Taalas senken seine Ingenieure die Kosten, indem sie nur zwei der mehr als 100 Schichten anpassen, aus denen der Chip besteht. In den meisten Prozessoren enthalten nur wenige Schichten Transistoren. Die verbleibenden Schichten enthalten Hilfskomponenten wie Drähte, die Daten zwischen verschiedenen Bereichen des Chips übertragen. Normalerweise befinden sich die schichtweise angeordneten Drähte in der Nähe der Transistoren.
Die angepassten Schichten im Taalas-Chip verwenden eine Technik namens Mask-ROM-Aufrufarchitektur. ROM ist ein Speicher, in den Benutzer Daten nur einmal schreiben können. Danach können Benutzer die Daten lesen, aber nicht mehr bearbeiten. Berichten zufolge kann jedes Mask-ROM-Aufrufstrukturmodul 4 Bit Daten speichern. Die Architektur von Taalas verwendet nur einen einzelnen Transistor, um diese Daten zu verarbeiten. Dieser Transistor führt Matrixmultiplikationen durch, die mathematischen Berechnungen, mit denen KI-Modelle Entscheidungen treffen.
Ein großer Vorteil des Taalas-Designs besteht darin, dass keine Hochgeschwindigkeitsspeichermodule (HBM) benötigt werden. HBM sind Speicherchips, die in Grafikkarten integriert sind, um Daten von KI-Modellen zu speichern. Die Übertragung von Informationen zwischen HBM und dem Chip dauert lange, was die Verarbeitungsgeschwindigkeit verlangsamt. Laut Taalas vermeidet ihre Lösung nicht nur diese Latenz, sondern spart auch verschiedene Hilfskomponenten ein, die zur Unterstützung des HBM-Moduls des Chips erforderlich sind.
Erwähnenswert ist, dass Taalas bis zum Ende dieses Jahres ein hochmodernes großes Sprachmodell auf den Markt bringen wird – möglicherweise Llama, DeepSeek oder beide – das Inferenz auf mehreren HC-Karten ausführt. Diese Architektur wird den Namen HC2 erhalten.
Ist die tiefgehende Arbeit an ausgewählten Modellen eine unvermeidliche Wahl?
Auch das Startup-Unternehmen Etched ist ein Pionier bei der tiefgehenden Arbeit an ausgewählten Modellen.
Wie berichtet wird, wurde das Unternehmen 2024 von den Harvard-Abbrechern Gavin Uberti (CEO) und Robert Wachen (Präsident) gegründet. Die Gründer des Unternehmens erklärten, dass sie bereits 2023 ein 30-seitiges Memorandum eingereicht haben, das argumentiert, dass die künstliche Intelligenz letztendlich spezialisierte Chips und nicht nur allgemeine GPUs benötigt. Aber jeder große Investor, den sie besuchten, lehnte ihre Investitionsanfrage ab.
Doch später, mit dem Fortschritt der KI, fanden sie ihre Chance, und das Interesse stieg. Das Unternehmen schloss im vergangenen Dezember seine jüngste Finanzierungsrunde ab, bei der die Bewertung von Etched 5 Milliarden US-Dollar erreichte. An dieser Finanzierungsrunde nahm unter anderem VentureTech Alliance, ein zu TSMC gehörendes Risikokapitalfonds, sowie mehr als ein Dutzend andere Investoren teil, darunter Geoffrey Hinton, Li Fei-Fei und Andrej Karpathy.
Mit der Situation vertraute Personen enthüllten, dass das Unternehmen in einer neuen Finanzierungsrunde, die von dem bestehenden Investor Jane Street angeführt wird, seine Bewertung vervierfachen und auf etwa 20 Milliarden US-Dollar steigern wird.
Zurück zu ihrem Produkt selbst: Aus den entsprechenden Berichten geht hervor, dass das Etched-Team überzeugt ist, dass Transformer-Chips den Bereich der künstlichen Intelligenz dominieren werden. Dadurch wird ihre Vision klar und deutlich: Einen Chip zu entwickeln, der beim Ausführen von Transformer-Modellen allgemeine GPUs übertrifft und so die KI-Industrie vollständig erneuert.
In einer aktuellen Pressemitteilung erklärte Etched, dass das Unternehmen plant, seinen Inferenzchip mit dem N4P-Prozess von TSMC herzustellen. Der N4P-Prozess ist eine verbesserte Version des 5-Nanometer-Prozesses von TSMC und bietet eine um 11 % höhere Leistung als der ursprüngliche Prozess. Laut Etched sind ihre ersten Prototyp-Chips bereits früher in diesem Jahr vom Band gelaufen.
Etched hat seinen Chip zudem mit mehreren anderen Leistungsoptimierungen ausgestattet.
Je mehr Berechnungen eine GPU pro Sekunde ausführt, desto mehr Leistung verbraucht sie, was zu einem Anstieg ihrer Betriebstemperatur führt. Überschreitet sie einen bestimmten Schwellenwert, kann die übermäßige Wärme zu Fehlern führen. Grafikkarten mildern dieses Problem, indem sie die Taktrate in der Nähe der Spitzenfrequenz verringern. Dieser Mechanismus, der als „Thermal Throttling“ bezeichnet wird, verringert die Verarbeitungsgeschwindigkeit.
Das Unternehmen Etched hat eine Technik namens LVI entwickelt, die den Bedarf an übermäßigem Thermal Throttling reduziert. Das Unternehmen gibt an, dass sein Chip KI-Modelle mit Billionen von Parametern ausführen kann, ohne die Taktrate zu verringern, und dabei mehr als 80 % seiner Spitzen-Fließkomma-Leistung beibehält. Dies beschleunigt die Inferenzgeschwindigkeit erheblich. Laut Etched ist die Fließkommadichte seines Chips (eine Kennzahl zur Messung der Leistung) um ein Vielfaches höher als die von auf dem Markt erhältlichen KI-Prozessoren.
Das Unternehmen plant, seinen Chip als Teil eines Rack-Inferenzgeräts auszuliefern. Das System verwendet mehrere Chips, die auf einer angepassten Leiterplatte montiert sind. Etched hat zudem angepasste Kaltplatten entwickelt, Komponenten, die in Flüssigkühlsystemen eine wichtige Rolle spielen. Eine Kaltplatte ist ein flaches Metallblech, das die vom Chip erzeugte Wärme in das Kühlmittel des Racks leitet.
Die Geräte von Etched verwenden eine Mischung aus SRAM- und HBM-Speicher. KI-Chips nutzen SRAM (der derzeit schnellste RAM auf dem Markt), um die kritischsten Daten der Arbeitslast zu speichern. Andere Informationen werden an den HBM-Speicher gesendet, der zwar etwas langsamer ist, aber eine deutlich größere Kapazität bietet.
KI-Chips in einem Rack müssen normalerweise auf Daten im Speicher der anderen Chips zugreifen können. Die Geräte von Etched verwenden eine angepasste Verbindungstechnik, um diese Datenübertragung zu ermöglichen. Laut dem Unternehmen verfügt das Gerät über einen systemweiten gemeinsam genutzten Speicherpool, der im Vergleich zu früheren Technologien eine geringere Latenz bei der Verarbeitung von Anfragen bietet.
Derzeit beschleunigt Etched die Erhöhung der Chipproduktion und plant, im Sommer dieses Jahres die ersten Chip-Racks auszuliefern. Das Unternehmen enthüllte Ende Juni, dass es Kundenbestellungen im Wert von über 1 Milliarde US-Dollar erhalten hat.
Abschließende Bemerkungen
Von GPUs über TPUs bis hin zu Google Frozen und Etched ist zu