Die neueste Einschätzung des ehemaligen Intel-CEOs: Die überwiegende Mehrheit der Chipdesignunternehmen wird verschwinden, und die Fertigung ist die einzige Barriere.

In dieser Welle der KI-Entwicklung ist die KI-Rechenleistung zweifellos der größte Gewinner: NVIDIA ist zu einem der Unternehmen mit dem höchsten Marktwert der Welt aufgestiegen.

Dank seiner GPUs ist NVIDIA nicht nur zu einem der wertvollsten Unternehmen der Welt geworden, sondern hat auch den Wohlstand des gesamten Marktes für KI-Chip-Startups gefördert. In nur wenigen Jahren strömten zahlreiche Startups in diesen Bereich und versuchten, sich ein Stück vom Kuchen von NVIDIA zu sichern.

Doch stellt sich die Frage: Wie viele dieser unzähligen KI-Chip-Unternehmen werden in der Zukunft überleben? Pat Gelsinger, ehemaliger CEO von Intel, hat eine eher pessimistische Einschätzung abgegeben:

Heute gibt es auf dem Markt Hunderte von Unternehmen für KI-Inferenzchips, doch dieser Boom könnte nur vorübergehend sein. In der Zukunft werden die meisten Chip-Architekturen wahrscheinlich ausgemustert, und die Branche wird sich wieder auf wenige Plattformen konzentrieren.

Wenn man von Pat Gelsinger spricht, gilt er zweifellos als einer der erfahrensten Fachleute in der Chipbranche. Mit 18 Jahren trat er in Intel ein, beteiligte sich an der Entwicklung der 386- und 486-Prozessoren und war anschließend nacheinander CEO von VMware und Intel. Man kann sagen, dass er die Entwicklung der modernen Halbleiterindustrie fast vollständig miterlebt hat.

Kürzlich nahm er an einem ausführlichen Podcast der Silicon-Valley-Risikokapitalfirma a16z teil und sprach über KI-Chips, Speicher, optische Interkonnektionen, Stromversorgung und die Zukunft der gesamten KI-Infrastruktur.

Neben den oben genannten Ansichten gibt es noch mehrere weitere Aussagen von Gelsinger, die meiner Meinung nach sehr beachtenswert sind.

Erstens: Das Chip-Design für KI wird immer einfacher, aber Herstellung und Packaging werden stattdessen zu neuen Engpässen. Ein Chip kann in nur drei Monaten entworfen werden, bis er tatsächlich einsatzbereit ist, vergehen aber möglicherweise weitere neun Monate.

Zweitens: Das heute am meisten gefragte HBM ist eigentlich eine sehr schlechte Speichertechnologie. Die Explosion der KI-Nachfrage könnte die Speicherbranche zu einer seltenen großen Innovation anregen, die es seit 30 Jahren nicht gegeben hat.

Heute spricht Siliziumbasis-Junior anlässlich dieses Interviews über mehrere wichtige Veränderungen, die in der KI-Rechenleistungsindustrie stattfinden.

KI beschleunigt das Chip-Design, aber die Herstellung kann nicht mehr Schritt halten

In den letzten Jahrzehnten verfolgte die Chipbranche stets ein Ziel: Das Chip-Design einfacher zu machen.

Bereits in den 1980er Jahren, als Intel den 486-Prozessor entwickelte, waren viele Designwerkzeuge, die heutige Chipingenieure als selbstverständlich ansehen, noch nicht ausgereift.

Zum Beispiel mussten Ingenieure Chip-Logik mit Hardwarebeschreibungssprachen definieren, aber damals gab es kein ausgereiftes Werkzeugsystem. Sie mussten selbst Sprachen und Compiler entwickeln und sogar an der Erforschung von Technologien für automatisches Platzieren und Routen teilnehmen.

Heutzutage verändert KI diesen Prozess weiter. Viele Logikdesign-, Codierungs- und Optimierungsarbeiten, für die Ingenieure früher viel Zeit aufwenden mussten, können zunehmend an KI-Werkzeuge übergeben werden.

Insbesondere im Bereich des digitalen Logikdesigns hat KI bereits das Potenzial, die Entwicklungseffizienz erheblich zu steigern.

Das Problem liegt darin: Das Design wird schneller, aber die Herstellung beschleunigt sich nicht im gleichen Maße.

Nehmen wir ein Beispiel: Angenommen, Sie wollen einen völlig neuen KI-Chip entwickeln. Das Designteam kennt die Rechenanforderungen des Modells sehr gut und wird durch KI-Werkzeuge unterstützt, sodass es das Chip-Design in nur drei Monaten abschließt.

Anschließend muss der Chip aber in einer Wafer-Fabrik hergestellt werden. Selbst wenn der Ablauf reibungslos verläuft, kann allein der Wafer-Herstellungsprozess drei Monate dauern.

Danach folgt das fortschrittliche Packaging. Heutige KI-Chips müssen oft Rechenchips, HBM und andere Komponenten integrieren. Das Packaging wird immer komplexer und kann weitere Monate in Anspruch nehmen.

Abschließend muss noch die Integration von Gesamtsystemen und Systemen auf Rack-Ebene abgeschlossen werden. Das Ergebnis ist, dass das Chip-Design nur drei Monate dauert, aber von der Fertigstellung des Entwurfs bis zur tatsächlichen Einsatzbereitschaft weitere neun Monate vergehen können.

Wenn man zusätzlich die Ausweitung der Produktionskapazitäten, die Vervollständigung des Software-Ökosystems und den skalaren Einsatz berücksichtigt, kann der gesamte Zyklus sogar bis zu eineinhalb Jahre betragen.

Daraus ergibt sich ein sehr realer Widerspruch: Die Iterationsgeschwindigkeit von KI-Modellen hat möglicherweise bereits die Geschwindigkeit überschritten, mit der Chips vom Design bis zum Einsatz gelangen.

Zum Beispiel könnte ein Unternehmen bei der Gestaltung eines Chips davon ausgehen, dass die zentrale Anforderung für zukünftige Inferenzen die Verbesserung der Effizienz der Token-Generierung ist.

Aber wenn eineinhalb Jahre vergangen sind, hat der Markt möglicherweise bereits ein neues Inferenz-Paradigma erreicht. Längere Kontexte, komplexere Inferenzprozesse und sogar neue Modellarchitekturen können die ursprünglichen Leistungsvorteile des Chips zunichte machen.

So kommt es vor, dass bevor ein Chip wirklich in großem Umfang eingesetzt wird, die ursprünglichen optimalen Designannahmen, die für ihn getroffen wurden, nicht mehr gültig sind.

Das bedeutet: Da KI die Hürden für das Chip-Design stetig senkt, hängt die Wettbewerbsfähigkeit eines KI-Chip-Unternehmens zunehmend von der Herstellungsdauer und der Fähigkeit zur skalaren Massenproduktion ab.

Von 100 Startups für KI-Chip-Design werden am Ende möglicherweise nur wenige übrig bleiben

In den letzten zwei Jahren hat sich im Bereich der KI-Rechenleistung ein sehr deutlicher Trend abgezeichnet: Es gibt immer mehr Chip-Architekturen.

Besonders im Inferenzmarkt gibt es Anbieter, die spezielle Chips mit niedriger Latenz entwickeln, andere setzen auf hohen Durchsatz, wieder andere setzen auf „In-Memory-Computing“, und es gibt Unternehmen, die andere Wege wie optisches Rechnen oder probabilistisches Rechnen verfolgen.

Sogar im Rahmen des Inferenzprozesses für ein einzelnes großes Modell beginnt eine weitere Spezialisierung der Chips.

Zum Beispiel Prefill und Decode: Prefill ist für die Verarbeitung von Eingabedaten zuständig, was man einfach so verstehen kann, dass das Modell vor der eigentlichen Antwort die Frage des Nutzers und den Kontext einmal vollständig liest.

Decode hingegen generiert schrittweise die Ausgabe-Token. Da die Rechenmerkmale dieser beiden Phasen unterschiedlich sind, wird in der Branche diskutiert, ob man für jede Phase separate Hardware entwerfen soll, um eine höhere Recheneffizienz zu erzielen.

Aber ich denke, dieser Trend zur extremen Spezialisierung birgt ein großes Problem.

Und zwar ändern sich die Rechenanforderungen von KI zu schnell.

Heute mag man davon ausgehen, dass die Trennung von Prefill und Decode die Chipauslastung verbessert.

Aber morgen, mit der Weiterentwicklung von Inferenzmodellen, wird möglicherweise wieder mehr CPU-ähnliche Rechenleistung benötigt.

Später, wenn KI in Bereichen wie wissenschaftliches Rechnen, Molekülsimulation und chemische Analyse eindringt, werden die Anforderungen an hochpräzises Rechnen, die aus dem traditionellen Hochleistungsrechnen stammen, möglicherweise wieder wichtig.

Sogar die Grenze zwischen Training und Inferenz kann sich mit der Entwicklung von Technologien wie kontinuierlichem Lernen allmählich verwischen. Das bedeutet, dass spezialisierte Chips, die heute für eine bestimmte Rechenphase entworfen wurden, in Zukunft nicht mehr ihre Vorteile behalten können.

Dahinter verbirgt sich ein klassisches Problem: Das Gleichgewicht zwischen spezialisierten und allgemeinen Lösungen.

Ein Chip, der für eine bestimmte Aufgabe tiefgehend optimiert ist, erzielt oft eine sehr hohe Effizienz. Je extremer die Optimierung aber ausfällt, desto begrenzter ist die Anzahl der Arbeitslasten, die er bewältigen kann. Sobald sich die Modellarchitektur ändert, können die ursprünglichen Vorteile verschwinden.

Komplizierter ist noch, dass Chips in großem Maßstab eingesetzt werden müssen.

Rechenzentren kaufen nicht nur ein paar Chips. Wenn ein Unternehmen Hunderttausende oder sogar Millionen von Beschleunigern einsetzen will, bedeutet jede zusätzliche Architektur neue Kosten für Softwareanpassung, Netzwerkkonnektivität, Geräteverwaltung und Wartung.

Angenommen, in einem Rechenzentrum gibt es 100 verschiedene Inferenzchips. Ein Teil davon eignet sich für Prefill, ein Teil für Decode, und ein Teil ist speziell für andere Rechenaufgaben ausgelegt.

Für sich genommen mag jeder Chip sehr effizient sein. Aber in einem großen Rechenzentrum wird die Planung, Wartung und Aktualisierung dieser Geräte extrem kompliziert.

Zusätzlich stehen Startups für KI-Chips vor einem zweiten Problem: Kapital.

Die Entwicklung eines Chips ist nur der erste Schritt. Um echte Wettbewerbsfähigkeit im Geschäftsleben zu erlangen, müssen noch Tapeout, Massenproduktion und Softwareanpassung abgeschlossen werden, und man muss ausreichend große Kunden finden.

Wenn das gesamte Investitionsvolumen für Rechenleistung in der Branche Hunderte von Milliarden Dollar erreicht, ist es für ein Startup kaum möglich, alle Schritte vom Design bis zum großflächigen Einsatz allein zu bewältigen.

Am Ende werden wahrscheinlich große Rechenplattformen und Kunden wie NVIDIA, OpenAI und Anthropic bestimmen, welche Architekturen überleben. Denn nur diese Großkunden verfügen über ausreichend Kapital und Arbeitslasten, um eine völlig neue Chip-Architektur zu unterstützen.

Daher bin ich nicht so optimistisch in Bezug auf die zahlreichen heutigen KI-Chip-Startups. In Zukunft wird es auf dem KI-Chip-Markt zwar mehr technologische Wege geben, aber nicht unbedingt mehr unabhängige Chip-Unternehmen.

Eine führende Chip-Leistung ist nur die Eintrittskarte. Die Fähigkeit, in das Rechenleistungssystem von Großkunden integriert zu werden, bestimmt erst den tatsächlichen Geschäftswert.

HBM ist sehr schlecht, aber KI könnte die größte Speicherinnovation seit 30 Jahren hervorbringen

HBM ist eine sehr schlechte Speichertechnologie. Aber es ist bereits die beste verfügbare Option.

Das klingt widersprüchlich. Schließlich ist HBM in dieser aktuellen KI-Rechenleistungsboom zu einem der begehrtesten Hardware-Komponenten geworden.

Aber das Problem ist, dass HBM selbst noch viele Einschränkungen aufweist.

Zum Beispiel Speicherdichte, Stromverbrauch und Hitzebelastung, sowie die Einschränkungen der Datenübertragung durch Packaging und physische Verbindungen. Insbesondere mit dem stetigen Wachstum der Rechenleistung von KI-Chips warten immer mehr Rechenressourcen darauf, dass das Speichersystem zeitnah Daten bereitstellt.

Das ist die sogenannte „Speicherwand“. Deshalb denke ich, dass die nächste große Innovation in der KI-Rechenleistung sehr wahrscheinlich im Speicherbereich stattfinden wird.

Interessanterweise hat es in der Speicherbranche schon lange kein neues Mainstream-Technikparadigma mehr gegeben.

DRAM, SRAM und Flash sind nach wie vor die wichtigsten technologischen Grundlagen. In den letzten Jahrzehnten sind zwar viele neue Speichertechnologien aufgetaucht, aber nur wenige davon haben es geschafft, kostengünstig in großer Masse produziert zu werden und die Industrielandschaft grundlegend zu verändern.

Einer der wichtigsten Gründe dafür ist, dass das Geschäftsmodell der Speicherbranche in der Vergangenheit sehr schlecht war.

Speicherchips weisen seit langem eine starke Zyklizität auf. In guten Zeiten können Hersteller ein Jahr lang hohe Gewinne erzielen; wenn das Angebot steigt und die Preise fallen, stehen sie mehrere Jahre lang unter Druck bei den Gewinnen.

Unter diesen Umständen fällt es Unternehmen schwer, kontinuierlich große Summen in neue Materialien und Technologien mit langen Kommerzialisierungszyklen zu investieren.

Aber KI hat diese Situation verändert.

Mit der Explosion der Nachfrage nach HBM haben sich der Marktwert und die Rentabilität der Speicherhersteller deutlich verbessert. Das Kapital beginnt, diese einst stark zyklische Branche wieder wertzuschätzen.

In den letzten vier Jahren ist der Gesamtwert der Speicherbranche um etwa 2,5 Billionen US-Dollar gestiegen. Die Speicherindustrie erhält mehr Kapitalunterstützung, und KI hat gleichzeitig eine starke neue Nachfrage erzeugt.

Höhere Bandbreite, geringerer Stromverbrauch, höhere Dichte und einfachere Stapelfähigkeit – diese Anforderungen, die früher kaum gleichzeitig erfüllt werden konnten, werden nun zu einem Motor, der die Kommerzialisierung neuer Technologien vorantreibt.

Derzeit verdienen zwei Richtungen besondere Aufmerksamkeit.

Die eine sind neue Speichermaterialien und Bauelementstrukturen. Zum Beispiel ferroelektrische Materialien sowie neue Lösungen, die sich von den Einschränkungen des traditionellen kapazitiven Speicherns lösen.

Die andere Richtung besteht darin, Speicher und Rechner physisch näher zueinander zu bringen. Denn je kürzer die Strecke ist, über die Daten transportiert werden, desto größer ist das Potenzial, Latenz und Energieverbrauch zu senken.

Das bedeutet aber nicht, dass alle Technologien zur Integration von Speicher und Rechner vielversprechend sind.

Zum Beispiel PIM, also In-Memory-Computing. Diese Lösungen sollen einen Teil der Rechenleistung direkt in den Speicher einbauen, um den Datentransport zu reduzieren. Dafür muss aber oft die Architektur an bestimmte Rechenaufgaben angepasst werden, was die Flexibilität des Systems bei neuen Arbeitslasten einschränken kann.

Im Vergleich dazu ist es wahrscheinlich eine Lösung, die sich besser an zukünftige Anforderungen anpasst, wenn man Speicher mit hoher Bandbreite und hoher Dichte so nah wie möglich an die Recheneinheiten bringt und gleichzeitig die Allgemeingültigkeit der Rechnerarchitektur beibehält.

Technologische Wege, die in den letzten 30 Jahren kaum kommerzialisiert werden konnten, erhalten im KI-Zeitalter möglicherweise eine neue Chance.

Das bedeutet auch, dass der Wettbewerb auf dem zukünftigen Speichermarkt nicht nur zwischen traditionellen Giganten wie Samsung, SK Hynix und Micron stattfinden wird.

Neue Materialien, neue Bauelementstrukturen und neue Speicherarchitekturen können neue Geschäftsmöglichkeiten für Startups schaffen.

Vor 25 Jahren wurde das Ende der Kupferleitung angekündigt – wird es dieses Mal endlich wahr?

Wenn der Speicher ein wichtiger Engpass für die KI-Rechenleistung ist, dann ist die Interkonnektion ein weiteres immer stärker hervortretendes Problem.

Früher war die Verbindungsentfernung zwischen GPUs relativ kurz, und Kupferinterkonnektionen hatten Vorteile wie niedrige Kosten und ausgereifte Technologie. Aber wenn sich ein einzelnes Rechensystem von wenigen GPUs auf Dutzende, Hunderte oder noch mehr erweitert, steigt der Schwierigkeitsgrad der Interkonnektion deutlich an.

Kupferleitungen haben ein natürliches Problem: Je höher die Übertragungsrate und je länger die Entfernung ist, desto deutlicher wird der Signalverlust. Um die Signalqualität zu gewährleisten, benötigt das System komplexere Kabel, Signalverarbeitungs- und Kompensationstechniken, sodass