Steigt auch NVIDIA in den 3D-DRAM-Markt ein?

Laut Berichten südkoreanischer Medien plant Groq, ein Unternehmen für KI-Halbleiter, das praktisch von Nvidia übernommen wurde, die Anwendung einer dreidimensional gestapelten DRAM-Verpackungstechnologie auf Chips der nächsten Generation. Dieser Schritt wird als Versuch von Groq interpretiert, die Kapazität der Chips erheblich zu steigern, indem es sich von dem derzeit auf SRAM zentrierten Chipdesign löst – SRAM zeichnet sich durch hohe Geschwindigkeit aus, weist aber nur eine geringe Kapazität auf.

Das von Groq angewandte Verfahren wird als 3DS (3D-gestapelter Speicher) bezeichnet. 3DS ist eine Hochkapazitätsverpackung, die DRAM-Chips mithilfe von Through-Silicon-Vias (TSV) vertikal verbindet. Obwohl es ähnlich wie High-Bandwidth-Speicher (HBM) TSV verwendet, unterscheidet es sich von HBM, das auf die Datenübertragungsgeschwindigkeit ausgerichtet ist: 3DS konzentriert sich auf die Erweiterung der Kapazität, während die vorhandene DRAM-Schnittstelle beibehalten wird.

Ein Insider der Halbleiterbranche erklärte: „Groq plant die Einführung der 3D-Verpackungstechnologie in seinen Chips der nächsten Generation“ und fügte hinzu: „Diese Technologie umfasst das Stapeln von DRAM statt des vorhandenen SRAM.“ Branchenkenner deuten diesen Schritt von Groq als Ziel, die Kapazität der Chips erheblich zu steigern. SRAM ist schnell, aber in seiner Kapazität begrenzt, während DRAM relativ langsamer ist, sich aber besser für die Realisierung von Chips mit großer Kapazität eignet.

Aus dieser Nachricht geht hervor, dass 3D-DRAM offenbar zu einem unvermeidlichen Weg wird.

Die Kapazitätssteigerung von SRAM kann mit der Expansion von Modellen nicht mehr Schritt halten

Als Konkurrent von Nvidia in einem anderen Bereich verdeutlicht die technologische Umstellung von d-Matrix – die Entwicklung von der SRAM-basierten Berechnung zum 3D-gestapelten DRAM – gut die Gründe für diesen Wandel von Groq. Denn zuvor verwendete auch die Lösung von Groq SRAM.

In einem früheren Interview mit Tae Kim erklärte Sid Sheth, CEO von d-Matrix, dass das ursprünglich von dem Unternehmen eingeführte Corsair SRAM als Teil der Rechenarchitektur verwendet. Laut Sheth berücksichtigte d-Matrix bei der Auswahl der Speichertechnologie hauptsächlich zwei Faktoren: Erstens muss der Speicher flexibel programmierbar sein und sich an die sich ständig ändernden Arbeitslasten in Rechenzentren anpassen können; zweitens müssen die Rechenergebnisse die Vorhersehbarkeit und Genauigkeit aufweisen, die von digitalen Schaltungen gefordert werden. Aufgrund dieser Überlegungen entschied sich das Unternehmen für SRAM.

Der Vorteil von SRAM liegt darin, dass es einen schnellen Datenzugriff mit geringer Latenz unterstützt, sodass es sich für KI-Inferenzaufgaben eignet, die hohe Anforderungen an die Interaktionsgeschwindigkeit stellen. Mit dem Wachstum der Modellgröße und der Kontextlänge wird die Kapazitätserweiterungsfähigkeit von SRAM jedoch zunehmend zu einer Einschränkung.

Sheth wies darauf hin, dass SRAM die gleiche Logiktechnologie wie Logikchips verwendet und seine Kapazitätssteigerung auch durch die Verlangsamung der Transistorskalierung beeinträchtigt wird. In dem Interview gab er einen Vergleich an: Die SRAM-Kapazität nimmt alle zwei Jahre nur um etwa 10 % bis 20 % zu, während die Modellgröße sich alle sechs bis neun Monate verdoppeln kann.

Dies bedeutet, dass es zunehmend schwierig wird, ausschließlich auf SRAM zu setzen, um gleichzeitig die Anforderungen von Modellen an Speicherkapazität und Bandbreite zu erfüllen.

Der Kern des Problems liegt nicht nur in den hohen Kosten von SRAM, sondern darin, dass seine Kapazitätssteigerungsgeschwindigkeit nicht mehr mit der Expansionsgeschwindigkeit von KI-Modellen Schritt halten kann. Wenn die ursprüngliche Architektur weiterverwendet wird, kann die Leistung selbst bei steigender Rechenkapazität möglicherweise nicht vollständig ausgeschöpft werden, da die Speicherressourcen unzureichend sind.

Daher muss d-Matrix nach einer neuen Möglichkeit zur Speichererweiterung suchen: Sie soll die Vorteile von SRAM beim schnellen Zugriff beibehalten und gleichzeitig Speicherressourcen mit größerer Kapazität einführen. Dies führte dazu, dass sie sich dem 3D-DRAM zuwandten.

Das sogenannte 3D-DRAM bezieht sich auf eine Architektur, die Bits in vertikaler Richtung speichert, ähnlich wie 3D-NAND.

Aus gestalterischer Sicht platziert die 3D-DRAM-Stapeltechnologie DRAM über dem Prozessor, was ein kompakteres Design ermöglicht und damit die Effizienz der Datenübertragung verbessert. Dies wiederum ermöglicht es KI-Prozessoren, größere Modelle zu verarbeiten und Ergebnisse schneller zu generieren, was den Weg für die fortlaufende Erweiterung von KI-Hardware in der Zukunft ebnet.

Zu den herausragenden Vorteilen der 3D-DRAM-Stapeltechnologie gehören die Erhöhung der Bandbreite, die Verringerung der Latenz und die Verbesserung der Energieeffizienz, die für die zukünftige Entwicklung der künstlichen Intelligenz von entscheidender Bedeutung sind. Darüber hinaus ist die Raumnutzungseffizienz ebenso wichtig, da gestapelte Chips es Entwicklern ermöglichen, mehr Funktionen in einem kleineren Raum zu integrieren, was für Anwendungen wie mobile Geräte und Wearables von entscheidender Bedeutung ist. KI-Systeme müssen immer größere Datenmengen verarbeiten, daher ist die Verringerung der Datenübertragungsentfernung entscheidend, um die Leistung zu steigern und qualitativ hochwertige Ergebnisse zu gewährleisten.

Der Schlüssel zu 3D-DRAM liegt nicht nur in der Erhöhung der Speicherkapazität

Da wir nicht viele Informationen über das 3D-DRAM-Konzept von Groq finden können, können wir an dieser Stelle nicht näher darauf eingehen. In Anbetracht der früheren Gerüchte, dass Nvidia die Übernahme oder Investition in d-Matrix erwägt, werden wir in den folgenden Abschnitten ihre Lösungen analysieren, um die vielschichtigen Gründe hinter diesem Wandel zu verstehen.

Den Angaben zufolge besteht das Konzept von d-Matrix im Bereich des 3D-DRAM darin, kundenspezifische DRAM-Dies und SRAM-Rechen-Dies in 3D-Stapelverpackung zu kombinieren.

Sheth betonte ausdrücklich, dass dies kein herkömmliches HBM-Konzept ist. Seinen Angaben zufolge verwendet Raptor zwei unterschiedliche Dies: Einen Logik-Rechen-Die und einen DRAM-Die. Ersterer wird von TSMC hergestellt, letzterer von Powerchip Semiconductor Manufacturing Corp. (PSMC), anschließend werden sie von einem Verpackungsunternehmen mithilfe der Chip-on-Wafer (CoW)-Technologie integriert.

Die Bedeutung dieser Architektur zeigt sich zunächst in der Erweiterung der Speicherkapazität. Durch das Hinzufügen einer DRAM-Schicht kann d-Matrix mehr Speicherplatz bereitstellen, während die ursprüngliche SRAM-Rechenarchitektur beibehalten wird.

Aus Sheths Sicht ist jedoch die Änderung des Datenzugriffsverhaltens, die durch das 3D-Stapeln entsteht, bemerkenswerter.

Bei der herkömmlichen Kombination aus GPU und HBM wurde zwar durch fortschrittliche Verpackung eine hohe Speicherbandbreite erreicht, die Datenverbindung zwischen Rechenchip und HBM ist jedoch weiterhin durch die physische Anordnung und die Verbindungsschnittstelle eingeschränkt. Sheth beschrieb es bildlich, dass man nur den „Strandabschnitt“ (beachfront) des Speichers oder der GPU für den Datenzugriff nutzen kann – das heißt, die Schnittstellen, die tatsächlich zum Verbinden und Übertragen von Daten dienen, sind begrenzt.

In dem Konzept von d-Matrix sind der Rechen-Die und der DRAM-Die übereinander gestapelt, sodass DRAM eine größere Oberfläche nutzen kann, um Datenverbindungen zum Rechenteil herzustellen, sodass Daten direkt nach unten zu den Recheneinheiten übertragen werden.

Mit anderen Worten: 3D-DRAM bedeutet nicht einfach, mehr Speicher in die Nähe des Chips zu bringen, sondern versucht, die Verbindungsbeziehung zwischen Speicher und Berechnung zu verändern, um Bedingungen für die Erhöhung der Datenübertragungsbandbreite zu schaffen.

Aus diesem Grund betrachtet d-Matrix dies als einen wichtigen Durchbruch für die Inferenzarchitektur der nächsten Generation: Das Unternehmen möchte gleichzeitig das Problem der unzureichenden Speicherkapazität und der eingeschränkten Datenzugriffsbandbreite lösen, anstatt nur eines der beiden Probleme zu verbessern.

Es ist zu beachten, dass dies Sheths Erklärung zur Designidee der Architektur ist und nicht bedeutet, dass 3D-DRAM HBM bereits in allen Leistungsmetriken übertrifft. Die tatsächliche Leistung hängt weiterhin von dem spezifischen Design, der Umsetzung der Verpackung und der Produktvalidierung ab.

Wenn man 3D-DRAM nur unter dem Aspekt von Speicherkapazität und Bandbreite versteht, reicht das nicht aus, um zu erklären, warum d-Matrix diesen technologischen Weg verfolgt. In dem Interview stellte Sheth eine wichtige Unterscheidung vor: Bei dem Wettbewerb um KI-Inferenzchips besteht ein Kompromiss zwischen Durchsatz und Interaktivität.

Der Durchsatz befasst sich damit, wie viele Aufgaben pro Zeiteinheit erledigt werden können; die Interaktivität befasst sich damit, wie schnell das System auf eine Anfrage des Benutzers antworten kann. Beide stehen in Zusammenhang, sind aber nicht dasselbe Maß.

Das von GPUs repräsentierte HBM-Konzept hat Vorteile bei Aufgaben mit hohem Durchsatz und eignet sich für die Verarbeitung großer Mengen paralleler Arbeitslasten. d-Matrix vertritt nicht die Ansicht, dass es GPUs in allen Szenarien ersetzen soll, sondern möchte eine andere Art von Anforderungen bedienen: KI-Anwendungen, die besonders empfindlich auf Antwortlatenz reagieren.

Sheth erklärte, dass d-Matrix bei der Kombination aus SRAM und 3D-gestapeltem DRAM die Speicherbandbreite vorrangig optimiert und erst danach die Speicherkapazität, um eine andere Position auf der Kompromisskurve zwischen Durchsatz und Interaktivität einzunehmen.

Diese Positionierung hängt eng mit der Veränderung von KI-Anwendungen zusammen.

Bei Stapelverarbeitungsaufgaben kann das System die Gesamteffizienz steigern, indem es eine große Anzahl von Anfragen auf einmal verarbeitet. In Szenarien wie Programmieragenten, Cybersicherheitsagenten und sprachgesteuerten Interaktionsassistenten müssen Benutzer oder andere Agenten jedoch ständig mit dem Modell interagieren, und die Wartezeit wirkt sich direkt auf das Erlebnis aus.

Insbesondere bei Agentenanwendungen besteht der Arbeitsprozess oft nicht darin, Ergebnisse auf einmal zu generieren, sondern wiederholt Inferenzen durchzuführen, Tools aufzurufen, Informationen zu lesen und die nächste Entscheidung zu treffen. Je niedriger die Antwortlatenz ist, desto flüssiger ist der gesamte Interaktionsprozess.

Daher setzt d-Matrix nicht auf alle KI-Rechenaufgaben, sondern auf Inferenzlasten, die schnelle Antworten und fortlaufende Interaktion erfordern.

Sheth prognostizierte in dem Interview, dass 70 % bis 80 % der zukünftigen KI-Anwendungen latenzempfindlich sein werden. Dies ist seine Einschätzung zur Marktentwicklung und keine bereits validierte Branchenstatistik.

Abschließend

Obwohl es sich um eine hochgeschätzte Technologie handelt, wie Applied Materials in seinem Blog feststellte: Die Geschwindigkeit von DRAM ist fast 1000 Mal höher als die von NAND. Seine Hochgeschwindigkeitsleistung wird dadurch erreicht, dass ein Siliziumsubstrat mit hoher Mobilität als Ausgangsmaterial für den Kanal verwendet wird. Die Hochgeschwindigkeitsleistung von DRAM ergibt sich auch daraus, dass Ladungen sich schnell im Kondensator bewegen können. Mit der fortlaufenden Erweiterung von DRAM in vertikaler Richtung sind neue Materialinnovationen erforderlich, um Kanäle mit hoher Mobilität und extrem niedrigen Defekten zu realisieren.

Experten von Rambus wiesen in einem Blogbeitrag ebenfalls darauf hin, dass Ausbeute und Zuverlässigkeit ebenfalls berücksichtigt werden müssen, wenn Speicher und Prozessor gestapelt werden. Wie er erklärte, kann in einer gestapelten Struktur ein Defekt in jeder Schicht die gesamte gestapelte Struktur beeinträchtigen, was die Herstellungsausbeute senkt und die Kosten erhöht. Dies unterstreicht die Bedeutung von Reparatur- und Redundanzressourcen, die die Herstellungszuverlässigkeit verbessern und damit die Ausbeute steigern sowie die Herstellungskosten senken können.

Das Design von 3D-gestapelten Speichern ist zudem anspruchsvoller, da Ingenieure berücksichtigen müssen, wie der Speicher mit Prozessoren und Beschleunigern interagiert, um Leistung und Energieeffizienz zu optimieren. Diese Herausforderungen, kombiniert mit höheren Verpackungskosten, bedeuten, dass gestapelter Speicher zwar eine leistungsstarke Lösung für die künstliche Intelligenz darstellt, aber für seine effektive Umsetzung sorgfältige Planung und erhebliche Investitionen erfordert.

Die Halbleiterbranche arbeitet ständig daran, diese Herausforderungen zu bewältigen, und hat eine Reihe von Fortschritten erzielt, die dazu beitragen werden, die Vision von Superchips in der Zukunft zu verwirklichen. Integrierte Selbsttestmaßnahmen (BIST), fortschrittliche EDA-Tools, optische Interkonnektionen und KI-gestütztes Design sind Beispiele für die fortlaufenden Anstrengungen, diese Herausforderungen zu bewältigen und die Chipeffizienz zu steigern. Wenn die Branche mehr Erfahrung mit der Stapeltechnologie sammelt, werden die Herausforderungen im Zusammenhang mit der Fehlerbehebung und Validierung von vertikal integrierten Chips durch neue Methoden gelöst, wodurch die Kosten gesenkt und die Ausbeute erhöht werden.

Abschließend ist erwähnenswert, dass auch in China mehrere Hersteller im Bereich des 3D-DRAM aktiv sind. Wissen Sie, welche das sind? Wir laden alle ein, in den Kommentaren eine breitere Diskussion über den aktuellen Stand und die Zukunft dieser Technologie zu führen!

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Halbleiterindustrie Beobachtung“ (ID: icbank), Autor: Redaktion, veröffentlicht mit Genehmigung von 36Kr.