Der neue Star im Bereich der KI-Speichertechnologie ist da: SOCAMM2.

Es wird berichtet, dass NVIDIA die Vermarktung seines ersten SOCAMM-Speichermoduls abgebrochen hat und den Fokus der Entwicklung auf eine neue Version namens SOCAMM2 gelegt hat.

Kürzlich hatte NVIDIA angekündigt, dieses Jahr 600.000 bis 800.000 SOCAMM-Speichermodule für seine KI-Produkte einzusetzen. Es wurde jedoch berichtet, dass anschließend technische Probleme aufgetreten seien, der Projekt zweimal aufgeschoben wurde und keine tatsächlichen Massenbestellungen aufgegeben wurden. Derzeit hat sich der Fokus der Entwicklung auf SOCAMM 2 verlagert. NVIDIA hat begonnen, mit Samsung Electronics, SK Hynix und Micron an Probeversionen von SOCAMM 2 zu testen.

01

Was ist SOCAMM2? Welche Vorteile bietet es?

Die SOCAMM-Technologie ist als neues Speicherlösung mit hoher Bandbreite und geringem Stromverbrauch für KI-Server konzipiert. Ihr Ziel ist es, ähnliche Leistung wie HBM (High-Bandwidth Memory) zu liefern und gleichzeitig die Kosten effektiv zu senken. Durch die Kombination von LPDRAM mit komprimierten Anschluss-Speichermodulen (CAMM) bietet sie eine revolutionäre neue Formgestalt mit hervorragender Leistung und Energieeffizienz. Im Vergleich zu herkömmlichen DDR5-RDIMM-Konfigurationen spart sie Platz und verbraucht ein Drittel weniger Strom.

Früher hatte NVIDIA in seinen Produktdokumenten bereits Informationen zu SOCAMM aufgeführt. Die Spezifikationsliste des GB300 NVL72 zeigt, dass das Produkt bis zu 18 TB an LPDDR5X-basiertem SOCAMM unterstützen kann, mit einer Bandbreite von bis zu 14,3 TB/s. Aufgrund von Änderungen in der Mainboard-Design von NVIDIAs GB300 "Blackwell Ultra" wird das SOCAMM-Modul nicht sofort kommerzialisiert, aber die Technologie könnte dennoch Teil der Vera Rubin-Plattform werden und der Vera CPU eine flexiblere und wartungsfreundlichere nicht-boardintegrierte Speicheroption bieten.

Es ist darauf hinzuweisen, dass SOCAMM und HBM nicht direkt konkurrieren, sondern komplementär zueinander sind. SOCAMM löst das Problem der Flexibilität, während HBM die Anforderungen an maximale Leistung durch die Integration mit fortschrittlichen GPU-Packungen löst.

SOCAMM 2 könnte die LPDDR6-Speicherstandards unterstützen

Technisch betrachtet baut SOCAMM 2 auf der Hardwarearchitektur von SOCAMM 1 mit 694 Eingabe-/Ausgabe-(I/O)-Ports auf. Diese stabile Basisarchitektur bildet die Grundlage für die Leistungserhöhung. Bemerkenswerterweise hat die Datenübertragungsgeschwindigkeit von SOCAMM 2 sprunghaft auf 9.600 MT/s gestiegen, was im Vergleich zu den 8.533 MT/s von SOCAMM 1 eine deutliche Steigerung von etwa 12,5 % darstellt. Diese Geschwindigkeitssteigerung bedeutet, dass SOCAMM 2 in der gleichen Zeit mehr Daten übertragen kann, was der KI-Server für schnelle Rechenoperationen eine stärkere Datenübertragungsleistung bietet.

Vorausschauenderweise wird SOCAMM 2 höchstwahrscheinlich die nächste Generation von Niedrigstrom-Speichern, LPDDR6, unterstützen. Als Nachfolger von LPDDR5X hat LPDDR6 in vielen wichtigen Leistungskennzahlen einen qualitativen Sprung gemacht. Bei der Kanalarchitektur hat LPDDR6 das 16-Bit-Einkanaldesign von LPDDR5 verlassen und stattdessen ein innovatives 24-Bit-Breitkanal-(zwei 12-Bit-Unterkanäle)-Design eingeführt. Jeder Unterkanal ist mit einem unabhängigen 4-Bit-CA-Bus ausgestattet, was die parallele Verarbeitungsleistung erheblich erhöht. Die Burst-Länge ist auf 24 (BL24) festgelegt, was zu einem 288-Bit-Datenpaket führt, von dem 256 Bit für gültige Daten reserviert sind und die anderen 32 Bit für spezielle Funktionen wie Fehlerprüfung, Speicherbezeichnung oder die Implementierung der Datenbus-Umkehr-(DBI)-Technologie verwendet werden. Dies gewährleistet die Genauigkeit der Daten und senkt gleichzeitig den Stromverbrauch bei Schreiboperationen erheblich.

Was die Leistung betrifft, hat LPDDR6 eine Speicherbandbreite von bis zu 38,4 GB/s, was eine enorme Steigerung gegenüber LPDDR5 darstellt. Zudem hat JEDEC bestätigt, dass der Stromverbrauch um etwa 20 % geringer sein wird als bei LPDDR5. In Szenarien mit geringer Belastung kann der Effizienzmodus (Efficiency Mode) von LPDDR6 so arbeiten, dass nur ein Unterkanal alle 16 Speicherbereiche zugreift, während der andere Unterkanal im Standby- oder Tiefschlafmodus ist. Diese flexible Ressourcenkonfiguration optimiert den Energieverbrauch weiter. Gleichzeitig ermöglicht die neue ALERT-Signalleitung von LPDDR6, dass die DRAM-Chips Fehler direkt an den Prozessor melden und 15 verschiedene Fehlerarten in Echtzeit melden können, was die Integrität der Daten erheblich verbessert.

Wenn SOCAMM 2 die LPDDR6-Technologie erfolgreich integriert, wird sich eine starke Synergie zwischen beiden ergeben. Einerseits werden die Hochleistungsmerkmale von LPDDR6 SOCAMM 2 bei Bandbreite, Energieeffizienz und Stabilität der Datenverarbeitung erneut verbessern und den Abstand zu herkömmlichen Speicherlösungen vergrößern, um die strengen Anforderungen von KI-Servern an die schnelle und stabile Verarbeitung von Massendaten besser zu erfüllen. Andererseits wird das modulare Design von SOCAMM 2 auch neue Anwendungsbereiche für LPDDR6 eröffnen und seine Anwendung in der KI-Serverbranche erleichtern, was den kommerziellen Einsatz von LPDDR6 beschleunigen wird. Derzeit befindet sich LPDDR6 jedoch noch in der technischen Validierungsphase, und es gibt gewisse Unsicherheiten in Bezug auf die Kompatibilität mit bestehenden Plattformen, die Massenproduktionskosten und die Stabilität nach der Massenanwendung. Dies ist auch der Hauptgrund, warum die Hersteller diese Funktion noch nicht offiziell bestätigt haben.

02

Wie lässt sich SOCAMM2 in die KI-Server-Ökosystem integrieren?

SOCAMM2 ist kein isoliertes Speicherprodukt. Seine volle Wertschöpfung erfordert eine tiefe Anpassung an die KI-Server-Ökosystem. Auf der Hardwareebene müssen das Mainboard-Design, die Kompatibilität zwischen CPU und Speichercontroller sowie die Anordnung der Kühlsysteme an die Eigenschaften von SOCAMM2 angepasst werden. Nehmen wir beispielsweise die NVIDIA Vera Rubin-Plattform. Als Kernarchitektur für die nächste Generation der KI-Berechnung stellt sie höhere Anforderungen an die Flexibilität und Wartbarkeit des Speichers.

Das nicht-boardintegrierte Speicherdesign von SOCAMM2 erfüllt genau die Anforderungen der Vera Rubin-Plattform an die unabhängige Aktualisierung und den Austausch von Speichermodulen. Es ist nicht erforderlich, das gesamte Mainboard auszutauschen, was die Wartungskosten und die Aktualisierungszyklen der Server erheblich senkt.

Auf der Softwareebene ist die Optimierung des Betriebssystems, der KI-Frameworks und der Treiber ebenfalls der Schlüssel für die Leistung von SOCAMM2. Beispielsweise müssen in KI-Trainingsszenarien die gängigen Frameworks wie TensorFlow und PyTorch ihre Algorithmen an die Speicherbandbreite von SOCAMM2 anpassen, um eine effiziente Datenplanung und Caching-Verwaltung zu gewährleisten und die Verschwendung von Rechenressourcen aufgrund unzureichender Ausnutzung der Speicherleistung zu vermeiden. Gleichzeitig muss der Speicherverwaltungstreiber das Mehrkanal-Parallelübertragungsmodus von SOCAMM2 unterstützen, um sicherzustellen, dass die Speicherressourcen bei der parallelen Verarbeitung mehrerer Aufgaben angemessen verteilt werden und die Datenverzögerung und Konflikte reduziert werden.

Darüber hinaus ist die Zusammenarbeit zwischen SOCAMM2 und KI-Beschleunigungs-Chips besonders wichtig. Derzeit müssen die gängigen KI-Beschleunigungs-Chips wie die NVIDIA GB300-Serie und die AMD MI300-Serie bei ihrer Entwicklung die Kompatibilität mit neuen Speichern berücksichtigen. Nehmen wir beispielsweise den NVIDIA GB300 NVL72. Seine Spezifikationsliste zeigt, dass er bis zu 18 TB an LPDDR5X-basiertem SOCAMM unterstützen kann, mit einer Bandbreite von bis zu 14,3 TB/s. Diese Parameter sind das Ergebnis einer vorab koordinierten Entwicklung zwischen Chipherstellern und Speicherherstellern. Durch die tiefe Anpassung zwischen Chip und Speicher kann die Datenübertragungsstrecke optimiert werden, das Signalrauschen und der Übertragungsverlust reduziert werden und die Gesamtrecheneffizienz des KI-Servers weiter verbessert werden.

03

Die Konkurrenz zwischen Speicherherstellern intensiviert sich

Mit dem Aufkommen von KI-Anwendungen hat die Nachfrage nach Speichern mit hoher Bandbreite und geringer Latenz stark zugenommen. Herkömmliche DDR-Speicher können die Anforderungen von KI-Servern an die schnelle Lese- und Schreiboperation von Massendaten nicht erfüllen. Obwohl HBM eine hervorragende Leistung hat, kann es aufgrund der hohen Kosten und der begrenzten Produktionskapazität nicht vollständig verbreitet werden. Die Entstehung von SOCAMM2 kommt zur rechten Zeit. Seine Vorteile der LPDDR-Technologie ermöglichen es ihm, ähnliche Leistung wie HBM mit einem erschwinglicheren Preis zu liefern und die Lücke auf dem Markt zu schließen.

Unter diesen Umständen haben viele große Speicherhersteller sich für den SOCAMM2-Sektor entschieden.

Micron hat aufgrund seiner technologischen Erfahrungen und seiner schnellen Marktreaktion als erster in der SOCAMM-Branche gehandelt. Im März dieses Jahres hat es angekündigt, Kunden SOCAMM-Module auf Basis von LPDDR5X ausgeliefert zu haben und damit einer der ersten Hersteller geworden, der diese Art von Produkten ausgeliefert hat. Dies hat ihm Erfahrungen in der Marktanwendung gesammelt und Partnerschaften mit einigen KI-Serverherstellern aufgebaut, was die Grundlage für die weitere Vermarktung von SOCAMM2 gelegt hat. Ob der Vorsprung aufrechterhalten werden kann, hängt jedoch von der Fähigkeit zur Produktentwicklung und Kostenkontrolle ab.

Als führende Unternehmen in der Speicherbranche sind Samsung und SK Hynix zwar etwas langsamer als Micron bei der Einführung von SOCAMM-Produkten gewesen, aber sie setzen aufgrund ihrer technologischen Reserven und ihrer Fähigkeit zur Integration der gesamten Lieferkette weiterhin stark auf die Entwicklung und Massenproduktion von SOCAMM2.

Das von Samsung vorgestellte SOCAMM2-Design legt den Schwerpunkt auf die Kompaktheit des Produkts und die Optimierung der Wärmeableitung. Durch Verbesserungen der Verpackungstechnologie und die Anwendung von Wärmeableitmaterialien wird die Stabilität und Zuverlässigkeit des Produkts in Hochdichte-Serverumgebungen verbessert, um den Anforderungen an langfristige Hochlastbetrieb zu entsprechen. SK Hynix konzentriert seine Forschung und Entwicklung auf die Verbesserung der Speichergeschwindigkeit und die Optimierung der Stabilität. Durch die Verbesserung des Herstellungsprozesses von Speicherchips und die Optimierung der Schaltungsgestaltung wird die Stabilität von SOCAMM2 bei der Datenübertragungsgeschwindigkeit, der Latenzkontrolle und der Zusammenarbeit mehrerer Module verbessert. Derzeit arbeiten beide Unternehmen technologisch mit NVIDIA zusammen, nehmen an den Tests von SOCAMM2-Probeversionen teil und optimieren das Produktdesign basierend auf den Testfeedback. Beide Unternehmen planen, die Massenproduktion Anfang nächsten Jahres zu starten.

Chinesische Speicherhersteller nehmen auch aktiv an der Marktkonkurrenz um SOCAMM2 teil. Jiangbo Long, ein repräsentatives Unternehmen in der chinesischen Speicherbranche, hat auf Grundlage seiner technologischen Erfahrungen in der Speicherchip-Entwicklung, der Hauptcontroller-Entwicklung, der Verpackungstests und der Produktion ein eigenes SOCAMM2-Produkt entwickelt. Dieses Produkt behält die allgemeinen Vorteile der SOCAMM-Technologie bei und ist auf die Besonderheiten des chinesischen Servermarktes zugeschnitten. Beispielsweise wurde die trapezförmige Erhebung an der Spitze des LPCAMM2 entfernt, um die Gesamthöhe zu verringern und die Kompatibilität mit gängigen chinesischen Serverumgebungen und Flüssigkeitskühlsystemen zu verbessern. Diese lokalisierte Optimierungsstrategie könnte ihm die Möglichkeit eröffnen, Partnerschaften mit chinesischen KI-Serverherstellern einzugehen und seinen Marktanteil im Unternehmensspeicherbereich zu erweitern. Gleichzeitig könnte es den chinesischen Speichertechnologien in der KI-Speicherbranche helfen, einen Durchbruch zu erzielen. Mit der Entwicklung der chinesischen KI-Branche und der zunehmenden Nachfrage nach eigenständigen und kontrollierbaren Speicherprodukten könnten chinesische Hersteller möglicherweise die technologische Lücke zu internationalen Großkonzernen dank ihrer Vorteile auf dem heimischen Markt schließen.

04

Wie weit ist die Kommerzialisierung entfernt?

Bei der Kommerzialisierung von SOCAMM2 stehen technische, Kostentreiber und Ökosystemherausforderungen im Weg. Gleichzeitig gibt es auch gewisse Marktchancen. Die Entwicklung von SOCAMM2 wird das Geschehen in der KI-Speicherbranche beeinflussen.

Die technische Kompatibilität ist die erste Herausforderung bei der Kommerzialisierung von SOCAMM2. Als neues Speichermodul muss SOCAMM2 mit der bestehenden Hardwarearchitektur von KI-Servern, dem Betriebssystem und den KI-Anwendungsframeworks kompatibel sein. Derzeit können die Speichercontroller einiger älterer Server möglicherweise die hohe Übertragungsgeschwindigkeit und die speziellen Befehlssätze von SOCAMM2 nicht unterstützen. Unternehmen müssen für die Anpassung an SOCAMM2 Hardware-Upgrades oder -Austausche vornehmen, was die Anfangsinvestitionskosten erhöht und möglicherweise dazu führt, dass kostensensible kleine und mittlere Unternehmen die Einführung hinauszögern. Gleichzeitig erfordert die Anpassung und Optimierung des Betriebssystems und der KI-Frameworks Zeit und Ressourcen. Wenn der Fortschritt der Softwareanpassung hinter dem Markteintritt der Hardwareprodukte zurückbleibt, kann die Leistung von SOCAMM2 nicht voll ausgeschöpft werden, was die Akzeptanz auf dem Markt beeinträchtigt.

Die Kostenkontrolle ist auch von entscheidender Bedeutung für die Kommerzialisierung von SOCAMM2. Obwohl SOCAMM2 als "kostengünstige Alternative zu HBM" konzipiert ist, gibt es immer noch einen Unterschied in den Forschungs- und Herstellungskosten im Vergleich zu herkömmlichen DDR5-Speichern aufgrund der verwendeten LPDDR5X/LPDDR6-Chips und des modularen Designs. Insbesondere befinden sich LPDDR6-Chips noch in der technischen Validierungsphase, und die Kosten in der Anfangsphase der Massenproduktion sind hoch, was sich direkt auf die Preispolitik von SOCAMM2 auswirkt: Wenn der Preis zu hoch ist, verliert es den Kostenvorteil gegenüber DDR5-Speichern; wenn der Preis zu niedrig ist, könnte dies den Gewinnraum der Speicherhersteller einschränken und die Motivation für Forschungs- und Entwicklungsinvestitionen beeinträchtigen. Darüber