Die Speicherangst bei großen Modellen – die Lösung liegt auf einem USB-Stick

Nein, ist Flash nicht langsam? Warum setzen SanDisk und SK Hynix es nun für große Modelle ein??

Das IEEE hat kürzlich eine überraschende neue Idee veröffentlicht: Die Speicherangst großer Modelle könnte durch dieselbe Technologie gemildert werden, die in USB-Sticks zum Einsatz kommt.

Genau gesagt handelt es sich um NAND-Flash.

In der Vorstellung vieler Menschen zeichnet sich Flash vor allem durch niedrige Kosten, große Kapazität und den Erhalt von Daten auch nach dem Ausschalten aus – aber was die Geschwindigkeit angeht, insbesondere für die Ausführung von Inferenzaufgaben großer Modelle, scheint es keine ernstzunehmende Lösung zu sein.

Doch jetzt entwickeln SanDisk und SK Hynix eine neue Technologie: High Bandwidth Flash (Hochbandbreiten-Flash), kurz HBF.

Ihr Konzept ist einfach: Die fortschrittlichen Verfahren des Advanced Packaging und der Chip-Stapelung, die bisher bei HBM (Hochbandbreiten-Speicher) zum Einsatz kamen, werden auf NAND-Flash übertragen.

Anders ausgedrückt: Der bisher nur für die Speicherung zuständige Flash-Speicher soll nun auch zur schnellen Datenversorgung bei KI-Inferenzaufgaben beitragen.

Laut öffentlichen Angaben von SanDisk kann HBF voraussichtlich bis zu 16 NAND-Flash-Chips stapeln. Die Zielkapazität pro Stapel liegt bei maximal 512 GB, und die angestrebte Lese-Bandbreite erreicht bis zu 1,6 TB/s.

In den nachfolgenden Roadmaps der zweiten und dritten Generation wird die Lese-Bandbreite weiter auf 2 TB/s und 3,2 TB/s gesteigert.

Obwohl diese Werte noch nicht mit denen von Top-HBM-Speichern mithalten können, hat sich der Zustand des „langsamen Speicherns“ bei herkömmlichem Flash vollständig verändert.

Hinter diesem technologischen Durchbruch verbirgt sich eine dringend zu lösende Versorgungsknappheit in der globalen Speicherindustrie.

Vor wenigen Tagen (am 11. Juli nach Pekinger Zeit) erklärte der CEO des koreanischen Speicherkonzerns SK Hynix, Kwoh Rok-Jung, anlässlich des Debüts des Unternehmens an der NASDAQ öffentlich: Die globale Speicherindustrie wird im Jahr 2027 vor der schwersten Versorgungsknappheit ihrer Geschichte stehen. Diese Aussage löste sofort große Aufmerksamkeit an den Kapitalmärkten und in der Branche aus.

Vor diesem Hintergrund ist die gemeinsame Entwicklung von HBF durch SK Hynix und SanDisk möglicherweise ihre technologische Antwort zur Linderung der Speicherversorgungsknappheit.

Schauen wir uns das genauer an.

Ist Flash nicht langsam – warum kann es für KI verwendet werden?

Die Frage stellt sich: Ist Flash nicht berühmt für seine langsame Schreibgeschwindigkeit? Warum soll es plötzlich für KI geeignet sein?

Jim Handy, Direktor des Halbleiter-Marktforschungsinstituts Objective Analysis, erwähnte in einem Interview mit der IEEE Spectrum: Die erste Reaktion vieler Menschen ist dieselbe: Wie soll das funktionieren? Flash ist doch extrem langsam.

Aber der entscheidende Punkt ist: Flash ist hauptsächlich beim Schreiben langsam.

NAND-Flash speichert Daten über Ladungen in Floating-Gate-Transistoren und organisiert diese in Blöcken und Seiten. Dieser Mechanismus sorgt dafür, dass Daten auch nach dem Ausschalten erhalten bleiben – anders als bei DRAM, das ständig aktualisiert werden muss. Dadurch ist es von Natur aus für die Langzeitspeicherung geeignet und vereint hohe Dichte mit niedrigen Kosten.

Der Nachteil ist jedoch: Beim Schreiben von Daten müssen Ladungen in das isolierte Gate eingeführt oder herausgezogen werden – ein Vorgang, der viel langsamer ist als das Laden und Entladen von Kondensatoren.

Daher galt Flash bisher im herkömmlichen Computerkontext als nicht vergleichbar mit Hochgeschwindigkeitsspeichern wie DRAM oder HBM.

Betrachtet man jedoch nur das Lesen, sieht die Sache ganz anders aus.

Gemäß dem neuesten ONFI 6.0-Schnittstellenstandard für Flash-Speicher erreicht die theoretische maximale Bandbreite pro Die bis zu 4,8 GB/s.

Diese Zahl allein ist nicht besonders beeindruckend.

Aber eine einzelne DDR5-DIMM erreicht bis zu 70,4 GB/s, und ein einzelner HBM4E-Stapel sogar bis zu 3,2 TB/s – das ist ein Unterschied von etwa 750-fach im Vergleich zu einem einzelnen NAND-Flash-Chip.

Ziel von HBF ist es, durch 3D-Packaging und vertikale Stapelung mehrere NAND-Flash-Dies zusammenzufassen und so die gesamte Lese-Bandbreite erheblich zu steigern.

Hoshik Kim, Senior Vice President für Forschung zu Speichersystemen bei SK Hynix, erklärte: „Durch die Anwendung fortschrittlicher 3D-Packaging- und vertikaler Stapeltechnologien auf NAND-Flash erreicht HBF eine Bandbreite, die weit über der von herkömmlichen NVMe-Speichern liegt.“

Ähnlich wie HBM DRAM-Chips stapelt, stapelt HBF NAND-Flash-Dies, um Chips mit hoher Speicherdichte herzustellen.

Ihr Ziel war nie, einen einzelnen Flash-Chip plötzlich zu beschleunigen – sondern durch Stapelung und Packaging die Lese-Kanäle zu vervielfachen.

HBF soll HBM nicht ersetzen – es hat seine eigene Position gefunden

Das Besondere an HBF ist nicht, dass es HBM ersetzen will.

Vielmehr hat es ein Anwendungsfeld gefunden, das perfekt zu Flash passt: die KI-Inferenz.

Für Training und Inferenz gelten unterschiedliche Anforderungen an den Speicher.

Beim Training großer Modelle muss das System ständig Gewichte lesen, Fehler berechnen und dann die Gewichte durch Backpropagation aktualisieren.

Dieser Vorgang erfordert sowohl intensives Lesen als auch intensives Schreiben – was für Flash sehr ungünstig ist.

Denn Flash ist langsam beim Schreiben, und häufiges Schreiben führt zudem zu Problemen mit der Lebensdauer und dem Schreib-Lese-Management.

Aber in der Inferenzphase ist das anders.

In dieser Phase ist das Modell bereits trainiert, und die Gewichte sind weitgehend festgelegt. Meistens muss das System diese riesigen Modellgewichte schnell auslesen, statt sie häufig zu ändern.

Das liegt genau im Stärkenbereich von Flash.

Kim, Senior Vice President für Forschung zu Speichersystemen bei SK Hynix, sagte: „In Inferenzumgebungen können riesige, leseintensive Daten wie statische Modellgewichte mit Milliarden von Parametern oder vorberechnete KV-Caches sicher in der HBF-Ebene gespeichert werden.“

Auf diese Weise wird der teure und kapazitätsbegrenzte HBM-Speicher freigehalten und kann ausschließlich als Hochgeschwindigkeits-Arbeitsspeicher dienen.

Diese Architektur ähnelt dem Hinzufügen eines „Nur-Lese-Speicherpools mit riesiger Kapazität“ für die KI.

HBM übernimmt weiterhin den dringendsten und häufigsten Hochgeschwindigkeits-Datenaustausch für Berechnungen.

HBF hingegen speichert die riesigen, kaum veränderlichen Modellparameter.

Für die heutige Inferenz großer Modelle ist dieser Ansatz sehr praxisrelevant.

Denn die Herausforderungen bei der Inferenz großer Modelle beschränken sich längst nicht mehr auf fehlende Rechenleistung. Vielmehr überlagern sich Probleme wie unzureichender Speicher, zu geringe Bandbreite, hoher Energieverbrauch und teure Bereitstellungskosten.

Insbesondere vor dem Hintergrund der stetig wachsenden Modellgröße werden die unzureichende VRAM-Kapazität pro Grafikkarte und die hohen Kosten von HBM-Speichern zu deutlichen Entwicklungshemmnissen.

Oft ist es nicht so, dass die GPU nicht schnell genug rechnet – sondern dass das Modell nicht hineinpasst oder die Daten nicht schnell genug geliefert werden.

Wenn HBF ein Gleichgewicht zwischen Kapazität, Bandbreite und Kosten herstellen kann, könnten größere Modelle zu niedrigeren Kosten ausgeführt werden.

512 GB pro Stapel: KI-Server könnten weniger Beschleunigungskarten benötigen

Die von SanDisk angegebenen Zielparameter der ersten HBF-Generation liegen bei maximal 512 GB Kapazität und 1,6 TB/s Lese-Bandbreite.

Diese Kombination ist entscheidend: HBM zeichnet sich durch extrem hohe Geschwindigkeit aus, ist aber teuer und kapazitätsbegrenzt. HBF ist zwar langsamer, bietet aber größere Kapazität zu niedrigeren Stückkosten.

Das bedeutet: In Zukunft müssen KI-Server bei der Bereitstellung von Inferenzaufgaben großer Modelle nicht mehr alle Gewichte in den HBM-Speicher laden.

Teilweise „kältere“, statischere, mehr lesende als schreibende Daten können in HBF gespeichert werden.

△

Dieser Ansatz hat mehrere potenzielle Vorteile:

Erstens: Die Kapazitätsengpässe bei HBM werden gemildert.

Zweitens: Der Bedarf an mehr Beschleunigungskarten, um das Modell unterzubringen, sinkt.

Drittens: Gesamtkosten und Energieverbrauch des Inferenzsystems werden reduziert.

Kims Einschätzung lautet: HBF und HBM sind keine Konkurrenten, sondern ergänzende Werkzeuge.

Er erklärte: „HBF kann die schwerwiegenden Kapazitätsengpässe von HBM mildern, ohne die Datenversorgungsgeschwindigkeit zu beeinträchtigen – und dadurch die Anzahl der für die Ausführung großer Modelle benötigten Beschleuniger senken.“

Darüber hinaus erwartet er, dass diese Lösung die Energieeffizienz steigert und die Kosten senkt, sodass Rechenzentren ihre KI-Inferenz-Hardware weiter skalieren können.

Das ist der wichtigste Branchenaspekt von HBF: Es soll Flash nicht zu HBM machen – sondern dafür sorgen, dass unterschiedliche Daten im KI-System an ihrem am besten geeigneten Ort gespeichert werden.

„Heiße“ Daten bleiben in HBM gespeichert; große, statische, leseintensive Daten wandern zu HBF; langsamere, kostengünstigere Daten verbleiben auf SSD oder anderen Speichermedien.

Wenn diese Hierarchie funktioniert, wird der Speicherarchitektur für KI-Inferenz-Hardware eine neue Ebene hinzugefügt.

Die großflächige Umsetzung ist noch fern – aber neue Signale für die Arbeitsteilung im Speichersystem großer Modelle zeichnen sich ab

Natürlich ist HBF noch kein ausgereiftes Produkt.

Laut Berichten der IEEE Spectrum wird HBF voraussichtlich mindestens ein Jahr bis zur Auslieferung benötigen, und die großflächige Bereitstellung liegt noch einige Jahre in der Zukunft.

Am 25. Februar dieses Jahres haben SanDisk und SK Hynix eine gemeinsame Auftaktveranstaltung abgehalten, um die Standardisierung von HBF im Rahmen des Open Compute Project (OCP) voranzutreiben.

Als wichtige offene Branchenorganisation im Bereich der Rechenzentrums-Hardware hat OCP zahlreiche Spezifikationen für Server, Schränke, Netzteile und Beschleuniger erarbeitet – wie die Server-Spezifikation DC-MHS und die Beschleuniger-Spezifikation OAI-OAM.

Aber derzeit wird die HBF-Standardisierung noch vorangetrieben, und der offizielle Veröffentlichungstermin steht nicht fest. Das bedeutet: HBF wird den KI-Server-Markt kurzfristig nicht sofort verändern.

Vielmehr ist es ein vorzeitiges Signal: Die KI-Inferenz zwingt das Speicher- und Arbeitsspeichersystem zu einer neuen Arbeitsteilung.