HBM, Neuer großer Krieg

In der Zeit des exponentiellen Wachstums der Anzahl der Parameter von KI-Modellen durchläuft das Rechenzentrum eine tiefgreifende Transformation von einer "Rechenleistungszentrierten" zur "Bandbreitengetriebenen" Architektur. In dieser Welle der Innovation der Rechenleistungsschicht rückt die HBM (High Bandwidth Memory) stumm in den Vordergrund und wird zur Kerninfrastruktur für die Berechnung großer Modelle.

Im "Post-KI-Zeitalter" ist die HBM nicht nur eine Standardkomponente für Hochleistungs-KI-Chips (wie GPU, TPU), sondern hat sich auch zum strategischen Schlüsselpunkt im heftigen Wettlauf zwischen den Halbleiterriesen entwickelt.

Ob Samsung, SK Hynix oder Micron, diese führenden Unternehmen im Speicherbereich betrachten die HBM als den Schlüsselmotor für das zukünftige Umsatzwachstum. Sie scheinen sich darin einig zu sein: Um auf dem Speichermarkt die Oberhand zu gewinnen, muss man die Kerntechnologie der HBM zuerst beherrschen.

Also, welche Technologien sind in diesem blutigen Wettlauf bemerkenswert? Lassen Sie uns diese Frage genauer analysieren.

Ist die Individualisierung der einzige Ausweg?

Die Individualisierung könnte eine der Endstationen der HBM sein.

Tatsächlich haben Hynix und Samsung bereits vor mehr als zwei Jahren, als die HBM erstmals aufkam, über diesen Trend der Individualisierung gesprochen. Mit der zunehmenden Anzahl von Cloudriesen, die ihre eigenen KI-Chips entwickeln, steigt der Bedarf an HBM stetig, und die Individualisierung wird somit zu einer unvermeidlichen Notwendigkeit.

Im August letzten Jahres sagte Yoo Sung-joo, Vizepräsident von SK Hynix: "Alle M7 (Magnificent 7, die sieben Tech-Aktien im Standard & Poor's 500-Index: Apple, Microsoft, Google Alphabet, Amazon, Nvidia, Meta und Tesla) -Unternehmen haben uns kontaktiert und uns gebeten, individuelle HBM (High Bandwidth Memory) herzustellen."

Im Juni dieses Jahres berichteten südkoreanische Medien, dass SK Hynix bereits Nvidia, Microsoft (MS), Broadcom und andere Unternehmen, die als "Schwergewichtskunden" auf dem individuellen HBM-Markt gelten könnten, festgelegt hat. Kürzlich hat es mit Nvidia, Microsoft und Broadcom Vereinbarungen getroffen, um individuelle HBM zu liefern und hat bereits mit der Designarbeit gemäß den Anforderungen der jeweiligen Unternehmen begonnen.

Es ist bekannt, dass SK Hynix die Lieferpläne seines größten Kunden Nvidia als Kernpunkt nimmt und die Liste der anderen Kunden vorrangig festlegt. Fachleute sagen: "Angesichts der Produktionskapazität von SK Hynix und des Zeitplans für die Einführung der KI-Dienste der großen Tech-Unternehmen kann man die Bedürfnisse aller M7-Kunden nicht auf einmal befriedigen", aber sie weisen auch darauf hin: "Angesichts der Veränderungen auf dem HBM-Markt könnten in Zukunft einige zusätzliche Kunden hinzukommen."

SK Hynix hat auch im April dieses Jahres angekündigt, dass es ab der siebten Generation HBM (HBM4E) auf Individualisierung umstellen wird und bereits mit TSMC zusammenarbeitet. Es plant, die fortschrittliche Logiktechnologie von TSMC auf der Basis-Nacktchip von HBM4 anzuwenden. Es wird erwartet, dass die ersten individuellen HBM-Produkte im zweiten Halbjahr nächsten Jahres erscheinen werden.

Es ist erwähnenswert, dass die Wahrscheinlichkeit, dass SK Hynix seine führende Position auf dem Markt für die nächste Generation individueller HBM beibehält, stark zugenommen hat, da es mehrere Schwergewichtskunden gewonnen hat. Laut den Daten von TrendForce hat SK Hynix derzeit einen Marktanteil von etwa 50 % auf dem HBM-Markt, weit vor Samsung Electronics (30 %) und Micron (20 %). Bei den neuesten HBM3E-Produkten liegt der Marktanteil von SK Hynix sogar bei 70 %.

Andererseits wird berichtet, dass Samsung Electronics derzeit über die Lieferung individueller HBM mit mehreren Kunden in Gesprächen steht. Da es kürzlich erfolgreich HBM3E an AMD, den weltweit zweiten größten Hersteller von KI-Chips, geliefert hat, wird von der Branche erwartet, dass es in Kürze auch Kunden für HBM4 und individuelle HBM gewinnen wird. Es wird gesagt, dass Samsung derzeit konkrete Verhandlungen über das HBM4-Produkt mit Kunden wie Broadcom und AMD führt.

Im Vergleich zu den beiden südkoreanischen Herstellern reagiert Micron aus den USA viel träger. Im Juni dieses Jahres sagte Raj Narasimhan, Senior-Vizepräsident und Geschäftsführer der Cloud-Speicherbusiness-Einheit von Micron, dass der Produktionsplan für HBM4 eng an die Vorbereitungen der nächsten Generation von KI-Plattformen der Kunden gekoppelt werden würde, um eine nahtlose Integration und eine rechtzeitige Kapazitätserweiterung zur Befriedigung des Marktbedarfs sicherzustellen.

Er sagte, dass neben der Bereitstellung der neuesten HBM4 für die Hauptkunden auch individuelle Versionen nachgefragt würden und die Entwicklung der nächsten Generation HBM4E bereits im Gange sei. Die Zusammenarbeit mit bestimmten Kunden bei der Entwicklung individueller HBM-Lösungen würde den Wert der Speicherprodukte weiter erhöhen.

An dieser Stelle fragen sich viele wahrscheinlich, welche Vorteile die individuelle HBM hat und warum sich sowohl die DRAM-Hersteller als auch die Cloudriesen danach sehnen?

Zunächst muss klar sein, dass der Schlüssel der individuellen HBM (cHBM) darin besteht, die Funktionen des Basis-Chips (base die) in den Logik-Chip (logic die), der von der SoC-Team entworfen wird, zu integrieren. Dies umfasst die Steuerung der I/O-Schnittstelle, die Verwaltung des DRAM-Stacks sowie die Bereitstellung von Direktzugangsports (DA) für die Diagnose und Wartung.

Dieser Integrationsprozess erfordert eine enge Zusammenarbeit mit den DRAM-Herstellern, aber es gibt den SoC-Designern mehr Flexibilität und eine stärkere Kontrolle über den Zugang zum Kern-Chip-Stack der HBM. Die Designer können den Speicher und den Prozessor-Chip enger integrieren und die Leistung in Bezug auf Energieverbrauch, Leistung und Fläche (PPA) für die spezifische Anwendung optimieren.

SoC-Designer können ihren eigenen HBM-Speichercontroller frei konfigurieren und instanziieren und direkt über die DFI2TSV-Brücke mit dem HBM-DRAM-Stack interagieren. Der Logik-Chip kann auch zusätzliche Funktionen integrieren, wie z. B. einen programmierbaren BIST-Controller (Built-In Self-Test), einen D2D-Adapter (Die-to-Die Adapter) sowie eine Hochgeschwindigkeits-Schnittstelle (wie den Universal Chiplet Interconnect Express UCIe), um die Kommunikation mit dem Prozessor-Chip im vollständigen 3D-Stack zu ermöglichen. Da dieser Chip mit Logiktechnologie anstatt DRAM-Technologie hergestellt wird, können bestehende Designs wiederverwendet werden.

Ein wichtiger Vorteil der individuellen HBM besteht darin, dass die Verzögerung, die durch den Interposer im Datenpfad eingeführt wird, deutlich reduziert wird, und der damit verbundene Energieverbrauch und die Leistungseinbußen verringert werden. Durch die Wiederverwendung bestehender Hochgeschwindigkeits-Nacktchip-Verbindungen (wie UCIe) wird der Abstand zwischen Speicher und Prozessor-Chip effektiv verringert. Diese Flexibilität kann in verschiedenen Szenarien eingesetzt werden, wie z. B. von Cloud-Dienstleistern für Edge-KI-Anwendungen, wo die Anforderungen an Kosten und Energieverbrauch sehr hoch sind, sowie für komplexe KI/Machine-Learning-Berechnungsszenarien, wo maximale Kapazität und Durchsatzrate angestrebt werden.

Allerdings stehen der individuellen HBM derzeit auch einige Herausforderungen entgegen. Das gesamte Konzept ist noch neu, und die Technologie befindet sich in der frühen Entwicklungsphase. Wie bei allen Innovationen sind auch hier Herausforderungen unvermeidlich. Die Integration der Basis-Chip-Funktionen in den Logik-Chip bedeutet, dass die Endbenutzer die gesamte Lebensdauer des Chips - von der Entwicklung, der Probefertigung, der Serienproduktion bis zur Anwendung vor Ort - aus der Sicht der Chip-Lebenszyklusverwaltung (SLM) betrachten müssen. Beispielsweise liegt nach dem Stapeln von HBM-Chips auf Wafer-Ebene die Verantwortung für die Prüfung auf DRAM-Zellendefekte bei den Endbenutzern. Dies wirft einige Fragen auf, wie z. B. wie die Benutzer die von den Anbietern empfohlenen bestimmten DRAM-Algorithmen handhaben sollen und ob die Benutzer während eines geplanten Ausfalls eine umfassende HBM-Testung und -Diagnose vor Ort durchführen können.

Derzeit erfordert die erfolgreiche Implementierung der individuellen HBM ein komplettes Ökosystem, das IP-Anbieter, DRAM-Hersteller, SoC-Designer und ATE-Firmen (Automated Test Equipment) umfasst. Beispielsweise können herkömmliche ATE-Systeme aufgrund der hohen Anzahl und Dichte der Verbindungen nicht mehr für die Prüfung der individuellen HBM verwendet werden.

Zusammenfassend lässt sich sagen, dass die Individualisierung der HBM ein großer Trend geworden ist. Unabhängig davon, ob die Hersteller es mögen oder nicht, wird sie in der HBM4-Standard eine ziemlich wichtige Rolle spielen.

Die Hybrid Bonding - ein unvermeidliches technisches Problem?

Neben der Individualisierung ist die Hybrid Bonding auch eine wichtige zukünftige Entwicklungsrichtung für die HBM.

Derzeit stehen die herkömmlichen Löttechniken mit der zunehmenden Anzahl der Stapelungen vor erheblichen Herausforderungen. Das derzeit verwendete Flussmittel (Flux) kann zwar die Metalloxidschicht auf der Oberfläche entfernen und das Fließen des Lotes fördern, aber seine Rückstände können zu Problemen wie einer Vergrößerung des Spalts zwischen den Stapeln und einer Konzentration der thermischen Spannungen führen. Insbesondere in der feinen Verpackung von Hochleistungs-Speichern (HBM) wird dieser Widerspruch noch deutlicher.

Samsung, SK Hynix und sogar Micron erwägen alle, die Hybrid Bonding-Technologie in der nächsten Generation HBM einzusetzen.

Schauen wir uns zunächst die aktuelle Bonding-Technologie für HBM-Chips an. Bei der herkömmlichen Flip-Chip-Bonding wird der Chip "umgedreht", damit seine Lotbumps (auch C4-Bumps genannt) mit den Bondpads auf dem Halbleitersubstrat übereinstimmen. Die gesamte Baugruppe wird in einen Reflow-Ofen gelegt und je nach Lotmaterial auf etwa 200ºC - 250ºC gleichmäßig erhitzt. Die Lotbumps schmelzen, und es entsteht eine elektrische Verbindung zwischen Bond und Substrat.

Mit der zunehmenden Dichte der Verbindungen und der Verringerung des Abstands auf weniger als 50µm stehen die Flip-Chip-Prozesse vor einigen Herausforderungen. Da die gesamte Chip-Packung in den Ofen gelegt wird, dehnen sich der Chip und das Substrat aufgrund der Wärme mit unterschiedlicher Geschwindigkeit aus (d. h. unterschiedliche thermische Ausdehnungskoeffizienten, CTE), was zu Verformungen führt und die elektrischen Verbindungen fehlerhaft werden lässt. Dann diffundiert das geschmolzene Lot außerhalb seines vorgesehenen Bereichs.

Dieses Phänomen wird als Lotbrücke bezeichnet und führt zu unerwünschten elektrischen Verbindungen zwischen benachbarten Pads und kann zu Kurzschlüssen führen, was wiederum zu defekten Chips führt. Hier kommt der TCB-Prozess (Thermal Compression Bonding) ins Spiel, da er die Probleme des Flip-Chip-Prozesses lösen kann, wenn der Abstand unter einen bestimmten Punkt sinkt.

Der Vorteil des TCB besteht darin, dass die Wärme lokal über einen Heizkopf auf die Verbindungsstellen aufgebracht wird, anstatt gleichmäßig in einem Reflow-Ofen (Flip-Chip) verteilt zu werden. Dies reduziert die Wärmeübertragung auf das Substrat, wodurch die thermischen Spannungen und die CTE-Herausforderungen verringert werden und eine stärkere Verbindung ermöglicht wird. Druck wird auf den Chip ausgeübt, um die Qualität der Verbindung zu verbessern und eine bessere elektrische Verbindung zu erzielen. Ein typischer Prozesstemperaturbereich liegt zwischen 150ºC - 300ºC, und der Druck liegt zwischen 10 - 200 MPa.

Der TCB ermöglicht eine höhere Kontakt-Dichte als der Flip-Chip und kann in einigen Fällen bis zu 10.000 Kontakte pro Quadratmillimeter erreichen. Der Hauptnachteil der höheren Präzision ist jedoch die geringere Durchsatzrate. Während ein Flip-Chip-Maschine einen Durchsatz von über 10.000 Chips pro Stunde erreichen kann, liegt der Durchsatz des TCB im Bereich von 1.000 - 3.000 Chips.

Der Standard-TCB-Prozess erfordert auch die Verwendung von Flussmittel. Beim Erhitzen kann Kupfer oxidieren und die elektrische Verbindung fehlerhaft werden. Flussmittel ist eine Beschichtung, die zur Entfernung von Kupferoxiden verwendet wird. Wenn der Abstand zwischen den Verbindungen auf weniger als 10µm sinkt, wird es schwieriger, das Flussmittel zu entfernen, und es bleiben klebrige Rückstände zurück, die zu kleinen Verformungen der Verbindungen führen können, was Korrosion und Kurzschlüsse verursachen kann.

Deshalb wurde die Fluxless Bonding-Technologie entwickelt. Diese Technologie kann den Abstand nur bis auf 20μm, maximal 10μm, verringern und kann nur als Übergangstechnologie verwendet werden. Wenn der I/O-Abstand kleiner als 10μm ist, wird die Hybrid Bonding-Technologie benötigt.

Die Hybrid Bonding-Technologie ermöglicht das Stapeln von DRAM-Chips durch eine direkte Kupfer-Kupfer-Verbindung (copper-to-copper bonding) ohne die herkömmlichen Bumps. Diese Methode ermöglicht nicht nur eine deutliche Verringerung der Chipgröße, sondern auch eine Verdopplung der Energieeffizienz und der Gesamtleistung.

Laut Insiderberichten arbeiten Samsung Electronics und SK Hynix bis zum 7. Mai an der Massenproduktion der Hybrid Bonding-Technologie für ihre nächsten Generationen von HBM-Produkten. Es wird erwartet, dass Samsung diese Technologie möglicherweise bereits nächstes Jahr in der HBM4 (sechste Generation HBM) einsetzen wird, während SK Hynix sie möglicherweise in der siebten Generation HBM4E erstmals einführen wird.

Die aktuelle fünfte Generation HBM - HBM3E - verwendet immer noch die TCB-Technologie, um die Chips durch Erhitzen, Druck und Bumps zu verbinden und zu stapeln. Samsung kauft die TCB-Geräte hauptsächlich von seiner Tochtergesellschaft SEMES und der japanischen Firma SHINKAWA, während SK Hynix auf die südkoreanischen Firmen Hanmi Semiconductor und Hanwha Semiconductor angewiesen ist. Auch Micron aus den USA, das HBM an Nvidia liefert, kauft Geräte von Hanmi und SHINKAWA.

Mit dem Beginn des Marktes für Hybrid Bonding hat diese Technologie das Potenzial, eine Umstrukturierung der Halbleitergerätebranche auszulösen. Wenn die Hybrid Bonding-Technologie erfolgreich eingeführt wird, könnte sie möglicherweise zur Standardtechnologie