Wasserleitungen an Server anschließen, Server baden lassen, sie auf den Meeresgrund versenken – auf welchem Stand ist die Bekämpfung des "hohen Fiebers" der KI mittlerweile?

In den letzten Jahren ist KI zum geduldigsten Gesprächspartner der Menschheit geworden. Egal wie absurd die Frage ist, sie rollt nie mit den Augen, aber in irgendeinem Rechenzentrum auf der Erde führt ein Chip die Frage sorgfältig aus und gibt eine Antwort aus.

Aber die Anzahl der Fragenden steigt stetig, der Bedarf an Rechenleistung ist nicht mehr zu bremsen.

Daher sind die Preise für Chips und Speicher massiv angestiegen, und selbst so unbekannte Begriffe wie optische Interkonnektionen, optische Chips und "im Licht stehen" wurden von den Verbrauchern des A-Aktien-Marktes neu gelernt.

Es gibt jedoch noch ein weiteres Glied, das all dies stützt, aber selten diskutiert wird.

Und das ist: Wärmeabfuhr.

Dass diese Chips ständig laufen und nicht durchbrennen, verdanken sie ausschließlich der Wärmeabfuhr.

Früher war Wärmeabfuhr kein Problem, man musste nur einen Lüfter einbauen.

Aber heute ist es anders: Die Leistung von Top-KI-Schränken hat etwa 120 Kilowatt erreicht (und steigt weiter), während ein üblicher Heizlüfter zu Hause etwa 2000 Watt hat. 120 Kilowatt entsprechen dem Einbau von 60 Heizlüftern in einen zwei Meter hohen Eisenschrank, der den ganzen Tag auf höchster Stufe läuft.

Während des Rechenvorgangs von KI-Chips wird weder etwas nach außen geschoben noch die chemische Zusammensetzung verändert.

Aus dem Energieerhaltungssatz, den wir im Physikunterricht der Mittelstufe gelernt haben, lässt sich leicht eine Schlussfolgerung ziehen: Die gesamte Leistung des Servers wird fast vollständig in Wärme umgewandelt!

120 Kilowatt ist die tatsächliche Wärmeabgabe eines Serverschranks, das Mehrfache bis Zehnfache der herkömmlichen Schränke.

Abbildung: Vergleich von NVIDIA zwischen dem kompletten GB200 NVL72-Schrank und der HGX-Architektur, die von einzelnen Servern zu hochdichten kompletten Schränken erweitert wurde. Quelle: NVIDIA

Wärme verschwindet nicht, sie wird nur übertragen.

Die Aufgabe des Kühlsystems besteht darin, die Wärme von den Chips abzutransportieren und sie aus dem Gebäude zu leiten, am besten ohne Verschwendung. Das klingt einfach, aber jeder Schritt ist ein eigenes Fachgebiet, hinter jedem Schritt stehen zahlreiche Unternehmen, die entsprechende Lösungen anbieten.

Heute verfolgen wir gemeinsam den Weg der Wärme und gehen ihn vollständig durch.

01

Der Weg der KI-Server führt überall durch Wasser

Grob gesagt: Eine GPU ist ein handflächengroßer Chip, der auf eine Leiterplatte gelötet ist; diese Platine, ausgestattet mit CPU, Stromversorgung und Speicher, wird in einen flachen Eisenkasten gesteckt, der einen Server bildet; Dutzende dieser Kästen werden etagenweise in einen zwei Meter hohen Schrank eingeführt – das ist der Serverschrank.

Die erwähnten 120 Kilowatt beziehen sich auf die Gesamtleistung dieses gesamten Schranks.

Wie dicht sind die Komponenten in diesem Schrank?

Um es zu veranschaulichen: Nehmen wir das derzeit beliebteste NVIDIA GB200 NVL72 als Beispiel: Eine übliche Konfiguration in einem KI-Server umfasst 4 GPUs und 2 CPUs. Dieser Schrank enthält direkt 18 Server mit 72 GPUs und 36 CPUs, mit einem Gesamtgewicht von etwa 1,3 Tonnen.

Noch beeindruckender: Wenn alle Trays und Anschlüsse in den Rahmen eingeführt werden, entsteht eine Einsteckkraft von fast 6000 Pfund, was dem Druck von 2,7 Tonnen Gewicht entspricht. Um nicht durch das eigene Gewicht verformt zu werden, muss der Schrank zusätzlich mit über 100 Pfund Stahl verstärkt werden, um stabil zu bleiben.

Früher, wenn man den Deckel eines Servers öffnete, fiel zuerst eine Reihe von Lüftern auf, die summend nach hinten blasen und die Wärme von den Chips abtransportieren, während die Klimaanlage des Rechenzentrums die heiße Luft abführt.

Dieses Prinzip wurde jahrzehntelang angewendet und reichte für Leistungen von 5 bis 20 Kilowatt völlig aus.

Aber bei der Größenordnung von 60 Heizlüftern ist Luft als Träger nicht mehr ausreichend: Sie ist zu dünn und hat eine zu geringe Wärmekapazität, selbst wenn die Lüfter bis zur Funkenbildung drehen, reicht das nicht mehr aus.

Daher hat die Kühlindustrie einen neuen Hauptträger eingeführt: Wasser.

In aktuellen KI-Servern wird auf den wärmeerzeugenden Komponenten wie GPU und CPU eine kupferne Kühlplatte fest angedrückt, deren Inneres mit feinen Wasserkanälen durchzogen ist.

Darin fließt aufbereitetes Wasser oder ein Kühlmittel auf Wasserbasis. Die Wärme wird zuerst an die Kupferplatte übertragen und dann von dem Kühlmittel in den Wasserkanälen abtransportiert.

Das ist die kaltplattenbasierte Flüssigkühlung, der derzeit gängigste Ansatz für hochdichte KI-Schränke.

Abbildung: Offizielle Zerlegung der Rückwand von GB200 NVL72, der NVLink-Kabel und des Switch-Trays, die die Komplexität der Koexistenz von Wasser-, Strom- und Netzleitungen in hochdichten Schränken zeigen. Quelle: NVIDIA

Abbildung: Die von NVIDIA und Vertiv vorgestellte flache Architektur eines flüssiggekühlten Rechenzentrums, bei der Schränke, CDU, Rohrleitungen und gebäudeseitige Kühlanlagen zu einer Wärmetransportkette verbunden sind. Quelle: NVIDIA

Aber die Idee, Wasser durch Server zu leiten, wirkt auf den ersten Blick nicht besonders zuverlässig.

Server werden in Schränke gesteckt und müssen bei Defekten herausgezogen werden. Jeder kennt die Stecker für Strom und Netzwerk – aber wie lassen sich Wasserleitungen ein- und ausstecken?

Wenn man sie nur leicht schräg einsteckt, läuft Wasser auf die Leiterplatte und das Gerät ist zerstört.

Daher wurden sogenannte Schnellkupplungen für Flüssigkühlung erfunden.

An beiden Enden der Schnellkupplung befindet sich ein Federventil, das normalerweise fest geschlossen ist. Im Moment des Einsteckens drücken sich die beiden Ventile gegenseitig auf, sodass der Wasserweg freigegeben wird. Beim Herausziehen schließen sich beide Seiten sofort wieder, das Wasser bleibt in den jeweiligen Rohren eingeschlossen, kein Tropfen läuft aus.

Mit diesen Kupplungen wurden Wasserleitungen zum ersten Mal so einfach wie Stromkabel: Man kann sie bedenkenlos einstecken, herausziehen und dem täglichen Betriebspersonal überlassen.

Huawei geht noch einen Schritt weiter: Es hat Stromversorgung, Netzwerk und Wasserwege zu drei Bussystemen kombiniert, sodass der gesamte Schrank vollständig blind gesteckt werden kann. Sobald der Server hineingeschoben wird, sind Wasser, Strom und Netzwerk verbunden – sonst würde das manuelle Anschließen jeder einzelnen Wasserleitung und die Dichtheitsprüfung bis zum Feierabend dauern.

Die Kühlplatten erfassen normalerweise nur die beiden großen Wärmequellen GPU und CPU. Was passiert mit der heißen Luft von Speichern, Festplatten und Netzteilen?

Einige Hersteller haben die Hintertür des Schrankes durch eine wassergekühlte Tür ersetzt, zum Beispiel das IceCube von ZTE.

Die heiße Luft wird noch einmal von Wasser erfasst, bevor sie den Schrank verlässt, und nimmt vor dem Ausgang ein kaltes Bad. An diesem Punkt gibt es bereits überall Wasserwege im Schrank.

Quelle: ZTE Corporation

Die gesamte Wärme von den Chips ist nun ins Wasser übergegangen. Die nächste Frage: Wohin soll dieses heiße Wasser fließen?

Könnte man nicht einfach ein Rohr direkt auf das Dach legen? Technisch ist das möglich, aber große Rechenzentren gehen normalerweise nicht diesen einfachen Weg. Die Strömungskanäle in den Kühlplatten sind fein und empfindlich, sie reagieren empfindlich auf Verschmutzung, Verstopfung und Druckschwankungen. Die Rohrleitungen im Außenbereich sind lang, und im Winter muss manchmal Frostschutzmittel hinzugefügt werden. Daher wird im Rechenzentrum normalerweise eine kleine Wärmeübergabestation (CDU) aufgestellt, die die präzisen Wasserwege auf der Serverseite von den Wärmeabfuhrwegen auf der Gebäudeseite trennt. Die beiden Wasserströme strömen aneinander vorbei, getrennt durch eine Reihe dünner Metallplatten: Die Wärme wird ausgetauscht, die beiden Wassermengen kommen nie miteinander in Kontakt.

Der Aufwand dafür ist nicht gering. Eine 2-Megawatt-Wärmeübergabestation von Google fördert etwa 1900 Liter Kühlmittel pro Minute, das Wasser von etwa zehn Badewannen zirkuliert ständig in einem geschlossenen Kreislauf. Sie übernimmt zudem das Pumpen, die Druckregelung, die Entlüftung und die Leckageüberwachung, was einem vollzeitlichen Hausmeister für dieses geschlossene Wassersystem entspricht. Danach fließt das Wasser entlang des Rohrnetzes nach draußen und gibt die Wärme an Kühltürme oder Reihen von Lüftern ab.

Jedes Glied dieser Wärmetransportkette – von der Kühlplatte über die Schnellkupplung bis zur kleinen Wärmeübergabestation und zum Außenbereich – wird von spezialisierten Unternehmen hergestellt.

Die Kühlung von KI-Servern ist heute bereits ein eigenständiges Geschäftsfeld.

Wozu dieser ganze Aufwand?

Man kann die Leistungsfähigkeit dieses Kühlsystems aus einem anderen Blickwinkel verstehen: Die Hersteller von Serverschränken messen sich heute daran, welcher Anteil der Wärme direkt über die Wasserwege abgeführt wird.

Zum Beispiel gibt Lenovo an, dass sein neues Flüssigkühlsystem 98 % der Wärme in die Wasserleitungen leiten kann. Bei Geräten mit über 100 Kilowatt pro Schrank braucht das Rechenzentrum keine spezielle Klimaanlage mehr, da fast die gesamte Wärme über die Rohrleitungen abtransportiert wird.

Abbildung: Innenstruktur eines flüssiggekühlten Servers. Quelle: Inspur