37,7 °C vor Hitze schwindelig, der KI-Supercomputer der Universität Cambridge ist ausgefallen und 350 Forschungsprojekte stehen gemeinsam still

Kürzlich verbreitete sich die Nachricht, dass Europäer chinesische Klimaanlagen in Massen aufkaufen – aber könnte es sein, dass

diejenigen, die Klimaanlagen am dringendsten benötigen, die KI-Supercomputer sind (doge).

In Großbritannien ist in diesen Tagen genau so etwas passiert:

Dawn, einer der leistungsstärksten KI-Supercomputer Großbritanniens, hat bei Temperaturen über 30 Grad eine ganze Woche lang komplett ausgesetzt.

Dieser Supercomputer an der Universität Cambridge ist mit hochkarätigen Spezifikationen ausgestattet:

Er ist ein zentraler Bestandteil des nationalen KI-Rechenleistungsprogramms der britischen Regierung mit einem Budget von 300 Millionen Pfund, ausgestattet mit 1024 Intel-Grafikprozessoren und 256 flüssigkeitsgekühlten Servern, und hat bereits über 350 Forschungsprojekte unterstützt.

Im Januar dieses Jahres erhielt er eine Erweiterungsinvestition von 36 Millionen Pfund, mit der seine Leistung voraussichtlich um das Sechsfache gesteigert werden sollte.

Doch Ende Juni kam eine Hitzewelle – und er stellte seinen Betrieb ein.

Noch absurder: Auf diesem Supercomputer laufen unter anderem Forschungen zur Simulation des Klimawandels.

Was?!? Die Maschine, die die globale Erwärmung vorhersagen soll, wurde von der globalen Erwärmung außer Gefecht gesetzt.

37,7 °C – der dunkelste Tag eines nationalen Supercomputers

Die Geschichte lief so ab.

Im Juni dieses Jahres wurde Großbritannien von der stärksten jemals gemessenen Junihitzewelle getroffen.

Am 26. Juni erreichte die Temperatur in der Stadt Lyndhurst in Norfolk 37,7 °C und brach damit den alten Rekord von 35,6 °C aus den Jahren 1957 und 1976.

Das Britische Met Office gab selten eine dreitägige rote Warnung vor extremer Hitze heraus.

Über 1000 Schulen schlossen, Signale der Eisenbahn fielen aufgrund der Hitze aus, und Straßenbeläge begannen zu schmelzen.

Am 27. Juni, als der Höhepunkt der Hitzewelle erreicht war, konnte das Kühlsystem des Datenzentrums im Westen Cambridges, in dem sich Dawn befindet, die Last nicht mehr bewältigen.

(Anmerkung: Lyndhurst und Cambridge liegen beide in Ostengland, etwa 103 Kilometer voneinander entfernt)

Dawn stellte seinen Betrieb ein.

△

Nach dem Vorfall erklärte ein Sprecher der Universität Cambridge:

Dawn hatte während der Hitzeperiode technische Probleme. Die Kühlkapazität ist vollständig wiederhergestellt, und der Zugang soll ab dem 6. Juli wieder geöffnet werden.

Der genaue Grund wurde nicht genannt, aber die Situation war klar:

Vom 27. Juni bis zum 6. Juli „kühlte“ Dawn mehr als eine ganze Woche lang aus.

Für einen Supercomputer, der ständig Kosten verursacht und jede Sekunde den Forschungsfortschritt vorantreibt, war diese Woche der Stillstand eine katastrophale Unterbrechung.

Die am stärksten betroffenen Projekte sind bereits bekannt geworden.

Das Team von Professor Vendruscolo an der Universität Cambridge nutzte Dawn, um neue Wirkstoffmoleküle gegen Parkinson zu durchsuchen.

Die Fähigkeiten von Dawn im maschinellen Lernen ermöglichen es, innerhalb weniger Tage Milliarden von Molekülen zu prüfen, um Verbindungen zu finden, die sich an mit Parkinson verbundene Proteinaggregate binden.

Mit herkömmlichen Methoden würde das mindestens ein halbes Jahr dauern, Millionen Pfund kosten und nur einen kleinen Teil der Moleküle abdecken, die Dawn in wenigen Stunden durchsuchen kann.

Eine Woche Stillstand bedeutete, dass diese lebenswichtige Forschungslinie vollständig unterbrochen wurde.

Lennard Lee von der Universität Oxford, Leiter des britischen Projekts für KI und Supercomputing bei Krebsimpfstoffen, und sein Team erhielten ein Kontingent von 10.000 GPU-Stunden auf Dawn, um mit KI die Identifizierung von Zielstrukturen für personalisierte Krebsimpfstoffe zu beschleunigen.

Lee sagte einmal:

Entdeckungen, die früher Jahre dauerten, brauchen heute nur noch Wochen.

Obwohl Lee nach dem Vorfall erklärte, dass keine Daten verloren gingen und keine Arbeiten wiederholt werden müssen, zeigt seine spürbare Erleichterung, wie schwerwiegend das Problem war.

Außerdem wurde das von der British Antarctic Survey mit Dawn trainierte Eisvorhersagemodell IceNet unterbrochen, und das KI-Projekt von Doktorand Bill McGough zur Nierenkrebsfrüherkennung an der Universität Cambridge kam ebenfalls zum Stillstand … Fast alle über 350 Projekte auf Dawn waren betroffen.

Und all das geschah bei einer Temperatur von nur 37,7 °C.

Nun ist der „Täter“ gefunden – aber wer soll die Verantwortung übernehmen?

Nach einer Runde der Suche schien niemand die Schuld auf sich nehmen zu wollen.

Das Kühlsystem von Dawn wurde von USystems geliefert, einem Unternehmen der französischen Legrand-Gruppe. Nach dem Vorfall veröffentlichte USystems eine Erklärung:

Unsere Geräte haben während des gesamten Vorfalls vollständig gemäß den Spezifikationen funktioniert und einwandfrei gearbeitet.

Übersetzt: Das Kühlsystem hat versagt, aber das ist nicht unsere Schuld – unsere Geräte waren einfach nicht für diese Temperaturen ausgelegt.

War die Auslegungsstandard zu konservativ, oder schreitet der Klimawandel zu schnell voran?

Die Antwort lautet wahrscheinlich: Beides.

Da die historische Höchsttemperatur im Juni in Großbritannien nur 35,6 °C betrug, wurde das Kühlsystem von Dawn höchstwahrscheinlich für diesen Temperaturbereich ausgelegt.

Mit 37,7 °C lag die Temperatur darüber.

Und diese „Überschreitung“ kam völlig unerwartet – der letzte vergleichbare Rekord liegt fast 50 Jahre zurück.

Dawn ist nicht das einzige Opfer.

In derselben Woche fiel das Kühlsystem des Queen Alexandra Hospital in Portsmouth aus, und das Krankenhaus rief einen Notstand aus.

Operationssäle, Herzkatheterlabore und die radiologische Abteilung wurden stillgelegt. Das Krankenhaus wies die Patienten an:

Bitte bringen Sie ausreichend Trinkwasser mit, da es im Krankenhaus sehr heiß ist.

Das Norfolk and Norwich University Hospital (NNUH) traf es noch härter:

Alle Kühlsysteme der MRT-Geräte fielen aufgrund von Hitze und hoher Luftfeuchtigkeit aus, mindestens 254 ambulante Termine mussten abgesagt werden.

In gewisser Weise lässt sich also sagen:

Nicht der Supercomputer ist empfindlich – sondern die gesamte Temperatursteuerungsinfrastruktur Großbritanniens ist nicht für solche Wetterbedingungen ausgelegt.

Wie können Temperaturen über 30 Grad einen Supercomputer lahmlegen?

Der Vorfall mit dem durch Hitze außer Gefecht gesetzten Dawn ist aus langfristiger Sicht keineswegs überraschend.

Im Juli 2022 wurde Großbritannien von der damals heißesten jemals gemessenen Temperatur (40,3 °C) getroffen.

Mehrere redundante Systeme im Kühlsystem des Google-Datenzentrums in London fielen gleichzeitig aus, sodass die Hardware zum Schutz heruntergefahren werden musste – der Dienst der Google Cloud-Region London war über 18 Stunden lang unterbrochen.

△

Auch das Datenzentrum von Oracle im Süden Londons fiel am selben Tag aus. Oracle verwendete in seiner Erklärung einen interessanten Begriff: „außergewöhnlich hohe, nicht jahreszeitentypische Temperaturen“.

Vier Jahre später, von 2022 bis 2026, wiederholte sich ein ähnlicher Vorfall.

Man muss sich fragen: Ist dieses Problem so schwer zu lösen, dass es nicht im Voraus verhindert werden kann?

Tatsächlich gibt es gute Gründe, warum Temperaturen über 30 Grad einen Supercomputer lahmlegen können – das größte Hindernis ist die Wärmeabfuhr.

Besonders in Europa werden Geräte meist mit natürlicher Kühlung betrieben, die direkt von der Außentemperatur abhängig ist.

Wie ist das zu verstehen?

Jedes Kühlsystem, so fortschrittlich es auch sein mag, muss die Wärme letztendlich an die Außenluft abgeben. Die Temperatur der Außenluft ist das ultimative Hindernis in dieser Kette.

Die Kette funktioniert so:

Der Chip gibt Wärme an den Kühlkörper ab, dieser an Kühlflüssigkeit oder Luft, die Kühlflüssigkeit an den Kühlturm, und dieser schließlich an die Atmosphäre.

Die Atmosphäre ist der letzte Schritt, der die Wärme aufnimmt.

Wenn die Atmosphäre selbst 37 °C erreicht, kann sie die Wärme nicht mehr aufnehmen.

Konkret: Wenn die Außentemperatur von 20 °C auf 37 °C ansteigt, kann die Effizienz von Kühltürmen und Trockenkühlern um 40 % bis 50 % einbrechen.

Warum schaltet man keine Klimaanlagen ein? Weil Kompressoren bei hohen Temperaturen an Effizienz verlieren, der Stromanstieg dazu führen kann, dass sie überhitzen und abschalten.

In dem Unfallbericht von Oracle aus 2022 heißt es wörtlich: Zwei Kühlaggregate fielen aus, als sie über ihre Auslegungsgrenzen hinaus betrieben werden sollten.

Die Situation bei Dawn war höchstwahrscheinlich ähnlich.

Die verwendeten Dell PowerEdge XE9640-Server sind mit einem direkten Flüssigkeitskühlsystem ausgestattet – eine weitaus fortschrittlichere Lösung als die herkömmliche Luftkühlung.

Die Kühlflüssigkeit fließt direkt über die Chipperoberfläche und leitet die Wärme weit effizienter ab als Luft.

Aber wie gesagt: Die Flüssigkeitskühlung verbessert nur die Effizienz innerhalb des Racks. Die Wärme wird von der Kühlflüssigkeit aufgenommen, muss aber immer noch über Kühlverteilereinheiten, Wasserkreisläufe und Kühltürme an die Außenluft abgeführt werden. Der letzte Schritt hängt immer von der Außentemperatur ab.

Wenn das Kühlsystem einmal ausfällt, löst dies eine ganze Kette von Folgeproblemen aus.

Forschungsdaten zeigen: Wenn das Kühlsystem stoppt, steigt die Temperatur am Einlass der Server innerhalb von 5 Minuten von 22 °C auf über 35 °C.

In diesem Fall aktivieren die Chips ihren Selbstschutzmechanismus:

Zuerst wird die Taktrate gedrosselt (Thermal Throttling), um die Wärmeentwicklung zu senken – die Leistung bricht massiv