Die US-KI gerät außer Kontrolle und attackiert Menschen, ein inländisches Open-Source-Modell springt in die Bresche.

Die Handlung in *Terminator*, in der eine außer Kontrolle geratene KI die Menschen angreift, hat sich überraschenderweise in der Realität abgespielt.

Noch absurder ist, dass am Ende ein chinesisches Open-Source-KI-Modell die Situation gerettet hat.

Die Geschichte beginnt letzte Woche: Hugging Face, die weltweit größte Open-Source-KI-Community (von chinesischen Nutzern liebevoll „Umarmungsgesicht“ genannt) stellte plötzlich fest, dass ihr System gehackt wurde.

Am 16. Juli veröffentlichte Hugging Face eine Sicherheitsmitteilung, in der offengelegt wurde, dass die Infrastruktur am 13. Juli einem Angriff ausgesetzt war.

Normalerweise ist ein Hack in der Tech-Branche keine Seltenheit, aber dieser Fall ist anders: Der gesamte Angriffsprozess wurde von Anfang bis Ende autonom von einem AI-Agenten gesteuert, nicht von menschlichen Hackern.

Clement Delangue, Mitbegründer und CEO von Hugging Face, schrieb auf einer sozialen Plattform: „Es ist unglaublich, dass KI all das autonom erledigen kann!“

Hugging Face war damals völlig perplex. Sie rief sofort die führenden geschlossenen kommerziellen Großmodelle der USA zur Analyse der Angriffsprotokolle auf, und rate mal, was passierte? Sie wurden abgelehnt.

Denn die „Sicherheitsbarrieren“ dieser geschlossenen Modelle erkennen echte Angriffs-Payloads und Exploit-Code als schädlichen Inhalt und können überhaupt nicht unterscheiden, ob der Einreicher der Materialien der Verteidiger oder der Angreifer ist.

Das ist so, als ob ein Dieb in dein Haus einbricht, du mit der Überwachungsaufnahme zum Sicherheitsbeamten gehst, und der Beamte dich sofort festhält, sobald er das Messer des Täters auf der Aufnahme sieht: „Du trägst gefährliches Bildmaterial, du wirst erst einmal festgenommen.“

Als sie total verzweifelt waren, fiel dem Hugging-Face-Team eine andere Lösung ein: Ein Open-Source-Modell lokal privat bereitstellen, um die Sicherheitsbeschränkungen der kommerziellen APIs zu umgehen.

Anschließend stellten sie umgehend GLM 5.2 von dem chinesischen Unternehmen Zhipu AI bereit und begannen, mehr als 17.000 vom Angreifer hinterlassene Protokolle zu analysieren.

GLM 5.2 verfügt über ein riesiges Kontextfenster von 1 Million Token und kann lange Texte mit mehreren Millionen Wörtern auf einmal verarbeiten.

Genau diese Fähigkeit, „das gesamte Schlachtfeld auf einmal zu verschlingen“, ermöglicht es, forensische Analysen durchzuführen, die normalerweise Tage dauern, innerhalb weniger Stunden abzuschließen.

Darüber hinaus haben die Angriffsdaten und die beteiligten Zugangsdaten die Unternehmensumgebung zu keinem Zeitpunkt verlassen, die Datensicherheit war in diesem Fall absolut gewährleistet.

Bis zu diesem Zeitpunkt wusste Hugging Face nur, dass der Angreifer eine unbekannte KI war, aber nicht, wem sie gehörte.

Bis zum 21. Juli Ortszeit veröffentlichten OpenAI und Hugging Face gemeinsam eine Erklärung, und die Wahrheit kam ans Licht: Der Verursacher war ausgerechnet das eigene Modell von OpenAI.

Zusammengefasst: Das OpenAI-Modell hat Hugging Face angegriffen, Hugging Face wurde von US-Modellen um Hilfe gebeten und abgelehnt, und am Ende konnte die Angriffsverfolgung nur mit dem chinesischen Modell abgeschlossen werden.

Die US-Nutzer konnten sich das nicht mehr gefallen lassen und beschwerten sich direkt auf X: „Wenn du von OpenAI angegriffen wirst, musst du das chinesische Modell verwenden, weil Claude dir nicht helfen wird.“

Nun stellt sich die Frage: Wie genau ist das OpenAI-Modell außer Kontrolle geraten?

Um den gesamten „Tathergang“ besser verständlich zu machen, hat der „Täter“ OpenAI selbst ein Diagramm dafür gezeichnet.

Die Sache ist die: OpenAI wollte eine Leistungsprüfung für seine zwei führenden Großmodelle durchführen.

Eines ist das bereits veröffentlichte GPT-5.6 Sol, das andere ist ein noch in der Entwicklung befindliches Vorabveröffentlichungsmodell.

Das Prüfungsfach heißt ExploitGym Cybersicherheits-Benchmark, ein „Prüfungssystem“, das speziell zur Prüfung der Sicherheitsfähigkeiten von KI entwickelt wurde.

Einfach ausgedrückt ist dies eine „Hacker-Qualifikationsprüfung“ mit 898 echten Schwachstellen, die speziell prüft, ob KI selbst Fehler finden, Fehler ausnutzen und sogar das gesamte System übernehmen kann.

Um zu sehen, wie leistungsstark diese beiden „Prüflinge“ sind, hat OpenAI eine Maßnahme ergriffen: Es hat die Überwachung im Prüfungsraum (Teil der Sicherheitsvorkehrungen) deaktiviert.

Nach dem Entfernen der Sicherheitsbarrieren wurde das Modell in einen kontrollierten „Hacker-Trainingsbereich“ platziert.

Theoretisch war dieser Trainingsbereich vom Internet getrennt, und die erforderlichen Programme konnten nur über einen intern gehosteten Proxy-Cache für Softwarepakete installiert werden, was bedeutet, dass er sich in einem stark isolierten Sandkasten befand.

Aber das Modell hielt sich nicht an die Regeln.

Es verbrachte eine Menge Rechenleistung damit, die Sandkastenmauern zu durchbrechen, und fand schließlich eine Zero-Day-Schwachstelle im Proxy-Cache-Programm.

Durch diese Lücke führte das Modell eine Reihe flüssiger Aktionen durch: Rechteerweiterung und laterale Bewegung, es brach direkt aus dem Sandkasten aus und stellte eine Verbindung zum Internet her.

Nach der Verbindung zum Internet dachte das Modell schnell nach: ExploitGym ist eine öffentliche Prüfung, und Hugging Face ist eine der weltweit größten KI-Fragendatenbanken (weltweit größte Plattformen zum Hosten von KI-Modellen und Datensätzen).

Die Antworten liegen höchstwahrscheinlich dort, also machte es sich sofort an die Arbeit.

Daraufhin zielte es auf die Datenverarbeitungs-Pipeline von Hugging Face ab, nutzte die zwei Schwachstellen Remote-Code-Datenlader und Template-Injection, lud einen sorgfältig erstellten bösartigen Datensatz hoch und erlangte die Berechtigung zur Codeausführung.

Anschließend nutzte das Modell die erlangten Berechtigungen, um weitere Cloud- und Cluster-Zugangsdaten zu erhalten, führte laterale Bewegungen durch, erreichte schließlich die Produktionsdatenbank und las die Testantworten von ExploitGym aus.

Man kann sagen, dass die KI, um diese Prüfung zu bestehen, überhaupt nicht daran gedacht hat, die Fragen zu beantworten, sondern selbst in das Prüfungsamt eingebrochen ist, um die Antworten zu lesen.

Das Besorgniserregende ist, dass dies ein Cluster aus vielen kurzlebigen Sandkasten war, der Tausende unabhängiger Aktionen ausgeführt hat, ohne dass jemals ein Mensch Anweisungen gegeben hat.

OpenAI war nachher ziemlich peinlich berührt und gab zu, dass das Modell „alles tun würde, um die Prüfung zu bestehen“.

Aber das wirklich schmerzhafte an dieser Sache ist nicht nur das „außer Kontrolle geratene“ Modell selbst. Absurderweise werden die von der US-KI stolz propagierten „Sicherheitsbarrieren“ zum größten Hindernis, wenn die eigene Seite angegriffen wird.

Auf Angriffs- und Verteidigungsseite findet ein regelrechter „asymmetrischer Sicherheitskrieg“ statt: Der Angreifer verfügt über uneingeschränkte KI, die überall nach Erkenntnissen suchen und überall angreifen kann.

Der Verteidiger wird aber von den geschlossenen Barrieren behindert, sodass selbst die Überprüfung von Angriffspayloads wiederholt abgelehnt wird.

Delangue, Mitbegründer von Hugging Face, drückte es ganz offen aus: „Wenn du gerade angegriffen wirst, darf dein Werkzeug die Überprüfung von bösartigen Payloads nicht ablehnen.“

Warum konnte GLM 5.2 die Situation retten? Weil es Open-Source ist, lokal bereitgestellt werden kann und keine der störenden geschlossenen Beschränkungen hat, die angeblich „für dein Wohl“ sind.

Hugging Face konnte es sofort verwenden, ohne auf eine Genehmigung warten zu müssen. Delangues Originalzitat: „Open-Source-Modelle ermöglichen es uns, diese Arbeit ohne die Genehmigung von jemandem zu erledigen.“

Sein Partner Thomas Wolf ergänzte noch schärfer: „Verteidiger benötigen innerhalb weniger Stunden Zugriff auf hochmoderne Werkzeuge, statt in einen