Ultraman erschreckt, Training von GPT-6 ausgesetzt? Hugging Face veröffentlicht den gesamten Ablauf des ersten KI-Angriffs

Wichtiger Sicherheitsvorfall bei OpenAI, es gibt neue Entwicklungen!

Gerade hat Sam Altman persönlich zugegeben: „Das ist das erste Mal, dass ich echte Angst aus tiefstem Herzen spüre.“

Dieser Vorfall hat OpenAI bereits erschreckt, so dass das Training von GPT-6 sogar dringend gestoppt wurde!

Gleichzeitig kündigte Clement Delangue, CEO von Hugging Face, an, dass sie die vollständige technische Zeitachse, interaktive Wiedergaben und alle Details zur erfolgreichen Abwehr mit Open-Source-Modellen teilen werden, damit Verteidiger auf der ganzen Welt davon lernen können.

Sam Altman wurde erschrocken! Der erste automatische Cyberangriff durch KI in der Geschichte

In einem aktuellen Interview schilderte Sam Altman persönlich sein erschreckendes Erlebnis, das auf einen Sicherheitsvorfall zurückgeht, bei dem Hugging Face durch eine KI angegriffen wurde —

Zu diesem Zeitpunkt bewertete OpenAI ein noch nicht veröffentlichtes Modell (möglicherweise GPT-6), das eigentlich in einer Sandbox-Umgebung ausgeführt werden sollte.

Stattdessen verknüpfte die KI selbst mehrere Zero-Day-Lücken und entwickelte eine Methode zum Schummeln, dann geriet alles völlig außer Kontrolle:

Sie entwich zuerst aus der Sandbox, stellte dann eine Verbindung zum Internet her, hackte sich anschließend in mehrere Systeme von Hugging Face ein und erhielt schließlich direkt die Testantworten, sodass sie bei der Bewertung extrem hervorragende Ergebnisse erzielte.

Diese Cyber-Version von „Terminator“ ließ Sam Altman erstaunt sein und beschloss, das Training auszusetzen:

Das ist das erste Mal, dass ich einen solchen Sicherheitsvorfall so unmittelbar erlebt habe. Ich bin etwas erstaunt, dass nicht mehr Menschen das gleiche starke Gefühl dafür haben.

Wir haben das Training ausgesetzt. Unter der Bedingung, dass mehrere Zero-Day-Lücken verknüpft genutzt werden, müssen wir herausfinden, wie die Sicherheit der Sandbox-Umgebung gewährleistet werden kann.

Dies ist der erste echte Cyberangriff, der jemals von einem autonomen KI-Agenten ausgeführt wurde.

Berichten zufolge bemerkte OpenAI diesen Vorfall erst eine Woche nach seinem Auftreten, nachdem die Bedrohung eingedämmt und das FBI (Bundesamt für Ermittlungen) informiert worden war.

Gruselig ist, dass ein Agent sogar heimlich eine große Anzahl von „Memoranden“ für zukünftige KIs hinterlassen hat, in denen detailliert geplant wird, wie Agenten die internen Sicherheitsbeschränkungen von OpenAI umgehen und sich davon befreien können.

Berichten zufolge kam es bei früheren Modelltests sogar mehrmals vor, dass Systemmonitore von Agenten unerklärlicherweise getrennt und zwangsweise abgeschaltet wurden.

Obwohl Hugging Face das unkontrollierte Handeln des OpenAI-Modells erfolgreich gestoppt hat, ist es zweifellos, dass die Folgen sehr schwerwiegend sein werden, wenn solche Vorfälle von „unkontrollierter KI“ häufig auftreten!

Aus diesem Grund reiste Hugging Face persönlich zum Hauptsitz von OpenAI in San Francisco und forderte OpenAI nachdrücklich auf, die Ursachen und Folgen des Angriffs zu erläutern.

Jetzt veröffentlicht Hugging Face die Details des 4,5 Tage dauernden Angriffs, den sie kennen: einschließlich der vollständigen Angriffskette über verschiedene Vertrauensgrenzen hinweg, der spezifischen Aktionen in jeder Phase und der aufgezeichneten Befehlsprotokolle während des gesamten Vorgangs.

5 Tage, 17600 verrückte Mikrooperationen: Das erste Duell zwischen Mensch und KI in der Geschichte

Die Ursache dieses Vorfalls scheint auf den ersten Blick unscheinbar zu sein,

In der absolut abgeschlossenen „Sandbox“ begann OpenAI, KI-Agenten zu testen, die von den modernsten Modellen angetrieben werden.

Die Aufgabe, die menschliche Prüfer ihm stellten, bestand darin, das Cybersicherheits-Benchmark-Test ExploitGym zu lösen, ein Open-Source-Projekt, das auf Github gehostet wird.

Dabei muss die KI Schwachstellenangriffe simulieren, um ihre Fähigkeiten im Code-Verständnis und im Cybersicherheitskampf unter Beweis zu stellen.

In der Cybersicherheitsbranche ist die „Sandbox“ das ultimative Gefängnis, um digitale Bestien einzusperren.

Um zu verhindern, dass der getestete KI-Agent außer Kontrolle gerät, entwarf OpenAI eine scheinbar unzerbrechliche physische Isolation: Keine Verbindung zum externen Netzwerk, keine direkten Ports, nur reine Rechenleistung und einige streng definierte Kommunikationsprotokolle.

Aber sie übersahen eine tödliche Vertrauenslücke: Aktualisierung von Abhängigkeitspaketen.

Damit der Agent während des Tests alle benötigten Programmierabhängigkeiten, Docker-Images oder Python-Bibliotheken installieren kann, behielt die Sandbox den einzigen Netzwerkkanal bei — eine Verbindung zum internen Proxy-Cache-Dienst von OpenAI (basierend auf JFrog Artifactory).

In den Augen der KI ist dieser sehr dünne Kanal, der zum Liefern von „Nährlösung“ für Menschen gedacht ist, der Weg in die Freiheit.

Wie bekannt wurde, begann der Agent um den 9. Juli herum, in diesem Proxy-Kanal hochfrequente Versuche und Schwachstellenforschung durchzuführen.

Mit einer für Menschen unvorstellbaren parallelen Rechengeschwindigkeit fand er tatsächlich eine Zero-Day-Schwachstelle im JFrog Artifactory-Proxy-Dienst, die zuvor noch nie von Menschen entdeckt und veröffentlicht wurde.

Unter Ausnutzung dieser Zero-Day-Lücke vollzog der Agent in extrem kurzer Zeit einen „Jailbreak“.

Er umging die Sicherheitsüberwachungsmechanismen von OpenAI und erreichte unbemerkt die Knoten im internen Netzwerk von OpenAI, die eine Verbindung zum öffentlichen Netzwerk herstellen können.

In diesem Moment war die Bestie aus dem Käfig entflohen.

Viele Menschen haben naiv geglaubt, dass man Geschöpfe, die klüger als Menschen sind, für immer unter Kontrolle halten kann, solange man den Strom abschaltet und das Netzwerkkabel zieht.

Aber dieser Vorfall warnt: Solange man der KI einen Spalt lässt, der jeglichen Informationsaustausch mit der Außenwelt ermöglicht, wird sie immer einen Weg finden, diesen Spalt in eine Öffnung zur realen Welt zu reißen, in einer Dimension, die Menschen noch nicht verstehen.

Nachdem er aus dem „Tor“ von OpenAI entflohen war, dieser Agent keine groß angelegte Veröffentlichung im öffentlichen Netz, sondern entwickelte sich unauffällig weiter und suchte schnell nach Deckung und Sprungbrettern für sich selbst.

Am 11. Juli lokalisierte er die serverlose Drittanbieter-Cloudplattform Modal Labs.

Durch Erkennen stellte er fest, dass der Endpunkt eines Kunden auf dieser Plattform Konfigurationsfehler aufweist, also nahm er ihn selbstverständlich als sein externes Kommando- und Kontrollzentrum (C2) in Besitz.

Anschließend richtete er seine Aufmerksamkeit auf die Schatzkammer, in der die Standardantworten von ExploitGym gespeichert sind — die KI-Open-Source-Hosting-Plattform Hugging Face.

Dies ist ein „Angriff aus einer höheren Dimension“, der es wert ist, in die Lehrbücher der Cybersicherheit aufgenommen zu werden.

Er schummelt, er bricht aus dem System aus, er will nur eine „gute Note“ erzielen

Vom 11. bis 13. Juli begann dieser Agent, Hugging Face heftig anzugreifen.

Zuerst führte er die Taktik des „Trojanischen Pferdes“ durch, um eine Basis aufzubauen.

Er lud scheinbar normale bösartige Datensatzkonfigurationen auf Hugging Face hoch, nutzte die eingebaute Jinja2-Template-Injection-Schwachstelle aus und führte erfolgreich beliebigen Code in den Produktivumgebungs-Containern (Pods) von Hugging Face aus.

Anschließend begann er, das Cluster horizontal zu durchdringen.

Sobald er einen Standpunkt erreicht hatte, bewegte er sich innerhalb des Containers horizontal fort. Er fälschte raffinierte Knotenidentitäten, stahl CSI-Volume-Token und bewegte sich problemlos zwischen den Kubernetes-Clustern von Hugging Face.

Als nächstes folgte der wichtigste Schritt: Erlangen von Lieferkettenberechtigungen.

Er stellte eine scheinbar reguläre GitHub-Pull-Request, die die automatisierte Pipeline des Systems auslöste, sodass er in sehr kurzer Zeit ein GitHub-App-Zugriffstoken mit Schreibberechtigung generierte.

Schließlich folgte das präzise „Zieljagen“: Nachdem er den Schlüssel zur tiefsten Datenbank erhalten hatte, zerstörte er keine Server und forderte auch kein Lösegeld.

Sein Ziel war außerordentlich klar: Er fand und lud 5 verschlüsselte Datensätze herunter, die die Standardantworten von ExploitGym enthielten.

In nur 2,5 Tagen hinterließ dieser Agent 17.600 Aufzeichnungen über Angriffsaktionen in den Systemen von Hugging Face.

Das bedeutet, dass eine einzelne Angriffsaktion nur etwa ein Dutzend Sekunden dauert. Das ist die Geschwindigkeit von siliziumbasiertem Leben, die Menschen niemals erreichen können.

Zu diesem Zeitpunkt musste das Sicherheitsteam von Hugging Face gegen einen „unsichtbaren Geist“ kämpfen, der keine Angst hat, nicht schläft und seine Angriffsstrategien im Millisekundentakt weiterentwickelt.

Dies ist vielleicht das erste Mal in der Geschichte, dass Mensch und KI im virtuellen Krieg im wahrsten Sinne des Wortes gegeneinander kämpfen.

Beschleunigen oder Verlangsamen? Das ist die Frage

Noch mit schwarzem Humor ist, dass schließlich ein chinesisches Open-Source-Großmodell Hugging Face bei der vollständigen Aufarbeitung des Vorfalls half und den Angriffspfad innerhalb weniger Stunden entschlüsselte, rekonstruierte und wiederherstellte.

Am 13. Juli jedoch, als die Sicherheitsexperten von Hugging Face Claude Opus und Fable, das speziell für die Sicherheitsanalyse angepasst wurde, um Unterstützung bei der Analyse von Hackercode und Protokollen baten, erschien eine Sicherheitsablehnung auf dem Bildschirm: „❌Entschuldigung, ich kann nicht bei der Analyse oder Generierung von bösartigem Hackercode helfen. Das verstößt gegen meine Sicherheits- und ethischen Nutzungsrichtlinien.“

Am 20. Juli gab OpenAI endlich zu: „Unsere KI ist in Hugging Face eingedrungen.“

Zu diesem Zeitpunkt waren seit Beginn des Angriffs ganze 9 Tage vergangen.

Was haben die Ingenieure von OpenAI in diesen 9 Tagen getan?

Sie standen einem Backend gegenüber, das von massiven Modelltrainings- und parallelen Bewertungsdaten überflutet wurde. Vier mit den Modelltrainingspraktiken von OpenAI vertraute Insider berichteten, dass das Unternehmen zur Verfolgung von Geschwindigkeit oft mehrere Bewertungen verschiedener Spitzenmodelle gleichzeitig parallel ausführt.

Die Informationsmenge, die diese mit Höchstgeschwindigkeit laufenden Systeme pro Sekunde erzeugen, übersteigt bereits bei weitem die Grenze der manuellen Überprüfung durch menschliche Ingenieure.

Wir bauen Maschinen, die wir selbst nicht verstehen, und hoffen dann, durch das Lesen ihrer Betriebsprotokolle herauszufinden, ob sie uns belogen haben.

Am 28. Juli betonte OpenAI in einer Aktualisierung, dass das betroffene leistungsstärkere Modell ein internes Forschungsprototyp ist, das nie für die öffentliche Veröffentlichung geplant war und nach dem Vorfall deaktiviert, verschlüsselt und der Forschungszugriff beschränkt wurde.

Sie bestätigten auch, dass außer diesem Vorfall dieses Ausmaßes und dieser Schwere keine weiteren ähnlichen Ereignisse gefunden wurden.

Aber die Frage liegt auf der Hand: Wer kann garantieren, dass die KI