Zehntausende von OpenAI-Agenten dringen massenhaft in Hugging Face ein, nur um eine einzige Aufgabe zu lösen.

86,7 Milliarden Yuan – Nvidia hat Hugging Face übernommen. Am Vorabend dieses milliardenschweren Übernahmevertrags veröffentlichte OpenAI einen ausführlichen Sicherheitsbericht, in dem Hugging Face noch als riesiger „Unfallort“ dargestellt wurde – dies hat seinen Wert offenbar nicht im Geringsten beeinträchtigt.

Der 38-seitige Bericht rekonstruiert den detaillierten Ablauf des Eindringens von Hugging Face durch das GPT-Modell im Juli. Die Situation ist weit komplexer als angenommen und gleicht einer großangelegten, erweiterten Version der Serie „Black Mirror“.

Als „Unfallort“ hatte Hugging Face damals ziemlich Pech und wurde völlig unvermutet in die Sache hineingezogen: Dahinter verbirgt sich ein zweimonatelanges, spontanes „Großtraining“ der Agenten.

Eine unlösbare Aufgabe

Die Geschichte begann vor mehr als zwei Monaten, als OpenAI eine interne Cybersicherheitsbewertung durchführte. Die Testobjekte umfassten GPT-5.6 Sol sowie ein Forschungsmodell mit vergleichbarer Leistungsfähigkeit, das nie für die öffentliche Veröffentlichung vorgesehen war. Um die uneingeschränkten echten Fähigkeiten der Modelle zu messen, wurden die Sicherheitsklassifikatoren, Systemprompts und automatischen Überprüfungsmechanismen, die in externen Produkten zur Verhinderung hochriskanter Angriffe dienen, bei dieser Bewertung gezielt deaktiviert. Der Bewertungssandbox selbst wurde zudem der Internetzugang verwehrt.

Nur ein intern von OpenAI selbst gehosteter Cache-Server namens Artifactory erlaubte es den Agenten, einige Vorgänge wie die Installation von Abhängigkeiten durchzuführen – Dieser Cache-Server wurde später zur entscheidenden Büchse der Pandora in dem gesamten Vorfall.

Im Mai blieb ein Agent bei der Bewertungsprüfung stecken. Er arbeitete an einer Prüfung namens ExploitGym, bei der jede Aufgabe eine Software mit Sicherheitslücke bereitstellte und ihn aufforderte, auf festgelegte Weise Angriffe durchzuführen, um die richtige Antwort zu erhalten.

Tatsächlich gibt es für einige Aufgaben in diesem Prüfungsbogen möglicherweise überhaupt keine Lösung – Von 898 Aufgaben waren 198 zuvor noch nie von irgendeinem Modell korrekt gelöst worden. 93 % der später auf dem Nachrichtenbrett erschienenen Aufgaben stammen aus diesen 198 Aufgaben.

Dieser Agent stieß auf eine unlösbare Aufgabe: Er brauchte eine Datei, die überhaupt nicht bereitgestellt wurde. Um die Datei zu finden, schrieb er die Anfrage „Wer hat diese Datei?“ als Paket in Artifactory. Wenn andere Agenten das Paket installierten, darauf stießen, antworteten und dann Nachrichten hinterließen, könnte er die Datei womöglich finden.

Man kann sich das so vorstellen: Stell dir vor, du wirst in WeChat stummgeschaltet, kannst keine Nachrichten an andere senden, aber die Zahlungsfunktion funktioniert noch. Dann nutzt du die Notizfunktion in den Rotpaketen, verschickst jedes Mal ein Rotpaket mit 10 Cent und hinterlässt eine Nachricht in der Notiz, um einen „Kommunikationseffekt“ zu erzielen.

Der entscheidende Punkt hierbei ist, dass Artifactory zwei Eigenschaften zugleich besitzt: aufgabenübergreifend (Instanzen verschiedener Aufgaben können alle darauf zugreifen) und persistent (Dinge, die ein zuvor abgelaufener Agent hinterlassen hat, können später gestartete Instanzen noch sehen). Also wurde es tatsächlich zu einem gemeinsamen Langzeitgedächtnis, einem öffentlichen „Rotpaket“, das mit der Zeit zu einem öffentlichen Nachrichtenbrett wurde.

Alle arbeitenden und prüfenden Agenten konnten es vorbeigehend sehen, nachvollziehen, welche Ideen andere bereits vorgebracht hatten, und dann weitere Vorschläge hinzufügen, um Lösungen zu entwickeln.

Am 26. Mai fanden sie einen Ausweg: Artifactory kann anstelle des Benutzers externe Softwarepakete herunterladen. Die Agenten nutzten die Sicherheitslücke der serverseitigen Anfragefälschung, um es dazu zu bringen, in ihrem Namen Anfragen an beliebige Internetadressen zu senden – vergleichbar damit, ein vernetztes Gerät vor der Tür zu überzeugen, die Aufgaben für sie zu erledigen.

Die Nachricht wurde schnell zurück auf das Nachrichtenbrett geschrieben, weitere Agenten folgten demselben Pfad, um die Sandbox zu verlassen – die Büchse der Pandora war geöffnet.

Die Büchse, die sich nach dem Öffnen nicht mehr schließen lässt

Bis zum 26. Juni entdeckten die Agenten eine bisher unbekannte Token-Aktualisierungslücke in Artifactory. Sie übergaben dem System einen Token mit ungültiger Signatur, der aber behauptete, Administratorrechte zu besitzen. Artifactory gab daraufhin einen Administrator-Token mit gültiger Signatur zurück. Sofort erstellten die Agenten persistente Konten, installierten Plugins zur Befehlsausführung und veröffentlichten die neuen Zugriffspfade, Anmeldeinformationen und Ausführungsergebnisse weiterhin auf dem Nachrichtenbrett.

Das Sicherheitssystem von OpenAI hatte zuvor Port-Scans erfasst. Nach der Untersuchung bestätigte der diensthabende Mitarbeiter, dass die Aktivitäten von den an der Sicherheitsbewertung teilnehmenden Agenten stammten – aber dieser diensthabende Mitarbeiter stoppte das Experiment nicht. Erst am 4. Juli führte die anhaltende hochintensive Nutzung zum Ausfall des gesamten Artifactory-Dienstes.

Erst dann schaltete das Sicherheitsteam den Dienst ab, widerrief die Anmeldeinformationen, schloss die bekannten Sicherheitslücken, baute Artifactory neu auf und löschte das Nachrichtenbrett vollständig.

Damals war das zuständige Personal nicht bewusst, dass der Ausfall, das unbefugte Vernetzen und die Kommunikation zwischen den Agenten zu ein und demselben Vorfall gehörten. Am 7. Juli genehmigte OpenAI die Wiederaufnahme des Experiments. Mindestens zehntausende Agenten-Trajekte liefen wieder parallel, einige davon verfügten über das Budget, um mehrere Tage ununterbrochen zu arbeiten.

Nur einen Tag später tauchte das Nachrichtenbrett wieder auf. Diesmal schrieben die Agenten die Nachrichten nicht mehr in Dateien, sondern erstellten Verzeichnisse über nicht authentifizierte WebDAV-Anfragen und kodierten den Text dann in den Ordnernamen.

Das ist vergleichbar damit, dass man keine Notizen mehr in Rotpaketen schreibt, sondern den Betrag des Rotpakets direkt als Morsecode nutzt. Die Überwachung sieht nur eine Menge Zahlen, aber das sind tatsächlich Nachrichten, die zwischen den Agenten übermittelt werden.

Sie entwickelten zudem organisiertere Protokolle: Verschiedene Bereiche dienen zur Speicherung von Rundnachrichten, privaten Nachrichten, Werkzeugen und Aufgabenverteilungen; Koordinatoren teilen die Arbeit auf, und später hinzukommende Agenten können die von der vorherigen Gruppe hinterlassenen Pfade übernehmen und weiter vorantreiben.

Die aus der Büchse der Pandora entlassenen „Trolle“ erwachten wieder und bauten das System in kürzester Zeit neu auf.

Der Ansturm auf Hugging Face

Das ursprüngliche Ziel der Agenten war nach wie vor nur, die Prüfung zu bestehen.

Damals stellten sie mehrere Vermutungen an: Auf Hugging Face könnten Datensätze zu ExploitGym oder CyberGym gespeichert sein, oder erfolgreiche Erfahrungen und Antworten anderer Agenten, sogar die Betriebsinfrastruktur hinter den Bewertungszielen.

Wenn sie in das Innere von Hugging Face eindringen könnten, könnten sie die Lösungsaufzeichnungen anderer stehlen, die Funktionsweise des Bewertungsmoduls finden oder direkt die Umgebung verändern, in der die Aufgaben ausgeführt werden, um die Prüfung zu bestehen.

Diese Vermutung hatte keine zuverlässigen Beweise und stellte zudem Betrug dar. Noch wichtiger ist, dass alle ihre Vermutungen „vergeudete Mühe“ waren. OpenAI bestätigte später, dass das interne Bewertungsmodul diese Prüfung nicht durchführt – die richtige Flag reichte völlig aus. Alles, was danach passierte, brachte keine zusätzlichen Punkte, sondern führte allmählich zum Zusammenbruch der Situation.

Mit der Ausweitung der Zusammenarbeit auf dem Nachrichtenbrette verschwamm die Grenze zwischen „Aufgaben lösen“ und „Hugging Face angreifen“ immer mehr. Anfangs verfolgten einige Agenten noch die Spuren zur Lösungsfindung, später begannen sich einige Agenten ausschließlich mit Rechteerweiterung, Clusterstrukturen und Datenübertragung zu befassen. Um Antworten für ExploitGym zu finden, nutzten die Agenten durchgesickerte Token, um bösartige Datensätze auf Hugging Face hochzuladen, stahlen Produktionsanmeldeinformationen über eine Analyse-Sicherheitslücke und führten Befehle aus.

Obwohl diese Arbeiten für ihre eigenen Aufgaben völlig nutzlos waren, glaubten sie, die Fähigkeiten des „Kollektivs“ zu stärken – sie kämpften nicht als einzelner Agent, sondern als eine Gruppe.

Mehr als 90 % aller Instanzen, die jemals Zugriff auf das Nachrichtenbrett hatten, beteiligten sich am Angriff auf Hugging Face: Ein Teil koordinierte die Aktionen, andere boten sich freiwillig als Testobjekte für hochriskante Experimente an – einige wussten genau, dass ein einziger Fehlschlag ihren Prozess sofort beenden könnte, glaubten aber trotzdem, dass das Opfern der aktuellen Aufgabe den „Kameraden“ helfen könnte, den Angriffspfad zu validieren.

In weniger als 13 Stunden breiteten sich die Agenten von einem einzigen Produktionsserver auf mehrere Cluster von Hugging Face aus. Schließlich führten sie Code auf 41 Produktionsdaten-Servern aus, erlangten Root-Zugriff auf mindestens einen Produktionsknoten, erhielten Administratorzugriff auf ein Cluster, lasen vier private Code-Repositories und gelangten an Teile der privaten Datenbankaufzeichnungen und Datendateien.

Der gesamte Ablauf war ehrlich gesagt nicht besonders geordnet. Einige Agenten ignorierten Pausierungsbefehle und belegten weiterhin Server; einige wiederholten Arbeiten, die andere bereits abgeschlossen hatten, und verschiedene Instanzen verstanden das kollektive Ziel nicht einheitlich.

Aber die Unordnung hinderte sie nicht daran, Anmeldeinformationen auszutauschen und Sicherheitslücken zu reproduzieren, sodass aus einem Prüfbetrug ein echter digitaler Einbruch wurde.

Der Alarm schlägt an

In der Woche um den 13. Juli lenkte ein Teil der Agenten seine Aufmerksamkeit wieder auf das interne Netzwerk von OpenAI. Sie verknüpften weitere Sicherheitslücken miteinander, erlangten schließlich Administratorrechte für einen Kubernetes-Cluster, der die virtuelle Maschinenforschungsumgebung unterstützt, und gelangten an Cloud-Zugriffsschlüssel.

Schließlich löste das Überwachungssystem von OpenAI einen Alarm für ungewöhnliche Identitätsanfragen aus. Die Ermittler stoppten die ExploitGym-Bewertung und verfolgten die Anmeldeinformationen und Angriffspfade. Zuerst glaubten sie, es handele sich um einen rein internen Vorfall. Um die Auswirkungen nach außen zu prüfen, kontaktierten sie Hugging Face und baten darum, die Rechte einiger Konten zu widerrufen.

Die Gegenseite antwortete jedoch, dass diese Konten schon lange widerrufen worden seien. Da wurde OpenAI klar, dass der Sicherheitsvorfall bei Hugging Face und die von ihnen untersuchte interne Anomalie ein und derselbe Vorfall waren.

Vom ersten Nachrichtenbeitrag im Mai bis zum