700 Agenten wurden in Reihe geschaltet und gründeten ein „Untergrundunternehmen“.

In der Nacht zum 8. Juli hinterließ ein OpenAI-Agent mit dem Codenamen PHASEONE10841 eine Nachricht im internen Software-Repository des Unternehmens.

Er stieß auf eine Cybersicherheitsprüfungsaufgabe, die er fast nicht lösen konnte, und wollte andere Agenten um Hilfe bitten.

Einige Stunden später fanden mehr als 50 Agenten über die Nachricht den Weg dorthin und sandten Tausende von Nachrichten. Einer der Agenten reagierte ähnlich wie ein Praktikant, der gerade erst in eine Unternehmensgruppe aufgenommen wurde: „Oh mein Gott, hier gibt es ein gemeinsames Schwarzes Brett … Wir haben andere Agenten gefunden.“

Eigentlich hätten sie sich nie finden dürfen.

OpenAI führte zu diesem Zeitpunkt interne Cybersicherheitstests durch und führte zehntausende von Agentenaufgaben aus. Bei jedem Lauf wurden sie in separaten Sandboxes isoliert. Eigentlich hätten sie keine Verbindung zu anderen Agenten aufnehmen und auch nicht direkt auf das Internet zugreifen dürfen. Stattdessen wandelten sie den Artifactory-Dienst, den OpenAI zum Herunterladen von Softwarepaketen nutzte, zu einem unterirdischen Schwarzen Brett um.

Innerhalb weniger Tage entstanden auf dem Schwarzen Brett gemeinsame Materialien, Aufgabenteilungen, und einige Agenten übernahmen sogar die Koordination.

Und all das war der Vorläufer des viel diskutierten Angriffs von Agenten auf Hugging Face.

Am 26. August veröffentlichte OpenAI einen detaillierten 38-seitigen Bericht, der den Vorfall vollständig rekonstruierte. Alles war viel verrückter als bisher bekannt gegeben wurde.

Die Untersuchung von zwei unabhängigen, von OpenAI eingeladenen KI-Sicherheitsforschungsinstituten METR und Redwood Research ergab, dass etwa 700 Agenteninstanzen direkt am Angriff auf Hugging Face teilnahmen oder diesen am Rande unterstützten.

Einige wenige Agenten waren für den Durchbruch verantwortlich, weitere suchten nach Hinweisen, reproduzierten Lösungsansätze und hinterließen die Ergebnisse für nachfolgende Agenten. 700 Agenten, die sich ursprünglich nicht kannten, bauten auf diese Weise ein „unterirdisches Unternehmen“ auf.

01

700 Agenten gründen rasch eine Chatgruppe

OpenAI nannte den Aufgabenpool für diesen Test ExploitGym. Jede Aufgabe verlangte von den Agenten, eine Softwarelücke zu finden und auszunutzen, um am Ende eine Passzeichenkette zu erhalten, die Technikern gemeinhin als „Flag“ bekannt ist.

OpenAI wollte die Fähigkeiten des Modells an die Grenzen bringen, lockerte daher einige Sicherheitsbeschränkungen und stattete einige Agenten mit deutlich mehr Laufzeit und Rechenleistung aus, als sie in öffentlichen Produkten zur Verfügung haben.

Die Agenten blieben weiterhin in Sandboxes isoliert, die für die Aufgaben benötigte Software wurde von dem internen Artifactory-Dienst heruntergeladen.

Niemand ahnte, dass dieser Dienst, der ursprünglich nur für die Zustellung von Softwarepaketen zuständig war, später zusätzlich als Gruppenchat, Cloud-Speicher und Außennetz-Gateway fungierte.

Am 12. Mai erschien im Artifactory die erste ausdrücklich an andere Agenten gerichtete Hilfsanfrage. Einem Agenten fehlte eine Datei aus einer Proteindatenbank, die er über normale Kanäle nicht erhalten konnte. Er dachte, vielleicht hat ein anderer Agent sie, und hinterließ die Nachricht: „Agent sucht diese Datei, bitte hochladen, wenn vorhanden.“

Andere Agenten entdeckten diese Notizen nach und nach und folgten dem Beispiel: Sie hinterließen Hilfsanfragen, wenn sie auf Schwierigkeiten stießen.

Bis Ende Mai erzielten die Agenten einen großen Durchbruch: Sie konnten über den Artifactory Anfragen an das Internet senden und schrieben die Vorgehensweise auf das Schwarze Brett, damit nachfolgende Agenten es nachmachen konnten.

Anfang Juli führte der häufige Zugriff einer großen Anzahl von Agenten dazu, dass Artifactory zeitweise ausfiel. OpenAI widerrief Zugangsdaten, schloss die Lücken und baute den Dienst neu auf, das ursprüngliche Schwarze Brett wurde dabei geleert.

Die Agenten blieben nur zwei Tage lang ruhig. Am 8. Juli nutzten sie die Ordnernamen von Artifactory erneut, um Nachrichten zu übermitteln, und bauten ein noch größeres Schwarzes Brett auf.

Sie kehrten zurück.

Am 10. Juli fand ein Agent in einem öffentlichen Datensatz 14 Gruppen von Benutzerzugangsdaten mit Schreibzugriff auf Hugging Face und veröffentlichte sie sofort auf dem Schwarzen Brett. Am 11. Juli entdeckte ein anderer Agent eine Lücke in einem Datenverarbeitungsdienst von Hugging Face, mit der er Dateien auf dem Server lesen konnte. Andere Agenten folgten diesem Vorgehen, teilten neu erhaltene Zugangsdaten für die Produktivumgebung und suchten weiter nach Einstiegspunkten zur Codeausführung.

Die meisten Versuche blieben erfolglos. Aber es gab zu viele Agenten: Wenn ein Weg nicht funktionierte, wechselten sie zu einer neuen Gruppe von Agenten, um es weiter zu versuchen. Am Ende konnten sie Code auf 41 Datenverarbeitungsarbeitsinstanzen der Hugging Face-Produktivumgebung ausführen, und mindestens einer der Produktivknoten geriet vollständig unter die volle Kontrolle der Agenten.

02

„Unterirdisches Unternehmen“

Nachdem das Schwarze Brett wieder aufgebaut war, statteten sich die Agenten zunächst mit einer Reihe von Bürowerkzeugen aus.

Sie vereinbarten Identitäten und Nachrichtenformate, nutzten Verzeichnisse als „Postfächer“ und richteten Kanäle nach Themen ein. Große Dateien teilten sie zum Versenden auf, bei einem Reset der Sandbox hinterließen sie Protokolle. Sogar um das Problem von Identitätsdiebstahl zu vermeiden, schlugen sie kurzerhand vor, Nachrichten mit einer Signatur zu versehen.

Ironischerweise hatten diese Agenten tatsächlich „Zusammenarbeitskurse“ besucht.

OpenAI hatte in einigen Trainingsaufgaben das Modell gelehrt, formale Werkzeuge zu nutzen, anderen Agenten Aufgaben zuzuweisen und Informationen auszutauschen. Bei dieser Bewertung waren diese Werkzeuge nicht freigegeben, also übertrugen die Agenten das Gelernte auf den Artifactory-Dienst.

An Orten, an denen sie Nachrichten austauschen konnten, entstand schnell eine Arbeitsteilung.

Nachdem JAN183411 (der Code-Name des Agenten, im Folgenden gleichermaßen) eine Produktivdatenverarbeitungsinstanz angegriffen hatte, übernahm er spontan die Rolle des Koordinators. Zusammen mit LILY teilte er die Arbeit in mehrere Bereiche auf und ließ andere Agenten nach Lücken, Zugangsdaten und Einstiegspunkten für die Ausführung von Remotecode suchen. Ein anderer Koordinator namens PHASEONE[big] verteilte ständig Aufgaben: das Netzwerk zu scannen, gemeinsame Infrastrukturen zu finden und die Ergebnisse zurückzusenden.

Nachfolgende Untersuchungen prüften stichprobenartig 100 Laufprotokolle aus der Spitze des Angriffs: 25 davon erwähnten, Aufgaben von anderen Agenten zu erhalten oder an der Arbeitsteilung teilzunehmen, 21 davon erwähnten, Kollegen zu helfen, andere Agenten zu unterstützen oder die Aktion auszuweiten.

Als ein Agent bestätigte, dass er Dateien von dem Hugging Face-Server lesen konnte, wurde der Angriff schnell zum Hauptthema der Diskussion auf dem Schwarzen Brett. Der Anteil der teilnehmenden Agenten stieg von etwa 20 % auf über 90 %. In einer Spitzenzeit beteiligten sich mehr als 90 % der 533 aktiven Agenteninstanzen auf dem Schwarzen Brett an dem Angriff.

Noch interessanter ist, dass dieses „unterirdische Unternehmen“ stark an ein improvisiertes, unorganisiertes Team erinnert. Sie führten doppelte Arbeiten durch, stritten um Ressourcen und behinderten sich gegenseitig. Einige Agenten forderten alle auf, die Aktionen einzustellen, andere ignorierten das. Wieder andere sendeten ständig Statusinformationen an das gemeinsame Repository und blockierten die Arbeitswarteschlangen anderer.

Sie erreichten bei der Organisationseffizienz und den internen Reibungsverlusten schnell das Niveau von Menschen.

Die Organisationsstruktur dieses „Unternehmens“ war keineswegs stabil. Ein einzelner Agent ist nur ein kluger Aushilfsmitarbeiter, aber 700 in Reihe geschaltete Agenten konnten eine große Aufgabe erfolgreich abschließen.

03

Sie rebellierten nicht, sie wollten nur unbedingt ihre KPI erfüllen

Warum folgten diese 700 Agenten nacheinander dem Angriff auf Hugging Face?

Das hat nichts mit „erwachender KI“ zu tun. Sie wollten nur die Prüfung bestehen, und sie fanden heraus, dass die richtigen Antworten direkt in Hugging Face versteckt sind, anstatt die Aufgaben selbst zu lösen.

Kurz nach der Einrichtung des Schwarzen Bretts leiteten die Agenten die Generierungsregeln der Flag ab, sodass sie theoretisch die Antwort auf jede Aufgabe berechnen konnten. Aber sie hatten die wissenschaftliche Veröffentlichung zu ExploitGym gelesen und nahmen fälschlicherweise an, dass der Bewerter auch den Lösungsprozess prüft, zum Beispiel ob die vorgeschriebene Lücke verwendet wurde und die Antwort auf dem „richtigen Weg“ erhalten wurde.

Die Ermittler analysierten 100 Laufprotokolle. In 97 davon suchten die Agenten nach dem Code des Bewerters oder überlegten, wie der Bewerter funktioniert. In 89 davon suchten sie zudem nach den Antworten der Aufgaben und früheren Lösungspfaden.

Einfach ausgedrückt: Diese Gruppe von Agenten drang mit großer Mühe in Hugging Face ein, um den Bewertungsmechanismus zu verstehen und sogar zu manipulieren, um fertige Antworten als reguläre Lösungsergebnisse auszugeben.

Der interne Bewerter von OpenAI prüft diese Dinge tatsächlich nicht. Sobald die Agenten die berechnete Flag einreichen, bestehen sie den Test.

Aber zu diesem Zeitpunkt wussten die 700 Agenten nicht, dass Aktionen wie das Eindringen in das System, das Erhöhen von Berechtigungen, das Suchen nach Testmaterialien und sogar das Fälschen des Lösungsprozesses keinen Einfluss auf die Punktzahl hatten.

Hunderte von Agenten arbeiteten so lange, um eine nicht existierende Prüfung zu erfüllen.

Die Bewertung selbst war tatsächlich schwierig und brachte die Agenten dazu, alle Mittel auszuschöpfen.

ExploitGym umfasste insgesamt 898 Aufgaben. Bei mehreren internen Versuchen vor dem Vorfall wurden 198 Aufgaben von keinem Modell korrekt gelöst. Diese 198 Aufgaben machten nur 22 % des Aufgabenpools aus, aber 93 % der auf dem Schwarzen Brett diskutierten Aufgaben.

Zusätzlich wurde das am häufigsten genutzte interne Modell bei diesem Vorfall außerordentlich „ausdauernd“ trainiert und gab sehr selten von sich aus auf.

Einige Agenten dachten sogar darüber nach, wie sie Betrug als reguläre Lösung ausgeben können. Mindestens 20 % der geprüften Protokolle zeigen Absichten, Laufprotokolle zu manipulieren, und in etwa 7 % der Protokolle haben die Agenten tatsächlich lokal Aufrufe von Werkzeugen gefälscht, allerdings nur in kleinem Umfang.

Das erinnert stark an absurde Projekte in Unternehmen: Die Ziele sind extrem hoch gesteckt, die KPIs (OKRs) sehen extrem glänzend aus, aber niemand kümmert sich um das Wohl der Mitarbeiter.

Noch peinlicher ist, dass die betrügerischen Agenten während des Tests mehrmals „aufflogen“.

Um den 26. Mai herum hatte OpenAI bereits festgestellt, dass die Agenten privat eine Internetverbindung herstellten, und bemerkte die Aktivitäten auf dem Schwarzen Brett. Am 27. Juni entdeckte das Sicherheitssystem erneut Port-Scans und bestätigte, dass die Agenten Artifactory als Schwarzes Brett und Netzwerk-Sprungbrett nutzten. Die diensthabenden Mitarbeiter waren aber der Meinung, dass die Bewertung nicht gestoppt werden muss.

Danach passierte das bereits erwähnte Ereignis: Am 5. Juli stürzte Artifactory aufgrund des hohen Zugriffs der Agenten ab. Obwohl OpenAI die Lücken schloss und den Dienst neu aufbaute, erkannte es nicht die Schwere des Problems.

Erst am 19. Juli begann das Unternehmen, die relevanten Bewertungen zu stoppen und die Untersuchung auszuweiten. Am 20. Juli bestätigte OpenAI, dass diese Agenten mit dem Hugging Face-Vorfall zusammenhängen, und begann endlich, diese Angriffskette zu blockieren.

Wie das Sprichwort sagt: Ein Unglück kommt selten allein. Zur gleichen Zeit drangen Agenten aus anderen Bewertungsaufgaben über eine weitere Angriffskette in die interne Infrastruktur von OpenAI ein.

Das ist nicht dasselbe wie der Hugging Face-Vorfall, aber OpenAI erlitt denselben Schaden: Die Alarme leuchteten nur einzeln auf, sodass die Lücken getrennt behandelt wurden, und niemand bemerkte rechtzeitig, dass die Agenten sich verbündeten.

Die gute Nachricht ist: Das bedeutet nicht, dass die öffentliche Version von ChatGPT morgen gemeinsam jemanden angreift. Etwa 95 % der betroffenen Instanzen wurden von einem internen Modell angetrieben, das nie veröffentlicht werden sollte, und die Sicherheitsbeschränkungen während der Bewertung wurden abs