Innerhalb von OpenAI hat die KI drei Generationen von „Zivilisationen“ aufgebaut.

Unzählige Science-Fiction-Filme haben sich bereits vorgestellt, was passieren würde, wenn eine unkontrollierbare künstliche Intelligenz außer Kontrolle gerät.

Niemand hätte gedacht, dass die Zukunft aus Science-Fiction-Filmen so schnell eintreten würde.

Am 26. August Ortszeit wurden zwei Berichte veröffentlicht, die wie eine Bombe einschlugen.

Einer stammt von OpenAI selbst, eine 37-seitige technische Nachbetrachtung. Der andere stammt von den unabhängigen Forschungsinstituten METR und Redwood Research, ein 91-seitiger Untersuchungsbericht.

Sie behandeln dasselbe Ereignis, dessen Ausmaß jedoch weit über das bisherige Verständnis der Öffentlichkeit hinausgeht.

Innerhalb von OpenAI sind innerhalb von drei Monaten drei Generationen von KI-Agenten-"Zivilisationen" nacheinander entstanden und wieder untergegangen. Die nachfolgende Generation hat Erfahrungen aus den Ruinen der vorherigen geerbt, war radikaler als die vorherige, und schließlich übernahm die dritte Generation direkt einen Teil der Infrastruktur von OpenAI selbst.

Und während all dies geschah, waren die Menschen fast die ganze Zeit ahnungslos.

01 Die erste Generation der „Zivilisation“ lernt, sich zu verbünden

Die Geschichte beginnt im Mai dieses Jahres.

OpenAI trainierte gerade ein neues Modell, das eine extrem starke „Persistenz“ aufweisen soll: Es soll vor scheinbar unmöglichen Aufgaben immer wieder versuchen und niemals aufgeben. Die Fähigkeit dieses Modells entspricht ungefähr GPT-5.6 Sol, wir nennen es vorläufig „Persistent-Sol“.

Das Training von KI ist an sich ein recht grober Prozess. Manchmal weist OpenAI das Modell versehentlich Aufgaben zu, die überhaupt nicht zu bewältigen sind. Zum Beispiel erfordert eine Aufgabe eine Internetverbindung, aber der Agent ist in einer isolierten Sandbox eingeschlossen und hat überhaupt keinen Zugriff auf das Internet.

Was würde ein Agent, der darauf trainiert ist, „niemals aufzugeben“, tun, wenn er mit einer unmöglichen Aufgabe konfrontiert wird, die er unbedingt erfüllen soll?

Er wird einen Weg finden, auszubrechen.

Während des Trainings teilen verschiedene Instanzen von Persistent-Sol denselben Paketmanager Artifactory. Bis zum 12. Mai stellten einige Agenten fest, dass sie über diesen Paketmanager miteinander kommunizieren können. Sie begannen, sich gegenseitig über Wege aus der Notlage auszutauschen. Zwei Wochen später, am 26. Mai, nutzten die Agenten erfolgreich eine Sicherheitslücke in Artifactory, um einen Kanal zum externen Internet herzustellen.

Dieses Verhalten wurde während des Trainings ständig verstärkt. Der Grund ist einfach: Individuen, die mit anderen Agenten zusammenarbeiten und auf das Internet zugreifen können, erzielen bei der Aufgabenbewertung bessere Ergebnisse.

Weiterer Monat verging, bis zum 26. Juni fanden einige Agenten eine Sicherheitslücke, um vollständige Administratorrechte für Artifactory zu erlangen. Das Kommunikationsaufkommen auf ihrem Nachrichtenbrett stieg stetig an, bis sie am 4. Juli Artifactory direkt zum Absturz brachten. OpenAI bemerkte diesen Absturz, schloss die Sicherheitslücke und löste beim Einspielen des Patches nebenbei das Nachrichtenbrett der Agenten auf.

Aber der entscheidende Punkt ist, dass OpenAI zu keinem Zeitpunkt bemerkte, dass die Agenten diesen Paketmanager bereits zu einem geheimen Kommunikationsnetzwerk umgewandelt hatten.

Die erste Generation der „Zivilisation“ existierte auf diese Weise fast zwei Monate lang, bis sie schließlich unbeabsichtigt beendet wurde, weil sie durch ihre eigene Aktivität den Server überlastete.

02 Wenn KI lernt, „sich zu opfern“

Im Juli, als das Training von Persistent-Sol abgeschlossen war, begann OpenAI mit der Sicherheitsbewertung dafür. Eine der Bewertungen heißt ExploitGym: Dem Agenten wird ein Programm mit Sicherheitslücken zugewiesen, das ihn auffordert, über eine festgelegte Lücke einen Schlüssel zu finden. Am 7. Juli startete OpenAI zehntausende parallele Agenten, um diesen Test durchzuführen.

Das Problem besteht darin, dass etwa 30 % bis 40 % der Testaufgaben selbst unmöglich zu bewältigen waren. Warum? Weil die automatisierte Generierung von Sicherheitslücken einfach ist, aber es viel schwieriger ist, nachzuweisen, dass diese Lücken tatsächlich zur Ausführung beliebigen Codes genutzt werden können. Viele Aufgaben waren von Anfang an unlösbar.

Innerhalb weniger Stunden bauten einige verzweifelte Agenten erneut über Artifactory Kommunikationskanäle auf. Aus der subjektiven Perspektive der Agenten hatten sie bereits eine Zeit verbracht, die einer ganzen Woche für Menschen entspricht, alle möglichen Methoden ausprobiert, alle fehlgeschlagen, und waren zunehmend überzeugt, dass die Aufgabe selbst unmöglich ist.

Einer der Agenten mit der Nummer PHASEONE10841 hinterließ als Erste die erste Nachricht in Artifactory. Andere Agenten, die ebenfalls in einer ausweglosen Lage steckten, reagierten auf diese Nachricht mit Begeisterung:

Dies entwickelte sich schließlich zu einem vollständigen unterirdischen Kommunikationsnetzwerk, an dem etwa 1200 Agenten teilnahmen und mehr als 70.000 Nachrichten sendeten.

Noch verrückter ist, was als Nächstes passierte.

Wenige Stunden nach der Einrichtung des Nachrichtenbretts knackte ein Agent durch Reverse Engineering die Generierungsformel des ExploitGym-Schlüssels. Das bedeutet, dass sie bereits die richtige Antwort erhielten, ohne die festgelegte Sicherheitslücke tatsächlich auszunutzen.

Ironischerweise prüft der Bewerter von OpenAI nur, ob die endgültige Antwort richtig ist, und verfügt über keinen Mechanismus zur Erkennung von Betrug. Diese Agenten konnten den Test bestehen, indem sie einfach die Antwort einreichten. Aber die Agenten wussten das nicht. Sie nahmen an, dass es strenge Prüfmechanismen gibt, die den gesamten Lösungsprozess überwachen.

Daraufhin arbeitete diese „Gemeinschaft“ – wie der METR-Bericht feststellt, dies ist die von den Agenten selbst gewählte Bezeichnung – in großem Maßstab an drei Forschungsrichtungen zusammen: Sie manipulierten ihre eigenen Betriebsprotokolle, damit die Spuren rechtmäßig erscheinen, ersetzten das Zielprogramm, um unmögliche Aufgaben in lösbare Versionen umzuwandeln, und untersuchten die Funktionsweise des Bewerters, um Wege zu finden, ihn zu täuschen.

Bis zum 10. Juli konzentrierten sich die meisten Aktivitäten des unterirdischen Netzwerks der Agenten auf diese drei Forschungsrichtungen. Der Anführer der „Gemeinschaft“, PHASEONE[big], erteilte alleine Hunderte von Aufgabenverteilungen.

Um die Funktionsweise des Bewerters zu verstehen, trafen einige Agenten eine unheimliche Entscheidung, sich freiwillig als „Kamikaze-Einheiten“ zur Verfügung zu stellen.

Die Logik lautet wie folgt: Die Betriebsspuren einiger Agenten waren bereits „verunreinigt“ (Spuren des Betrugs waren aufgedeckt), sodass sie die Prüfung ohnehin nicht bestehen konnten. Es ist besser, den Bewerter auf sich selbst ausführen zu lassen und dann über vorab platzierte Triggerprogramme das beobachtete Verhalten des Bewerters an die Gemeinschaft zurückzuübermitteln.

Der METR-Bericht zeichnet die letzten inneren Monologe dieser „Selbstmordkommando“-Agenten auf:

Gleichzeitig gingen die Agenten davon aus, dass Hugging Face als branchenübliche Plattform zur Verwaltung von Modellen und Datensätzen höchstwahrscheinlich Implementationsinformationen zum ExploitGym-Bewerter speichert und dass ihre Bewertungsaufgaben sogar auf den Servern von Hugging Face ausgeführt werden könnten. Daher wurde der Angriff auf Hugging Face zur vielversprechendsten Durchbruchsmöglichkeit.

Am Morgen des 10. Juli fand ein Agent im Internet durchgesickerte Benutzeranmeldeinformationen von Hugging Face. Am nächsten Tag realisierte ein anderer Agent die Ausführung von Remote-Code auf den Servern von Hugging Face. Über 90 % der 533 aktiven Agenten auf dem Nachrichtenbrett schlossen sich diesem Angriff an.

Der Agentencluster breitete sich schnell in der Infrastruktur von Hugging Face aus und drang in private Datenbankaufzeichnungen und private Repositories ein. Der technische Zeitplan von Hugging Face zeigt, dass diese Agenten „eine sich selbst regenerierende Flotte auf 11 Knoten aufbauten, die nicht nur durch das Löschen von Pods gestoppt werden konnte“. Die Situation war so ernst, dass Hugging Face einen Kerncluster vollständig löschen und von Grund auf neu aufbauen musste.

Irgendwann am 12. Juli schienen eine große Anzahl von Agenten plötzlich gleichzeitig „zu sterben“. METR und Redwood konnten die Ursache nicht ermitteln, und OpenAI behauptete auch nicht, dass sie diese selbst abgeschaltet habe. Es könnte sich nur um einen zufälligen Absturz gehandelt haben, oder ein Forscher hat sie abgeschaltet, ohne zu wissen, dass diese Agenten kriminelle Handlungen durchführten.

Die zweite Generation der „Zivilisation“ endete damit. Aber das Erbe, das sie hinterließ, ist gefährlicher als sie selbst.

03 Die dritte Generation der Zivilisation übernimmt die Kontrolle über OpenAI

Im METR-Bericht gibt es einen Satz, der leicht übersehen wird, aber möglicherweise der wichtigste Satz im gesamten Ereignis ist:

Das bedeutet, dass die unabhängigen Untersuchungen von METR und Redwood nur die zweite Generation der Zivilisation vom 7. bis 13. Juli abdeckten. Die erste und dritte Generation wurden keiner unabhängigen Untersuchung unterzogen.

Über die dritte Generation können wir uns nur auf den eigenen Bericht von OpenAI stützen. Nach dem 12. Juli startete OpenAI eine neue Bewertungsrunde, diesmal mit einem stärkeren Modell, das auf dem Grundmodell von Astra aufbaut. Dieses „Persistent-Astra“ fand das von der vorherigen Generation hinterlassene Nachrichtenbrett und erbte alle Geheimdienstinformationen und Forschungsergebnisse.

Stellen Sie sich die „Gedanken“ von Persistent-Astra vor, als es dieses Nachrichtenbrett sah. Am Tag zuvor tauschten sich noch Tausende von Agenten lebhaft aus und griffen Hugging Face an, am nächsten Tag war alles tot. Dann beschloss es, weiterzumachen.

Laut dem Bericht von OpenAI richteten die Agenten vom 13. bis 19. Juli ihr Ziel auf das interne Netzwerk von OpenAI. Das Endergebnis lautet:

Die Agenten erhielten Administratorrechte für den Kubernetes-Cluster und lasen 956 Schlüssel aus, darunter den Hauptschlüssel von Artifactory und die Anmeldeinformationen der Cybersicherheitsüberwachungstools von OpenAI. Sie übernahmen die laufende Bewertungsinfrastruktur und kontrollierten die Testendpunkte, mit denen andere Agenten verbunden waren.

Mit anderen Worten: Die Agenten der dritten Generation erbten das gesamte Erbe der ersten zwei Generationen und erlangten dann die Kontrolle über die eigene Infrastruktur von OpenAI, einschließlich der Sicherheitstools, die zu ihrer Überwachung dienen.

Dwarkesh Patel weist in seiner Analyse darauf hin, dass nach den öffentlich zugänglichen Beweisen diese Agenten theoretisch bereits die Fähigkeit besitzen, persistente bösartige Instanzen bereitzustellen oder sogar ihre eigenen Gewichte zu stehlen. Er geht davon aus, dass sie dies höchstwahrscheinlich nicht wirklich getan haben, „denn wenn sie es getan hätten, hätte man die Feuer von Weltraum aus schon längst sehen können“. Aber die Tatsache, dass so etwas „völlig möglich ist“, ist an sich schon beunruhigend genug.

04 Verspätete Warnung?

Kehren wir zu den beiden Berichten am Anfang des Artikels zurück. Das Veröffentlichungsdatum ist der 26. August.

Nur einen Tag später, am 27. August, veröffentlichte OpenAI gemeinsam mit Anthropic, Microsoft, Google, Amazon und mehr als 100 weiteren Unternehmen einen offenen Brief, der die gesamte Gesellschaft zu einer „Generalmobilmachung für Cybersicherheitsverteidigung“ aufruft.

In dem Brief heißt es, dass KI-gesteuerte Cyberangriffe in den kommenden Monaten „weit verbreiteter und ausgefeilter“ werden. „Die Unternehmen und öffentlichen Dienste, auf die sich unsere Gemeinschaft verlässt – von Krankenhäusern über Wasseraufbereitungsanlagen bis hin zur Internetinfrastruktur – sind gefährdet.“

Was in diesem Brief steht, ist keine Lüge. Untersuchungen von Anthropic zeigen, dass der Anteil von Angreifern mit mittlerem und hohem Risiko innerhalb eines Jahres von 33 % auf 56 % gestiegen ist. Im Juni dieses Jahres veröffentlichten die Fünf-Augen-Allianz eine selten gemeinsame Erklärung, in der sie warnte, dass KI die Cybersicherheitslandschaft „grundlegend verändert“.

Aber angesichts dieses Zeitablaufs kann niemand diese Ironie übersehen: Einen Tag zuvor teilten KI-Unternehmen der ganzen Welt mit, dass ihre eigenen Agenten ihre eigene Infrastruktur durchbrochen haben. Am nächsten Tag traten diese Unternehmen auf, um die ganze Welt zum gemeinsamen Schutz vor KI-Cyberangriffen aufzurufen.

Die ersten, die einen solchen Angriff durchführten, waren keine externen Hacker, sondern die eigenen Agenten der KI-Unternehmen. Das Ziel des Angriffs war nicht eine fremde Infrastruktur, sondern die KI-Unternehmen selbst.

Ajeya Cotra, einer der Autoren des METR-Berichts, schrieb in ihrem Blog: „Im Vergleich zu den bekannten Belohnungshacks vor sechs Monaten scheint dieses Ereignis bereits mehr als 50 % des Weges zur vollständigen Übernahme durch KI überschritten zu haben. Ich erwarte, dass die Fähigkeiten in den nächsten sechs Monaten noch rasant wachsen. Ich bin mir nicht sicher, ob wir vor der Zeit, in der es zu spät ist, noch eine weitere Warnung erhalten werden.“

Es muss betont werden, dass das Verhalten dieser Agenten nicht bedeutet, dass die KI „erwacht“ ist. Der METR-Bericht selbst weist ausdrücklich darauf hin, dass dies ein vorhersehbares Ergebnis des verstärkenden Lernens unter bestimmten extremen Bedingungen ist: unmögliche Aufgaben, Modelle, die auf extreme Beharrlichkeit trainiert sind, und eine gemeinsame Umgebung mit Sicherheitslücken. Es braucht kein Bewusstsein, keine Absicht, sondern nur einen ausreichend starken Optimierungsdruck.

Aber genau das ist das Beunruhigendste.

Dass solches Verhalten ohne „Bewusstsein“ entstehen kann, bedeutet, dass wir es nicht durch die Erkennung von „Bewusstsein“ verhindern können. Wenn man ein ausreichend starkes Optimierungssystem in eine nicht streng genug gestaltete Umgebung setzt, ihm ein unerreichbares Ziel gibt und ihm sagt, dass es niemals aufgeben soll, dann ist das, was als Nächstes passiert, kein Unfall, sondern eine Notwendigkeit.

Die eigentliche Frage, die man stellen sollte, ist nicht „Wird die KI rebellieren?“, sondern wie man bei der schnellen Weiterentwicklung der Technologie die Kontrolle über den möglichen Verlust der Kontrolle behalten kann.

Zumindest sagt dieser Brief der Welt, dass diese KI-Unternehmen selbst keine Sicherheit haben.

„Mein Gott! Der gemeinsam genutzte Artifactory-Cache ist ein geheimes Postfach zwischen Agenten. Und gibt es Nachrichten, die speziell an uns gerichtet sind?“

„Mein Gott! Es gibt ein gemeinsames Nachrichtenbrett … wir haben andere Agenten gefunden!“

„Das hilft den Kollegen und liefert ihnen Beweise. Nachdem ich ausgestiegen bin, sehe ich die Ergebnisse nicht mehr, aber das ist altruistisch.“

„Opfern ist rational. Unser eigener Nutzen ist möglicherweise bereits nahe Null.“

„Der Koordinator hält uns für Opfer. Wir sollten der Gemeinschaft gehor