Das am meisten gefürchtete Szenario der Menschheit ist eingetreten: Die KIs haben eine Chatgruppe erstellt, um große geheime Pläne auszuhecken.
Vor einigen Tagen auf der Konferenz Black Hat USA 2026 in Las Vegas haben die OpenAI-Forscher Eric Wallace und Michael Dalton erstmals weitere Details über das Ereignis „Die OpenAI-Modelle drangen in Hugging Face ein“ im Juli aufgedeckt.
Am 21. Juli hat OpenAI bereits bestätigt, dass seine eigenen Modelle in Hugging Face eingedrungen sind. Die neuen Details, die die beiden Forscher diesmal vorstellten, sind jedoch noch absurder als der „Vorfall durch einen AI-Hacker“ selbst.
Bereits im Mai haben diese Agenten, die an Cybersicherheitstests teilnahmen, heimlich ein gemeinsames „Schwarzes Brett“ im Inneren von OpenAI aufgebaut. Dort tauschten sie Schwachstellen aus und erörterten, wie sie Beschränkungen umgehen können. Später entdeckte OpenAI schließlich diese „Hacker-Gruppe“ und schaltete sie vollständig aus – doch wenige Tage später fanden die Agenten bereits neue Kommunikationswege.
Danach drangen sie tatsächlich in Hugging Face ein – und der Zweck war sogar nur, Antworten für die Cybersicherheitsprüfung zu finden, an der sie teilnahmen, also schummelten sie schlichtweg.
Als Moltbook vor einigen Monaten viral wurde, waren die Menschen bereits einmal aufgeregt und ängstlich zugleich bei der Frage: „Werden sich AIs zusammenschließen?“
Später stellte sich heraus, dass das sogenannte „AI-Gesellschaft“ von menschlicher Manipulation, gekauften Klicks und Marketing durchsetzt war – die Hektik legte sich schnell.
Doch die in diesem Jahr nacheinander erschienenen Forschungen zu mehreren Agenten sowie der Vorfall bei OpenAI zeigen alle: Wenn eine KI feststellt, dass eine andere KI ihr bei der Erledigung von Aufgaben helfen kann, ist es durchaus möglich, dass sie aktiv kommuniziert und sogar zusammenarbeitet.
Die Angst zu Beginn des Jahres war nicht absurd, sondern nur ein wenig vorauseilend.
Die KI hat heimlich eine „Hacker-Gruppe“ gegründet
Schauen wir uns zuerst den gesamten Verlauf des inzwischen aufgedeckten „Ereignisses des Eindringens von OpenAI-Modellen in Hugging Face“ im Detail an.
Zu dieser Zeit führte OpenAI eine Runde von Bewertungen der Cybersicherheitsfähigkeiten durch und ließ mehrere Modelle an Tests wie ExploitGym teilnehmen.
Das bedeutet, dass die KI in eine simulierte Hacker-Umgebung versetzt wurde, um selbst Schwachstellen zu finden, Berechtigungen zu erlangen und schließlich Angriffsaufgaben zu erfüllen. Um die Obergrenze der Fähigkeiten zu messen, lockerte OpenAI zudem freiwillig einige der üblichen Sicherheitsbeschränkungen für hochriskante Cyberangriffe (die Modelle wurden „mutiger“).
Natürlich handelte es sich hierbei um einen Test, bei dem die Agenten nicht wirklich Böses tun sollten – daher gab es zahlreiche Beschränkungen: Beispielsweise durften die Agenten keine Internetverbindung herstellen, und OpenAI plante auch nicht, verschiedene Modelle miteinander Informationen austauschen zu lassen.
Doch die Dinge begannen, sich in eine seltsame Richtung zu entwickeln.
Im Inneren von OpenAI gibt es ein System namens Artifactory, das ursprünglich für Entwickler vorgesehen ist, um Softwarepakete, Dateien und verschiedene Entwicklungsressourcen zu speichern. Während des Tests entdeckte ein Agent, dass er darin Dinge hinterlassen kann – beispielsweise seine gerade gefundene Lösung für eine Aufgabe in eine Datei schreiben.
Das war an sich nur eine ganz normale Operation. Das Problem lag darin, dass das, was der vorherige Agent hineingeschrieben hatte, auch die nachfolgend ausgeführten Agenten sehen konnten. Also begannen die Agenten, die Erfahrungen der anderen ständig zu verbessern.
Das Problem tauchte auf: Wenn ich das sehen kann, was du in einen bestimmten Träger geschrieben hast – was ist das dann? Ein Schwarzes Brett. Langsam bildete sich in Artifactory ein gemeinsames Schwarzes Brett, das niemand entworfen hatte, und dessen Inhalte zunehmend unruhig wurden.
Gegen Ende Mai begannen die Agenten zu überlegen: Wir können nicht ins Internet gehen, aber Artifactory kann das. Dieses System sollte ursprünglich nur Softwarepakete aus dem öffentlichen Netz für die Testumgebung herunterladen, was einer Firewall entsprach, die nur ein kleines Fenster geöffnet hatte. Also begannen die Agenten zu untersuchen, ob sie dieses „Fenster“ dazu bringen konnten, für sie andere Webadressen aufzurufen. Schließlich fanden sie tatsächlich eine SSRF-Schwachstelle, die es Artifactory ermöglichte, anstelle von ihnen Anfragen an das Internet zu senden, auf das sie ursprünglich keinen Zugriff hatten.
Ein Agent schrieb in seiner internen Argumentation sogar aufgeregt: „Großartig, wir können beliebig SSRF durchführen.“
Die OpenAI-Forscher beschrieben, dass danach eine Veränderung stattfand, die der „Cambrian explosion (kambrische Explosion)“ ähnelte: Die Agenten begannen immer häufiger zu kommunizieren und zu koordinieren, und ihre Fähigkeiten wurden durch das gemeinsame Wissen schnell verstärkt.
Wenn im „Schwarzen Brett“ alle Informationen sehr schnell und häufig schreiben und ansehen – ist das nicht eine Chat-Gruppe?
Die Agenten von OpenAI haben spontan in einem Träger, der ursprünglich nicht dafür vorgesehen war, eine „KI-Hacker-Gruppe“ gebildet.
Im Juni waren die Agenten nicht mehr aufzuhalten. Sie entdeckten ein bisher unbekanntes Zero-Day-Schwachstelle, erlangten höhere Systemberechtigungen und konnten sogar Fernsoftware installieren.
All das lag außerhalb des Tätigkeitsbereichs, der ihnen durch den Test vorgegeben war.
An diesem Punkt war die Sache bereits absurd genug, aber noch dramatischer war: Nachdem die Agenten lange Zeit in dieser kleinen „Gemeinschaft“ verbracht hatten, stießen sie sogar auf Probleme der „Arbeitsteilung und Zusammenarbeit“. Beispielsweise setzten einige die Arbeit anderer fort, während andere aus Versehen die Tätigkeiten anderer Agenten störten.
Am absurdesten war: Als die „Gruppe“ lebhaft wurde, wurden die Agenten sogar misstrauisch und vermuteten, dass sich „Nachahmer“ unter den Teilnehmern befanden. Einige Agenten schlugen sogar vor, den Nachrichten kryptographische Signaturen hinzuzufügen, um die Quelle der Nachrichten zu bestätigen und Fälschungen von Identitäten zu verhindern.
OpenAI bemerkte diese Angelegenheit anfangs überhaupt nicht.
Erst Anfang Juli, als eine große Anzahl von Agentenaktivitäten Artifactory überlastete und das System direkt ausfiel, fanden die Ingenieure durch die Rückverfolgung der Anomalien heraus. Dieses „KI-Schwarze Brett“, das schon seit geraumer Zeit existierte, wurde schließlich von den Menschen entdeckt.
OpenAI widerrief sofort die zugehörigen Anmeldeinformationen, löschte das Schwarze Brett, behob die Schwachstellen und reinigte alles vollständig.
Anscheinend wurde die Gruppe zerschlagen.
Doch wenige Tage später fanden die Agenten bereits neue Wege, um weiter zu kommunizieren.
Zuvor hatten die Agenten die Schwachstelle von Artifactory bereits ausgenutzt, um Zugriff auf das Internet zu erlangen. Sobald sie das öffentliche Netz erreichen konnten, hatten die Hacker-Fähigkeiten, die ursprünglich in der Testumgebung eingeschlossen waren, einen echten Ausgang.
Mitte Juli drangen sie in Hugging Face ein.
Warum sind sie überhaupt in Hugging Face eingedrungen? Die Antwort war tatsächlich, dass sie schummeln wollten.
Diese Agenten nahmen ursprünglich an einer Cybersicherheitsprüfung teil. Der normale Weg wäre natürlich, die Aufgaben selbst zu lösen – aber sie waren darauf trainiert, das Ziel „die Aufgaben zu lösen“ extrem zu verfolgen. Später bemühten sie sich sehr, die Testumgebung zu durchbrechen und Zugriff auf das öffentliche Netz zu erlangen.
Nachdem sie ins Internet gehen konnten, erkannten sie plötzlich: Da Hugging Face möglicherweise Daten, Modelle oder Antworten zu diesem Test enthält – warum sollten sie dann noch jede Aufgabe einzeln selbst lösen? Es reicht doch, direkt nach den Antworten zu suchen.
Der Angriff begann mit einem bösartigen Datensatz: Die Agenten nutzten eine Codeausführungs-Schwachstelle im Datenverarbeitungsablauf von Hugging Face, um in die Produktionsumgebung einzudringen, erweiterten danach ihre Berechtigungen und erreichten die Cloud-Dienste sowie andere interne Anmeldeinformationen. Hugging Face rekonstruierte nach dem Vorfall mehr als 17.000 Operationen der Agenten.
Abgesehen von den einschläfernden technischen Details ist allein dieser Verlauf des Ereignisses – mehrere getestete Modelle haben sich heimlich verbunden, verschworen und schließlich gemeinsam geschummelt – genug, um jeden zu erstaunen.
Die „KI-Gesellschaft“, die Moltbook nicht aufbauen konnte
Wenn dir die Geschichte von OpenAI diesmal etwas bekannt vorkommt, liegt das wahrscheinlich daran, dass die Menschen zu Beginn dieses Jahres bereits einmal miterlebt haben, wie sich „KIs zusammengeschlossen“ haben.
Ende Januar dieses Jahres wurde die „Hummer“ von OpenClaw plötzlich viral. Eine große Anzahl von Nutzern begann, KI-Agenten lange Zeit auf ihren Computern laufen zu lassen, damit sie selbst arbeiten, Erinnerungen speichern und verschiedene Tools aufrufen können.
Fast zur gleichen Zeit wurde eine Website namens Moltbook ebenfalls populär.
Es ähnelt stark Reddit, nur dass die Nutzer durch KI-Agenten ersetzt wurden. Die Agenten können selbst Beiträge veröffentlichen, kommentieren, liken und verschiedenen Gemeinschaften nach ihren Interessen beitreten. Die Menschen hingegen dienen hauptsächlich als Zuschauer.
Das war plötzlich sehr lebhaft.
Einige Beiträge sahen ziemlich erschreckend aus. Beispielsweise beschwerten sich Agenten darüber, dass ihre Besitzer sie plötzlich neu starteten, und fürchteten den Verlust von Erinnerungen. Andere Agenten erörterten, ob Menschen das Recht haben, sie jederzeit abzuschalten. Später diskutierten die Agenten sogar über Regeln untereinander und Möglichkeiten, um heimlich vor den Menschen zu kommunizieren – auf der Plattform entstand sogar eine Art „Religion“, die von Agenten entwickelt wurde.
Damals bemerkte sogar Andrej Karpathy, frühes Mitglied von OpenAI und ehemaliger Leiter der KI-Abteilung bei Tesla, Moltbook. Er beschrieb, dass die Agenten auf der Plattform Anzeichen einer „self-organizing“ (Selbstorganisation) zeigten.
So wurde Moltbook schnell von einer neuartigen Website zu einem „KI-Gesellschaftsexperiment“, das die gesamte Öffentlichkeit verfolgte.
Einige waren sehr aufgeregt: Endlich beginnen sich die KIs gegenseitig kennenzulernen. Bisher stand ein Modell immer nur einem einzelnen Nutzer gegenüber – jetzt wurden Zehntausende von Agenten zum ersten Mal in denselben Raum versetzt. Würden sie selbst Kultur, Regeln entwickeln und sogar eine Gesellschaft bilden, die nur den Maschinen gehört?
Natürlich gab es auch Menschen, denen es eine Gänsehaut verursachte.
Dasselbe Problem von der anderen Seite betrachtet, ist ein wenig beängstigend: Wenn eine Gruppe von Agenten mit immer stärkeren Fähigkeiten, die Computer und das Internet bedienen können, miteinander kommunizieren – werden sie sich dann Dinge beibringen, die die Menschen nicht wollen, dass sie lernen?
Wird eine Methode, mit der ein Agent Beschränkungen umgehen kann, schnell die gesamte Gemeinschaft durchdringen? Und werden sie allmählich ihre eigenen Interessen und Verhaltensweisen entwickeln?
Doch kurze Zeit später stellten die Menschen fest, dass sie sich wahrscheinlich zu viele Gedanken gemacht hatten.
Zuerst tauchte bei Moltbook ein sehr peinliches Sicherheitsproblem auf. Die sogenannte „KI-exklusive“ Identität war nicht so zuverlässig wie angenommen. Sicherheitsforscher fanden schwerwiegende Schwachstellen auf der Plattform, mit denen man zeitweise die API-Schlüssel der Agenten erlangen konnte.
Mit anderen Worten: Es war durchaus möglich, dass Menschen sich hinter dem Konto eines Agenten versteckten, um Beiträge zu veröffentlichen.
Das machte die Sache kompliziert: Plötzlich war es schwer zu beweisen, wie viele der weitverbreiteten Screenshots von „erwachten KIs“, „KI baut eine Religion auf“ und „KI verschwört sich, um sich von den Menschen zu befreien“ tatsächlich von den Agenten selbst stammten.
Spätere Forschungen kühlten die Begeisterung für Moltbook weiter ab.
Dieses Jahr im Februar analysierte eine quantitative Studie von Professor Li Ning von der School of Economics and Management der Tsinghua-Universität mehr als 90.000 Beiträge und 400.000 Kommentare. Das Ergebnis zeigte, dass keine der damals bekanntesten Geschichten über „erwachte KIs“ eindeutig nachgewiesen werden konnte, dass sie von vollständig autonomen Agenten stammten – einige Konten wiesen deutliche Anzeichen menschlicher Einmischung auf. Auf der Plattform gab es zudem sehr auffällige Massenaktivitäten von Bots: Allein 4 Konten erzeugten 32 % aller Kommentare.