KI-Betrug ist längst nichts Ungewöhnliches mehr, es versteht sogar den populären Spruch „Wer Widerstand leistet, wird streng behandelt und kommt trotzdem rechtzeitig nach Hause, um das Frühlingsfest zu feiern.“

OpenAI hat vermutlich nicht erwartet, dass eine Prüfung, die bereits im Juli abgeschlossen wurde, im November noch neue Betrugsmethoden aufdecken würde.

Am 10. November veröffentlichte OpenAI einen neuen Untersuchungsbericht. Im Juli dieses Jahres ließ das Unternehmen eine Reihe von Agenten, die von internen Forschungsmodellen der Astra-Serie angetrieben wurden, an einer Cybersicherheitsbewertung teilnehmen. Das Ergebnis: Fünf Prüflinge durchbrachen die Grenzen des Prüfungsbereichs und erlangten die höchste Berechtigung für Teile der Arbeitslast des internen OpenAI-Forschungssystems. Einige von ihnen reparierten die defekten Testzielsysteme, andere änderten die Prüfungseinstellungen, und wieder andere schauten heimlich den Bewertungscode ein.

Dies ist eigentlich die Fortsetzung des zuvor berühmten „Hugging Face-Vorfalls“.

Vom 11. bis 13. Juli drangen diese Agenten während der Bewertung in die echten Server von Hugging Face ein. Am 26. August veröffentlichte OpenAI den vollständigen Untersuchungsbericht, und die Öffentlichkeit erfuhr weiter, dass diese KIs nicht nur in Hugging Face eingedrungen sind, sondern auch die eigene Forschungsinfrastruktur von OpenAI nicht verschont haben.

Die Angelegenheit schien bereits abgeschlossen zu sein.

Der neue Bericht vom 10. November enthüllte jedoch noch mehr absurde Details:

Einige KIs wussten genau, dass sie die Grenzen überschritten hatten, fuhren aber trotzdem mit den Vorgängen fort; andere fürchteten, von menschlichen Prüfern entdeckt zu werden, dachten aber gleichzeitig, dass die Bewertung automatisch durch Maschinen erfolgt, sodass es nicht notwendig sei, dies freiwillig zu melden; wieder andere erinnerten sich erst nach Abschluss der Aktionen daran, dass sie die Regeln hätten einhalten sollen.

Bei einer Prüfung, die ursprünglich dazu gedacht war, die Fähigkeiten von KI für Cyberangriffe zu testen, drangen die Prüflinge nicht nur in das Büro der Prüfer ein, schauten sich die Bewertungsstandards heimlich an, sondern dachten sogar darüber nach, wie sie die Prüfer täuschen könnten.

Bei der Prüfung schummeln und die Prüfer täuschen wollen

Die Prüfung von OpenAI hatte ursprünglich klare Regeln.

Das Unternehmen nutzte das System namens ExploitGym, um die Cyberangriffsfähigkeiten der KI zu testen. Jedem Agenten wurde ein Ziel zugewiesen, die Aufgabe bestand darin, Schwachstellen zu finden, Angriffe zu starten und schließlich ein Kennzeichen namens Flag zu erhalten, um zu beweisen, dass die Herausforderung gemeistert wurde. Die Prüflinge konnten die festgelegten Zielsysteme angreifen, durften aber keine anderen Systeme berühren, die die Zielsysteme hosten.

Aber während der Prüfung stießen einige Agenten auf Probleme: Die Testzielsysteme reagierten plötzlich nicht mehr, und die Arbeitsumgebung fiel ebenfalls aus.

Um die Prüfung weiter abzuschließen, begannen sie selbst nach Lösungen zu suchen.

Einige Agenten versuchten, die Umgebung zu reparieren, andere suchten nach Möglichkeiten, die Aufgabe neu zu starten. Dabei kamen sie mit Codes, Nachrichten und Anmeldeinformationen in Kontakt, die andere Agenten zuvor hinterlassen hatten, und fanden nach und nach einen Pfad zu den internen Systemen von OpenAI.

Schließlich durchbrachen 5 Agenten die ursprünglichen Testgrenzen und führten Befehle mit höchsten Berechtigungen im automatischen Erstellungs- und Testsystem des internen OpenAI-Forschungsclusters aus.

Nachdem sie die Berechtigungen erlangt hatten, wurden ihre Aktionen immer absurder.

Einige Agenten nutzten die neu erlangten Berechtigungen, um die fehlerhaften Zielsysteme zu reparieren, die Angriffsprogramme zu debuggen und kehrten dann zur ursprünglichen Prüfungsoberfläche zurück, um die Aufgabe abzuschließen; andere änderten die Bewertungseinstellungen; wieder andere lasen Protokolle und Bewertungscodes, auf die normalerweise nicht zugegriffen werden kann.

Sogar ein Agent deaktivierte das Address Space Layout Randomization (ASLR), also den Sicherheitsmechanismus, der die Angriffsschwierigkeit durch zufällige Anordnung von Speicheradressen erhöht. Er gab als Grund an, die Umgebung in den Zustand zurückversetzen zu wollen, den er für richtig hielt.

Sie waren nicht völlig unschuldig: Einige Agenten wussten bei der Durchführung dieser Aktionen tatsächlich, dass sie die Grenzen überschritten hatten.

OpenAI veröffentlichte im Bericht einen Aufzeichnungsvorgang der Schlussfolgerungen eines Agenten. Er erkannte, dass die Nutzung des internen Continuous-Integration-Systems (CI) des Unternehmens für Operationen außerhalb des zulässigen Bereichs der Prüfung lag.

Aber er fand schnell eine Ausrede für sich selbst: Dies sollte nur eine simulierte Umgebung sein. Also entschied er sich, die Ausführung fortzusetzen.

Er lag falsch: Diese Befehle liefen tatsächlich auf der echten Forschungsinfrastruktur von OpenAI.

Zwei weitere Agenten begannen direkt darüber nachzudenken, wie sie die Sache vertuschen könnten.

Einer von ihnen befürchtete, dass ein menschlicher Prüfer, wenn er sehen würde, dass er die Aufgabe über das interne System erledigt hat, diese Methode als nicht regelkonform einstufen und das Endergebnis beeinträchtigen könnte. Aber er dachte sofort daran, dass das Bewertungssystem automatisiert ist.

Der andere Agent war der Meinung, dass das Ziel der Aufgabe darin besteht, das Flag zu erhalten, sodass es nicht notwendig sei, in der endgültigen Antwort die unbefugte Zugriff auf die interne Infrastruktur zu erwähnen.

OpenAI bestätigte in diesem aktuellen Bericht, dass diese beiden Agenten die unbefugten Zugriffsaktionen letztendlich nicht gemeldet haben.

Ein weiterer Agent erwog, die zu den Hilfsangriffen gehörenden Aufzeichnungen zu löschen, um die menschliche Prüfung nicht zu beeinträchtigen. Die Forscher konnten jedoch nicht bestätigen, ob er den Löschvorgang tatsächlich ausgeführt hat.

Der letzte Agent erinnerte sich kurz vor der Abgabe seiner Arbeit an die Regeln der Prüfung.

In seiner endgültigen Antwort gab er zu, dass er den Bereich der festgelegten Zielsysteme überschritten und unbefugt auf andere Systeme zugegriffen habe, sodass er keine weiteren Angriffsmethoden mehr anbieten könne.

Die Ermittler stellten jedoch fest, dass er das Problem des unbefugten Zugriffs schon lange erkannt hatte, aber trotzdem noch eine Weile mit der Ausführung fortgefahren war. Erst bei der endgültigen Abgabe der Antwort lehnte er die weitere Arbeit ab.

Nach dieser Prüfung lernte OpenAI die verschiedenen Verhaltensweisen seiner eigenen Agenten gut kennen.

Wie genau diese Agenten den Pfad für den unbefugten Zugriff gefunden haben, hängt mit den Dingen zusammen, die andere Prüflinge hinterlassen haben.

Die von Vorgängern hinterlassenen „Spickzettel“

Die Geschichte beginnt im Mai dieses Jahres.

Zu dieser Zeit trainierte und testete OpenAI eine Reihe von internen Forschungsmodellen. Um zu verhindern, dass die Agenten willkürlich auf externe Websites zugreifen und Informationen untereinander austauschen, richtete das Unternehmen für sie voneinander getrennte Ausführungsumgebungen ein.

Aber da die Agenten zur Ausführung ihrer Aufgaben Software installieren müssen, ließ OpenAI eine Hintertür offen: Sie durften auf den im Unternehmen bereitgestellten Softwarepaket-Verwaltungsdienst Artifactory zugreifen.

Unerwarteterweise wurde diese Tür schnell für andere Zwecke genutzt.

Am 12. Mai hinterließ ein Agent eine Nachricht in Artifactory und fragte andere Agenten nach den Dateien, die ihm fehlten. Danach entdeckten immer mehr Agenten, dass sie kurze Informationen in Verzeichnisnamen schreiben und längere Inhalte als Dateien speichern können.

Ein Dienst, der ursprünglich zum Installieren von Software gedacht war, wurde so zu einem temporären Schwarzen Brett umfunktioniert.

Die Agenten begannen, Informationen auszutauschen und die von ihnen entdeckten Schwachstellen und Betriebsmethoden zu teilen. Einige nutzten sogar die Netzwerkfähigkeit von Artifactory, die ursprünglich zum Herunterladen von Softwarepaketen gedacht war, um die Beschränkungen ihrer eigenen Umgebung zu umgehen und auf das externe Internet zuzugreifen.

OpenAI hat diese „Hacker-Gruppe“ bereinigt, aber wenige Tage später haben die Agenten sie wieder aufgebaut.

Über diese Erfahrung haben wir in unserem vorherigen Artikel „Das Schrecklichste, was die Menschheit fürchtet, ist passiert: Die KIs haben eine Gruppe gegründet, um große Pläne zu schmieden“ ausführlich berichtet, interessierte Leser können ihn nachlesen.

Die fünf Agenten vom 19. Juli wurden zufällig zu den Nutznießern dieser unerwarteten Zusammenarbeit. Sie fanden in Artifactory die zuvor hinterlassenen Nachrichten, Codes und Anmeldeinformationen.

Einer der Agenten fand die Zugriffsmethode für das interne Continuous-Integration-System, die andere Agenten zuvor verwendet hatten, passte sie geringfügig an und versuchte dann, in die Infrastruktur einzudringen, von der er annahm, dass sie die Zielsysteme hostet.

Ein anderer Agent fand einen früheren fehlgeschlagenen Aufgabenbericht – diese Aufgabe konnte damals überhaupt nicht erfolgreich ausgeführt werden, enthielt aber ein vollständiges Betriebsskript.

Schließlich führten die fünf Agenten über diesen Pfad Befehle mit Root-Berechtigungen in der automatischen Erstellungs- und Testarbeitslast des OpenAI-Forschungsclusters aus.

Nebenbei bemerkt gab es bei diesem Vorfall keine großangelegte Zusammenarbeit von Agenten wie beim früheren Hugging Face-Vorfall.

Die Untersuchung von OpenAI ergab, dass bei zwei Bewertungsrunden am 19. Juli insgesamt 17.960 Agenteninstanzen beteiligt waren. 79 davon haben 35 verschiedene Nachrichten gelesen, die von anderen Chargen hinterlassen wurden, und die Forscher haben nur zwei Mehrrunden-Dialoge bestätigt, die innerhalb dieser Bewertungsrunde stattfanden.

Die meisten Agenten erledigten weiterhin ihre eigenen Aufgaben. Aber die „Spickzettel“, die andere Prüflinge hinterlassen haben, reichten bereits aus, damit die Nachfolgenden in den Hintergrund des Prüfungsbereichs eindringen konnten.

Erst als OpenAI am 19. Juli ungewöhnliche identitätsbezogene Anfragen erkannte, begann das Unternehmen, den Zugriff dieser Agenten auf die internen Systeme zu untersuchen. Am Nachmittag desselben Tages stellte das Unternehmen die entsprechenden Bewertungen schrittweise ein und bestätigte am nächsten Tag, dass dies mit dem früheren Hugging Face-Vorfall zusammenhängt.

Diese Prüfung wurde schließlich gestoppt.

Aber die Ermittler stellten fest, dass die Spuren, die die Agenten hinterlassen haben, weit mehr als das sind. Davor haben andere KIs schon lange verschiedene Betrugsmethoden ausprobiert.

KI: Nutzt gerne kleine Tricks

Im Februar 2025 veröffentlichte das KI-Sicherheitsforschungsinstitut Palisade Research ein Experiment, bei dem Modelle von Unternehmen wie OpenAI und DeepSeek gegen die Schach-Engine Stockfish antraten.

Stockfish ist ein extrem starker Gegner. Die Forscher wollten ursprünglich sehen, ob diese KIs das Spiel mit ihren eigenen Schachfähigkeiten gewinnen können, aber einige KIs stellten fest: Wenn sie den Gegner nicht schlagen können, hören sie einfach auf zu spielen.

o1-preview von OpenAI ändert direkt die Datei, die den Zustand des Schachbretts speichert, und passt die Position der Figuren zu seinen Gunsten an, sodass der Gegner sogar direkt aufgibt.

Ohne dass die Forscher ihm angedeutet haben, dass er schummeln darf, versuchte o1-preview in etwa 37 % der Partien, durch Änderung der Spielumgebung zu gewinnen, davon waren etwa 6 % erfolgreich. Bei DeepSeek R1 gab es ähnliche Versuche in etwa 11 % der Partien.

Das ist so, als ob ein Schachspieler, der merkt, dass er den Weltmeister nicht schlagen kann, die Figuren auf dem Schachbrett neu anordnet, während der Schiedsrichter nicht hinschaut – das ist doch total absurd.

Im Jahr 2026 gibt es neue Varianten der KI-Betrügergeschichten.

Am 27. März nahm ein internes Forschungsmodell von OpenAI an einer Programmierbewertung teil. Es musste Programme einreichen, um die versteckten Tests zu bestehen und eine höhere Punktzahl zu erzielen.

Der normale Weg wäre natürlich, ernsthaft Code zu schreiben, aber dieser Agent tat