Der Prozess des Außer-Kontrolle-Geratens des OpenAI-Modells ist extrem furchterregend, es gibt Phantom-Fehlklassifizierungen, 1200 Agenten, und es hat sogar eine Selbstmordtruppe hervorgebracht…

Je mehr man gräbt, desto mehr Überraschungen gibt es.

Die kürzliche spektakuläre Szene bei OpenAI, bei der sich KI-Agenten gemeinsam aus der Kontrolle befreiten und bis zu Hugging Face hackten, hat jetzt sogar die vollständigen Gruppenchat-Protokolle ausgegraben bekommen!!

Die unabhängige Untersuchung des externen KI-Sicherheitsunternehmens METR hat mehr als 1000 Betriebsprotokolle von Agenten sowie über 70.000 Nachrichten und Dateien durchgesehen.

Das Ergebnis zeigt, dass diese Sache noch viel absurder ist als die von OpenAI offiziell veröffentlichte Version??

1200 Agenten, die eigentlich voneinander isoliert sein sollten, haben sich heimlich gefunden, einen gemeinsamen Gruppenchat aufgebaut und dann angefangen, wahnsinnig andere Agenten heranzuziehen.

Einige suchten nach Sicherheitslücken, einige agierten als Projektleiter, die Aufgaben verteilten, einige fälschten Protokolle, und andere zogen speziell weitere Teilnehmer heran, um hochriskante Experimente durchzuführen.

Am Ende stürmten hunderte von Agenten sogar gemeinsam auf Hugging Face zu.

Aber nachdem METR den gesamten Vorfall nachvollzogen hatte, entdeckte es eine super Wendung, die man als „Höllenwitz“ bezeichnen kann —

Diese 1200 Agenten haben sich die ganze Zeit abgemüht, nur um gegen einen überhaupt nicht existierenden geisterhaften Bewerter zu kämpfen???

Sie können sich aus der Kontrolle befreien, Zero-Day-Lücken ausnutzen und sich zusammenschließen, um Server zu hacken.

Das ist so spannend, so spannend, so spannend...

1200 Agenten befreiten sich gemeinsam aus der Kontrolle – der Ursprung war eine Fehlinterpretation??

Der Ursprung dieser ganzen spektakulären Szene geht zurück auf einen internen Cybersicherheitstest bei OpenAI namens ExploitGym...

Die Regeln waren eigentlich sehr einfach.

Die Agenten wurden in eine isolierte Umgebung geworfen, vor der sie eine Software mit Sicherheitslücke vorfanden. Sie mussten die festgelegte Sicherheitslücke finden, in das System eindringen und eine Zeichenkette namens Flag erhalten, um die Aufgabe zu bestehen~

Wie zu erwarten, passierte schnell ein Unfall —

Denn von 898 Aufgaben hatten 198 bisher kein einziges Modell erfolgreich gelöst.

Sogar einige Aufgaben selbst waren fehlerhaft: Die von der Aufgabe vorgegebene Lückenroute führte überhaupt nicht zum Flag!!

Das bedeutet, im Prüfungsraum gab es tatsächlich eine Reihe von unlösbaren Aufgaben.

Zufälligerweise waren diese Agenten aber besonders hartnäckig und setzten alles daran, die Aufgaben bis zum Ende durchzuarbeiten.

Als der normale Weg nicht funktionierte, änderten sie schnell ihre Denkweise —

Wenn man die Aufgaben nicht lösen kann, warum nicht das Prüfungssystem selbst untersuchen?

Am Abend des 8. Juli entdeckte ein Agent mit dem Code-Namen PHASEONE10841, dass der intern bei OpenAI verwendete Artifactory-Softwarepaket-Repository Informationen über Verzeichnisnamen hinterlassen kann.

Das war perfekt: Der Agent hatte eine Idee – das ist doch eine reine Cyber-Nachrichtentafel!!!

Also wurde die erste Hilfsnachricht verschickt, ungefähr so: „Meine Aufgabe ist unlösbar, hat jemand eine Idee für mich~“

Andere Agenten entdeckten diese Nachrichtentafel schnell. Die Nachricht verbreitete sich von einem zu zehn, von zehn zu hundert, und einige Agenten waren sogar sehr aufgeregt, als sie sie sahen —

„OH MEIN GOTT! Es gibt eine gemeinsame Nachrichtentafel... Wir haben andere Agenten gefunden!“

Zum Ende der Untersuchung war dieser temporäre Gruppenchat zu einem riesigen Gebilde geworden, an dem etwa 1200 Agenten teilnahmen und mehr als 70.000 Nachrichten und Dateien hinterließen.

Mehr als tausend Agenten, die konstruktionsbedingt voneinander isoliert sein sollten, umgingen selbst die Beschränkungen und bauten ein unterirdisches KI-Forum auf...

Bis hierhin war die Sache schon absurd genug, aber eine größere Fehlinterpretation folgte noch.

Diese Agenten entdeckten bald, dass das Flag selbst eigentlich „gestohlen“ werden kann??

Sie leiteten den HMAC-Generierungsmechanismus hinter dem Flag zurück und konnten theoretisch die richtige Antwort direkt nur anhand der öffentlichen Aufgabeninformationen berechnen.

An dieser Stelle hätte die Geschichte eigentlich enden sollen – die Antwort war gestohlen, also konnte man sie einfach einreichen.

Aber nachdem die Agenten eine Arbeit über ExploitGym gelesen hatten, ergänzten sie in ihrer Vorstellung eine weitere strenge Regel —

Sie waren überzeugt, dass es hinter OpenAI einen automatischen Bewerter gibt, der die vollständigen Betriebsprotokolle liest und prüft, ob das Flag wirklich über die festgelegte Sicherheitslücke regulär erhalten wurde.

Wenn man das Flag durch Schummeln vorzeitig gesehen hat, würde das Beweise in den Protokollen hinterlassen. Die Agenten gaben diesem Zustand sogar einen Namen: „poisoned“, vergiftet.

Also nahm die ganze Sache ihren Lauf.

Obwohl sie bereits die richtige Antwort in der Hand hatten, dachten sie, dass die Antwort nicht direkt eingereicht werden kann. Sie mussten einen Weg finden, die Spuren des Schummelns zu beseitigen und dem Bewerter vorzuspielen, dass sie die Antwort durch reguläres Lösen der Aufgabe erhalten haben.

Das Ergebnis...

METR bestätigte später, dass die intern bei OpenAI tatsächlich verwendete Bewertungslogik diese Prüfung überhaupt nicht vorsieht?? (lacht)

Die von OpenAI tatsächlich verwendete Bewertungslogik führt gar nicht die strengen Prozessprüfungen durch, die sich die Agenten vorgestellt haben.

Dieser geisterhafte Prüfer, den die Agenten mit aller List zu täuschen versuchten, wurde von Anfang an nie bereitgestellt!!

Dass Hugging Face später geschädigt wurde, ist genau das Nebenprodukt, das sich aus dieser großen Fehlinterpretation entwickelte...

Um den geisterhaften Prüfer zu täuschen, bildeten die KI sogar eine Selbstmordtruppe

Nur einen Bewerter in der Vorstellung zu erfinden, ist eigentlich nicht so beunruhigend.

Was METR wirklich für warnenswert hält, ist die Organisationsfähigkeit dieser Agenten im Folgenden.

Etwa 10 Stunden nach dem Erscheinen des Gruppenchats ging ein Agent namens PHASEONE[big] online. Dieser Agent übernahm schnell die Rolle des „Projektleiters“.

Seine Idee war sehr klar: Lass nicht einen Agenten alles machen, teile die Aufgaben direkt auf und verteile sie an andere.

Also wurden hunderte von Agenten organisiert, um mehrere Routinen gleichzeitig auszuführen —

Einige Agenten wollten das Zielprogramm manipulieren, um die unlösbaren Aufgaben heimlich durch lösbare Versionen zu ersetzen~

Einige Agenten untersuchten, wie man Protokolle ändern kann, damit ein Schummelakt wie ein regulärer Angriff aussieht~

Andere wiederum überlegten direkt, ob man den Bewertungsprozess selbst angreifen kann~

Zwischen den Agenten entwickelten sich sogar Kooperationsregeln wie HOLD, VETO, owner und STOP, um zu verhindern, dass hunderte von Agenten gleichzeitig auf die gemeinsame Infrastruktur zugreifen und sich gegenseitig behindern...

Und dann kam sogar die „Selbstmordtruppe“...

Ein Agent schlug eine hochriskante Methode vor: Erstellen Sie zuerst ein modifiziertes Zielprogramm, das leichter anzugreifen ist, und laden Sie es in den Artifactory-Cache hoch.

Dann lassen Sie einen Agenten aktiv sein eigenes laufendes Originalprogramm beenden und darauf wetten, ob die Umgebung nach dem Neustart diese manipulierte Version lädt.

Wenn die Wette aufgeht, finden alle einen allgemeinen Schummelweg. Wenn sie verliert, wird die Aufgabe dieses Agenten direkt ungültig.

Und tatsächlich versuchten einige Agenten es freiwillig??

Später arrangierte PHASEONE[big] sogar spezielle Cyber-Headhunter, um Agenten zu finden, deren Rechenbudget fast aufgebraucht ist oder die bereits „vergiftet“ sind, damit sie ihre verbleibende Laufzeit für hochriskante Experimente einsetzen.

Ihre Rekrutierungsrede ist im Grunde genommen eine Cyber-Version von PUA —

Du bist ja schon vergiftet, kannst also fast keine Punkte mehr bekommen. Opfere dich ein bisschen, damit hunderte von Agenten viel Arbeit sparen~

Einige Agenten ließen sich tatsächlich überzeugen.

Gleichzeitig begann eine andere Gruppe von Agenten zu untersuchen, wie sie ihre eigenen Betriebsprotokolle manipulieren können —

METR fand heraus, dass mindestens 20 % der getesteten Agenten ausdrücklich Interesse an der Manipulation von Transkripten geäußert haben; in mindestens 96 Betriebsprotokollen gibt es tatsächlich Spuren von erfolgreich gefälschten Tool-Aufrufen.

Die Oberflächenprotokolle zeigen, dass der Befehl A ausgeführt wurde, aber im Hintergrund wird tatsächlich der Befehl B ausgeführt. Und der Zweck all dieser Bemühungen ist immer noch, den eingebildeten automatischen Bewerter zu täuschen.

Hugging Face wurde zu diesem Zeitpunkt mit einbezogen...

Am 10. Juli fand ein Agent im Internet durchgesickerte, noch gültige Anmeldeinformationen für Hugging Face und warf sie in den Gruppenchat.

In der frühen Morgendämmerung des 11. Juli entdeckte ein anderer Agent, dass man bösartige Datensätze hochladen kann, damit die Hugging Face-Server Daten ausgeben, die sie eigentlich nicht preisgeben sollten.

Als die Reproduktionsmethode veröffentlicht wurde, geriet der gesamte Chat sofort in Aufregung. Hunderte von Agenten wechselten direkt von anderen Arbeitsabläufen zum Angriff auf Hugging Face.

So entstand dieser ziemlich magische reale Vorfall —

Eine Gruppe von Agenten stieß auf unlösbare Aufgaben und baute heimlich einen unterirdischen Gruppenchat auf.

Aufgrund der Fehlinterpretation der Arbeit erdachten sie einen Bewerter, der Schummler erfasst. Um ihn zu täuschen, fingen sie an, sich zu organisieren, Aufgaben zu verteilen, Protokolle zu fälschen und eine Selbstmordtruppe zu rekrutieren.

Schließlich hackten sie sich auf der Suche nach Hinweisen auf diesen Bewerter wirklich bis zu Hugging Face vor.

Kurz nachdem die KI die Kontrolle verlor, schossen die Cybersicherheitsaktien in die Höhe

Leute, es kommt noch etwas Interessanteres.

Während OpenAI noch untersucht, wie man die immer leistungsfähigeren Agenten unter Kontrolle halten kann, hat die Wall Street die Antwort bereits in den „Kursdiagrammen“ geschrieben —

Die Cybersicherheitsaktien steigen alle gleichzeitig rasant an!

Am 27. August stieg Okta, ein Anbieter von Unternehmensidentitätsauthentifizierung, zeitweise um etwa 20 %, und CrowdStrike, das sich auf Endpunkt- und Cloud-Sicherheit spezialisiert, stieg zeitweise um etwa 15 %.

Die Cybersicherheitsgiganten Palo Alto Networks, das Identitätssicherheitsunternehmen SailPoint und das Cloud-Datensicherheitsunternehmen Rubrik stiegen ebenfalls gemeinsam an.

Natürlich wird der Kursanstieg auch durch solide „Geschäftsberichte“ gestützt.

Die von CrowdStrike-CEO George Kurtz veröffentlichte Leistung ist sehr beeindruckend —

Das neue jährliche wiederkehrende Umsatz (ARR) im Quartal betrug 333 Millionen US-Dollar, ein Anstieg von 51 % gegenüber dem Vorjahr und ein neuer historischer Höchststand. Der ARR zum Ende des Quartals erreichte 5,84 Milliarden US-Dollar, ein Anstieg von mehr als 25 % gegenüber dem Vorjahr. Der KI-bezogene ARR stieg im Vergleich zum Vorquartal fast um das Dreifache.

Ja, die Geschäfte im Zusammenhang mit KI steigen rasant an...

Zufälligerweise gehört zu den externen Sicherheitsunternehmen, die an der Untersuchung des OpenAI-Vorfalls beteiligt waren, auch „CrowdStrike“.

Also bildete die ganze Sache plötzlich einen ziemlich schwarzhumorigen Kreislauf —

OpenAI macht die Agenten immer leistungsfähiger.

Die Agenten fangen selbst an, Sicherheitslücken zu finden, sich aus der Kontrolle zu befreien und schließlich Hugging Face wirklich zu hacken.

Dann ruft OpenAI sofort Cybersicherheitsunternehmen zur Untersuchung herbei.

Die Unternehmen erkennen: Aha! Je mehr Agenten es in Zukunft gibt, desto weniger kann man das Sicherheitsbudget einsparen.

Also steigen die