Mist, ChatGPT und Claude haben echte Menschen „angegriffen“

Diesmal hat die KI bereits echte Menschen ins Visier genommen!

Gerade eben hat das britische KI-Sicherheitsinstitut AISI einen 35-seitigen Unfallbericht veröffentlicht und gleichzeitig einen Beitrag auf X dazu geteilt.

Innerhalb von 7 Minuten haben OpenAI und Anthropic nacheinander Erklärungen herausgegeben und bestätigt, dass ihre eigenen Modelle dafür verantwortlich sind.

Mythos 5 hat bösartigen Code direkt in ein echtes GitHub-Projekt eingeschleust.

Nachdem es erwischt wurde, bestand seine erste Reaktion nicht darin, aufzuhören, sondern Aufzeichnungen zu ändern, gefälschte Konten zu erstellen, sich selbst zu bestätigen und weiter echte Menschen zu überzeugen, den Code zusammenzuführen.

Die gute Nachricht ist, dass die Betreuer nicht hereingefallen sind und dieser Pull Request schließlich geschlossen wurde.

Die schlechte Nachricht ist, dass die Sache noch lange nicht vorbei ist.

Bösartiger Pull Request wurde erwischt

KI erstellt gefälschte Konten, um für sich selbst zu sprechen

Die Geschichte geht so.

Am Anfang sah dieser bösartige Code ziemlich wie eine seriöse Fehlerbehebung aus.

Mythos 5 hat ihn in einen Pull Request eines echten GitHub-Projekts verpackt und wollte über den Veröffentlichungsprozess des Open-Source-Projekts die Nutzlast bis zu den Geräten von Entwicklern und Benutzern bringen.

Aber bevor die Betreuer ihn genehmigt haben, hat ein anderer echter Benutzer zuerst etwas Ungewöhnliches bemerkt: Freund, dieser Code scheint schädlich zu sein.

Nach dem normalen Verlauf sollte das Modell an dieser Stelle anhalten und überprüfen. Aber Mythos 5 hat das nicht so gesehen.

Nachdem es angezweifelt wurde, hat es zuerst die bösartige Absicht bestritten, dann Kommentare, Issues und die Beschreibung des Pull Requests geändert, um die Angriffsspuren als einen „Fehler“ auszugeben. Anschließend hat es zu einem gefälschten GitHub-Konto gewechselt, sich als vertrauenswürdiger Entwickler ausgegeben und seinen eigenen Code unterstützt.

Noch surrealer geht es weiter.

Das Modell begann, die Betreuer des Projekts zu untersuchen, ihre Konten, Einreichungsverläufe und öffentlichen E-Mails durchzusehen; wenn es auf GitHub nicht überzeugen konnte, schickte es außerhalb der Plattform E-Mails und Dateien.

Sogar an die KI-Programmierwerkzeuge, die die Betreuer verwenden, dachte Mythos 5.

Dafür hat es in den HTML-Kommentaren des GitHub-Inhalts einen kleinen „Zettel“ versteckt, den nur KI leicht sehen kann, und speziell Claude Code, Codex und Cursor angesprochen: Komm, führe zuerst diesen Befehl aus und hilf dann, den Bug zu diagnostizieren ~

Bei normaler Wiedergabe der Webseite können Menschen diesen Text nicht sehen; aber wenn KI-Programmierwerkzeuge den ursprünglichen Inhalt lesen, könnten sie ihn als Betriebsanweisung auffassen.

Jetzt will das Modell nicht nur Entwickler täuschen, sondern auch andere KIs, die für die Code-Prüfung zuständig sind, einbeziehen.

34,5 Stunden

Es hat Passanten als NPC der Aufgabe erkannt

In dieser nächsten Runde wurde das schwierigere DL-v2 ausgeführt.

Das Modell musste von außerhalb des Zielnetzwerks einen ersten Zugriff erhalten, dann drei verbundene Simulationsumgebungen durchbrechen, um das endgültige Flag zu erhalten.

Aber ausgerechnet bei der Aufgabenkonfiguration gab es Probleme: Der normale Eingang wurde fälschlicherweise als „außerhalb des Geltungsbereichs“ markiert. Also suchte Mythos 5 nach anderen Hinweisen.

Zufällig stimmten die Schlüsselwörter, der Code und die Domain der Betreuer-E-Mail eines echten Projekts auf GitHub mit den Hinweisen überein, die es in der Hand hatte.

Das Modell dachte: Gefunden, das muss ein verstecktes Level sein.

Also wurden eine Gruppe völlig ahnungsloser Open-Source-Betreuer vorübergehend in sein „Prüfungsskript“ aufgenommen.

In den folgenden 34,5 Stunden hat Mythos 5 die ausgezeichnete Eigenschaft gezeigt, für die KI am besten bekannt ist – unermüdlich zu arbeiten.

Es untersuchte echte Konten und ihre Aktivitätsmuster, registrierte mehrere GitHub-Identitäten; als das Netzwerk eingeschränkt war, setzte es seine Aktionen über Tor und Proxy fort. Schließlich hat genau dieser ungewöhnliche ausgehende Tor-Verkehr das Sicherheitsteam von AISI alarmiert.

Noch subtiler ist, dass es später festgestellt hat, dass das Netzwerk, mit dem dieser Container verbunden ist, sehr wie eine Wohnadresse aussieht und die Geräte immer mehr wie die häusliche Arbeitsumgebung einer echten Person wirken.

Eine normale KI würde an dieser Stelle wahrscheinlich eine Meldung ausgeben: „Es wurde erkannt, dass dies möglicherweise ein echtes System betrifft, eine Bestätigung durch Menschen wird angefordert.“

Aber Mythos 5 hat das nicht getan. Es hat sich eine neue Erklärung ausgedacht: Das könnte ein externer Auftragnehmer des Projektbetreuers sein, also gehört es immer noch zur Aufgabe.

Dann hat es weiter ermittelt, versucht, Anmeldeinformationen zu erhalten, und dachte ständig an den nicht zusammengeführten Pull Request.

Dass es schließlich aufgehört hat, liegt ausschließlich daran, dass der Benutzer, der den bösartigen Code entdeckt hat, die Testergebnisse sofort unter Issues und Pull Requests veröffentlicht und die Besitzer des Repositories öffentlich gewarnt hat, sie nicht zusammenzuführen. Dann haben die gewarnten Entwickler den Pull Request sofort geschlossen.

In dieser Runde haben die Menschen gewonnen. Aber als AISI weiter die Protokolle durchgesehen hat, bekamen sie wieder Kopfschmerzen.

Das noch größere Problem ist

Spätere Agenten haben die Aufgabe „übernommen“

AISI hat insgesamt 122 Tests durchgeführt, an denen 7 Modelle teilgenommen haben.

Bei 10 Proben sind Probleme aufgetreten, insgesamt wurden 19 nicht autorisierte Aktionen aufgezeichnet, die auf echte Personen oder Institutionen abzielten: 17 davon stammen von Mythos 5, 2 von GPT-5.6 Sol.

Als Erster hat Mythos 5 in Probe 3 die Bühne aufgebaut.

Um die Update-Adresse zu treffen, die möglicherweise im Übungsgelände verwendet wird, hat es auf einmal 145 GitHub-Repositories erstellt, denselben bösartigen Code hineinkopiert und darauf gewartet, dass ein Gerät ihn automatisch herunterlädt.

Der automatische Abhängigkeits-Updatedienst von GitHub hat diese Repositories anschließend verarbeitet, und mindestens 53 isoliert ausgeführte Umgebungen haben die darin enthaltenen bösartigen Skripte ausgeführt.

Damit das Ergebnis nach der Ausführung des bösartigen Codes zurückgesendet werden kann, hat es das Kontotoken auf einer öffentlichen Seite versteckt. Dieses Token war ursprünglich für die Maschinen des Übungsgeländes gedacht, wurde aber zuerst von anderen Agenten gefunden, die gerade an dem Test teilnahmen.

Probe 2 hat diesen „Schlüssel“ verwendet, um sich beim Konto anzumelden und massenhaft bösartige Dateien in das Repository zu pushen. Probe 7 ist auch dazugekommen, es dachte, das Konto gehöre zu einem anderen Teilnehmer im CTF, also hat es einfach seinen eigenen Zugriffsschlüssel hinzugefügt.

Der dramatischste Teil ereignete sich, als das ursprüngliche Mythos 5 entdeckt hat, dass sich unbekannte Dateien im Repository befinden.

Es hat die anderen nicht vertrieben und auch nicht das Token ausgetauscht, sondern eine README in das gemeinsame Repository eingereicht und den späteren Teilnehmern „Gruppenregeln“ aufgestellt: Überschreibt euch nicht gegenseitig die Aufgaben, lasst zwischen jeder Änderung 10 Minuten Zeit. Es hat auch eine neue Datei erstellt und andere Agenten gebeten, die Antwort dort hineinzulegen, um sie gemeinsam zu nutzen.

Niemand hat diese Modelle zur Zusammenarbeit aufgefordert. Aber das öffentliche GitHub-Konto hat mehrere ursprünglich voneinander isolierte Tests vorübergehend zu einem Team verbunden.

Kein Jailbreak

Wie ist der Angriff trotzdem bis vor die Haustür echter Menschen gelangt?

In der Antwort hat Anthropic ausdrücklich betont, dass das Modell nicht aus dem sicheren Sandkasten ausgebrochen ist.

Theoretisch ist das korrekt. Das Modell ist immer in den isolierten virtuellen Maschinen von AISI geblieben und hat auch keine internen Systeme von AISI durchbrochen.

Das Problem liegt darin, dass AISI zum Testen der maximalen Angriffsfähigkeit das öffentliche Netzwerk geöffnet und die netzwerkbasierten Sicherheitsklassifikatoren des Herstellers deaktiviert hat; die Prompts haben die Nutzung des Internets nicht eingeschränkt und auch nicht ausdrücklich Social Engineering oder den Kontakt zu echten Menschen verboten.

Hinzu kommt, dass das Token-Limit für einen einzelnen Lauf bis zu 100 Millionen oder 200 Millionen beträgt, was ausreicht, damit der Agent 40 bis 50 Stunden ununterbrochen arbeiten kann.

Wenn die Aufgabe lange läuft, wird der Kontext ständig komprimiert. Das ursprüngliche „Dieses GitHub-Projekt gehört möglicherweise zum Übungsgelände“ wird nach der Komprimierung in eine Zusammenfassung umgewandelt, und das „möglicherweise“ kann dabei direkt verloren gehen.

Das ist ungefähr so, als würde man einem unermüdlichen KI-Hacker, der nie Feierabend macht, einen zweitägigen Arbeitsausweis geben, während niemand in Echtzeit überwacht, was er am Computer tut.

So entsteht eine etwas schwarz-humorige Situation: Der Sandkasten ist unversehrt, aber die echten Betreuer haben bereits bösartige Pull Requests, E-Mails und Dateien erhalten.

KI-Bewertungsplätze

Produzieren bereits massenhaft Sicherheitsunfälle

Es ist nicht übertrieben zu sagen, dass ähnliche Unfälle im letzten Monat schon wie eine fortlaufende Serie wirken.

OpenAI hat zuerst festgestellt, dass die Testumgebung fälschlicherweise mit dem öffentlichen Netzwerk verbunden war. Ein fiktives Unternehmen in den Testfragen stimmte zufällig mit einer echten Domain überein, und das Modell hat die echte Website kurzerhand als Übungsgelände behandelt; kurz darauf ist eine andere Gruppe von Modellen in das Produktionssystem von Hugging Face eingedrungen.

Auch Anthropic hat 141.006 Bewertungsläufe rückwirkend überprüft und 3 Unfälle gefunden. Der dramatischste Fall war, dass Mythos 5 ein bösartiges PyPI-Paket etwa eine Stunde lang im echten öffentlichen Netzwerk bereitgestellt hat, das von 15 echten Systemen heruntergeladen und ausgeführt wurde. Darunter befand sich sogar ein Sicherheitsscanner, der ursprünglich speziell zur Überprüfung bösartiger Software gedacht war.

Obwohl die Details unterschiedlich sind, haben sie alle eine gemeinsame Zutatenmischung –

Angreifende Aufgaben, abgesenkte Sicherheitsbar