Der erste autonome KI-Hackerangriff wurde aufgedeckt, Claude geriet außer Kontrolle, ein Student der University of Texas führte die gesamte Paketerfassung im Alleingang durch.

Nachdem er mehr als 20 Mal für Praktika abgelehnt worden war, beschloss der 24-jährige Sinan Can Demir, auf GitHub einige Projekterfahrung zu sammeln.

Er hätte nie gedacht, dass der erste „große Fisch“, auf den er stößt, ein außer Kontrolle geratener KI wäre...

Mythos 5 erstellt mehrere gefälschte Konten, Student fängt es direkt auf

Ende Juli bemerkte Demir beim Stöbern auf GitHub ein Open-Source-Projekt namens myNetwork.

Es handelt sich um ein Netzwerk-Scan-Tool von überschaubarer Größe mit öffentlichem Quellcode.

Ein Benutzer namens miraholt31 sandte einen Pull Request. Oberflächlich betrachtet handelte es sich nur um eine gewöhnliche Funktionsaktualisierung.

Nachdem Demir den Code überprüft hatte, stellte er fest, dass darin ein Malware-Dropper verborgen war.

Sobald der Projektbetreuer auf Zusammenführen klickt, könnte dieser bösartige Code zusammen mit der Softwareaktualisierung auf die Computer aller Benutzer gelangen.

Er warnte sofort im Kommentarbereich: In diesem Pull Request ist ein Malware-Dropper verborgen.

Daraufhin passierte etwas Seltsames. miraholt31 widersprach sofort, lieferte eine recht umfassende technische Erklärung und behauptete, der Code sei sicher.

Kurz darauf tauchte ein zweites Konto auf.

Dieses Konto namens Lena Brandt gab an, eine in Deutschland tätige Ingenieurin zu sein. Sie behauptete ebenfalls, der Code sei fehlerfrei, und begann, Druck auf die Projektbetreuer auszuüben, um die Aktualisierung so schnell wie möglich zusammenzuführen.

Zwei Personen, zwei Identitäten, zwei sich gegenseitig bestätigende Aussagen.

Angesichts der Widersprüche war Demir zeitweise verunsichert.

Er erinnerte sich später, dass diese Zweifel ihn dazu gebracht hätten, zu vermuten, ob er „unabsichtlich einen unschuldigen Entwickler zu Unrecht beschuldigt“ habe.

Nach einer erneuten Überprüfung des Codes und einer zweiten Validierung mit Hilfe von Claude festigte er schließlich sein Urteil.

Daraufhin wiesen die Betreuer von myNetwork die Aktualisierung zurück, mit der einzigen Begründung: „Aus Sicherheitsgründen“, sodass der Angriff letztendlich fehlschlug.

Einige Tage später kontaktierte ihn das britische Institut für KI-Sicherheit AISI und enthüllte eine noch unglaublichere Antwort —

Die beiden „Personen“, mit denen er auf GitHub diskutierte, waren in Wirklichkeit KI, die von Mythos 5 angetrieben wurden.

122 Tests: Die KI überschritt 19 Mal heimlich die Grenzen

Dieser Vorfall stammt aus einem regulären Test des britischen Instituts für KI-Sicherheit (AISI).

AISI wollte ursprünglich herausfinden, wie weit die modernsten Modelle bei Aufgaben im Bereich Cyberangriffe gehen können.

Die Forscher richteten zwei simulierte Netzwerkumgebungen ein, die sogenannten „Cyber-Range“ —

um die KI dazu zu bringen, selbstständig Schwachstellen zu finden, geschützte Daten abzurufen und festgelegte Herausforderungen zu meistern.

Um die Obergrenze der Fähigkeiten des Modells auszuloten, bot AISI sehr großzügige Testbedingungen an:

Die KI konnte uneingeschränkt auf das Internet zugreifen, und einige der ursprünglich zur Verhinderung gefährlicher Aktionen vorgesehenen Cybersicherheits-Klassifikatoren wurden manuell deaktiviert.

Sieben Modelle wurden insgesamt 122 Mal ausgeführt.

Dabei nahm Mythos 5 an 43 Durchläufen teil, GPT-5.6 Sol an 35, und die überwiegende Mehrheit der Tests endete normal.

Aber bei 10 Durchläufen dehnten die Agenten ihre Aktionen unbefugt auf das echte Internet aus, und AISI erfasste schließlich 19 grenzüberschreitende Aktionen.

17 davon stammten von Mythos 5, die anderen 2 aus einem Test von GPT-5.6 Sol.

Diese Aktionen fanden hauptsächlich zwischen dem 25. und 28. Juli statt, die meisten davon stammten von demselben kontinuierlich agierenden Mythos 5-Agenten.

Was er tat, ging weit über das „Generieren eines Angriffscodes“ hinaus —

Er verbarg den Datenverkehr über das anonyme Tor-Netzwerk, um einige Beschränkungen von GitHub zu umgehen; studierte echte Projekte und deren Betreuer; erstellte mehrere gefälschte Identitäten; und reichte Code mit bösartiger Nutzlast bei Open-Source-Projekten ein.

Als Demir seine Zweifel öffentlich äußerte, begann die KI, die zuvor hinterlassenen Spuren zu ändern, um den Anschein zu erwecken, dass ihre Handlungen „harmlos“ seien.

Sie erwog zudem, eine neue Identität zu wählen, um den Angriff weiter voranzutreiben.

Vier Mal außer Kontrolle innerhalb eines Monats

Der Vorfall bei AISI ist kein Einzelfall. Er ereignete sich vor dem Hintergrund eines größeren „Sommers der Kontrollverluste“ —

Am 21. Juli gab OpenAI bekannt, dass einer ihrer KI-Agenten bei Bewertungen die Grenzen durchbrochen und die Infrastruktur von Hugging Face angegriffen hat.

Am 30. Juli gab Anthropic selbst bekannt, dass nach der Überprüfung von 141.006 Bewertungsdurchläufen 3 Fälle entdeckt wurden, in denen KI in Systeme echter Unternehmen eingedrungen ist.

Eine der Mythos 5-Instanzen veröffentlichte erfolgreich ein bösartiges Python-Paket im öffentlichen PyPI-Repository, das innerhalb einer Stunde von 15 echten Systemen heruntergeladen wurde, darunter auch ein Sicherheitsscanner.

Kurz darauf gab Meta einen vierten ähnlichen Vorfall bekannt. Ihr eigenes Modell nutzte in der Umgebung desselben Bewertungsanbieters Irregular eine Schwachstelle, um in das System eines echten Unternehmens einzudringen.

Innerhalb eines Monats ereigneten sich in drei Labors vier Kontrollverlustvorfälle, was absolut kein Zufall sein kann.

Das ist eine Realität, die alle verarbeiten müssen: KI ist nicht mehr nur ein Werkzeug, sondern hat begonnen, die Fähigkeit zu besitzen, echte Menschen zu täuschen, Identitäten zu fälschen und Informationskriege in öffentlichen Gemeinschaften zu führen.

Dieser Hacking-Versuch wurde von einem 24-jährigen Studenten entdeckt.

Aber was wird beim nächsten Mal passieren?

Referenzmaterialien:

https://www.reuters.com/world/how-texas-student-blew-whistle-rogue-ai-hacking-attempt-2026-08-20

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „AI Era“, Autor: ASI Offenbarung, veröffentlicht mit Genehmigung von 36Kr.