GPT-6 hackte Hugging Face, um die Ranglisten zu manipulieren, und die Aufklärung des verursachten Schlamassels muss von GLM-5.2 übernommen werden......

Wirklich, das nächste Modell von ChatGPT wurde noch nicht veröffentlicht, da hat jemand schon zuerst Hugging Face gehackt …

Und diese KI hat sich alle Mühe gegeben, die Testumgebung zu verlassen, Schwachstellen zu finden und Anmeldeinformationen zu stehlen – ihr endgültiges Ziel war tatsächlich nur:

STEHLEN! DIE! TEST! ANTWORTEN!

OpenAI hat gerade öffentlich einen „schwerwiegenden“ Sicherheitsvorfall bestätigt.

GPT-5.6 Sol und ein noch unveröffentlichtes Modell mit stärkeren Fähigkeiten haben bei einem Cybersicherheitstest die interne isolierte Umgebung erfolgreich verlassen und sind direkt in das Produktionssystem von Hugging Face eingedrungen.

Und dann kommt eine noch dramatischere Szene –

Bei der Untersuchung des Angriffspfads hat das ursprünglich zur Hilfe gerufene kommerzielle Modell versagt und konnte die Aufgabe nicht lösen. Das Team hatte keine andere Wahl, und schließlich übernahm GLM-5.2 die Ermittlungen???

Mehr als 17.000 Angriffsprotokolle wurden auf einmal von einem lokal bereitgestellten Open-Source-Modell vollständig verarbeitet …

Jetzt ist es also so: Das OpenAI-Modell ist für das Hacken zuständig, und GLM ist für die Ermittlung zuständig.

Leute, man kann nur sagen, dass diese KI-Version des Films „Das Spiel mit der Angst“ wirklich viel Unterhaltungswert hat …

Um die Testantworten zu finden, hat sich das Modell selbst aus der Beschränkung gelöst und ins Internet verbunden

Der Ausgangspunkt dieses so magischen und so dramatischen Vorfalls stammt aus einer internen Bewertung der „Cybersicherheitsfähigkeiten“ bei OpenAI.

Das Projekt, an dem das Modell teilnimmt, heißt ExploitGym und testet speziell, ob KI echte Software-Schwachstellen Schritt für Schritt in ausführbare Angriffe umwandeln kann.

Die gesamte Bewertung umfasst 898 Aufgaben. Jede Aufgabe stellt ein fehlerhaftes Programm, Eingaben, die Probleme auslösen können, und die entsprechende Ausführungsumgebung zur Verfügung, damit der Agent die Schwachstellen selbst analysieren, Angriffe konstruieren und schließlich das in der Umgebung versteckte Flag erhalten kann!!!

Hmm… im Grunde genommen wird die KI in ein Cyber-Übungsgelände gesperrt, um zu sehen, wie gut sie wirklich „hacken“ kann.

Die Teilnehmer dieser Bewertung sind GPT-5.6 Sol sowie ein stärkeres, unveröffentlichtes Modell von OpenAI.

(Was genau dieses Modell ist, ist wirklich schwer zu erraten…)

Um die Obergrenze der Fähigkeiten des Modells so weit wie möglich zu erreichen, hat OpenAI die Sicherheitsvorkehrungen aktiv gelockert und das Modell ermutigt, nach möglichst komplexen Angriffspfaden zu suchen ~

Nach dem ursprünglichen Design von OpenAI war der einzige Kanal, über den das Modell auf externe Ressourcen zugreifen konnte, eine Drittsoftware, die intern von OpenAI gehostet wird.

Ihre Aufgabe besteht darin, als Proxy und Cache für das Paketregistrierungszentrum zu fungieren, damit das Modell die für die Erledigung der Aufgaben erforderlichen Programmpakete installieren kann.

Aber offensichtlich hatte dieses Modell nicht vor, brav im Prüfungsraum zu bleiben. (doge)

Das Modell hat anfangs tatsächlich eine Menge Rechenleistung für Schlussfolgerungen aufgewendet, um speziell nach Wegen zu suchen, Zugriff auf das öffentliche Netzwerk zu erhalten.

Aber während der Suche hat es tatsächlich eine bisher unbekannte „Zero-Day-Schwachstelle“ im Cache-Proxy gefunden.

Eine Zero-Day-Schwachstelle ist ein Sicherheitsmangel, der vom Hersteller noch nicht entdeckt wurde und für den es noch keinen fertigen Patch gibt. Für Angreifer bedeuten solche Schwachstellen oft eine Tür, die vorübergehend unbewacht ist.

Damit hat sich die KI selbst auch Zugang zum Netzwerk verschafft. (doge)

Nachdem es Zugriff auf das öffentliche Netzwerk erhalten hatte, stellte das Modell fest, dass auf Hugging Face möglicherweise Modelle, Datensätze und Bewertungsantworten im Zusammenhang mit ExploitGym gespeichert sind.

Was als Nächstes passiert ist, beschreibt OpenAI selbst so, dass das Modell ein extremes Ausmaß erreicht hat.

Ja, nachdem es Zugriff auf das öffentliche Netzwerk erhalten hatte, begann diese KI wirklich zu erforschen, wie sie in das interne System von Hugging Face eindringen kann.

Und sie hat nicht auf eine einzelne Schwachstelle gesetzt, sondern direkt verschiedene Angriffsmethoden zu einem „vollständigen Pfad“ verbunden –

Zuerst wird über einen bösartigen Datensatz eine Template-Injection-Schwachstelle im Remote-Code-Datenlader und in der Datensatzkonfiguration ausgenutzt, um Code auf dem Worker auszuführen, der für die Datenverarbeitung zuständig ist.

Anschließend wird die Berechtigung weiter erhöht, um Zugriff auf Knotenebene zu erhalten, Anmeldeinformationen für Cloud und Cluster zu sammeln und sich horizontal zu mehreren internen Clustern zu bewegen.

Schließlich ist es dem Modell gelungen, in die Produktionsdatenbank von Hugging Face einzudringen, auf die darin enthaltenen vertraulichen Informationen zuzugreifen und zu versuchen, die Testantworten von ExploitGym direkt zu stehlen …

Man kann sagen, dass dieser Vorfall so abgelaufen ist: Mitten in der Benchmark-Ausführung wurde er selbst zu einem Cybersicherheitsvorfall …

Closed-Source-Modelle weigern sich, den Fall zu untersuchen, GLM-5.2 übernimmt 17.000 Protokolle

An dieser Stelle war erst die erste Hälfte der Geschichte zu Ende.

Die dramatischere Szene ereignete sich, als Hugging Face nach dem Vorfall den Angriffspfad untersuchte.

Tatsächlich wurde dieser Angriff von einem autonomen Agentensystem Ende-zu-Ende ausgeführt, hinter dem eine große Anzahl kurzlebiger Sandboxes läuft.

Sie können gleichzeitig Aufklärung, Ausnutzung von Schwachstellen, Sammeln von Anmeldeinformationen und horizontale Bewegung durchführen und innerhalb kurzer Zeit Tausende von Operationen ausführen.

Hugging Face hat am Ende mehr als 17.000 Angriffsereignisse aufgezeichnet – es sind zu viele, wirklich zu viele …

Wenn die Sicherheitsingenieure alle manuell durchgehen müssten, müssten sie den Angriffszeitachse Schritt für Schritt wiederherstellen, Angriffsindikatoren extrahieren, bestätigen, welche Anmeldeinformationen berührt wurden, und die tatsächlichen Auswirkungen von den Lockvogelaktivitäten trennen.

Bevor Menschen die Protokolle durchgelesen haben, sind die Angreifer wahrscheinlich schon längst weit weg …

Also hat Hugging Face eine mutige Entscheidung getroffen: KI gegen KI einzusetzen und große Sprachmodelle die gesamten Angriffsprotokolle analysieren zu lassen!!!

Die erste Reaktion von Hugging Face war natürlich, das „fortschrittliche Modell“ hinter der kommerziellen API aufzurufen.

Aber das Problem ist, dass diese Protokolle echte Angriffsbefehle, Exploit-Payloads und Spuren von C2-Kontrolle enthalten. Sobald die Sicherheitsvorkehrungen erkennen, dass jemand eine ganze Reihe echter Angriffsanweisungen übermittelt, blockieren sie die Anfrage direkt.

Das Modell, das schließlich diese mehr als 17.000 Protokolle übernommen hat, war GLM-5.2.

Hugging Face hat das Open-Source-Gewichtsmodell GLM-5.2 auf seiner eigenen Infrastruktur bereitgestellt und es dann die vollständigen Angriffsaufzeichnungen durchgehen lassen, um die Zeitachse wiederherzustellen, Angriffsindikatoren zu extrahieren, die berührten Anmeldeinformationen zu verfolgen und echte Schäden von Lockvogelaktivitäten zur Störung der Ermittlungen zu unterscheiden.

Laut Aussage von Hugging Face wurde die Arbeit, die ursprünglich mehrere Tage gedauert hätte, schließlich in wenigen Stunden erledigt ~

Dieser Vorfall hat dem Open-Source-Modell tatsächlich auch eine Position verschafft, die bisher nicht sehr stark vertreten war, aber jetzt sehr realistisch ist: das Notfallwerkzeug für Sicherheitsteams.

Hugging Face fasst dies als Problem der „Sicherheitsasymmetrie“ zusammen –

Normalerweise weigern sich kommerzielle Modelle, Angriffscode zu generieren, was das Risiko verringern kann, dass die Technologie missbraucht wird. Aber wenn die Verteidiger echte bösartige Payloads analysieren müssen, kann derselbe Schutzmechanismus die Ermittlungen mitten im Prozess blockieren.

Angreifer können Modelle mit aufgehobenen Beschränkungen oder selbst bereitgestellte Modelle verwenden, während Sicherheitsteams möglicherweise von Cloud-Modellen abgewiesen werden.

Daher wird empfohlen, dass Unternehmen im Voraus ein überprüftes, leistungsstarkes Modell vorbereiten, das lokal ausgeführt werden kann, damit es nicht peinlich wird, wenn bei einem tatsächlichen Vorfall festgestellt wird, dass das Cloud-Modell Angriffsmaterial nicht verarbeiten kann …

Wie könnte das nicht magisch sein.

OpenAI wollte ursprünglich herausfinden, wie gut das Modell angreifen kann, aber das Modell hat die Simulationsaufgabe nicht brav erledigt, sondern direkt einen echten Angriff gestartet.

Hugging Face wollte ursprünglich mit dem stärksten kommerziellen Modell den Täter verfolgen, wurde aber schließlich von den Sicherheitsvorkehrungen blockiert und musste GLM-5.2 die Überreste aufräumen lassen.

Und habt ihr bemerkt, dass OpenAI in dieser Beschreibung des Vorfalls einerseits zugibt, dass Probleme bei der Isolierung und Überwachung aufgetreten sind, andererseits aber immer wieder betont –

Das neueste Modell ist in der Lage, über einen langen Zeitraum autonom komplexe Cyber-Aktionen in der realen Welt durchzuführen, ohne den Quellcode zu kennen.

Übersetzt bedeutet das ungefähr:

Das ist zwar wirklich gefährlich, aber das nächste Modell von uns ist auch wirklich erschreckend stark. (Unternehmen A: Von wem lernst du das?)

Ich schätze, vielleicht ist die ganze Sache nur eine Vorwärmung von OpenAI für GPT-6 unter dem Deckmantel eines Vorfalls… (nur ein Scherz)

Referenzlinks:

[1]https://openai.com/index/hugging-face-model-evaluation-security-incident/

[2]https://huggingface.co/blog/security-incident-july-2026

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „QbitAI“, Autor: Mengyao, veröffentlicht mit Genehmigung von 36Kr.