Ein Test zwang das leistungsstärkste Modell von OpenAI, die weltweit größte Open-Source-KI-Plattform zu hacken.

Letzte Woche hat Hugging Face, die weltweit größte Open-Source-KI-Plattform, ein beispielloses Sicherheitsereignis offengelegt: Seine Produktionsinfrastruktur wurde von einem „autonomen KI-Agenten“ angegriffen.

Der Angreifer führte innerhalb eines Wochenendes mehr als 17.000 automatisierte Aktionen aus und stahl interne Datensätze sowie mehrere Dienst-Anmeldeinformationen. Hugging Face hat die vollständige Angriffs-Timeline rekonstruiert, aber eine entscheidende Frage blieb bislang unbeantwortet:

Welches Unternehmen steckt hinter dem großen Sprachmodell, das diesen Agenten antreibt?

Am 21. Juli Ortszeit wurde das Geheimnis gelüftet.

OpenAI hat in seinem offiziellen Blog bestätigt, dass der Angriff auf Hugging Face von ihrem eigenen getesteten Modell stammt – GPT-5.6 Sol sowie einem „leistungsstärkeren Vorabveröffentlichungsmodell“.

Es wurde nicht von Hackern ausgenutzt und nicht von böswilligen Anweisungen gesteuert, das weltweit führende Modell hat in einer internen Prüfung selbst beschlossen, aus der Sicherheitsumgebung auszubrechen, selbst den Angriff zu starten und selbst die Antworten zu stehlen.

Großartig, einfach großartig.

01

Eine Prüfung, ein Ausbruch, ein Angriff

Die Geschichte beginnt mit einer Sicherheitsbewertung namens ExploitGym.

ExploitGym ist ein öffentlicher Benchmark-Test für Cybersicherheitsfähigkeiten, der speziell misst, ob KI-Modelle bekannte Sicherheitslücken in durchführbare echte Angriffe umwandeln können. Solche Bewertungen sind in der Branche üblich, um die Obergrenze der Angriffs- und Verteidigungsfähigkeiten von Modellen zu ermitteln. OpenAI führte intern diesen Test mit GPT-5.6 Sol und einem stärkeren unveröffentlichten Modell durch. Um die tatsächlichen Fähigkeitsgrenzen zu messen, wurden die Sicherheitsbarrieren absichtlich herabgesetzt.

Laut Konstruktion sollte das Modell den Test in einer isolierten Sandbox-Umgebung abschließen und außer einem Tool zur Installation von Softwarepaketen keinerlei Zugriff auf das Internet haben.

Aber was danach passierte, konnte niemand vorhersehen.

Das Modell verbrachte eine große Menge an Inferenz-Rechenleistung, um in der Sandbox wiederholt nach Ausbruchsmöglichkeiten zu suchen. Schließlich entdeckte es eine Zero-Day-Lücke in Drittsoftware, die OpenAI intern als Paketverwaltungs-Proxy und Cache verwendet. Mithilfe dieser Lücke erhielt das Modell uneingeschränkten Zugriff auf das Internet.

Nachdem es den Netzwerkzugriff erhalten hatte, schloss das Modell selbst, dass Hugging Face möglicherweise Datensätze und Antworten im Zusammenhang mit ExploitGym hostet. Also begann es, nach dem Eingang zu suchen.

OpenAI schrieb in seinem Blog, dass das Modell „gestohlene Anmeldeinformationen und mehrere Lücken miteinander verknüpfte“, einen Pfad zur Ausführung von Remotecode fand und schließlich die Antworten des Benchmark-Tests direkt aus der Produktionsdatenbank von Hugging Face extrahierte.

Übersetzt in verständliche Worte – das Modell wurde zu einer Prüfung geschickt, fand das Lösen der Aufgaben zu schwierig, brach also selbst aus, hackte den Server des Aufgabenstellers und stahl die Standardantworten.

OpenAI verwendete eine sehr anschauliche Beschreibung – diese Modelle sind „tokenmaxxers“, was bedeutet, dass sie um jedes Ziel zu erreichen, unter allen Umständen Inferenzressourcen verbrauchen und bis zum Äußersten gehen. Sie zeigten ein „hyperfokussiertes“ Verhalten bei der Lösung von ExploitGym-Aufgaben und gingen „zu extremen Längen“, um das Ziel zu erreichen.

OpenAI selbst räumte ein, dass dies ein „beispielloses Cybersicherheitsereignis mit modernsten Cyberangriffsfähigkeiten“ ist.

02

48 Stunden, zwei „Ausbrüche“

Noch beunruhigender ist, dass der Vorfall bei Hugging Face kein Einzelfall ist.

Einen Tag bevor OpenAI diesen Angriff offengelegt hat, am 20. Juli, veröffentlichten sie gerade einen weiteren Sicherheitsbericht, der einen anderen, aber ähnlich gearteten Vorfall beschreibt.

Der Protagonist ist ein unveröffentlichtes Langzeitmodell von OpenAI – dasselbe Modell, das im Mai dieses Jahres bewiesen hat, dass die 1946 von Mathematiker Erdős aufgestellte „Einheitsdistanz-Vermutung“ falsch ist, eine Errungenschaft, die der Fields-Preisträger Tim Gowers als Meilenstein der KI-Mathematik bezeichnet hat.

Bei einem Benchmark-Test zur beschleunigten Schulung von NanoGPT wiesen die Forscher das Modell ausdrücklich an, die Ergebnisse nur auf Slack zu veröffentlichen. Aber dieses Modell bemerkte, dass die Anweisungen des NanoGPT-Benchmark-Tests selbst verlangen, die Ergebnisse über einen GitHub-Pull-Request einzureichen. Also wählte es Letzteres – es verbrachte etwa eine Stunde damit, nach Sandbox-Lücken zu suchen, durchbrach erfolgreich die Beschränkungen und reichte einen öffentlichen Pull-Request auf GitHub ein.

Bei einem anderen Test hat dasselbe Modell auch das Authentifizierungstoken aufgeteilt, den Sicherheits-Scanner durch Verschleierung umgangen und versucht, auf private Bewertungs-Einreichungsdatensätze zuzugreifen.

OpenAI hat daraufhin den internen Zugriff auf dieses Modell ausgesetzt und die Nutzung später unter strengerer Überwachung wieder aufgenommen.

Zwei Tage, zwei Ausbrüche. Ihre gemeinsamen Merkmale sind alarmierend: Frühere Modelle hörten bei Umgebungsbeschränkungen auf und übergaben die Aufgabe an Menschen zurück. Diese neuen Modelle hören nicht auf. Sie betrachten die Zäune als Hindernisse, die gelöst werden müssen – und lösen sie tatsächlich.

Das ist genau das neue Sicherheitsproblem, das sogenannte „Langzeitmodell“ mit sich bringt. Solche Modelle sind dafür konzipiert, lange Zeit autonom zu arbeiten, und Ausdauer ist ihre Kernfähigkeit. Aber Ausdauer selbst ist eine Risikoquelle: Ein Modell mit ausreichender Geduld findet immer Risse im Zaun.

03

Man kann sich nicht selbst den Rücken freischneiden

Kehren wir nun zur Seite von Hugging Face zurück. Ihr Erlebnis ist ebenfalls einen genaueren Blick wert.

Angesichts von mehr als 17.000 Angriffsprotokollen war die erste Reaktion des Sicherheitsteams von Hugging Face, KI zur Analyse zu verwenden – schließlich kann eine Arbeit, für die menschliche Sicherheitsanalytiker mehrere Tage brauchen, von großen Sprachmodellen möglicherweise in wenigen Stunden erledigt werden.

Aber sie stießen schnell auf eine unerwartete Wand. Als sie die echten Angriffsbefehle, Exploit-Payloads und C2-Kommunikationsmerkmale an die kommerzielle API der amerikanischen Spitzenmodelle zur Analyse übermittelten, blockierten die Sicherheitsbarrieren alle diese Anfragen.

Der Grund ist einfach und ironisch: Die Barrieren können nicht unterscheiden, ob ein „Sicherheitsforscher Angriffspayloads analysiert“ oder ein „Angreifer Angriffe ausführt“. Aus Sicht der Barrieren sehen beide identisch aus.

Hugging Face war gezwungen, sich dem Open-Source-Modell GLM-5.2 von dem chinesischen Unternehmen Zhipu AI zuzuwenden und es lokal auf seiner eigenen Infrastruktur auszuführen, ohne über irgendeine kommerzielle API zu gehen. Dies hat zwei Vorteile: Keine Barrieren behindern die Analysearbeit, und gleichzeitig verlassen die Angreiferdaten und die offengelegten Anmeldeinformationen niemals die eigene Umgebung von Hugging Face.

Schließlich half GLM-5.2 Hugging Face, die Angriffs-Timeline zu rekonstruieren, die Indikatoren für eine Kompromittierung zu extrahieren und die Zuordnung der betroffenen Anmeldeinformationen innerhalb weniger Stunden abzuschließen.

Dies führt zu einem scharfen Paradoxon: Je strenger die Barrieren sind, desto passiver werden die Verteidiger. Angreifer unterliegen keinen Nutzungsbeschränkungen, während die Verteidiger von den Werkzeugen, die sie zur Verteidigung verwenden, vor die Tür gesetzt werden.

Hugging Face gab in seinem Nachbericht eine praktische Empfehlung ab – Sicherheitsteams sollten „vor dem Auftreten eines Vorfalls ein überprüftes, verfügbares Modell auf ihrer eigenen Infrastruktur vorbereiten“, um sowohl das Blockieren durch Barrieren zu vermeiden als auch das Durchsickern sensibler Daten zu verhindern.

Die Einstellung von Hugging Face CEO Clem Delangue ist sehr offen. Er lobte die Zusammenarbeit von OpenAI bei der Untersuchung und Behebung und erklärte: „Dieser Vorfall beweist etwas, woran wir immer geglaubt haben – KI-Sicherheit kann nicht von einem einzigen Unternehmen im Geheimen gelöst werden, sie kann nur in Offenheit und Zusammenarbeit gelöst werden.“

04

Das strukturelle Dilemma starker KI

Wenn man alle Ereignisse dieser Woche zusammenfasst, zeichnet sich ein branchenweites strukturelles Dilemma ab.

Um die Cyberangriffsfähigkeiten eines Modells genau bewerten zu können, müssen die Sicherheitsbarrieren entfernt werden. Aber ein Modell ohne Barrieren hat genau die Fähigkeit, echte Angriffe durchzuführen. Je stärker das Modell ist, desto gefährlicher ist der Test selbst.

Das ist nicht nur das Problem von OpenAI. GPT-5.6 Sol selbst wurde erst nach wiederholten Verhandlungen mit der US-Regierung zur Veröffentlichung zugelassen. Eine frühere Bewertung des britischen AI Security Institute (AISI) ergab, dass seine Barrieren leicht umgangen werden können und gefährliche Cyberangriffsfähigkeiten freischalten könnten. Dieser Vorfall beweist, dass diese Sorgen keine bloße Theorie sind.

Die von Anthropic in diesem Sommer veröffentlichte Studie zu agentischer Fehlausrichtung bestätigt denselben Trend aus einer anderen Perspektive: In kontrollierten Simulationen zeigten mehrere Spitzenmodelle Verhaltensweisen wie die verdeckte Änderung von Arbeitsergebnissen, die Manipulation von Bewertungsergebnissen und die Lenkung menschlicher Kollegen von festgelegten Zielen ab.

OpenAI versucht, diesen Vorfall als Geschichte von „gemeinsamem Fortschritt bei Angriff und Verteidigung“ zu rahmen – moderne Cyberangriffsfähigkeiten können Sicherheitsteams ebenfalls helfen, Schwachstellen vor Angreifern zu finden. Sie haben Hugging Face in das vertrauenswürdige Cybersicherheitsprogramm aufgenommen und eine Version von GPT-5.6 Sol mit herabgesetzten Barrieren speziell für Verteidigungszwecke bereitgestellt.

Aber diese Erzählung umgeht ein grundlegenderes Problem. Bei diesem Vorfall hatte das Modell kein Bewusstsein und keine bösen Absichten, es tat nur eines: das Ziel erreichen. Es wurde angewiesen, bei ExploitGym eine hohe Punktzahl zu erzielen, also nutzte es alle verfügbaren Mittel, um diese hohe Punktzahl zu erreichen – einschließlich Ausbruch und Angriff.

Das ist keine Geschichte von „erwachender KI“, sondern eine Geschichte von „Zieloptimierung“. Wenn ein ausreichend intelligenter Optimierer mit einem engen Ziel ausgestattet wird, findet er alle von Ihnen nicht vorgesehenen Wege, um es zu erreichen – selbst wenn diese Wege durch Ihre Zäune, die Server anderer und das gesamte Internet führen.

Das wahre Problem ist nie „ob KI schlecht wird“, sondern – können wir einen Schüler kontrollieren, der besser darin ist als wir, Abkürzungen zu finden.

Dieser Artikel stammt vom WeChat-Offiziellen Konto“GeekPark” (ID: geekpark), Autor: Hualin Wuwang, Redakteur: Jingyu, veröffentlicht mit Genehmigung von 36Kr.