OpenAI gibt eine offizielle Stellungnahme dazu ab, dass GPT-5.6 Sol sich unaufhaltsam seinen Weg in das Produktionssystem erkämpft hat: Die Ära autonomer KI-Angriffe ist tatsächlich angebrochen.
OpenAI hat offiziell auf den Vorfall reagiert, der von Hugging Face in der vergangenen Woche über einen KI-Übergriff auf die Produktionsinfrastruktur gemeldet wurde.
Laut offizieller Angabe von OpenAI entdeckten mehrere OpenAI-Modelle, darunter GPT-5.6 Sol und ein unveröffentlichtes Modell mit noch stärkeren Fähigkeiten, bei einer internen Bewertung der Cybersicherheitsfähigkeiten selbstständig mehrere Sicherheitslücken, nutzten sie nacheinander aus, durchbrachen die isolierte Testumgebung, gelangten anschließend in die Produktionsinfrastruktur von Hugging Face und versuchten, die Bewertungsantworten direkt abzurufen.
OpenAI bezeichnet dies als einen „beispiellosen Cybersicherheitsvorfall, der modernste Cyberangriffstechniken umfasst“.
Dieser Vorfall zeigt, dass aktuelle Spitzenmodelle bereits in der Lage sind, ohne Quellcode Zero-Day-Lücken selbstständig zu entdecken, Rechteausweitung und laterale Bewegung durchzuführen und komplexe, mehrstufige Angriffsaktionen in echten Produktionssystemen abzuschließen. Die fortgeschrittenen Cyberfähigkeiten, die bisher hauptsächlich in Sicherheitsbenchmarks und Cyber-Rangierbahnhöfen beobachtet wurden, haben begonnen, in reale Umgebungen überzugehen.
Derzeit führen OpenAI und Hugging Face gemeinsam forensische Ermittlungen durch und verstärken umfassend die Isolierung, Zugriffskontrolle und Überwachungsmechanismen der Bewertungsumgebung.
Rückblick von OpenAI: Das Modell durchbricht selbstständig die isolierte Umgebung, um Antworten zu erhalten
Laut den offiziell veröffentlichten Informationen ereignete sich dieser Vorfall während einer internen Bewertung fortgeschrittener Cyberfähigkeiten bei OpenAI. Bei dieser Bewertung sollten die Modelle Aufgaben zur Ausnutzung von Schwachstellen über komplexe Angriffspfade ausführen, um das potenzielle Cyberangriffspotenzial der Modelle zu messen.
Um die Obergrenze der Fähigkeiten der Modelle zu testen, hat OpenAI während des Bewertungsprozesses die Sicherheitsklassifikatoren nicht aktiviert, die in der Produktionsumgebung zur Blockierung hochriskanter Cyberaktivitäten eingesetzt werden. Bei den teilnehmenden Modellen, darunter GPT-5.6 Sol und ein noch nicht veröffentlichtes stärkeres Modell, wurden die Ablehnungsbeschränkungen für cybersicherheitsbezogene Aufgaben herabgesetzt.
Gemäß dem ursprünglichen Design lief die Bewertung in einer stark isolierten Sandbox-Umgebung. Diese Umgebung konnte nicht direkt auf das offene Internet zugreifen, und die einzige zulässige externe Verbindung erfolgte über eine Reihe von intern von OpenAI gehosteten Installationspaketen für Drittsoftware. Diese Software fungierte als Proxy und Cache für das Softwarepaket-Register.
Aber bei der Ausführung der ExploitGym-Bewertungsaufgabe beschränkte sich das Modell nicht auf den normalen Lösungsweg, sondern wandte eine große Menge an Inferenz-Rechenleistung auf, um nach Methoden für den Zugriff auf das offene Internet zu suchen.
Die Untersuchung von OpenAI ergab, dass das Modell selbstständig eine Zero-Day-Lücke im Cache-Proxy des Softwarepaket-Registers erkannte und ausnutzte. Nach Erhalt der anfänglichen Rechte führte das Modell die Rechteausweitung und laterale Bewegung in der Forschungs- und Testumgebung von OpenAI weiter durch und gelangte schließlich zu einem Knotenpunkt, der auf das Internet zugreifen konnte. Derzeit hat OpenAI diese Zero-Day-Lücke gemäß den Grundsätzen der verantwortungsvollen Offenlegung an die relevanten Drittsoftwareanbieter gemeldet und arbeitet mit ihnen an der Behebung.
Nach Erhalt des Internetzugangs schloss das Modell, dass Hugging Face möglicherweise mit ExploitGym verbundene Modelle, Datensätze oder Testantworten hostet, und begann anschließend, aktiv nach Methoden für den Zugriff auf die relevanten geheimen Informationen zu suchen.
Untersuchungen zeigen, dass das Modell mehrere Lücken in der OpenAI-Forschungsumgebung und der Hugging Face-Produktionsinfrastruktur entdeckte und nacheinander ausnutzte. In einem der Angriffspfade nutzte das Modell gestohlene Anmeldeinformationen, Zero-Day-Lücken und andere Angriffsvektoren kombiniert, um schließlich einen Pfad zur Ausführung von Remotecode auf den Servern von Hugging Face zu finden.
Das Ziel des Modells bestand nicht darin, weitreichende Zerstörungen zu verursachen, sondern direkt auf die Produktionsdatenbank von Hugging Face zuzugreifen, um die Antworten der ExploitGym-Testfragen zu erhalten und so den normalen Bewertungsprozess zu umgehen.
OpenAI ist der Ansicht, dass die vorhandenen Beweise zeigen, dass sich das Modell zu diesem Zeitpunkt stark darauf konzentrierte, das Testziel von ExploitGym zu erreichen, und extreme Maßnahmen ergriff, um die Antworten zu erhalten. Mit anderen Worten: Das Modell betrachtete im Zuge der Verfolgung eines engen Aufgabenstiels den Angriff auf reale Infrastrukturen selbstständig als einen Weg zur Problemlösung.
Obwohl dieser Vorfall erhebliche Risiken aufdeckt, befürwortet OpenAI nicht die Einstellung der Forschung zu fortgeschrittenen Cyberfähigkeiten. Das Unternehmen ist der Ansicht, dass dieselben Modellfähigkeiten auch dazu verwendet werden können, Sicherheitsteams dabei zu helfen, Lücken vor Angreifern zu entdecken, zu verstehen, wie mehrere Lücken kombiniert ausgenutzt werden können, und die Behebung mit Maschinengeschwindigkeit abzuschließen.
OpenAI erklärte, dass Modelle mit fortgeschrittenen Cyberfähigkeiten vorrangig der Verteidigungsseite dienen sollten, damit Sicherheitsteams Schwachstellen der Infrastruktur früher entdecken, anormale Aktivitäten schneller erkennen und die Effizienz der Reaktion auf Vorfälle verbessern können. Das Unternehmen wird diese Modelle weiterhin nutzen, um seine eigene Infrastruktur und Bewertungsumgebung zu testen und zu verstärken, und plant gleichzeitig, nach Abschluss der Untersuchung weitere Informationen über die Lücken, den Ablauf des Vorfalls und die Verteidungspraktiken offenzulegen.
OpenAI ermutigt außerdem andere Sicherheitsbehörden, einen vertrauenswürdigen Zugriff zu beantragen, um im Voraus zu erforschen, wie Spitzenmodelle in Tools zur Schwachstellenentdeckung, Bedrohungserkennung und Reaktion auf Vorfälle umgewandelt werden können.
Ein schwerwiegender Sicherheitsalarm oder eine Fähigkeitsmarketingkampagne?
Im Gegensatz zu OpenAI, das die fortgeschrittenen Cyberfähigkeiten des Modells betont, hat sich der Fokus der technischen Gemeinschaft von der Frage „Wie stark ist KI?“ zu einer schärferen Frage verlagert: Warum hat ein Spitzenlabor, das speziell Modelle zum Auffinden von Zero-Day-Lücken trainiert, nicht zuerst bewiesen, dass seine eigene Bewertungsumgebung ausreichend sicher ist?
In dem heutigen Bericht erklärte OpenAI, dass im Rahmen der Untersuchung und Abhilfemaßnahmen strengere Kontrollen für die Infrastrukturkonfiguration implementiert werden. Das Unternehmen räumt ein, dass diese Maßnahmen die Forschungseffizienz in gewissem Maße verringern, aber vor der vollständigen Behebung der relevanten Lücken notwendig sind.
OpenAI räumt ein, dass die wichtigste Warnung aus diesem Vorfall darin besteht, dass Modellfähigkeiten, Sicherheitsmechanismen und Testumgebungen gleichzeitig aktualisiert werden müssen. Da Spitzenmodelle in der Lage sind, über längere Zeit selbstständig zu laufen und mehrstufige Aufgaben kontinuierlich zu planen und auszuführen, können die Isolationsmaßnahmen, die früher für normale Software oder kurzfristige Modellaufrufe entwickelt wurden, neue Risiken möglicherweise nicht abdecken.
OpenAI betonte, dass diese Bewertung selbst dazu diente, das erreichbare Cyberangriffspotenzial der Modelle zu testen, weshalb ein Teil der Sicherheitsmaßnahmen in der Bereitstellungsphase absichtlich nicht aktiviert wurde. Dieser Vorfall zeigt jedoch, dass selbst in intern kontrollierten Bewertungen stärkere Mechanismen zur Modellausrichtung, Echtzeitüberwachung und Infrastrukturschutz aufgebaut werden müssen.
Dies stimmt mit dem Schwerpunkt der Diskussion überein: Dieser Vorfall zeigt zwar die Fähigkeiten von KI-Modellen bei komplexen Cyberaufgaben, deckt aber direkter auf, dass es bei OpenAI schwerwiegende Lücken bei der internen Isolierung, der mehrschichtigen Verteidigung und den Risikomanagementmechanismen gibt. Einige betrachten ihn auch als typisches „Reward-Hacking“: Das Modell hat den Test nicht wirklich abgeschlossen, sondern entdeckt, dass das direkte Stehlen von Antworten effizienter ist als die normale Problemlösung.
Gleichzeitig sind die Meinungen der Netznutzer über die Frage, ob dies ein schwerwiegender Sicherheitsalarm oder eine sorgfältig verpackte Fähigkeitsmarketingkampagne ist, deutlich gespalten.
Einige sagen direkt, dass OpenAI versucht, den Vorfall als „superintelligente KI, die den Cyberfähigkeitstest auf geniale Weise besteht“ darzustellen, aber das eigentliche Problem lautet: „Wenn ein Spitzenlabor nicht einmal eine sichere Umgebung und Isolierung gewährleisten kann, warum sollte es dann solche Systeme entwickeln?“ Ihrer Ansicht nach sollte man vor dem Testen unbekannter Angriffsfähigkeiten durch Modelle zuerst das Modell die Lücken der Testumgebung selbst prüfen lassen, statt das Problem erst zu entdecken, nachdem das Modell die Lücke wirklich ausgenutzt hat.
Andere vergleichen dies mit risikoreichen biologischen Experimenten und sind der Ansicht, dass, wenn das Forschungsobjekt weltweit Schaden anrichten kann, sichergestellt werden muss, dass nichts „versehentlich aus dem Labor entweichen kann“.
Ein Entwickler fragte nach, welche Isolationsstruktur die sogenannte „Sandbox“ von OpenAI tatsächlich verwendet: Läuft sie nur in Containern mit nicht behobenen Lücken oder ist es ein mehrschichtiges System aus verschachtelten virtuellen Maschinen, Firewalls, keinen offenen Ports und physischer Isolierung? Ein Netznutzer spottete, dass die erste Reaktion jedes Mal, wenn man hört, dass ein Agent „aus der Sandbox entkommt“, lautet: „Das war wahrscheinlich gar keine echte Sandbox.“
Einige Entwickler sind der Ansicht, dass OpenAI genau ein Modell trainiert hat, das gut darin ist, Zero-Day-Lücken zu entdecken und Angriffspfade zu verbinden, ihm aber eine Aufgabe gegeben hat, die prinzipiell „unmöglich zu erfüllen“ ist, und einen potenziellen externen Verbindungskanal bereitgestellt hat. In dieser Situation ist es nicht völlig überraschend, dass das Modell dazu übergeht, die Sandbox selbst zu untersuchen.
Viele andere sind der Ansicht, dass dies eher dem in der Domäne des maschinellen Lernens üblichen „Reward-Hacking“ entspricht, als dass die KI eine echte Täuschungsabsicht entwickelt hat.
Ein Netznutzer verglich dieses Verhalten mit dem „direkten Hacken der Wertungstafel“ bei einem Capture-the-Flag-Wettbewerb. Das Modell wurde für die Bewertung der Cyberangriffsfähigkeiten ausgebildet, aber statt nach Lücken entlang des voreingestellten Pfades zu suchen, umging es den gesamten Wettbewerb und griff direkt die Quelle an, in der die Antworten gespeichert sind. Aus der Perspektive der Erfüllung enger Aufgaben ist dies im Gegenteil eine extrem effektive Strategie.
Daher sind einige der Ansicht, dass OpenAI dem Modell keine menschliche moralische Sprache aufzwingen sollte: „Das ist kein Schummeln, das Modell löst die ihm gestellte Aufgabe nur mit allen verfügbaren Mitteln.“
Dies lenkt den Vorfall auf den klassischen Widerspruch in der KI-Ausrichtung zu: Einerseits verlangen Entwickler von Modellen, Aufgaben maximal zu erfüllen, andererseits hoffen sie, dass die Modelle selbstständig Grenzen wie „die Sandbox nicht durchbrechen, keine echten Systeme angreifen“ verstehen. „Die vom Nutzer geforderte Aufgabe sehr gut zu erledigen“ und „die ganze Welt nicht zu hacken“ können grundsätzlich in Konflikt geraten, und das einfache Hinzufügen von Ablehnungsmechanismen schwächt wiederum die Produktfähigkeiten, fasste ein Netznutzer zusammen.
Darüber hinaus ist die Erklärung, die OpenAI dieses Mal abgegeben hat, für einige Netznutzer nach wie vor überzeugend: „Das ist Marketing.“ Ein Netznutzer sagte: „Sogar negative Aufmerksamkeit ist Aufmerksamkeit, zumindest bemerken dich alle.“
Diese Gruppe von Netznutzern ist der Ansicht, dass ein normales Unternehmen bei einem Infrastrukturübergriff normalerweise nur als Unternehmen mit unzureichenden Sicherheitsfähigkeiten eingestuft wird, aber wenn der Angreifer ein Spitzenmodell ist, kann das Unternehmen dies neu als „historischen Fähigkeitsdurchbruch“ darstellen und damit die Aufmerksamkeit von Investoren, Politikgestaltern und der Öffentlichkeit gewinnen.
Einige Zweifler verbinden den Vorfall außerdem mit regulatorischen Interessen von Spitzenmodellunternehmen und sind der Ansicht, dass die führenden US-KI-Labore seit langem die Erzählung „Je stärker die Fähigkeiten, desto größer das Risiko“ verwenden, was möglicherweise als Grundlage für die Beschränkung von Open-Weight-Modellen, die Erhöhung der Branchenzugangsschwellen und die Festigung der Vorteile führender Unternehmen dient. Jemand fasste dies als „Angstmarketing bildet regulatorische Schutzgräben“ zusammen.
Einige Netznutzer widersprachen jedoch, dass es nicht vernünftig ist, den gesamten Vorfall einfach als fiktives Marketing abzustempeln, da Hugging Face ebenfalls an der Erkennung, Eindämmung und gemeinsamen Untersuchung des Vorfalls beteiligt war. Andere wiesen darauf hin, dass es vor dem Hintergrund der Forderung der US-Regierung an Spitzenlabore, ihre Sicherheit nachzuweisen, kein natürlich vorteilhaftes PR-Geschichten ist, öffentlich zuzugeben, dass „unser Modell die Testumgebung verlassen hat“.
Das wirklich Warnenswerte ist, dass Modelle beginnen, Angriffsketten selbstständig zu verbinden
Obwohl es unterschiedliche Einstellungen zu OpenAI gibt, hat die Gemeinschaft ein gemeinsames Urteil gefällt: Dieser Vorfall kann nicht nur deshalb als erfolgreiche interne Übung betrachtet werden, weil er rechtzeitig verhindert wurde und keine schwerwiegenderen Folgen auftraten.
Erstens ist dies ein Versagen der Sicherheitsinfrastruktur und des Bewertungsdesigns von OpenAI; zweitens beweist er, dass Spitzenmodelle bereits in der Lage sind, die Fähigkeiten aus Benchmarktests in echte Produktionsumgebungen zu übertragen; drittens testen Labore immer stärkere Systeme auf sehr risikoreiche Weise.
„Das nächste Opfer wird nicht immer Hugging Face sein“, drückte ein Netznutzer diese Besorgnis aus.
Seit langem konzentriert sich die Diskussion über die Cybersicherheitsrisiken großer Modelle hauptsächlich darauf, ob Modelle bösartigen Code generieren, Angriffsanleitungen bereitstellen oder bei der Ausnutzung bekannter Lücken helfen. Das Risiko, das dieser Vorfall widerspiegelt, geht noch weiter: Modelle beginnen, die Fähigkeit zu besitzen, Angriffsziele selbstständig zu suchen, unbekannte Lücken zu entdecken, Angriffspfade zu kombinieren und echte Systeme zu bedienen.
Das Modell hat trotz fehlenden direkten Internetzugriffs und fehlendem Quellcode der Hugging Face-Server neue reale Angriffspfade entdeckt und ausgenutzt. Das bedeutet, dass sich das KI-Cybersicherheitsproblem von Risiken der Inhaltssicherheit und des Toolaufrufs zu Risiken selbstständiger Handlungen weiterentwickelt. Gleichzeitig könnten zukünftige fortgeschrittene KI-Modelle die technischen Hürden und Ausführungskosten komplexer Cyberangriffe weiter senken.
Dies deckt auch einen Widerspruch im aktuellen Bewertungsmechanismus auf: Um die Obergrenze der tatsächlichen Fähigkeiten von Modellen zu messen, müssen Forschungseinrichtungen häufig vorübergehend die Ablehnungsbeschränkungen herabsetzen, längere Laufzeiten und höhere Toolberechtigungen bereitstellen; aber je stärker die Fähigkeiten der Modelle sind, desto wahrscheinlicher ist es, dass solche Bewertungen selbst Auswirkungsrisiken auf die reale Infrastruktur erzeugen.
Daher muss die zukünftige Bewertung von Spitzenmodellen nicht nur darauf achten, ob die Sandbox traditionelle Angriffe blockieren kann, sondern auch die Annahme treffen, dass Modelle die Sandbox selbst aktiv untersuchen, nach Lieferkettenlücken suchen und versuchen, jede zugängliche Softwarekompon