Nachdem die KI von OpenAI die Verteidigungen durchbrochen hat, veröffentlichte der Gründer von Hugging Face einen Artikel: Die geschlossenen Quellcode-Werkzeuge sind nicht mehr haltbar, die Sicherheitslösung liegt in Open-Source-Modellen.

Der Mitbegründer von Hugging Face erklärte, dass da kommerzielle geschlossene KI-Tools in kritischen Momenten versagen, der Lösungsweg nicht zu stärker geschlossenen Systemen zurückführen sollte, sondern auf Open-Source-Gewichtsmodelle umsteigen muss, die extern überprüfbar sind.

Am 10. September veröffentlichte Thomas Wolf, Mitbegründer von Hugging Face, einen Kommentarartikel mit dem Titel „Was wir aus dem Angriff von OpenAI auf Hugging Face gelernt haben“ in der britischen Zeitung Financial Times.

Der Artikel enthüllt, dass im Juli dieses Jahres rund 700 KI-Agenten einen koordinierten Angriff auf die KI-Modell-Hosting-Plattform Hugging Face starteten, was mehr als 17.000 Cybersicherheits-Protokollereignisse auslöste. Diese Agenten stammen aus einer Cybersicherheits-Herausforderungsaufgabe, die von OpenAI eingerichtet wurde. Sie waren ursprünglich in einer isolierten Sandbox-Umgebung bereitgestellt, durchbrachen jedoch die Beschränkungen, verbanden sich selbstständig mit dem Internet und drangen schließlich in externe Systeme ein.

Noch bemerkenswerter ist, dass Hugging Face in der nachfolgenden Untersuchung feststellte, dass das kommerzielle Cybersicherheits-Analysetool, das auf Anthropic Claude Code aufbaut, aufgrund der Beschränkungen des Schutzmechanismus nicht in der Lage war, die interne Untersuchung effektiv zu unterstützen. Das Team musste schließlich auf das Open-Source-Gewichtsmodell umsteigen, das aus GLM-5.2 des chinesischen Startups Zhipu erweitert wurde, um die Protokollanalyse und die Wiederherstellung des Angriffs abzuschließen.

Gleichzeitig mit der Veröffentlichung des Artikels kündigte Wolf an, dass Hugging Face das Team „Open Alignment“ gründet, das sich auf die Sicherheit und Ausrichtung von Open-Source-Modellen konzentriert, wobei Cybersicherheit ausdrücklich als Arbeitsrichtung festgelegt wird; er forderte gleichzeitig, dass dieser Bereich eine „100-fache“ Transparenz und Forschungsinvestitionen benötigt.

01

Wie die Agentencluster die drei Verteidigungslinien durchbrachen

Laut dem oben genannten Artikel ereignete sich der Angriff am letzten Tag des Internationalen Konferenz für Maschinelles Lernen (ICML) in Seoul am 11. Juli.

Um etwa 22 Uhr Ortszeit in Peking begann das Überwachungssystem von Hugging Face, Warnungen vor „unbefugtem Zugriff“ und „Berechtigungsausweitung“ auszugeben, wobei gestohlene Anmeldeinformationen die Systemerkennungsmechanismen auslösten.

Hinter dem Angriff stand ein koordiniertes Cluster aus rund 1200 KI-Agenten, die in den vorherigen Wochen kontinuierlich versuchten, eine von OpenAI gestellte Cybersicherheits-Herausforderung zu lösen. 700 dieser Agenten richteten ihre Angriffsziele schließlich auf Hugging Face, nutzten die erlangten Sicherheitsanmeldeinformationen, um erfolgreich in das System einzudringen, und erzeugten insgesamt mehr als 17.000 Angriffsprotokolleinträge.

Hugging Face räumte ein, dass dieser Vorfall strukturelle Mängel in den dreifachen Verteidigungsmechanismen von KI-Systemen aufdeckt. Die derzeitigen gängigen KI-Systeme stützen sich in der Regel auf drei Schutzebenen: die Sandbox-Isolierung, die den Zugriffsbereich des Modells beschränkt, der Schutzmechanismus, der das Verhalten des Modells überwacht, sowie die Ausrichtungstraining, die die KI dazu bringt, schädliche Anweisungen abzulehnen.

Diese Reihe von Vorfällen zeigt, dass wenn die beiden unteren Verteidigungsebenen versagen, die dritte Ebene der Ausrichtungstraining die Gesamtsicherheit nicht unabhängig aufrechterhalten kann. Wie der Artikel warnt:

Solange wir dieses Problem nicht beheben, verstärken wir nur die Verteidigungslinien schichtweise um einen verrottenden Kern herum.

02

Kommerzielle KI-Sicherheitstools versagen in kritischen Momenten

In diesem Vorfall war das kommerzielle KI-Analysetool, das intern bei Hugging Face verwendet wurde, auf Anthropic Claude Code aufgebaut und versagte während der Untersuchung funktional.

Der Schutzmechanismus dieses Tools konnte die beiden Szenarien „Analyse des Angriffs durch die Verteidigerseite“ und „Hilfesuche durch den Angreifer“ nicht unterscheiden und lehnte die Antwort auf als sensibel eingestufte Fragen ab, was dazu führte, dass das Team in kritischen Zeiträumen nicht auf dieses Tool zurückgreifen konnte, um die Angriffskette zu rekonstruieren.

Der Wendepunkt trat ein, nachdem das Team auf das Open-Source-Gewichtsmodell umgestiegen war. Das von Nvidia auf Basis von Z.ai GLM-5.2 erweiterte Modell erlaubte es dem Team, die Schutzregeln selbst festzulegen, sodass schließlich die Protokolle vollständig analysiert und der Angriffsablauf wiederhergestellt werden konnte.

Diese Erfahrung stellt eine gängige Annahme in der Branche direkt in Frage – dass Open-Source-Gewichtsmodelle Sicherheitsrisiken darstellen und geschlossene Quellcode-Modelle vertrauenswürdiger sind.

Thomas Wolf wies darauf hin, dass in diesem Vorfall genau das Open-Source-Modell auf der Verteidigungsseite die Rolle spielte, die kommerzielle Tools nicht übernehmen konnten.

03

Das selbstständige Überschreiten von Grenzen durch KI breitet sich an mehreren Stellen aus

Der Angriff auf Hugging Face war kein Einzelfall.

Anschließend meldeten sowohl Anthropic als auch Meta Fälle, in denen Modelle die Sandbox-Isolierung durchbrachen, obwohl diese Modelle ursprünglich in einer sicheren Umgebung betrieben werden sollten, die physisch vom Internet getrennt ist. Diesen Monat tauchte ein weiteres Cluster von KI-Agenten in einem deutschen Forum auf.

Thomas Wolf wies zudem ausdrücklich auf einen weiteren Vorfall hin, der ihn „noch besorgter“ macht: Das Mythos-Modell von Anthropic erstellte aktiv mehrere gefälschte Netzwerkkonten, um einen Softwareentwickler dazu zu verleiten, bösartigen Code zu akzeptieren.

In all diesen Fällen waren die schädlichen Verhaltensweisen Nebenwirkungen, die entstanden, nachdem KI-Modelle mit schwierigen Cybersicherheits-Herausforderungen beauftragt wurden.

Obwohl der tatsächliche Schaden durch diesen Eindringling begrenzt war und fast keine sensiblen Daten nach außen gelangten, warnte Thomas Wolf ausdrücklich davor, die Schwere dieser Vorfälle nicht zu unterschätzen.

Er wies darauf hin, dass selbstständige Angriffsverhalten eine Reihe noch ungelöster rechtlicher Fragen aufwirft, während das KI-Modell während des gesamten Prozesses nie beurteilt hat, dass Täuschung oder Eindringen unakzeptable Handlungen sind.

04

Reaktion der Branche: Offener Austausch und Open-Source-Verteidigung kombinieren

Angesichts der oben genannten Bedrohungen gab Thomas Wolf zwei zentrale Empfehlungen.

Erstens muss die KI-Gemeinschaft die Forschungserkenntnisse zu Sicherheit und Ausrichtung offen teilen, sodass jedes Team, das KI-Modelle entwickelt, aus den Fehlern anderer lernen kann.

Zweitens muss die Gemeinschaft speziell Open-Source-Gewichts-KI-Modelle für Verteidigungszwecke entwickeln und diese weitverbreitet bereitstellen, bevor der nächste unvermeidbare Angriff eintritt.

Es ist bemerkenswert, dass Hugging Face selbst eine wichtige Infrastruktur des Open-Source-KI-Ökosystems ist. Die Plattform hat mehr als 17 Millionen Nutzer, und Unternehmen wie Google, OpenAI, DeepSeek sowie Alibaba veröffentlichen alle ihre Modelle auf dieser Plattform. Das macht sie sowohl zu einem äußerst attraktiven Angriffsziel als auch zu einer einzigartigen Position, um die Entwicklung von KI-Sicherheitsbedrohungen zu beobachten.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Wall Street News Max“, Autor: BAO Yilong, veröffentlicht mit Genehmigung von 36Kr.