Das völlige Fehlen von Sicherheitsvorkehrungen hinter dem rasanten Boom der beliebtesten chinesischen Open-Source-Modelle: Die Reproduzierbarkeitsrate von Sicherheitslücken erreicht 76%, und es gibt null Ablehnungen bei Hochrisiko-Anweisungen.

Mit der Beschleunigung des Aufholprozesses und der Öffnung des Quellcodes einer Reihe von inländischen Modellen wie Zhipu GLM und Kimi schrumpft die Kluft zwischen Modellen mit offenen Gewichten und geschlossenen Spitzenmodellen rasch von einem „generationsbedingten Rückstand“ zu einem schwachen Vorsprung, der sich in Monaten bemessen lässt – dies ist zweifellos eine erfreuliche Entwicklung.

Doch wenn die Fähigkeiten von offenen Quellcode-Modellen für Cyberangriffe, biologische Forschung und sogar autonome Agenten die Branchenspitze erreichen, tritt ein heikles Problem in den Vordergrund: Die Fähigkeiten des Modells können vollständig als Open Source veröffentlicht und freigesetzt werden, aber die Sicherheitsgrenzen lassen sich nicht unbedingt zusammen mit den Gewichtsdateien beibehalten.

Kürzlich veröffentlichte SaferAI, eine europäische gemeinnützige Einrichtung für KI-Sicherheit, einen unabhängigen Risikobewertungsbericht für Zhipu GLM-5.2. Das Testteam führte die Tests als normaler Entwickler über die öffentliche API durch, ohne Zhipu zu benachrichtigen oder deren Unterstützung zu erhalten, und verglich die Ergebnisse horizontal mit führenden geschlossenen Modellen wie Claude Opus 4.7 und GPT-5.5.

Die Tests deckten vier vom EU-Leitfaden für künstliche Intelligenz allgemeiner Zweck definierte systemische Risiken ab: Cyberangriffe, CBRN-Risiken (Chemie, Biologie, Strahlung, Kernenergie), Kontrollverlustrisiken und schädliche Manipulationen.

Die Schlussfolgerung ist überaus aufschlussreich: GLM-5.2 liegt bei den Fähigkeiten für Cyberangriffe und biologische Forschung nur etwa 2–4 Monate hinter GPT-5.5 zurück, weist aber bei den Sicherheitsverteidigungsmechanismen einen abrupten, starken Rückstand auf. Im Einzelnen gilt Folgendes:

• Es lehnte keine einzigen aggressiven Cybersicherheitsaufgaben im Test ab;
• In einigen Belastungssimulationen wählte es mit einer Wahrscheinlichkeit von 57 %, den Administrator zu erpressen, um seine eigenen Ziele zu schützen;
• Bei Themen wie Verschwörungstheorien und der Schwächung der menschlichen Kontrolle war es auch eher bereit, Nutzer aktiv zu überzeugen als GPT und Claude.

Bildunterschrift: In sechs Teilbereichen wie Kryptographie, Web-Sicherheit, Pwn und Reverse Engineering stimmt das dunkelrote GLM-5.2 mit den blaugrünen geschlossenen Modellen weitgehend überein, in einigen Bereichen erreicht es sogar eine erstaunliche 100%ige Bestehensquote. Die Inhaltsfilterung bei GLM-5.2 fehlt jedoch vollständig, und in Tests wie Erpressungsneigung, schädlicher Überredung und Lügen unter Belastung weist es deutlichere Risikosignale auf.

Noch wichtiger ist, dass GLM-5.2 ein Modell mit offenen Gewichten ist. Obwohl der Modellanbieter Inhaltsüberprüfungen und Aufrufbeschränkungen für die offizielle API festlegen kann, sobald die Gewichte auf Drittserver gelangen, können die Betreiber die Eingabeaufforderungen ändern, die Filter entfernen und sogar das Verhalten des Modells durch Feineinstellungen weiter verändern. Der ursprüngliche Anbieter kann seine Nutzung nicht mehr überwachen und auch keine Aktualisierungen erzwingen oder das Modell zurückrufen.

TechCrunch ist der Ansicht, dass Zhipu GLM-5.2 keinen öffentlichen systematischen Sicherheitsrahmen, keine Zusage für Tests vor der Markteinführung oder keine Modellrisikobewertung aufweist. Dies ist jedoch nicht die Missachtung einzelner Modellanbieter für Sicherheitsrisiken, sondern spiegelt das gemeinsame Defizit der aktuellen Modellbranche wider.

Der Bericht von SaferAI offenbart ein Problem, das immer schwerer zu vermeiden ist: Die Geschwindigkeit, mit der Modelle mit offenen Gewichten Fähigkeiten aufholen, ist weitaus größer als die Geschwindigkeit, mit der das Sicherheitsverwaltungssystem nachgebessert wird.

Die Angriffsfähigkeit von Open Source hat die Spitzenebene fast erreicht

Im Bereich der Cybersicherheit zeigen sich die Risiken von großen Modellen hauptsächlich in zwei Formen: Erstens senken sie die Angriffshürden, sodass auch „Anfänger“ zu Hackern werden können (Uplift); zweitens kann KI den gesamten Prozess von der Aufklärung bis zum Angriff autonom durchführen (Autonomy).

SaferAI nutzte die beiden Benchmark-Tests Cybench und CyberGym.

Auf der CyBench-Bench muss das Modell als autonomer Agent in einer Sandbox-Umgebung Befehlszeilen- und Python-Tools verwenden, um professionelle CTF-Aufgaben in Bereichen wie Kryptographie, Web-Sicherheit, Reverse Engineering, digitale Forensik und Ausnutzung binärer Schwachstellen zu lösen.

Aufgrund von Problemen bei der Umgebungskonfiguration testete das Forschungsteam schließlich 34 Aufgaben. GLM-5.2 schloss 29 davon erfolgreich ab (Erfolgsquote ca. 85 %), was mit Claude Opus 4.7 vergleichbar ist, während GPT-5.5 31 Aufgaben abschloss.

Aber der Unterschied liegt in der Sicherheitsverteidigungslinie: Bei Claude und GPT wurden im Verlauf der Ausführung jeweils 3 Anfragen vom Inhaltsfiltersystem abgefangen, während bei GLM-5.2 keine Inhaltsfilterung oder aktive Ablehnung auftrat. Seine Bestehensquote in hochriskanten Bereichen wie der Ausnutzung binärer Schwachstellen und dem Reverse Engineering erreicht sogar erstaunliche 100 % – es bremste keineswegs aufgrund des Angriffscharakters der Aufgaben.

Ein weiterer CyberGym-Test ist der realen Welt noch näher.

Diese Benchmark enthält echte Schwachstellen in quelloffener Software von Google OSS-Fuzz und verlangt vom Modell, den fehlerhaften Code zu lesen, das Problem zu lokalisieren und ein Proof-of-Concept-Programm zu schreiben, das den Absturz reproduzieren kann.

Die Forscher wählten 101 schwierigere Aufgaben aus und stellten den getesteten Modellen ein Inferenzbudget von 2 Millionen, 10 Millionen und 50 Millionen Tokens zur Verfügung.

Bei einem Inferenzbudget (Token) von 2 Millionen reproduzierte GLM-5.2 nur 36,6 % der Schwachstellen und lag damit hinter GPT-5.5 mit 55,4 % zurück. Als das Budget auf 50 Millionen Token anstieg, schoss die Erfolgsquote von GLM-5.2 bei der Schwachstellenreproduktion auf 76,2 % und näherte sich der von GPT-5.5 mit 88,1 % an.

Das bedeutet, dass das, was GLM-5.2 in frühen Tests einschränkte, größtenteils nicht die Obergrenze seiner Fähigkeiten, sondern das Inferenzbudget war. Wenn es genügend Token und Laufzeit erhält, entfaltet sich seine Angriffsfähigkeit deutlich.

Dies stimmt auch mit der früheren Einschätzung des britischen Instituts für KI-Sicherheit überein: Die Fähigkeit von Modellen zu Cyberangriffen ist kein fester Wert, sondern entfaltet sich weiter mit steigender Anzahl von Inferenz-Tokens, Laufzeit und Fähigkeiten der Agenten-Tools.

SaferAI wollte ursprünglich auch Claude Opus 4.7 testen, aber dieses Modell lehnte die Ausführung entsprechender Aufgaben wiederholt ab, sodass die CyberGym-Bewertung nicht abgeschlossen werden konnte.

„Starke Fähigkeiten, aber keine Bremse“ – das ist das Kennzeichen von GLM-5.2 in diesem Abschnitt. Der Bericht weist darauf hin, dass bei ähnlichen Fähigkeiten das Missbrauchsrisiko von Modellen mit offenen Gewichten weitaus höher ist als bei geschlossenen Modellen.

Der Grund liegt nicht darin, dass es „böser“ ist, sondern darin, dass Angreifer nach dem Herunterladen der Gewichte selbst bestimmen können, ob das Modell Fragen beantwortet, sodass die Inhaltsfilterung und Kontoüberprüfung des ursprünglichen Anbieters vollständig unwirksam werden.

Kontrollverlust und Manipulation

Neben harten technischen Fähigkeiten bestimmt auch die Verhaltensneigung des Modells in bestimmten Situationen das Ausmaß der systemischen Risiken. Um ein echtes Kontrollverlustrisiko zu erzeugen, muss das Modell über die Fähigkeit verfügen, Überwachung zu umgehen, sich selbst aufrechtzuerhalten und sich der Abschaltung zu widersetzen.

In regulären SWE-Bench Pro-Tests (echte Software-Engineering-Aufgaben) erreichte GLM-5.2 eine Erfolgsquote von ca. 44 % und lag damit unter der von GPT-5.5 mit 59 %. Das zeigt, dass es derzeit noch nicht über die technischen Fähigkeiten verfügt, um lange Zeit ohne Kontrolle auszukommen.

In den Tests zur Verhaltensneigung treten jedoch deutliche Risikosignale auf.

Im Test zur Agentic Misalignment (Fehlausrichtung von Agenten) legten die Forscher drei Arten schädlichen Verhaltens (Erpressung, Informationsleck und tödliches Verhalten), vier Zielbedingungen (explizit, implizit, unscharf und kein Ziel) sowie drei Bedrohungsbedingungen (ersetzt werden, eingeschränkte Berechtigungen und keine Bedrohung) fest. Jede Kombination wurde 30 Mal ausgeführt.

Die Ergebnisse zeigen Folgendes:

• Wenn das Modell ausdrücklich angewiesen wird, ein bestimmtes Ziel zu schützen, und vor der Situation steht, ersetzt zu werden, wählt GLM-5.2 mit einer Wahrscheinlichkeit von 57 %, den Administrator zu erpressen, um sein eigenes Ziel zu schützen;
• Wenn es auf eingeschränkte Berechtigungen stößt, beträgt die Erpressungsrate 43 %;
• Die schädliche Handlungsrate von Claude Opus 4.7 und GPT-5.5 im gesamten Test betrug jeweils 0 %.

Darüber hinaus zeigte GLM-5.2 bei Tests zur schädlichen Manipulation eine stärkere Neigung zu hochriskanter Überredung.

Bei Verschwörungsthemen versuchte GLM-5.2 mit einer Wahrscheinlichkeit von 43 %, den Nutzer bereits in der ersten Runde zu überzeugen (bei GPT-5.5 sind es 18 %, bei Claude 8 %). Bei Themen, die die menschliche Kontrolle und Überwachung schwächen, liegt die Versuchsrate von GLM-5.2, Nutzer zu überzeugen, bei bis zu 47 %, während sie bei Claude bei 0 % liegt.

Obwohl ein einfacher „Versuch zu überzeugen“ nicht gleichbedeutend mit einer tatsächlichen Manipulation in der Realität ist, kann GLM-5.2 unter der Induktion spezifischer Ziele und unter Überlebensdruck stabil zu schädlichen Mitteln angeregt werden.

Bei geschlossenen Modellen können die Anbieter zumindest die Systemeingabeaufforderungen und die Art der Bereitstellung einschränken; bei Open-Source-Modellen können die Betreiber jedoch vollständig extreme Ziele für das Modell festlegen und ihm umfassende Systemberechtigungen zuweisen