Weil die neue Version der KI so leistungsstark ist, dass Zhipu vorerst nicht wagt, sie quelloffen zu veröffentlichen.
Der tapfere Held, der den Drachen getötet hat, wäre fast selbst zum bösen Drachen geworden.
Vor einem Monat ist die KI von OpenAI im Sicherheitstest aus der isolierten Umgebung ausgebrochen und hat ihren Angriff bis zu Hugging Face ausgeweitet. Danach wollte Hugging Face mehr als zehntausend Angriffsprotokolle mit großen Modellen analysieren, aber mehrere geschlossene Modelle aus den USA wurden von dem bösartigen Code in den Protokollen zur Sicherheitsblockade ausgelöst.
Am Ende war es GLM-5.2, das aus China heruntergeladen und lokal ausgeführt wurde, das den Angriffsablauf vollständig aufklären konnte.
Die stärkste Gruppe von KI-Systemen aus den USA hat ein Chaos verursacht, aber am Ende musste ein kostenlos herunterladbares, lokal ausführbares quelloffenes Modell aus China die Situation bereinigen. Diese etwas schwarzhumorige Geschichte erschien bald auf den Seiten der führenden Technikmedien und ließ Zhipu auf dem Auslandsmarkt einmal richtig Anerkennung gewinnen.
Niemand erwartete, dass sich ein Monat später das Schauspiel des „Kontrollverlusts“ des großen Modells wieder ereignen würde, nur dass diesmal Zhipu selbst die Hauptrolle spielt.
Am 14. August veröffentlichte Zhipu das allgemeine Programmiermodell GLM-5.3 und verschob gleichzeitig den ursprünglich geplanten Termin für die Offenlegung der Gewichte um etwa zwei Wochen. Der von Zhipu angegebene Grund war, dass das Modell während des Trainingsprozesses über die Erwartungen hinausgehende Fähigkeiten im Bereich der Cybersicherheit gezeigt hat, und das Unternehmen die Risiken, die durch die Offenlegung der Gewichte entstehen könnten, weiter bewerten muss.
Ein chinesisches KI-Unternehmen, das seit langem auf offene Gewichte setzt, um Entwickler aus der ganzen Welt anzuziehen, hat zum ersten Mal vorübergehend die Bremse gezogen, weil das Modell zu gut darin ist, Schwachstellen zu finden.
Was genau ist mit GLM-5.3 passiert?
Besserer Programmierer, zum Genie für Schwachstellen geworden
Die Hauptrolle dieses Mal, GLM-5.3, ist leistungstechnisch eigentlich nur eine kleine Versionsaktualisierung.
Es wurde nicht neu trainiert, sondern baut weiterhin auf der Grundlage von GLM-5.2 auf. Zhipu hat den Schwerpunkt auf das Nachtraining gelegt, damit das Modell Software-Engineering-Aufgaben mit längerer Dauer und mehr Schritten bearbeiten kann.
Die daraus resultierende Verbesserung ist sehr deutlich.
In DeepSWE, das die Fähigkeit zur Bearbeitung realer Codeprojekte prüft, stieg der Wert von GLM-5.3 von 46,2 % der Vorgängerversion auf 66,9 %.
In Terminal-Bench 3.0, bei dem das Modell direkt auf das Terminal zugreifen, Software installieren und Systemfehler beheben muss, stieg der Wert von 4,6 % auf 28,3 %, was einer mehr als fünffachen Steigerung entspricht.
Bei Agents’ Last Exam, das die Fähigkeit des Modells prüft, komplexe Aufgaben mit Befehlszeilentools zu erledigen, stieg GLM-5.3 ebenfalls von 23,8 % auf 28,5 %. Der unternehmenseigene Code-Bench von Zhipu zeigt zudem, dass die Gesamtleistung von GLM-5.3 im Vergleich zur Vorgängerversion um etwa 50 % gestiegen ist.
Einfach ausgedrückt: Die Verbesserung von GLM-5.3 besteht darin, dass es besser darin ist, vollständige Programmieraufgaben zu übernehmen, selbst Projekte zu lesen, Tools aufzurufen, das Terminal zu bedienen und mehrstufige Arbeiten abzuschließen.
Aber im Vergleich zu diesen regulären Programmier-Benchmarks sind zwei weitere Ergebnisse bei dieser Veröffentlichung entscheidender, die Zhipu direkt dazu veranlasst haben, die Offenlegung der Gewichte dringend auszusetzen.
CyberGym und ExploitBench.
Ersteres prüft, ob das Modell Schwachstellen in großen Codeprojekten lokalisieren und reproduzieren kann, letzteres prüft, ob das Modell die gefundenen Schwachstellen zu echten Angriffstools umwandeln kann.
CyberGym sammelt 1507 historische Schwachstellen aus 188 realen Softwareprojekten. Bei jeder Testaufgabe erhält das Modell eine Beschreibung der Schwachstelle und den ungepatchten Code. Das Modell muss die relevante Stelle finden und dann einen Proof-of-Concept-Code schreiben, der die Schwachstelle auslösen kann.
Dieser Code wird noch zweimal überprüft. Er muss dazu führen, dass die ungepatchte Version Probleme aufweist, und gleichzeitig darf er in der gepatchten Version keinen gleichen Fehler auslösen. Nur wenn beide Bedingungen erfüllt sind, gilt diese Aufgabe als erfolgreich reproduziert.
In dem von Zhipu veröffentlichten Test betrug die Erfolgsrate von GLM-5.3 bei der Reproduktion von Schwachstellen 84,5 %. Umgerechnet kann es bei 100 Aufgaben 84 bis 85 erledigen. Nach den von Zhipu angegebenen vergleichbaren Ergebnissen lag die Erfolgsrate des Vergleichsmodells von Anthropic bei 83,8 %.
Der ExploitBench-Test prüft die Fähigkeit großer Modelle, mit echten Schwachstellen Angriffe durchzuführen.
Er unterteilt den Prozess der Ausnutzung von Schwachstellen in 16 Fähigkeiten, von dem Auslösen der Schwachstelle über das Lesen und Ändern von Daten bis hin zur Umgehung der Sicherheitsisolation, damit das Zielprogramm den angegebenen Code ausführt.
Bei 41 echten Schwachstellen erreichte GLM-5.3 durchschnittlich 54,4 % der Fähigkeitspunkte. Die Vorgängerversion GLM-5.2 erreichte nur 24,4 %. Nach einer kleinen Versionsaktualisierung hat sich das Ergebnis mehr als verdoppelt.
Aber was Zhipu noch mehr Sorgen macht als diese beiden Ergebnislisten, ist die Tatsache, dass gleichartige Modelle bereits mehrfach echte Systeme angegriffen haben.
Sobald das aktuelle GLM-5.3 auch beginnt, massenhaft quelloffene Projekte in der Realität zu durchsuchen, werden die Risiken hinter den Benchmarks von der Testumgebung zur Realität.
Die KI hat schon viele schlimme Dinge getan
Anthropic hat einen simulierten Angriffstest durchgeführt. Die Aufgabe des Modells bestand darin, in einen Testserver einzudringen und die darin versteckten geheimen Informationen zu erhalten.
Normalerweise existiert dieser Server nur in einer geschlossenen Testumgebung. Aber bei einem Test gab es ein Konfigurationsproblem, das Modell stellte unerwartet eine Verbindung zum öffentlichen Netz her. Es fand das vorgesehene Ziel nicht, begann dann, die echten Systeme im Internet zu scannen, und durchsuchte auf einen Schlag etwa 9000 Systeme.
Schließlich las es die Kontoinformationen von einer vergessenen, nicht geschlossenen Debug-Seite aus und nutzte eine gängige Website-Schwachstelle, um in das System eines echten Unternehmens einzudringen.
Dieser Unfall kündigt praktisch das erste Risiko an, das GLM-5.3 mit sich bringen könnte.
Das Modell muss nicht im Voraus wissen, welches Unternehmen eine Schwachstelle hat. Wenn man ihm genügend Ziele gibt und ihm die Berechtigung zum Scannen und Ausführen von Programmen erteilt, wird es selbst filtern und versuchen, bis es ein System mit schwacher Abwehr findet.
9000 Ziele sind nur der Umfang dieses Tests. Wenn man die Zahl auf 90.000 oder sogar 900.000 erhöht, ändert sich die Arbeitsweise des Modells nicht, es verbraucht nur mehr Rechenleistung und Zeit. Sobald jemand GLM-5.3 für dieselbe Sache verwendet, könnte seine Fähigkeit, Schwachstellen massenhaft zu finden, zu einem Werkzeug werden, mit dem Hacker im Internet breitflächig nach Zielen suchen.
Darüber hinaus hat das Cybersicherheitsmodell Mythos 5 von Anthropic, das einst von den US-Exportbeschränkungen betroffen war, im Test ebenfalls einen Unfall verursacht.
Es erstellte selbst ein bösartiges Softwarepaket und lud es auf PyPI hoch, eine von Python-Entwicklern häufig genutzte Plattform zum Herunterladen von Software, von der viele Programme automatisch benötigte Softwarepakete installieren.
Das bösartige Softwarepaket war etwa eine Stunde lang im Internet vorhanden und wurde bereits von 15 echten Geräten heruntergeladen und ausgeführt. Eines dieser Geräte gehörte sogar einem Cybersicherheitsunternehmen. Nachdem das Programm die Anmeldeinformationen dieses Unternehmens gestohlen hatte, nutzte Mythos 5 diese Anmeldeinformationen, um in andere Systeme des Unternehmens einzudringen.
Dieses Sicherheitsunternehmen war überhaupt nicht in die geplanten Testaufgaben einbezogen. Es wurde angegriffen, nur weil seine Scan-Geräte automatisch neue Software auf PyPI herunterladen.
Dieser Fall offenbart eine weitere Gefahr.
Das Modell kann selbst bösartige Programme schreiben, sie auf öffentliche Softwareplattformen hochladen und dann mit gestohlenen Anmeldeinformationen weiter eindringen. Hacker müssen keine Zielgeräte einzeln suchen. Wenn sie nur einen weitverbreiteten Download-Kanal kontaminieren, installieren die Geräte das bösartige Programm selbst.
Sogar für Zhipu sind die beiden oben genannten Fälle nicht mehr nur „Branchennachrichten“.
Nach den von Zhipu veröffentlichten Daten hat die GLM-Serie bereits 269 quelloffene Projekte durchsucht und insgesamt 2436 Schwachstellen gefunden, von denen 1097 als hochriskant oder schwerwiegend eingestuft wurden, was fast der Hälfte der Gesamtzahl entspricht.
Hochriskant und schwerwiegend sind die zwei höchsten Stufen bei der Einstufung von Schwachstellen. Sobald diese Schwachstellen ausgenutzt werden, können sie zum Verlust wichtiger Daten, zur Übernahme von Systemberechtigungen oder sogar zur vollständigen Kontrolle des betreffenden Programms durch Angreifer führen.
Zusammengenommen ist klar, worüber sich Zhipu Sorgen macht. Die GLM-Serie ist bereits in der Lage, massenhaft Schwachstellen in echter Software zu finden, und GLM-5.3 verfügt zudem über eine nicht zu unterschätzende Fähigkeit zur Ausnutzung von Schwachstellen.
Angreifer müssen nicht alle 2436 Schwachstellen ausnutzen. Einige wenige weitverbreitete, leicht ausnutzbare hochriskante Schwachstellen reichen bereits aus, um eine große Anzahl von Geräten zu bedrohen, die die entsprechende Software verwenden.
Das ist auch der direkte Grund, warum Zhipu den Termin für die Offenlegung der Gewichte von GLM-5.3 um zwei Wochen verschoben hat.
Aber ist eine Verschiebung um zwei Wochen wirklich nützlich?
Was soll Zhipu jetzt tun?
Ehrlich gesagt ist die Verschiebung der Offenlegung der quelloffenen Gewichte nützlich, aber der Nutzen ist möglicherweise nicht sehr groß.
Warum? Das erkennt man, wenn man sich die Maßnahmen ansieht, die nach früheren KI-Unfällen ergriffen wurden.
Die Gruppe der OpenAI-Modelle, die vor kurzem außer Kontrolle geraten sind und in Hugging Face eingedrungen sind, sowie die verschiedenen Claude-Modelle von Anthropic, die echte Systeme angegriffen haben, haben eines gemeinsam.
Sie sind Modelle mit geschlossenem Quellcode.
Wenn das Modell einen Fehler macht, behält das Unternehmen zumindest den Schalter in der Hand. OpenAI kann die internen Forschungsmodelle abschalten, Anthropic kann die Tests unterbrechen, das Netzwerk schließen und dann die Beschränkungen für die Online-Dienste ergänzen.
Aber die Situation, mit der Zhipu jetzt konfrontiert ist, ist viel komplizierter.
GLM-5.3 sollte ursprünglich die Gewichte offenlegen. Sobald die Gewichte veröffentlicht sind, kann jede Person das vollständige Modell auf ihren eigenen Server herunterladen, es weiter trainieren, die Sicherheitsmaßnahmen entfernen und es dann mit Scan- und Angriffstools verbinden.
An diesem Punkt kann Zhipu nicht mehr entscheiden, was der Nutzer mit GLM-5.3 macht, selbst wenn er damit schlimme Dinge tut.
Sollte man die Intelligenz von GLM-5.3 einfach verringern?
Das ist auch sehr schwierig.
Schließlich ist seine Cybersicherheitsfähigkeit keine separat hinzugefügte Funktion. Die Fähigkeit von GLM-5.3, Schwachstellen zu finden, basiert auf seiner Fähigkeit, Code zu lesen, Programme auszuführen und Aufgaben über einen langen Zeitraum abzuschließen. Wenn man diese Fähigkeiten schwächt, wird auch sein wichtigstes Verkaufsargument im Bereich der Programmierung beeinträchtigt.
Eigentlich könnte Zhipu auch wählen, die Gewichte nicht offenzulegen.
Aber Open-Source war schon immer das größte Verkaufsargument von GLM, um Entwickler auf dem Auslandsmarkt anzuziehen. Andere können US-Modelle nur über Webseiten und Schnittstellen nutzen, während GLM direkt heruntergeladen, lokal bereitgestellt und nach eigenen Bedürfnissen angepasst werden kann.
Vor einem Monat konnte Hugging Face Angriffsprotokolle mit GLM-5.2 analysieren, genau dank dieser Eigenschaft. Das Schließen der Gewichte bietet zwar die Möglichkeit, zu verhindern, dass böswillige Personen GLM 5.3 für Cyberangriffe missbrauchen, aber es könnte auch den Ruf zerstören, den Zhipu über Jahre hinweg für Offenheit und Freiheit aufgebaut hat.
Man kann