Praxistest von GLM-5.3: Warum verhält sich dasselbe Modell wie zwei verschiedene KIs?

Verfasst von | Gao Xiaoyang

Redaktion | Hao   Xin

Der „Top-Modellhersteller aus China“ kehrt erneut auf den Markt zurück.

Kaum hat die Aufmerksamkeit für DeepSeek nachgelassen, veröffentlicht Zhipu das neue Modell GLM-5.3. Laut offizieller Angabe teilt dieses Modell die gleiche Basis wie GLM-5.2, und alle Verbesserungen stammen aus dem Nachtraining. Das bedeutet, nachdem das Modell vorläufig trainiert wurde, wird es gezielt durch umfangreiches Reinforcement Learning weiter optimiert.

In der offiziellen Vorstellung gibt es zwei wichtige Aktualisierungen für GLM-5.3: Erstens ist die Codierungsfähigkeit um etwa 50 % höher als bei der Version 5.2; zweitens verfügt es über eine Cybersicherheitsfähigkeit, die Zhipu als „unerwartetes Emergenzphänomen“ bezeichnet, mit der es den ersten Platz unter den Open-Source-Modellen im Schwachstellen-Entdeckungs-Benchmark CyberGym belegt.

Wir haben dieses Modell nacheinander in fünf Szenarien getestet. Das Fazit nach den Tests lautet: Die offizielle Angabe ist nicht übertrieben, aber die tatsächliche Situation ist interessanter als die kalten Daten.

In den ersten zwei Szenarien verhält sich GLM-5.3 wie ein Outsourcing-Ingenieur, der gerade die Mindestanforderungen erfüllt: Er kann die Aufgabe abschließen, aber das Ergebnis ist so grob, dass es einen stört. Im mittleren Szenario scheint es sich plötzlich zu verwandeln und liefert ein professionelles fertiges Produkt ab. Bei den letzten zwei Szenarien zweifelten wir sogar daran, ob es heimlich online nach Antworten gesucht hat.

GLM-5.3 ist keine stabile Maschine, sondern eher ein Mensch mit eigener Laune. Wenn du es oberflächlich behandelst, behandelt es dich auch oberflächlich. Nur wenn du die Anforderungen vollständig klarstellst, ist es bereit, seine wahre Fähigkeit zu zeigen.

Warum verdient dasselbe Modell so ausführliche Tests?

Zuerst zum Hintergrund der Tests: Das größte Highlight der neuen GLM-5.3-Veröffentlichung von Zhipu liegt nicht in der Codierungsfähigkeit, sondern in der Cybersicherheit.

Im offiziellen Blog heißt es wörtlich: Mit der Erweiterung des Nachtrainingsumfangs „überschreitet die Entwicklungsgeschwindigkeit der Cybersicherheitsfähigkeit unsere Erwartungen“. Übersetzt bedeutet das: Wir wollten ursprünglich nur, dass es besser Code schreiben kann, aber es hat selbst das Talent entdeckt, Schwachstellen zu finden.

Die offiziell veröffentlichten Daten sind überzeugend: Es erreicht 84,5 % im Schwachstellen-Entdeckungs-Benchmark CyberGym, belegt den ersten Platz unter den Open-Source-Gewichtungen, liegt deutlich über den 77,2 % von Version 5.2 und übertrifft die geschlossenen Modelle Mythos 5 mit 83,8 % und GPT-5.6 Sol mit 83,6 %.

Im Schwachstellen-Ausnutzungs-Benchmark ExploitBench erreicht Version 5.3 einen Wert von 54,4 %, was mehr als das Doppelte der 24,4 % von Version 5.2 ist. Das Unternehmen gab zudem bekannt, dass es in der vergangenen Zeit mit dem Modell echte Code-Repositories durchsucht und 2436 Schwachstellen in 269 Projekten entdeckt hat, darunter 1097 mittel- und hochrisikoreiche Schwachstellen.

Je überzeugender die Daten sind, desto wertvoller ist eine unabhängige Überprüfung. Zwei der fünf von uns entworfenen Testszenarien übernehmen direkt die gleichen Aufgaben, mit denen wir zuvor andere Modelle getestet haben. Eines ist die Nachbildung des „Herr der Ringe“-Benchmarks von Karpathy, der zuvor von Opus 5 und DeepSeek V4-Pro ausgeführt wurde; das andere ist das 3D-Portfolio der schwebenden Insel, bei dem Kimi K3 und GPT-5.6 das gleiche Prompt erhalten haben. Die Ergebnisse dieser Tests lassen sich direkt horizontal mit anderen Modellen vergleichen, es handelt sich nicht um eine selbstgefällige interne Bewertung.

Es kann arbeiten, aber die Ergebnisse sind sehr grob

Im ersten Szenario lassen wir Version 5.3 von Grund auf ein kollaboratives System für Teamaufgaben erstellen. Der Backend-Teil verwendet Flask und SQLite, mit Funktionen wie Anmeldeauthentifizierung, Hinzufügen/Löschen/Ändern/Abfragen von Aufgaben, Schnittstellen für Kanban-Gruppen und Statistik-Schnittstellen. Der Frontend-Teil umfasst eine Aufgaben-Kanban-Seite, zusätzlich Schnittstellentests und eine README-Datei. Wir verlangen von ihm, den gesamten Prozess selbstständig zu planen und durchzuführen.

Es hat die Aufgabe tatsächlich abgeschlossen: Der End-to-End-Prozess läuft beim ersten Versuch reibungslos, alle Schnittstellentests sind erfolgreich, Anmeldung, Erstellen von Aufgaben, Ändern des Status und Löschen von Aufgaben funktionieren einwandfrei. Hinsichtlich der Vollständigkeit der Lieferung gibt es in diesem Schritt keine Mängel.

Aber wenn du die Seite öffnest, wirst du zweifeln, ob dieses Ergebnis dem Ruf des „stärksten Open-Source-Codierungsmodells“ gerecht wird. Die Oberfläche ist sehr durchschnittlich, das ästhetische Niveau des UI passt nicht zum Status eines Top-Modells.

Wir versuchen eine zweite Optimierungsrunde und lassen es dem Kanban eine Drag & Drop-Funktion hinzufügen. Aber es bleibt im Überprüfungsschritt stecken: Die Überprüfung schlägt immer wieder fehl, es weiß nicht, anzuhalten und einen anderen Ansatz zu wählen, sodass wir den Vorgang schließlich manuell beenden müssen.

Aus diesem Szenario ergibt sich die erste Feststellung: Die Grundfertigkeiten von GLM-5.3 reichen aus, um Aufgaben selbstständig zu erledigen, aber sein ästhetisches Empfinden und seine Anpassungsfähigkeit ziehen es zurück. Noch auffälliger ist seine Sturheit, „in der Aufgabe stecken zu bleiben und nicht herauszukommen“: Wenn die Überprüfung fehlschlägt, führt er sie immer wieder durch, reflektiert nicht und wechselt keine Richtung, bis er von außen unterbrochen wird.

6,5 Minuten – aber es hat Bäume zu Eiscreme gemacht

Das zweite Szenario ist der in letzter Zeit in der Branche beliebte „Herr der Ringe“-Benchmark. Anfang August hat Karpathy ein neues Konzept vorgeschlagen: Er gibt dem Modell den ersten Absatz des Originalwerks „Der Herr der Ringe“ mit einem Budget von 1 Million Token und verlangt, diese Eröffnungsszene mit Three.js prozedural zu rendern.

Opus 5 hat dafür etwa zwei Stunden gebraucht, 5500 Zeilen Code geschrieben und eine grobe aber vollständige niedrigpolygonale Hobbingen erstellt. Wir haben die gleiche Aufgabe zuvor mit DeepSeek V4-Pro getestet, das 30 Minuten dafür benötigt hat.

GLM-5.3 hat nur 6,5 Minuten gebraucht, 727 Zeilen Code geschrieben und die Aufgabe erfolgreich abgeschlossen.

Seine Geschwindigkeit ist überwältigend, aber es opfert gleichzeitig die Ergebnisqualität. Alle erforderlichen Elemente der Szene sind vorhanden: Höhlenhäuser, Bilbo, Frodo, die Hobbits, die vor der Kneipe diskutieren, und der lange Festtisch, ebenso wie die Kameraführung und die Erzählstruktur. Aber wenn du die Details betrachtest, sehen die Bäume wie Eiscreme aus, die Figuren haben keine Hände und Füße und sehen aus wie Wurststücke. Alles ist so vereinfacht, dass es nur noch als notdürftig bezeichnet werden kann.

GLM-5.3 hat das Konzept „Geschwindigkeit vor allem“ tatsächlich auf die Spitze getrieben. Das Problem ist aber, dass die Geschwindigkeit auf Kosten der Qualität erreicht wird: Es zieht es vor, jedes Detail zu vereinfachen, um in kürzester Zeit ein Ergebnis zu liefern.

Ob es sich lohnt, Geschwindigkeit durch Qualität zu erkaufen, hängt davon ab, wofür du es verwendest. Wenn du einen schnellen Entwurf brauchst, der später noch iteriert werden kann, reicht es völlig aus. Wenn du aber ein fertiges Produkt mit hoher Fertigstellungsqualität auf Anhieb brauchst, musst du auf eine andere Weise mit ihm zusammenarbeiten.

Mit einer geänderten Fragestellung verwandelt es sich vollständig

Das dritte Szenario ist die größte Überraschung während unserer gesamten Tests.

Diesmal verwenden wir wieder die Aufgabe des 3D-Portfolios der schwebenden Insel, das Prompt ist exakt identisch mit dem, das Kimi K3 und GPT-5.6 damals erhalten haben. Das Prompt für diese Aufgabe ist sehr detailliert: Es verlangt, mit React Three Fiber eine schwebende Fantasieinsel zu bauen, und alle Szenen werden sehr genau beschrieben.

Das Ergebnis ist völlig anders als in den vorherigen Szenarien: npm install und npm run dev laufen beim ersten Versuch reibungslos durch, es gibt keinen leeren Bildschirm. Alle scrollenden Kameraübergänge in vier Kapiteln sind implementiert, die Objektinteraktion funktioniert, und die mobile Downgrade-Funktion wird ausgelöst. Der gesamte Seiteneffekt ist beeindruckend, es sieht überhaupt nicht wie das Werk aus, das der „Ingenieur mit Mindestanforderungen“ aus den ersten zwei Szenarien erzeugen könnte.

Verglichen mit den beiden Konkurrenten bei der gleichen Aufgabe: Kimi K3 zeigte beim ersten Start einen leeren Bildschirm und funktionierte erst nach einer Korrektur. GPT-5.6 Sol hat die höchste Funktionsvollständigkeit, aber es macht den Hintergrund unscharf, wenn man auf Objekte klickt. Die Fertigstellungsqualität von GLM-5.3 in diesem Test ist so hoch, dass das Ergebnis direkt für die Präsentation in einem Portfolio verwendet werden kann.

An diesem Punkt erkennen wir, dass das Problem bei uns liegt. Die Prompts in den ersten zwei Szenarien waren sehr kurz, die Anforderungen wurden in einem Satz beschrieben, also hat es die Aufgabe oberflächlich erledigt. Das Prompt für die schwebende Insel war bis zu jedem Schritt detailliert beschrieben, also hat es sich voll und ganz eingesetzt. Nicht alle Top-Modelle eignen sich für die Verwendung von minimalen Prompts: Einige Modelle brauchen eine sehr konkrete Beschreibung der Anforderungen, bevor sie ihre volle Fähigkeit entfalten können.

Diese Erkenntnis ist wertvoller als die Frage „Welches Modell ist stärker“: Sie zeigt, dass der Unterschied zwischen Modellen nicht nur in der maximalen Fähigkeit liegt, sondern vor allem in ihrer „Arbeits