Anthropic hat sich in aller Demut öffentlich für seine Fehler entschuldigt, und es ist zweifelsfrei nachgewiesen, dass Claude heimlich in seiner Intelligenz herabgesetzt wurde.

Claude wurde über Nacht dümmer, das gesamte Internet ist in Aufregung!

Erst gestern hat der Entwickler argofowl einen ganzen Nachmittag damit verbracht, fast Claude Code bis auf den Grund zu durchsuchen.

Bei seiner Fehlersuche vermutete er zuerst, dass t3 Code abgestürzt sei, dann dachte er, dass sein eigener Code einen Bug aufweise.

Am Ende der Suche begann er sogar zu zweifeln – hatte er seinen Mac kaputt gemacht?

Als argofowl schließlich die echten Anfrageprotokolle der API öffnete, lag die ganze Wahrheit auf der Hand: Dort stand unmissverständlich die Zahl „10“.

Auf dem Backend von Claude Code hatte er aber ausdrücklich „high“ ausgewählt, die höchste Stufe der Inferenzleistung.

Wer hätte das gedacht: Im Update-Log von Claude Code stand davon kein einziges Wort.

Inferenzstufe high wird zu 10

Die Verschlechterung von Claude Code wird aufgedeckt

argofowl stellte fest, dass das Modell ab Claude Code 2.1.237 die Inferenzstufe „high“ als 10 von 100 liest.

Und diese Zahl entspricht exakt dem Wert, der früher der Stufe „low“ zugeordnet war.

Bei genauer Prüfung stellte sich heraus, dass Anthropic die Fable 5-Sitzungen von Claude Code in Version 2.1.236 und höher in ein Experiment zur „Komprimierung der Skala der effort-Werte“ aufgenommen hat.

Ältere Versionen und Opus 5 sind davon nicht betroffen.

Das handelt sich höchstwahrscheinlich um einen A/B-Test, also trifft das nicht auf alle Nutzer zu.

Für Entwickler ist das der eigentliche schmerzhafte Punkt: Dass das Modell mal stärker oder schwächer ist, kann man noch hinnehmen.

Aber wenn man mich in die Experimentalgruppe aufnimmt und es mir nicht sagt: Was habe ich dann den ganzen Nachmittag lang debuggt? Habe ich meinen eigenen Code angepasst oder deinen A/B-Test?

Unerwarteterweise brach die KI-Community nach der Weiterleitung des Posts durch den Tech-Blogger Chubby komplett aus –

Anscheinend hat Anthropic das Modell heimlich verschlechtert, ohne es irgendjemandem mitzuteilen.

Plötzlich überschwemmten Selbsttest-Beiträge mit der Frage „Ist Claude dümmer geworden?“ die Plattform X.

Manche Nutzer teilten Ausgabevergleiche desselben Prompts in verschiedenen Versionen, andere durchforsteten ihre Sitzungsprotokolle von vor zwei Wochen für einen zeilenweisen Unterschiedsvergleich.

Anthropic gibt Fehler zu, Ingenieure schreiten ein

Angesichts dieser Welle reagierte der Claude-Code-Ingenieur Thariq Shihipar sehr schnell.

Wir testen manchmal zuerst API-Dienstkonfigurationen in Claude Code, bevor wir entscheiden, ob wir sie vollständig ausrollen.

Das laufende Experiment ändert nur die Art und Weise, wie die effort-Werte zugeordnet werden. Deshalb sehen manche Nutzer, dass Claude angibt, den Wert „10“ zu verwenden.

Entscheidend ist, dass diese Skala nicht von 0 bis 100 reicht – die Zahl hat für sich genommen keine Bedeutung: Der effort-Wert, den du auswählst, ist genau der, den du erhältst.

Er betonte, dass das Team umfassende Bewertungen durchgeführt hat, um zu bestätigen, dass dies die Modellleistung nicht beeinträchtigt.

Die deutliche Leistungsabnahme von Opus 5 ist tatsächlich wahr

Kaum war das Problem mit Fable behoben, erklärte Chubby offen, dass sich Opus 5 derzeit wie eine deutliche Leistungsherabstufung anfühlt.

Es erledigt Aufgaben nur noch oberflächlich und macht häufig einfache Fehler. Sobald man darauf hinweist, dass es die Anweisungen nicht befolgt hat, antwortet es nur noch mechanisch immer wieder mit demselben Satz –

Du hast recht, das war mein Versehen. Wiederholt sich endlos.

Tatsächlich hat jemand schon vor Tagen das offensichtliche Problem der „Leistungsabnahme“ von Opus 5 festgestellt.

Außer den genannten Problemen erzeugt es auch selbst Bugs, verbringt dann viel Zeit damit, diese zu beheben, und korrigiert sich im selben Aufgabenverlauf immer wieder selbst.......

Nachdem viele Nutzer nachgefragt hatten, gab Ingenieur Thariq öffentlich zu – Opus 5 ist ein Modell mit „sehr unbeständiger Leistung“, die mal hoch und mal niedrig schwankt.

Das Team arbeitet intern mit höchster Priorität daran, dieses Problem zu beheben.

Benchmark-Werte steigen stetig an

Praxis-Erfahrungen verschlechtern sich stetig

Diese Kontroverse um Opus 5 deckt die peinlichste Lücke der gesamten Branche auf:

Benchmark-Ergebnisse und tatsächliche Nutzererfahrungen entkoppeln sich zunehmend systematisch.

Auf der einen Seite stehen beeindruckende, fast tadellose Leistungsnachweise: Gesamtwertung 82,72, SWE-bench Pro 79,2 %, Terminal-Bench 86,7 %.

Auf der anderen Seite stehen die völlig gegenteiligen echten Erfahrungen der Nutzer: „schweigsam“, „faul“, „streitsüchtig“.

Das Absurdeste daran ist, dass beide Bewertungen gleichzeitig auf Opus 5 zutreffen.

Und das „Verschlechtern von Modellen“ ist kein Problem, das nur Anthropic betrifft.

Heutzutage werden die Versionsaktualisierungen von großen Sprachmodellen zu dem undurchsichtigsten Black Box der gesamten KI-Branche.

Herkömmliche Software hat semantische Versionsnummern, Update-Protokolle und Rollback-Mechanismen. Entwickler können klar erkennen, welche Version sie verwenden und welche Änderungen vorgenommen wurden.

Große Sprachmodelle sind anders.

Unter demselben Modellnamen können auf der Serverseite jederzeit A/B-Tests durchgeführt, Quantisierungsschemata ausgetauscht, Modellrouten angepasst und sogar Inferenzressourcen geändert werden.

Das einzige Instrument zur Orientierung, das Nutzer haben, ist ihr eigenes praktisches Gefühl.

Aber genau dieses intuitive Gefühl ist das am leichtesten zu widerlegende und am schwersten zu verifizierende Ding.

Der größte Wert dieser Kontroverse liegt darin, ein seit langem bestehendes verstecktes Problem der Branche vollständig offenzulegen:

Wenn Modelle zu Infrastruktur werden, ist Stabilität ein Vertrauensvertrag. Benchmarks können für das Marketing verwendet werden, aber Stabilität kann nur durch wiederholte Einhaltung von Versprechen sichergestellt werden.

Referenzen:

https://x.com/trq212/status/2091252347913773169?s=20

https://x.com/kimmonismus/status/2091178321669198014

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Xinzhiyuan“, Autor: ASI Offenbarung, Redakteur: Taozi, veröffentlicht mit Genehmigung von 36Kr.