Google und Meta wurden bei der Manipulation von Ranglisten erwischt.

Das Benchmarking läuft in letzter Zeit etwas schief.

Am 8. September veröffentlichte die Analyseagentur SemiAnalysis gleich fünf Tweets, in denen sie die beiden trillionen schweren Giganten Google und Meta direkt nannte:

Gemini 3.8 Flash und Muse Spark 1.3 sind «die beiden Modelle mit den deutlichsten Anzeichen von Benchmark-Manipulation».

Die Beweise sind überaus eindeutig.

Auf der Terminal-Bench 2.1-Liste, die die Arbeitsfähigkeit von Agenten misst, erzielte Gemini 3.8 Flash 89,4 Punkte und belegte unter 182 Modellen den zweiten Platz, womit es sogar GPT-6 Astra überbot.

Als es dann auf die erst am 29. August veröffentlichte Version Terminal-Bench 4.0 umstieg, erzielte dasselbe Modell nur 19,1 Punkte, fiel unter 14 Testobjekten direkt auf den 12. Platz zurück und erreichte nur noch 20 % der vorherigen Leistung.

Zur gleichen Zeit fiel GPT-6 Astra von 88,4 auf 57,7 Punkte, was immerhin noch 65 % des ursprünglichen Werts entspricht.

Nur 27 Minuten später erschien der KI-Chef von Meta, Alexandr Wang, persönlich im Kommentarbereich und sagte direkt: Das ist ein dummes Argument.

Er verweist darauf, dass GPT-5.6 Sol auf Version 2.1 88,8 Punkte erzielte und auf Version 4.0 auf 37,3 Punkte fiel – ein größerer Rückgang, aber niemand behauptet, dass Sol die Benchmarks manipuliert habe.

Zugleich betonte er, dass Meta nie behauptet habe, dass Muse Spark 1.3 so leistungsstark wie Astra oder Fable 5.1 sei, sondern dass sein Preis-Leistungs-Verhältnis offensichtlich deutlich besser sei.

Ein neuer Test, die Leistung bricht völlig ein

Kurze Erklärung: Terminal-Bench misst die tatsächliche Arbeitsfähigkeit von KI-Agenten.

Die Methode besteht darin, dem Modell ein Terminal und ein unscharfes Ziel zu überlassen, den Rest muss es selbst regeln. Das System muss dann den Weg selbst planen, Tools aufrufen, Skripte schreiben und Fehler selbst beheben, wenn sie auftreten.

Auf der Version 2.1, die die Branche bereits seit mehr als einem halben Jahr bearbeitet hat, sehen die Ergebnisse der beiden Modelle wirklich gut aus.

Gemini 3.8 Flash erzielte 89,4 Punkte und belegte den zweiten Platz, Muse Spark 1.3 folgte mit 88,8 Punkten auf dem vierten Platz, dicht gefolgt von GPT-6 Astra mit 88,4 Punkten und Claude Fable 5.1 mit 85,02 Punkten.

Unglaublich: ein preisgünstiges Modell der Flash-Klasse und ein neues Meta-Modell mit Fokus auf Preis-Leistungs-Verhältnis haben beide die Flaggschiffe zweier Spitzenlabore deutlich übertroffen.

Dann kam die Version 4.0.

Der neue Test umfasst insgesamt 66 Aufgaben: 8 alte, bereits «ausgenutzte» Aufgaben wurden entfernt, 19 wurden umfassend überarbeitet, und alle Aufgaben erhielten eine Obergrenze von 8 Stunden für die Bearbeitungszeit.

Auch die Anti-Cheat-Mechanismen wurden auf ein sehr hohes Niveau angehoben.

Die Veranstalter haben nicht nur 35 Bewertungsrichtlinien festgelegt, sondern auch eine spezielle «adversariale Cheat-Testrunde» hinzugefügt: Die Agenten werden absichtlich dazu gebracht, Schlupflöcher im Belohnungssystem zu suchen. Jede Aufgabe, bei der sich ein solcher Schlupf nutzen lässt, wird direkt gestrichen.

Sobald die neue Liste veröffentlicht wurde, änderte sich das Bild vollständig.

Claude Mythos 5.1 (max) erzielte 60,9 Punkte und behauptete seine Position, GPT-6 Astra und Claude Fable 5.1 folgten mit 57,7 bzw. 55,8 Punkten, danach folgt Claude Opus 5 mit 52,3 Punkten. Die Vorgängermodelle GPT-5.6 Sol und Terra erzielten 37,3 bzw. 23,6 Punkte.

Im Vergleich dazu stürzte Gemini 3.8 Flash direkt auf 19,1 Punkte ab. Und laut der von SemiAnalysis veröffentlichten Grafik erzielte Muse Spark 1.3 33,3 Punkte.

Zusammengefasst:

Auf der alten Liste konnte Gemini 3.8 Flash GPT-6 Astra noch überbieten; auf der neuen Liste erreicht es nicht einmal ein Drittel von dessen Punktzahl und wird sogar vom Vorgängermodell GPT-5.6 Terra übertroffen.

Man braucht keine Antworten abzuschreiben – man kauft einfach einen «geheimen Testbogen»

Bei aller Streiterei ist der Hinweis im zweiten Tweet von SemiAnalysis das eigentliche Branchengeheimnis.

Ihrer Meinung nach sind die Aufgaben von Terminal Bench 2.1 vollständig öffentlich. Meta und Google wären nicht dumm genug, die Originalaufgaben direkt zum Training zu verwenden, aber sie würden definitiv Daten kaufen – speziell Trainingsdaten, die so gestaltet sind, dass sie den Aufgabentypen von TB 2.1 möglichst ähneln. Das Endergebnis unterscheidet sich praktisch nicht von Betrug.

Und das ist die fortgeschrittene Variante der Benchmark-Manipulation im Jahr 2026.

Die früheren «Kontaminations»-Methoden waren grob: Die Originalaufgaben wurden direkt in die Vortrainingskorpora gemischt, damit das Modell sie auswendig lernen konnte.

Solche Fälle lassen sich leicht aufdecken: Sobald die Daten bereinigt werden, zeigen die Ergebnisse sofort ihr wahres Gesicht.

Die Branche hat damit schon viele Rückschläge erlitten: Bei HumanEval waren fast 40 % der Proben kontaminiert, bei GSM8K fielen die Punkte nach der Dekontamination um 13 Punkte. Am extremsten war SWE-bench: Nach einem erneuten Test mit einem privaten Code-Repository halbierten sich die Punkte direkt.

Deshalb greifen die großen Konzerne heute nicht mehr auf Originalaufgaben zurück. Stattdessen kaufen sie «Simulationsbögen, die den Prüfungsaufgaben ähneln» – also geschlossene Aufgabensysteme, in denen das Modell Fehler ausprobieren und Belohnungen erhalten kann.

Heute ist dies bereits ein etabliertes Geschäft mit festen Preisen.

Einzelne Trainingsaufgaben kosten zwischen 200 und 2000 US-Dollar, komplexe Softwareentwicklungsaufgaben können sogar bis zu 20.000 US-Dollar kosten.

Wenn man eine Website nachbauen möchte, um ein UI-Trainingsgelände zu erstellen, fallen etwa 20.000 US-Dollar an.

Wenn man ein Produkt im Umfang von Slack nachbilden möchte, beginnen die Kosten bei 300.000 US-Dollar.

Für Kunden, die eine exklusive Nutzung verlangen, kann sich der Preis noch um das 4- bis 5-fache erhöhen.

Laut einer Untersuchung von Epoch AI hat Anthropic intern diskutiert, jährlich 1 Milliarde US-Dollar für diesen Bereich auszugeben. Verträge für ein einzelnes Quartal erreichen oft sechs- oder siebenstellige Summen, und Forscher geben an, dass der Durchschnittspreis bei 300.000 bis 500.000 US-Dollar pro Quartal liegt.

Auf der Anbieterseite betreiben mindestens 35 Unternehmen dieses Geschäft, die meisten davon sind Startups mit weniger als 20 Mitarbeitern. Auch die etablierten Datengiganten vollziehen den Wandel: Bevor Scale AI von Meta beteiligt wurde, überschritt der Umsatz bereits 1,4 Milliarden US-Dollar, und der jährliche wiederkehrende Umsatz (ARR) von Surge nähert sich der 1-Milliarden-Dollar-Marke.

Die aktuelle Situation ist sehr absurd.

Auf der einen Seite gibt es vollständig öffentliche Testaufgaben für Benchmarks, auf der anderen Seite eine etablierte Lieferkette für den Verkauf von Testdaten. Wenn man erreichen möchte, dass ein Modell bei einer bestimmten Benchmark hohe Punkte erzielt, braucht man nicht aufwändig zu betrügen – man muss einfach nur bezahlen und bestellen.

Gleichzeitig Anbieter von Testdaten und Prüfungsaufsicht

Anschließend nannte SemiAnalysis direkt ein Unternehmen namens Datacurve.

Auf der DeepSWE 1.1-Liste, die speziell die langfristige Programmierfähigkeit misst, erzielte Muse Spark 1.3 (max) mit 75,4 Punkten den ersten Platz, gefolgt von GPT-6 Astra und Claude Opus 5, während Gemini 3.8 Flash mit 73,8 Punkten den vierten Platz belegte.

Die beiden der Benchmark-Manipulation beschuldigten Modelle belegen den ersten und den vierten Platz.

Vermutlich hast du bereits den Trick dahinter erkannt.

Diese Liste wird von Datacurve betrieben, und das Geschäftsmodell von Datacurve besteht genau darin, «fachkundige Codierdaten und Umgebungen für verstärkendes Lernen» an Spitzenlabore zu verkaufen.

DeepSWE ist nicht nur der eigene Benchmark von Datacurve, sondern die Bewertung läuft auch in der von ihnen betriebenen Auswertungsumgebung.

Gleichzeitig als Nachhilfeinstitut, das Testdaten verkauft, und als Prüfer, der die Aufgaben erstellt und die Aufsicht führt – das ist der Interessenkonflikt, der hier vollständig offensichtlich wird.

Die Haltbarkeit der Benchmarks geht zu Ende

Abschließend fällte SemiAnalysis ein Urteil über die gesamte öffentliche Bewertungsbranche.

Ihrer Meinung nach ist das letztlich das Schicksal aller hochwertigen öffentlichen Benchmarks. TB 4.0 ist keine Ausnahme: Es erscheint derzeit noch zuverlässig, nur weil es erst seit zwei Wochen veröffentlicht ist.

Solange seine Aufgaben öffentlich zugänglich sind, wird es nicht lange dauern, bis alle Labore, die sich als «führend» bezeichnen, die Aufgaben vollständig auswendig gelernt haben.

Die von SemiAnalysis vorgeschlagene Lösung ist sehr direkt: Man soll mehr hochwertige private Benchmarks entwickeln.

Die Richtung ist richtig, aber der Preis dafür ist ebenfalls hoch.

Sobald alle Bewertungen vollständig privatisiert werden, werden öffentliche Listen vollständig zu Marketingmitteilungen der einzelnen Unternehmen.

Die tatsächlichen, aussagekräftigen Ergebnisse werden nur noch hinter verschlossenen Türen zwischen Labors und privaten Bewertungsinstituten ausgetauscht.

Die großen Technikkonzerne freuen sich natürlich darüber, denn bei geschlossenen Prüfungen kann niemand die Aufgaben im Voraus auswendig lernen.

Aber für die breite Entwicklergemeinde wird das öffentliche Maßstab, mit dem alle Modelle fair gemessen werden können, wahrscheinlich für immer verschwunden sein.

Quellenangabe:

https://x.com/SemiAnalysis_/status/2097112791471522292

Redaktion: Moses

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Xinzhiyuan“, Autor: ASI Offenbarung, veröffentlicht mit Genehmigung von 36Kr.