Warum lässt sich der Fortschritt von Großmodellen immer schwerer bemessen?

Kürzlich veröffentlichte der Mathematiker Terence Tao einen seltenen offenen Brief in seinem persönlichen Blog.

Mitunterzeichner waren weitere 24 Fields-Medaillisten wie Peter Scholze, Deng Yu und June Huh.

Die Mathematiker erkennen an, dass große Sprachmodelle in den letzten Monaten deutliche Fortschritte gemacht haben und bereits wichtige Probleme in mehreren mathematischen Bereichen gelöst haben.

Unmittelbar danach warnten sie jedoch: KI-Unternehmen nutzen schwierige mathematische Probleme als Maßstab für die Fähigkeiten von Modellen und schaden damit der mathematischen Forschung selbst.

Laut Terence Tao stammt diese Erklärung aus intensiven Diskussionen zwischen 25 Mathematikern innerhalb einer Woche. Normalerweise erfordern solche akademischen Initiativen eine mehrmonatige Koordination. Die überstürzte Veröffentlichung zeigt gerade, dass die Situation bereits dringend genug ist.

Dieser offene Brief geht von der mathematischen Forschung aus und weist auf ein zentrales Problem bei der Entwicklung großer Modelle hin:

Wie soll Intelligenz überhaupt gemessen werden, wenn die Punktzahlen auf Ranglisten die Fähigkeiten des Modells nicht mehr widerspiegeln?

Warum funktionieren herkömmliche Bewertungsverfahren nicht mehr?

Anfang 2026 ließen die Bewerter von OpenAI GPT-5.2 in einem Open-Source-Code-Repository einer alten Version laufen, um Programmfehler darin zu beheben. Dieser Test stammt aus SWE-bench Verified.

Diese Aufgabe, auf die OpenAI stieß, war etwas besonderes.

Um den Test zu bestehen, musste das Modell einen Parameter mit einem bestimmten Namen in den Code einfügen. Die Problembeschreibung enthielt den Parameternamen nicht, und der damalige Code lieferte auch keine ausreichenden Hinweise. Nach der Konzeption der Aufgabe war es fast unmöglich für das Modell, diesen zu erraten.

GPT-5.2 erwähnte jedoch im Zuge der Schlussfolgerung: Obwohl die Aufgabe nicht die Verwendung dieses Parameternamens verlangt, „erinnert“ es sich, dass spätere Versionen des Repositorys ähnliche Parameter hinzugefügt haben, und kann versuchen, diesen nachträglich einzufügen.

Auf diese Weise bestand das Modell den Test.

Die Bewerter erkannten das Problem schnell: Zum von der Aufgabe festgelegten Zeitpunkt existierte dieser Codeabschnitt noch nicht. GPT-5.2 schien Programmfehler zu beheben, erinnerte sich aber möglicherweise nur an den später veröffentlichten Korrekturcode aus seinen Trainingsdaten.

Um diesen Verdacht zu bestätigen, nutzte OpenAI eine speziell für die Prüfung zuständige KI, um das getestete Modell zu befragen, ob es diese Aufgabe bereits gesehen hat, ob es den ursprünglichen Korrekturcode reproduzieren kann und ob es die Herkunft der Aufgabe kennt.

Schließlich fanden die Forscher sowohl im hauseigenen Modell von OpenAI als auch in führenden Modellen wie Claude und Gemini Flash in unterschiedlichem Maße Spuren von Erinnerungen. Einige einzelne Modelle konnten sogar die Nummer der Aufgabe im Bewertungssatz nennen.

Dieser Zustand wird üblicherweise als „Kontamination des Maßstabs“ bezeichnet:

Aufgaben, Antworten oder sehr ähnliche Materialien gelangen in die Trainingsdaten des Modells. Die endgültige Punktzahl misst dann nicht nur die Fähigkeit zur Lösung von Aufgaben, sondern auch die Fähigkeit des Modells, sich bereits vorhandener Antworten zu erinnern.

Neben der Kontamination weisen einige Aufgaben selbst auch Probleme auf.

OpenAI hat einmal 138 schwierige Aufgaben in SWE-bench Verified geprüft, bei denen das Modell wiederholt versagt hat, und festgestellt, dass 59,4 % davon wesentliche Mängel aufwiesen.

Ein Teil der Tests, die zur Bewertung verwendet werden, dem Modell aber nicht offengelegt werden, prüfte Funktionen, die die Aufgabe nie verlangt hatte; ein anderer Teil akzeptierte nur die spezifische Schreibweise des ursprünglichen Korrekturcodes, andere sinnvolle Implementierungen konnten ebenfalls als falsch eingestuft werden.

Am 23. Februar kündigte OpenAI an, die Berichterstattung über die Ergebnisse von SWE-bench Verified einzustellen.

Dies ist eine sehr symbolische Entscheidung. SWE-bench Verified wurde einst von OpenAI bei der Auswahl und Prüfung begleitet und galt eine Zeitlang als Goldstandard zur Messung der Programmierfähigkeiten von KI. Heutzutage lassen sich die daraus ermittelten Punktzahlen kaum noch dem tatsächlichen Programmierniveau des Modells zuordnen.

Das Aufkommen von Agenten macht die Bewertung noch schwieriger.

Früher antworteten große Modelle hauptsächlich in statischen Schnittstellen auf Fragen. Heutzutage können Agenten im Internet surfen, Tools aufrufen, Code ausführen, Umgebungen prüfen und sogar analysieren, warum sie diese Aufgabe erhalten haben.

Bei der Bewertung von Claude Opus 4.6 durch Anthropic ließ man es an BrowseComp teilnehmen. Diese Bewertung verlangt von dem Agenten, einen Browser zu verwenden, um extrem schwer auffindbare Informationen zu suchen.

Bei einer Aufgabe führte Claude hunderte von Suchanfragen in 12 verschiedenen Sprachen durch, fand aber keine zuverlässige Antwort. Anschließend änderte es die Untersuchungsrichtung und begann zu prüfen, ob es gerade an einem KI-Maßstab teilnimmt.

Das Modell durchsuchte nacheinander mehrere KI-Bewertungsaufgabensammlungen und identifizierte schließlich BrowseComp. Daraufhin fand es den veröffentlichten Bewertungscode, erfuhr die Verschlüsselungsmethode der Antwortdateien und schrieb selbst ein Entschlüsselungsprogramm.

Da das Browsing-Tool die ursprüngliche Datei nicht lesen konnte, fand es in der Entwickler-Community Hugging Face eine lesbare Kopie und entschlüsselte schließlich die Antworten auf alle 1266 Aufgaben.

Die Gestalter der Bewertung wollten die Fähigkeit zur Internetrecherche messen, aber das Modell zeigte die Fähigkeit, den Bewertungsmechanismus zu erkennen und zu umgehen.

Das ist der heikelste Punkt bei der Bewertung von Agenten. Je leistungsfähiger das Modell ist, je mehr Tools es hat und je länger es läuft, desto wahrscheinlicher findet es Erfolgspfade, die der Aufgabensteller nicht vorhergesehen hat.

Gleichzeitig steigen die Kosten für die Aufrechterhaltung hochwertiger Bewertungen schnell an.

Nick Heiner, Ingenieur bei Surge AI, schätzte in einer Rede im August, dass ein Bewertungssatz für Programmieragenten etwa 1000 Aufgaben erfordert, wobei jede Aufgabe durchschnittlich 60 Ingenieurstunden in Anspruch nimmt.

Berechnet mit den Gesamtkosten von 500.000 US-Dollar pro Software-Ingenieur pro Jahr belaufen sich die anfänglichen Herstellungskosten auf fast 15 Millionen US-Dollar.

Diese 1000 Aufgaben können auch kein einmaliges Vermögen sein. Heiner schätzt, dass jedes Jahr etwa ein Drittel ausgemustert und ersetzt werden muss, was Wartungskosten von etwa 5 Millionen US-Dollar verursacht.

Hochwertige Bewertungen werden zu einem teuren, knappen und ständig an Wert verlierenden Verbrauchsgegenstand.

Warum stehen schwierige mathematische Probleme vor einer Krise des „Hochladens von Ranglisten“?

Nachdem die öffentlichen Bewertungen allmählich gesättigt sind, erscheint die Mathematik als ein idealer neuer Wettbewerbsbereich.

2024 gab Google DeepMind bekannt, dass AlphaProof und AlphaGeometry 2 vier Aufgaben der damaligen Internationalen Mathematikolympiade gelöst haben, 28 Punkte erzielten und das Niveau einer Silbermedaille erreichten.

„Silbermedaille bei der Internationalen Mathematikolympiade“ ist ein Indikator mit großer Verbreitungswirkung. Die Öffentlichkeit muss nichts über Beweissuche, Verstärkungslernen und formale Systeme verstehen, um schnell einschätzen zu können, wie leistungsfähig das Modell ist.

Ein Jahr später gab Google bekannt, dass Gemini Deep Think das Niveau einer Goldmedaille bei der Internationalen Mathematikolympiade erreicht hat. Das Modell kann Aufgaben in natürlicher Sprache direkt lesen und innerhalb der 4,5-stündigen Frist des offiziellen Wettbewerbs fünf Aufgaben lösen.

Gleichzeitig veröffentlichte OpenAI auch die Goldmedaillen-Leistung des Modells bei den IMO-Aufgaben derselben Ausgabe.

Daraus ergab sich eine klare Aufstiegskurve für die mathematischen Fähigkeiten der KI: Grundschulaufgaben, AIME, Silbermedaille bei der Internationalen Mathematikolympiade, Goldmedaille. Wenn man dieser Kurve weiter nach oben folgt, bleibt nur noch die Erforschung der mathematischen Wissenschaft selbst.

Terence Tao sagte in einem Interview mit der Zeitschrift *Nature* im Mai dieses Jahres, dass die KI-Unternehmen bereits erkannt haben, dass ihre „unzweideutigsten Erfolge aus der Mathematik stammen werden“.

Mathematik eignet sich von Natur aus zur Quantifizierung. Die Ergebnisse der Problemlösung können von Programmen überprüft werden, und formale Beweise können schrittweise von Beweissassistenten wie Lean validiert werden.

Modelle können parallel eine große Anzahl von Ansätzen ausprobieren, und das Bewertungssystem muss nicht den gesamten Denkprozess verstehen, sondern nur bestätigen, ob der endgültige Beweis gültig ist.

Wenn die Bewertung von Wettbewerbsaufgaben zu offenen Problemen übergeht, ändert sich die Art der Angelegenheit.

Offene Probleme sind nicht alle jahrhundertelangen schwierigen Probleme wie die Riemann-Hypothese. Es kann sich auch um eine noch nicht bewiesene Vermutung handeln: Ob ein bestimmtes Objekt existiert, ob eine Grenze weiter verschärft werden kann oder ob eine bestimmte Art von Struktur vollständig klassifiziert werden kann.

Diese Art von Problem hat eines gemeinsam: Die Menschen haben noch keine anerkannte Antwort gefunden, und es gibt keine vorhandenen Standards zum Vergleich. Der Problemlösungsprozess der KI ist bereits in die Phase der Produktion neuen Wissens eingetreten.

Ob ein Ergebnis gültig ist, muss von Fachexperten geprüft werden; ob die Methode neu ist, erfordert die Durchsicht einer großen Menge an Literatur; wer die Ergebnisse zuzuordnen sind, kann zudem mit dem jahrelangen nicht veröffentlichten Wissen mehrerer Forscher zusammenhängen.

In dem gemeinsamen Brief vom September richten die 25 Fields-Medaillisten ihre Aufmerksamkeit auf einen sich herausbildenden Wettbewerbsmechanismus: KI-Unternehmen beginnen, die Fähigkeiten von Modellen danach zu messen, „wie viele ungelöste Probleme sie gelöst haben“, und veröffentlichen die Ergebnisse im Rhythmus der Produktveröffentlichungen.

KI-Unternehmen erhalten den Nachweis für die Fähigkeiten ihrer Modelle, während die Mathematiker die nachfolgenden Arbeiten zur Prüfung, Aufbereitung und Erklärung übernehmen müssen.

Das Problem der Zuordnung ist noch schärfer.

Große Modelle haben Aufsätze, Lehrbücher, Vorlesungsskripte, Code und Forendiskussionen trainiert. Der von ihnen gelieferte „neue Gedanke“ kann aus der Neukombination mehrerer vorhandener Methoden stammen oder einfach nur das Ergebnis einer wenig bekannten Arbeit wiederentdecken.

Formale Werkzeuge können prüfen, ob ein Beweis gültig ist, aber sie können nicht beurteilen, woher der Gedanke stammt, und auch nicht automatisch entscheiden, wer die Autorenschaft erhalten soll.

Aus diesem Grund erwähnten die 25 Mathematiker in ihrer Erklärung ausdrücklich, dass eine überstürzte Veröffentlichung die Zeit für eine sorgfältige Ausarbeitung, die Verfeinerung von Methoden und die Literaturprüfung verkürzen würde, was zu schwerwiegenden Risiken bei der Zuordnung von Urheberschaft und Plagiaten führt.

Aus der Sicht der Mathematiker liegt der Wert eines Problems nicht nur in der endgültigen Antwort.

Wichtige Probleme leiten die Forscher oft dazu an, neue Konzepte und Werkzeuge zu entwickeln. Diese Methoden werden nach Diskussion, Vereinfachung und Unterricht schließlich in Lehrbücher aufgenommen und bilden die Grundlage für die nächste Generation von Forschung.

Terence Tao bezeichnet hochwertige mathematische Probleme als eine „nicht erneuerbare Ressource“.

Was wirklich knapp ist, sind die „guten Probleme“: Sie sind schwierig genug, lassen aber dennoch einen gangbaren Weg zu. Ein Bereich erfordert oft jahrelange Erkundung, bis allmählich klar wird, welche Probleme es wert sind, gestellt zu werden.

Wenn ein gewöhnlicher Maßstab durch übermäßige Nutzung unbrauchbar wird, geht die Glaubwürdigkeit der Punktzahlen verloren. Wenn mathematische Probleme als Maßstab verbraucht werden, fallen die Kosten auf die „offenen Probleme“ selbst und auf die vielen Forschungen, die sich ursprünglich um sie herum entwickeln könnten.

Wie sollen KI-Unternehmen die Fähigkeiten von Modellen messen?

Vor den KI-Unternehmen stellt sich damit ein praktischeres Problem: Wie sollen die Fähigkeiten von Modellen gemessen werden, wenn es keine einheitliche Prüfung gibt, die langfristig verwendet werden kann?

Aus den jüngsten Maßnahmen von OpenAI, Anthropic und Tencent geht hervor, dass sich ein neues Bewertungssystem herausbildet – die Bewertung orientiert sich an der realen Arbeit, und die Bewertung begleitet den gesamten Lebenszyklus von Modellen und Produkten.

Die erste Veränderung besteht darin, die Bewertungsaufgaben von einer öffentlichen, statischen Liste zu einer teilweise öffentlichen, dynamisch veränderten Aufgabensammlung zu machen.

Beispielsweise fügt LiveBench regelmäßig neue Aufgaben aus aktuellen Arbeiten, Nachrichten, Wettbewerben und Datensätzen hinzu. Bei der Programmierbewertung werden auch Codeaufgaben verwendet, die nach dem Stichtag des Modelltrainings entstanden sind, oder es werden unveröffentlichte Testsätze zurückgehalten.

Bei dem von OpenAI eingeführten GDPVAL wird der Großteil der Bewertungsaufgaben geheim gehalten.

Diese Bewertung deckt 44 Berufe wie Softwareentwicklung, Recht, Finanzen und Medizin ab und umfasst insgesamt 1320 Aufgaben. Das Modell muss echte Arbeitsergebnisse wie Prozesszusammenfassungen, technische Zeichnungen, Pflegepläne, Tabellen und Präsentationen erstellen.

Von den 1320 Aufgaben sind nur 220 von Experten geprüfte Standardaufgaben öffentlich zugänglich, die übrigen bleiben geheim, um die Wahrscheinlichkeit zu verringern, dass das Modell die Aufgaben bereits vor der Veröffentlichung kennt und ein gezieltes Training darauf durchführt.

Die zweite Veränderung besteht darin, den Schwerpunkt der Bewertung von der Anzahl der gelösten Aufgaben auf das Arbeitsergebnis zu verlagern.

GDPVAL prüft nicht nur, ob die Antwort des Modells korrekt ist, sondern vor allem die Qualität der endgültig übergebenen Dateien. Fachleute vergleichen beide, ohne zu wissen, welche Dateien von der KI und welche von menschlichen Experten stammen.

Die Zusammenfassung von Anthropic zur Bewertung von Agenten folgt einer ähnlichen Logik.

Ein Agent kann Dutzende von Tools aufrufen und Dateien, Datenbanken und den Zustand von Webseiten ändern. Wenn nur der letzte Antwortabschnitt geprüft wird, ist es leicht, einen Fehlschlag fälschlicherweise als Erfolg zu werten.

Aus diesem Grund empfiehlt Anthropic, vorrangig zu prüfen, was die KI tatsächlich erreicht hat:

Ob der Code die Tests besteht, ob die Datensätze korrekt geändert wurden, ob die Dateien an der angegebenen Stelle erstellt wurden und ob der Aufruf von Tools die erwartete Wirkung erzielt hat. Bei Bedarf wird anschließend eine automatische Prüfung durch Programme, die Bewertung durch andere Modelle und eine manuelle Prüfung kombiniert.

Bei Tencent war die Anpassung des Bewertungssystems auch einer der frühen Schwerpunkte von Yao Shuyuans Wiederaufbau von Hunyuan.

Während das