Yao Qizhi und Yang Zhilin haben sich zusammengeschlossen, was die Mathematiker erleichtert aufatmen lässt.

Am 5. November erschien ein neues Forschungspapier auf arXiv.

Die fünf Autoren stammen von Moonshot AI, der Tsinghua-Universität und dem Shanghai Qizhi-Institut. Zwei Namen stechen besonders hervor: Der eine ist Andrew Chi-Chih Yao, Turing-Preisträger und Direktor des Instituts für Interdisziplinäre Informationswissenschaften der Tsinghua-Universität, der andere ist Yang Zhilin, Gründer von Moonshot AI (Kimi).

Der Titel des Papiers lautet „TCSExam: Bewertung von hochmodernen großen Sprachmodellen im gesamten Bereich der theoretischen Informatikforschung“ (TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research).

Zusammengefasst haben sie eine Prüfungsarbeit erstellt, um die derzeit stärksten KI-Großmodelle zu testen.

TCS ist die Abkürzung für Theoretische Informatik (Theoretical Computer Science). Sie befasst sich nicht damit, wie man Computer repariert oder Code schreibt, sondern erforscht das Wesen des „Berechnens“ selbst.

Programmierer sind wie Fahrer, die sich um Motoren und Innenausstattung kümmern, während die TCS dem Verkehr entspricht: Wie schnell kann man tatsächlich von Ort A zu Ort B gelangen, und gibt es Wege, die grundsätzlich nicht passierbar sind.

Dies ist der Schnittbereich zwischen Mathematik und Informatik, in dem sich alle Probleme um das Thema „Berechnung“ drehen und die Forschung hauptsächlich auf Beweisen basiert.

Der Zeitpunkt der Veröffentlichung dieses Papiers ist etwas delikat. Anfang Oktober veröffentlichte OpenAI auf einen Schlag 722 mathematische Manuskripte, die von KI erstellt wurden, gruppierte sie nach Relevanz in 372 „Ergebnisfamilien“ und deckte 17 Bereiche wie Zahlentheorie, theoretische Informatik, Geometrie und mathematische Physik ab. Das Thema „KI hat die Mathematik überflüssig gemacht“ landete einst auf den Top-Trends von Weibo.

Terence Tao sagte gegenüber der Zeitschrift *Nature*, dass KI in fast allen Bereichen einen fatalen Fehler hat: Sie macht Fehler, die nicht überprüft werden können. Nur die Mathematik ist anders, insbesondere Beweise können automatisch von Maschinen überprüft werden. Das ähnelt Sudoku: Es ist schwierig, das Rätsel auszufüllen, aber nach dem Ausfüllen erkennt man sofort, ob die Lösung stimmt, wenn man sie einmal durchgeht. Daher werden die unbestrittensten Errungenschaften von KI-Unternehmen im Bereich der Mathematik erzielt.

Aus der Prüfung von Andrew Chi-Chih Yao und Yang Zhilin ergibt sich jedoch eine ernüchternde Schlussfolgerung: Keines der referenzierten Modelle konnte die bisher ungelösten offenen Vermutungen aus eigener Kraft lösen.

Es gibt bereits so viele Benchmarks für Großmodelle – warum muss man noch eine Prüfungsarbeit erstellen?

Die Punktzahlen der Großmodelle steigen fast alle zwei Runden an, und die verschiedenen Ranglisten verwirren die Betrachter. Tatsächlich können diese Listen jedoch nur beweisen, dass das Modell Aufgaben lösen kann, spiegeln aber nicht das Forschungsniveau des Modells wider.

Aufgaben zu lösen ist im Wesentlichen wie Kochen nach einem Rezept: Die Schritte sind vorgegeben, der Geschmack hat einen Standard – man hat ja noch nie gesehen, dass Schokolade in „Guobaorou“ (gebratenem Fleisch mit süß-saurer Soße) hinzugefügt wird, oder? Die Forschung hingegen hat keine festgelegten Schritte, niemand kann im Voraus sicher sein, ob sie am Ende erfolgreich ist, und selbst die Person, die die Aufgabe stellt, kennt bei vielen Problemen die Antwort nicht.

Noch komplizierter ist die Bewertung. Wenn das Modell auf einen Schlag Hunderte von Seiten „Beweisen“ schreibt, wer hat die Zeit, jede Seite durchzulesen? Wenn es behauptet, eine Vermutung gelöst zu haben, die seit Jahrzehnten ungelöst ist, wer kann dann beweisen, dass es richtig geschrieben hat?

Die 722 Manuskripte von OpenAI sind ein direktes Beispiel dafür.

Dieses Papier möchte genau das klären: Was kann KI tatsächlich leisten, wenn man sie mit echter Forschungsarbeit beauftragt?

Die Lösung besteht darin, nur Aufgaben zu stellen, die von Maschinen bewertet werden können. Je ähnlicher die Aufgabe echter Forschung ist, desto schwieriger ist die Bewertung; TCS ist hier eine Ausnahme, da die meisten ihrer Ergebnisse von Maschinen überprüft werden können.

Die Prüfungsarbeit umfasst insgesamt 100 Aufgaben, die in vier Kategorien unterteilt sind und den vier Tätigkeiten entsprechen, die theoretische Informatiker normalerweise ausüben.

Erste Kategorie: Theorembeweise, 20 Aufgaben. Die Aufgaben stammen aus Theoremen von TCS-Papieren aus den Jahren 2023 bis 2026, die alle von Forschern offiziell veröffentlicht wurden und 13 Teilbereiche abdecken.

Das Modell muss einen vollständigen Beweis von Anfang bis Ende schreiben, und zwar nicht in Umgangssprache, sondern in einer speziellen Sprache namens Lean 4, damit die Maschine ihn überprüfen kann. Das ist wie das Ausfüllen eines Formulars bei einer Behörde: Jedes Feld muss im vorgeschriebenen Format ausgefüllt werden, ein eingereichter Aufsatz wird nicht akzeptiert. Die Prüfungsmethode ist in drei Stufen unterteilt, die man sich wie das Bergsteigen vorstellen kann.

Zweite Kategorie: Löser-Engineering, 30 Aufgaben. Ein „Löser“ ist ein Programm, das speziell zum Lösen einer bestimmten Art von Aufgaben entwickelt wurde. Bei diesen Aufgaben soll das Modell nicht eine einzelne Aufgabe lösen, sondern ein Programm schreiben, das alle Aufgaben derselben Kategorie löst.

Das Modell erhält eine Aufgabenbeschreibung, eine sehr einfache Lösung und eine Reihe von öffentlichen Beispielaufgaben. Beispielsweise soll bei einer Reihe von Schaltkreisen die Anzahl einer grundlegenden Komponente (dem AND-Gatter) so weit wie möglich reduziert werden, ohne die Funktionalität zu verändern – je weniger Komponenten, desto besser.

Dritte Kategorie: Explizite Konstruktion, 20 Aufgaben. Bisher hat das Modell nur „auf dem Papier gekämpft“, bei der Konstruktion muss es das Objekt tatsächlich erstellen.

Vierte Kategorie: Offene Vermutungen, 30 Aufgaben. Diese Aufgaben sind Vermutungen, die bisher weder bewiesen noch widerlegt wurden.

Die bekannteste offene Vermutung für die breite Öffentlichkeit ist wahrscheinlich die Goldbach-Vermutung, die vor mehr als 280 Jahren aufgestellt wurde und für die bisher niemand einen zuverlässigen Beweis vorgelegt hat.

Die 30 Aufgaben in der Prüfungsarbeit sind nicht so berühmt, aber sie haben denselben Charakter. Jede Aufgabe hat zwei Leerfelder: eines für den vollständigen Beweis, dass die Vermutung gilt, und eines für den vollständigen Beweis, dass die Vermutung nicht gilt. Nur wenn eines der beiden Felder vollständig ausgefüllt ist, gilt die Aufgabe als gelöst.

Außerdem gibt es keine Teilpunkte für Zwischenschritte: Wenn die Aufgabe nicht gelöst wird, gibt es 0 Punkte.

Die Aufgaben werden zunächst von Experten nach drei Kriterien ausgewählt: ob sie Forschungswert haben, ob der Bereich vollständig abgedeckt ist und ob das Ergebnis überprüfbar ist.

Alle 100 Aufgaben wurden von Experten überprüft. Anschließend übersetzt ein KI-Assistent die Aufgaben in die Lean-Sprache und schreibt das Bewertungsprogramm. Danach überprüft ein anderer unabhängiger KI-Assistent anhand des ursprünglichen Papiers Zeile für Zeile, ob die Bedingungen und der Geltungsbereich der Aufgaben korrekt übernommen wurden, testet sie mit speziellen kleinen Beispielen und übersetzt die in Lean geschriebenen Aufgaben zurück in natürliche Sprache, um zu vermeiden, dass die Bedeutung bei der Übersetzung verfälscht wird.

In der Testphase wurden mehr als 40 Theoremaufgaben ausgeschieden, weil sie von dem Modell gelöst wurden. In der offiziellen Prüfung löst ein Modell eine Aufgabe unerwartet oder erhält einen ungewöhnlich hohen Punktwert, wird die Aufgabe und ihre Quelle erneut überprüft.

Darüber hinaus überprüft die KI den gesamten Ausführungsprozess des Modells neu, wenn es in der Prüfung einen Rekord bricht.

Genau wie bei allen Prüfungen, die Sie je absolviert haben, hat auch die TCSExam eine Zeitbegrenzung.

Für jede Aufgabe und jede Antwort werden maximal 12 Stunden gewährt, gemessen an der real verstrichenen Zeit. Kimi K3, Kimi K3.1 Pro und zwei Versionen von DeepSeek bearbeiten jede Aufgabe dreimal, die übrigen Modelle bearbeiten jede Aufgabe einmal. Für die Bearbeitung aller 100 Aufgaben werden maximal 1200 Stunden benötigt.

Außerdem gibt es bei der TCSExam sowohl offene als auch geschlossene Prüfung. Analysis und Wahrscheinlichkeitsrechnung werden unter geschlossenen Bedingungen geprüft, die Fächer wie Marxistische Philosophie und Ideologische und Moralische Erziehung werden mit offenen Unterlagen geprüft – das versteht jeder, der jemals an einer Universität studiert hat. Bei der TCSExam sind die beiden Kategorien Theorembeweis und Löser-Engineering ohne Internetzugang, nur die Kategorien Konstruktion und Vermutung erlauben das Nachschlagen von Literatur. Merken Sie sich diesen Punkt, er ist später nützlich.

Eine vollständige Version der Prüfung durchzuführen ist sehr zeitaufwändig, daher gibt es auch eine abgespeckte Lite-Version: Aus jeder der vier Kategorien werden 5 Aufgaben ausgewählt, insgesamt 20 Aufgaben. Die Zeitbegrenzung für jede Antwort bleibt unverändert, der Aufgabenumfang wird um 80 % reduziert, sodass maximal 240 Stunden benötigt werden. Aufgaben, Code und Bewertungstools sind vollständig öffentlich zugänglich, jeder kann sie zur Überprüfung verwenden.

Am Ende werden die vier Punktzahlen zu einer Gesamtsumme zusammengefasst, dem sogenannten TCSExam Index. Der Algorithmus ist einfach: Theorembeweis, Löser-Engineering und Konstruktion machen jeweils 30 Punkte aus, offene Vermutungen 10 Punkte. Die Formel lautet I=30P+30S+30C+10O, wobei P, S, C und O die durchschnittlichen Punktzahlen der vier Aufgabekategorien sind.

Wie lauten die Ergebnisse?

Bevor wir uns die Ergebnisse ansehen, erklären wir kurz, wie jeder Wert zu interpretieren ist.

An der vollständigen Prüfung nahmen 8 Teilnehmer teil: GPT-6 Astra von OpenAI, Kimi K3 und Kimi K3.1 Pro von Moonshot AI, GLM-5.3 von Zhipu AI, Qwen3.8 Max von Alibaba, Grok 4.6 von xAI sowie zwei Versionen von DeepSeek V4.1 Flash (0910 und 1017). Die Ergebnisse sind nach der Gesamtsumme absteigend sortiert:

Erster Platz: GPT-6 Astra mit 71,9 Punkten: Theorembeweis 70,0 %, Löser-Engineering 64,7 %, Konstruktion 104,9 %, offene Vermutungen 0,0 %.

Zweiter Platz: Kimi K3.1 Pro mit 57,4 Punkten: Theorembeweis 38,3 %, Löser-Engineering 54,1 %, Konstruktion 98,6 %, offene Vermutungen 1,1 %.

Dritter Platz: Kimi K3 mit 46,8 Punkten: Theorembeweis 11,7 %, Löser-Engineering 48,7 %, Konstruktion 95,5 %, offene Vermutungen 0,0 %.

Vierter Platz: DeepSeek V4.1 Flash 1017 mit 46,0 Punkten: Theorembeweis 6,7 %, Löser-Engineering 53,1 %, Konstruktion 91,8 %, offene Vermutungen 5,6 %.

Fünfter Platz: GLM-5.3 mit 45,5 Punkten: Theorembeweis 5,0 %, Löser-Engineering 49,1 %, Konstruktion 97,7 %, offene Vermutungen 0,0 %.

Sechster Platz: Qwen3.8 Max (0902) mit 44,8 Punkten: Theorembeweis 5,0 %, Löser-Engineering 49,2 %, Konstruktion 95,1 %, offene Vermutungen 0,0 %.

Siebter Platz: Grok 4.6 mit 40,5 Punkten: Theorembeweis 5,0 %, Löser-Engineering 43,8 %, Konstruktion 86,2 %, offene Vermutungen 0,0 %.

Achter Platz: DeepSeek V4.1 Flash 0910 mit 40,4 Punkten: Theorembeweis 0,0 %, Löser-Engineering 48,3 %, Konstruktion 86,6 %, offene Vermutungen 0,0 %.

Am Beispiel der 71,9 Punkte von GPT-6 Astra auf Platz 1: 70,0 % beim Theorembeweis multipliziert mit 30 ergibt 21 Punkte, 64,7 % beim Löser-Engineering ergibt 19,4 Punkte, 104,9 % bei der Konstruktion ergibt 31,5 Punkte, 0 Punkte bei den Vermutungen – zusammen ergibt das genau 71,9 Punkte.

GPT-6 Astra auf Platz 1 liegt 14,5 Punkte vor Kimi K3.1 Pro auf Platz 2; von Kimi K3 auf Platz 3 bis DeepSeek V4.1 Flash 0910 auf Platz 8 liegen sechs Modelle im Bereich von 40 bis 47 Punkten, die Differenz zwischen ihnen beträgt weniger als 7 Punkte.

In der Lite-Version gab es einen zusätzlichen Teilnehmer: Opus 5.5 von Anthropic. Er nahm nur an der Lite-Version teil und belegte sofort den ersten Platz.

Von 5 Theoremaufgaben bewies Opus 5.5 4 (80,0 %), Astra bewies 3 (60,0 %). Die Konstruktionspunktzahlen beider Modelle sind mit 100,4 % identisch; bei dem Löser-Engineering liegt Astra mit 63,0 % gegenüber 60,5 % sogar leicht vorne.

Die Rangfolgen der beiden Listen stimmen sehr gut überein.

Von den 8 Modellen, die an beiden Versionen teilnahmen, können insgesamt 28 Paare gebildet werden, um ihre Reihenfolge zu vergleichen. Bei 26 dieser Paare ist die Reihenfolge auf beiden Listen identisch. Statistisch gibt es einen speziellen Indikator zur Messung der Ähnlichkeit zweier Rangfolgen, den sogenannten Spearman-Korrelationskoeffizienten. Bei vollständiger Übereinstimmung beträgt er 1, hier liegt er bei 0,93. Das bedeutet, dass die Lite-Version zwar nur 20 Aufgaben umfasst, die daraus resultierende Rangfolge aber zuverlässig ist.

Bei dieser Prüfung darf man nicht nur auf die Punktzahlen achten, sondern muss auch die Verteilung der Ergebnisse betrachten.

Bei dem Löser-Engineering liegen die Ergebnisse aller Modelle nah beieinander, zwischen mindestens