Ein Lehrer-Schüler-Duo von Tsinghua und Wharton hat ein seit 40 Jahren ungelöstes wissenschaftliches Rätsel gelöst, wobei der gesamte zentrale mathematische Teil von GPT verfasst wurde – das kannst du auch problemlos schaffen.

Der Algorithmus, der alle KI trainiert, wurde von der KI selbst zum „Tode“ verurteilt?

Erst kürzlich haben zwei Forscher der Tsinghua-Universität und der Wharton School der University of Pennsylvania ein neues Paper veröffentlicht, das eine Schlussfolgerung liefert, auf die die Optimierungstheorie seit 40 Jahren wartet —

Wenn der Gradientenabstieg die höchste Geschwindigkeit erreichen soll, reicht es nicht aus, nur die Schrittweite anzupassen.

Dies ist das erste Mal in der Geschichte, dass jemand nachweist, dass es eine unüberwindbare mathematische Obergrenze gibt, wenn der Gradientenabstieg nur durch die Gestaltung der Schrittweitenfolge angetrieben wird.

Und derjenige, der den Kernbeweis erbracht hat, ist kein Mensch, sondern GPT-5.6 Sol Pro.

GPT-5.6 hat ein Problem gelöst, auf das seit 40 Jahren niemand eine Antwort wusste

Die Sache verhält sich so.

Der Gradientenabstieg ist allen bekannt: Von GPT über Stable Diffusion bis hin zum autonomen Fahren läuft alles darauf auf. Die Konvergenzgeschwindigkeit des standardmäßigen Gradientenabstiegs beträgt O(1/T): Nach T Schritten sinkt der Fehler ungefähr auf die Größenordnung von 1/T.

1983 fügte Nesterov dem Gradientenabstieg einen Impuls hinzu und trieb ihn direkt auf O(1/T²). Wenn man ebenfalls 1000 Schritte läuft, sinkt der Fehler von 1/1000 auf 1/1000000 — ein Unterschied von drei Größenordnungen. Bis heute ist dies das theoretische Optimum.

Dann stellt sich eine ganz natürliche Frage: Kann man ohne Hinzufügen von Impulsen oder Änderung der Struktur, nur durch sorgfältige Gestaltung der Schrittweite bei jedem Schritt, ebenfalls Nesterov einholen?

Diese Frage blieb ganze 40 Jahre lang unbeantwortet. Bis 2023 entwickelten Altschuler und Parrilo vom MIT die sogenannte „silver stepsize“.

Diese Schrittweitenfolge nimmt nicht traditionell schrittweise ab, sondern wechselt zwischen großen und kleinen Werten und weist eine fraktale selbstähnliche Struktur auf. Dadurch wurde der Gradientenabstieg auf O(T^{-1.2716}) getrieben.

Ist dieser Wert 1,2716 nun das Ende der reinen Schrittweitensteuerung oder nur ein Anfang?

Kürzlich nahm ein chinesisches Lehrer-Schüler-Paar dieses Problem in Angriff.

Jianhao Ma trat im Juli dieses Jahres gerade in die Fakultät für Industrieingenieurwesen der Tsinghua-Universität ein. Er promovierte an der University of Michigan und kehrte nach seiner Postdoc-Forschung an der University of Pennsylvania nach China zurück, um die Professur anzutreten.

Sein Postdoc-Betreuer Yuxin Chen ist benanntes Professor an der Wharton School, promovierte an der Stanford University, wechselte von Princeton zur University of Pennsylvania und erhielt den SIAM Best Paper Award.

Bisher haben alle Menschen nur Ergänzungen vorgenommen, intelligentere Schrittweitenfolgen entworfen und geschaut, wie hoch die Geschwindigkeit gesteigert werden kann.

Die Idee von Ma und Chen war umgekehrt: Sie wollten beweisen, dass es eine Linie gibt, die man nicht überschreiten kann, egal wie man die Schrittweite gestaltet.

Um eine gute Schrittweite zu finden, braucht man nur ein einziges erfolgreiches Beispiel. Aber um zu beweisen, dass „alle möglichen Schrittweiten nicht funktionieren“, muss man zu unendlich vielen Möglichkeiten „nein“ sagen.

Die beiden überlegten eine Weile und übergaben das Problem dann direkt an GPT-5.6 Sol Pro, um die KI es versuchen zu lassen.

Genauer gesagt gaben sie GPT zwei Dinge:

Erstens das Forschungsziel, zu beweisen, dass die reine Schrittweitensteuerung O(1/T²) nicht erreichen kann. Zweitens eine übergeordnete Strategie namens „resisting oracle“ (Widerstand leistendes Orakel).

Ihr Prinzip besteht darin, zuerst eine gegnerische Trajektorie zu konstruieren, auf der der Gradientenabstieg am langsamsten läuft, und dann eine echte glatte konvexe Funktion zu finden, sodass der Pfad, den der Gradientenabstieg auf dieser Funktion läuft, genau dieser langsame Weg ist.

Nachdem die Richtung festgelegt war, begann GPT-5.6 Sol Pro mit der Arbeit.

Das Kernkonzept, das es schließlich lieferte, ist eine geometrische Konstruktion.

Bei einer beliebigen gegebenen Schrittweitenfolge wählt man zuerst die „langen Schritte“ aus, also die Schritte, deren Schrittweite den standardmäßigen Sicherheitswert 1/L übersteigt. Dann platziert man in einem hochdimensionalen Raum eine Gruppe von zueinander senkrechten Ankerpunkten, von denen jeder einem langen Schritt entspricht.

Der Gradientenabstieg ist gezwungen, zwischen zwei langen Schritten in die gleiche Richtung zu laufen, und springt bei einem langen Schritt in die nächste völlig senkrechte Richtung. Die gesamte Trajektorie wird durch eine glatte konvexe Funktion namens Moreau-Enveloppe exakt realisiert und ist streng äquivalent.

Der Schlüssel dieser Konstruktion liegt darin, dass sie maßgeschneidert für Ihre Schrittweitenfolge ist. Egal wie Sie die Schrittweite gestalten, sie kann eine entsprechende Funktion erzeugen, die Sie blockiert.

Aber an diesem Punkt ist der Beweis noch nicht abgeschlossen.

Die endgültige untere Schranke darf nicht von der Reihenfolge abhängen, in der die langen Schritte auftauchen, sonst könnte die gleiche Schrittweitenfolge durch eine andere Anordnung entkommen.

GPT-5.6 fand dann eine Abgleichstechnik: Es ordnete die langen Schritte nach ihrer Größe, konstruierte einen Pfad, teilte ihn in zwei Gruppen (gerade und ungerade) zum Abgleich auf und beseitigte die zeitliche Abhängigkeit vollständig. Dann führte es eine Lyapunov-Potenzfunktion ein, um das globale Wachstum zu steuern, und fasste mit Hilfe einer Abschneideargumentation die lokalen Beschränkungen zu einer globalen unteren Schranke zusammen.

Diese Argumentation entstand vollständig durch mehrere Iterationen, bei denen Ma und Chen wiederholt mit GPT-5.6 Sol Pro interagierten: Wenn sie Mängel in der Ableitung fanden, wiesen sie darauf hin, und GPT korrigierte sie, bevor es weiterging.

Mit den eigenen Worten von Ma gesagt: Kein einziges nicht-triviales mathematisches Element im Kernbeweis stammt von einem Menschen.

In dem gesamten Beweis gibt es einen Schlüsselparameter, der gleichzeitig durch zwei Bedingungen beschränkt ist: Die Abgleichsschranke gibt die untere Grenze an, die Wachstumssteuerung die obere Grenze.

Wenn der Konvergenzexponent p abnimmt, rücken die beiden Beschränkungen immer näher zusammen. Bei p = √(2+√3) ≈ 1,9319 treffen sich die beiden Linien, der Spielraum des Parameters geht auf Null. Wenn man weiter ableitet, funktioniert der Beweis nicht mehr.

Die endgültige Schlussfolgerung von GPT-5.6 Sol Pro lautet: Für jede im Voraus festgelegte nichtnegative Schrittweitenfolge beträgt die untere Schranke der Konvergenzrate des Gradientenabstiegs Ω(T^{-1.9319}).

Der Gradientenabstieg mit reiner Schrittweitenanpassung kann diese Linie niemals überschreiten, egal wie ausgeklügelt die Schrittweitenfolge gestaltet ist.

Mit anderen Worten: Um die höchste Konvergenzgeschwindigkeit zu erreichen, muss man die Struktur des Algorithmus ändern.

Abschließende Prüfung durch Lean 4: Null „sorry“, Null „admit“

Wie kann man sicherstellen, dass der von der KI geschriebene Beweis keine Halluzination ist?

Ma und Chen verwendeten das härteste Überprüfungsverfahren der Mathematik: den Lean-4-Theorembeweiser.

Sie nutzten Codex, um den natürlichsprachlichen Beweis von GPT-5.6 Sol Pro schrittweise in Lean-4-Code umzuwandeln.

Dieses formale Verifizierungssystem prüft jeden Schritt der Ableitung Zeile für Zeile. Jeder logische Sprung oder fehlende Begründung führt direkt zu einem Kompilierungsfehler.

Wenn man einen Schritt vorerst nicht beweisen kann, kann man ein „sorry“ oder „admit“ einfügen, um ihn vorerst zu überspringen — das bedeutet „diesen Schritt habe ich noch nicht abgeschlossen“.

Das endgültige Ergebnis: Null „sorry“, Null „admit“. Kein einziger Schritt wurde übersprungen.

Der Code ist auf GitHub öffentlich zugänglich, zusammen mit der Datei TRACEABILITY.md, die jedes Theorem im Paper zeilenweise mit dem entsprechenden Beweis im Lean-Code abgleicht. Wer es überprüfen möchte, kann es selbst kompilieren.

Projektadresse: https://github.com/jianhaoma/gd-lower-bound-lean

Die gesamte Überprüfungskette besteht aus drei aufeinanderfolgenden Gliedern: GPT-5.6 Sol Pro konstruiert den Beweis, Codex übersetzt ihn in Lean 4, der Compiler führt die abschließende Zeile für Zeile-Prüfung durch. Menschen überwachen den gesamten Prozess.

Sie müssen der KI nicht „vertrauen“ — lassen Sie das formale System entscheiden.

Die Geschichte ist noch nicht zu Ende

Derzeit lässt sich folgender Bereich bestätigen: Die „silver stepsize“ hat den Gradientenabstieg bereits auf T^{-1.2716} getrieben, und Ma und Chen haben bewiesen, dass er T^{-1.9319} nicht überschreiten kann.

Dazwischen fehlen noch 0,66. Wo liegt die tatsächliche Obergrenze?

Ben Grimmer, ein Optimierungsforscher, der sich seit langem mit diesem Problem befasst, sagte nach der Lektüre des Papers, er „glaube fest“, dass 1,2716 die echte Obergrenze ist.

Wenn er Recht hat, dann ist die „silver stepsize“ bereits das Ende der reinen Schrittweitensteuerung, und die untere Schranke von Ma und Chen kann noch weiter verfeinert werden.

Aber egal wo die tatsächliche Obergrenze liegt, dieses Paper hat den wichtigsten Schritt vollzogen: Dass der Gradientenabstieg durch reine Schrittweitenanpassung nicht die volle Punktzahl erreichen kann, ist von einer Vermutung zu einem Theorem geworden.

Und diejenigen, die dieses Ergebnis erzielt haben, sind nur zwei Personen. Kein Mathematikteam, kein Lean-Experte, kein dediziertes Rechenbudget — sie nutzten die kommerzielle Version von GPT-5.6 Sol Pro, auf die jeder zugreifen kann.

Wenn sich dieses Muster wiederholen lässt, kann jeder Forscher auf der Welt mit einem guten Problem die KI dazu bringen, den Beweis für ihn durchzuführen.

Referenzen:

https://arxiv.org/abs/2608.10418

Dieser Artikel stammt aus dem WeChat-Öffentlichkeitskonto <