Was passiert, wenn KI beginnt, KI zu verbessern? | Das hyper-evolvierte intelligente automatisierte KI-System bricht 3 SOTA-Rekorde

Heute ist jeder Fortschritt modernster Modelle nach wie vor untrennbar von den Urteilen menschlicher Forscher in drei Schlüsselbereichen: Vor dem Training zu entscheiden, was sich zu skalieren lohnt, während des Trainings effizientere Algorithmen und Lösungen zu finden und gleichzeitig die Effizienz des zugrundeliegenden Systems zu steigern, das beide unterstützt.

Wenn diese Arbeiten von KI autonom und rekursiv erledigt werden könnten, würde sich das Fortschrittstempo grundlegend ändern: Jede validierte Verbesserung würde zu einem stärkeren Ausgangspunkt für die nächste Forschungsrunde.

Auf dieser Grundlage haben wir das automatisierte KI-Forschungssystem von Apex Intelligence aufgebaut, das darauf abzielt, dass KI Verbesserungen im gesamten technischen Stack des Trainings selbstständig entdeckt und validiert.

Bei der ersten systematischen Bewertung erzielte unser KI-System drei neue offizielle SOTA-Ergebnisse bei SLDBench SimpleTES, GPUMode TriMul (H100) und MLS-Bench Fused Causal Attention. Dabei übertraf das Ergebnis von TriMul TTT-Discover, das gemeinsam von Forschern von Einrichtungen wie Stanford und NVIDIA entwickelt wurde; bei NanoChat Autoresearch übertrifft unser Ergebnis auf B200 auch die veröffentlichten Ergebnisse von Recursive SuperIntelligence und Tencent Hunyuan Hyra und nähert sich dem öffentlichen SOTA für das Training von LLMs mit festem Budget an.

Zusammenfassend erreicht dieses automatisierte rekursive Forschungsparadigma bereits das Niveau der besten menschlichen Ingenieurteams und aktueller fortschrittlicher automatisierter Systeme in drei Bereichen: Vorhersage von Skalierungsgesetzen für Modelle, Training von Sprachmodellen mit festem Budget und Leistungsoptimierung von GPU-Kernels und übertrifft es bei einigen Aufgaben sogar.

Bei jeder Bewertung führt das KI-System einen vollständigen Forschungszyklus autonom durch: Es identifiziert Probleme, die verbessert werden müssen, schlägt Lösungen vor und testet sie, validiert die Ergebnisse und lernt aus den experimentellen Belegen. Die validierten Spitzenergebnisse werden wiederum zu einem stärkeren Ausgangspunkt für nachfolgende Forschungen, sodass die Verbesserung von der einrundigen Optimierung zu einem rekursiven Zyklus übergeht.

 

 

01 

SLDBench SimpleTES

 

Bevor das großskalige Training wirklich beginnt, müssen Forscher eine Frage beantworten, die sich nicht durch direkte Experimente vollständig erschöpfen lässt: Wie verhält sich die Leistung des Modells, wenn die Skalierung einen Bereich erreicht, in dem direkte Experimente nicht mehr durchführbar sind? Genau dafür dient das Scaling Law, das direkte Auswirkungen auf wichtige Entscheidungen wie Modellskalierung, Datenzusammensetzung, Lernrate, Batch-Größe und Rechenbudget hat. Wenn ein Gesetz nur kleine Experimente anpassen kann, aber nicht genau auf größere Trainingsskalen extrapolierbar ist, könnte das gesamte Trainingsbudget in die falsche Richtung gelenkt werden.

SLDBench wandelt diese Unsicherheit in eine quantifizierbare automatische Entdeckungsaufgabe um. Es basiert auf mehr als 5.000 veröffentlichten LLM-Trainingsexperimenten und verlangt von dem KI-System, sowohl symbolische Gesetze als auch Anpassungsmethoden bereitzustellen und dabei in Skalierungsbereichen, die nicht in die Anpassung einbezogen wurden, genau zu bleiben. Gemäß der von SimpleTES verwendeten Vier-Aufgaben-Bewertung haben wir parallel scaling, domain-mixture scaling, learning-rate/batch-size co-scaling und U-shaped compute scaling getestet.

Unter Verwendung derselben festen Version des öffentlichen Bewerters übertraf unser KI-System die bisherigen öffentlichen Referenzergebnisse bei allen vier Aufgaben. Der durchschnittliche Punktwert für die vier Aufgaben stieg von 0,8613 auf 0,8846, was einer Steigerung von 2,71 % entspricht. Die größte Verbesserung erzielte U-shaped scaling mit einem Anstieg von 0,4975 auf 0,5761, was einer Steigerung von 15,80 % entspricht; learning-rate/batch-size co-scaling stieg von 0,9506 auf 0,9650, was einer Steigerung von 1,51 % entspricht, parallel scaling und domain-mixture scaling wurden ebenfalls weiter verbessert. Da die Bewertung auf der Leistung in zurückgehaltenen Skalierungsbereichen basiert, liegt der Fokus dieser Bewertung darauf, ob das Gesetz auch über die bekannten Experimente hinaus Gültigkeit behält, und nicht nur darin, bereits beobachtete Daten anzupassen.

Abbildung 1: Unser KI-Forschungssystem übertraf die bisherigen öffentlichen Referenzergebnisse bei allen vier ausgewählten SLDBench-Aufgaben und erhöhte den durchschnittlichen Punktwert des zurückgehaltenen Datensatzes von 0,8613 auf 0,8846. Die größte Verbesserung erzielte U-shaped scaling. Höhere Punktwerte sind besser.

Die repräsentativste methodische Innovation ergab sich bei U-shaped compute scaling. Unser KI-System betrachtete die gesamte Kurve nicht als einen einzigen Trend, sondern teilte sie in zwei Teile auf: Einen langfristigen Skalierungstrend, der die Leistung bei großen Skalen bestimmt, und einen weiteren, stufenweisen Effekt, der nur in einem begrenzten Rechenbereich auftritt und anschließend allmählich abklingt. Auf diese Weise wird eine vorübergehende Trendumkehr in den experimentellen Daten nicht fälschlicherweise als langfristige Veränderung extrapoliert, die unbegrenzt andauert.

Der Wert dieser Unterscheidung zeigt sich vor allem in der Extrapolation. Der Bewerter verbirgt die letzte Stufe der Kurve. Eine ausreichend flexible Gleichung kann zwar die beobachtete Biegung anpassen, könnte aber bei der weiteren Extrapolation eine völlig entgegengesetzte Richtung liefern. Durch die separate Modellierung des Auftretens, der Dauer und des Abklingens des stufenweisen Effekts kann das KI-System den Verlauf nach dem Wendepunkt genauer vorhersagen.

Diese Zerlegung verbessert die Vorhersagegenauigkeit im zurückgehaltenen Bereich und behält gleichzeitig eine gute Interpretierbarkeit und Überprüfbarkeit bei, sodass sie einen klaren technischen Nutzen hat. Sie liefert auch eine Forschungshypothese, die auf andere Scaling-Law-Probleme anwendbar sein könnte: Eine beobachtete Trendumkehr bedeutet nicht unbedingt, dass sich das langfristige Skalierungsgesetz geändert hat, sondern kann lediglich ein vorübergehender stufenweiser Effekt sein, der dem langfristigen Trend überlagert ist.

02 

NanoChat Autoresearch

 

Ein festes Rechenbudget zwingt jede neue Idee zu einer direkten Prüfung: Wenn Trainingszeit und Hardware-Ressourcen vollständig identisch sind, kann eine Leistungssteigerung nur durch eine effizientere Nutzung dieses Budgets erreicht werden. Daher bietet NanoChat Autoresearch ein klares Testszenario, um zu beurteilen, ob das KI-System durch schnelle Experimente und autonome Iterationen die Implementierung des Modelltrainings tatsächlich verbessern kann.

NanoChat Autoresearch wurde von Andrej Karpathy im März 2026 veröffentlicht. Es stellt einem Agent eine GPU zur Verfügung und erlaubt die freie Modifikation von Modellarchitektur, Optimierer, Hyperparametern und Trainingscode. Jedes Experiment dauert nur fünf Minuten, und die Bewertung erfolgt anhand von bits per Byte auf dem Validierungssatz (val_bpb), wobei niedrigere Werte besser sind. Anschließend wurde dieser Mechanismus zu autoresearch@home erweitert, wo menschliche Teilnehmer und KI-Agenten Experimente teilen und kontinuierlich die aktuell stärkste öffentliche Lösung herausfordern können.

Bei einem festen Zeitlimit von 300 Sekunden und einer einzelnen B200-GPU erzielte unser KI-System 0,892426 val_bpb, was nahe dem aktuellen öffentlichen Spitzenniveau liegt. Dieses Ergebnis übertrifft das beste einzelne Ergebnis von 0,903891, das Recursive SuperIntelligence im Juni 2026 veröffentlicht hat, sowie den durchschnittlichen Wert von 0,9108745 über 10 zufällige Seeds, und übertrifft auch das Hyra-Ergebnis von Tencent Hunyuan, das im Juli 2026 mit 0,901543 veröffentlicht wurde. Bis September 2026 nähert es sich dem Spitzenreiter der öffentlichen Rangliste, ScienceGuru von AutoTrust AI (0,889522), an.

Abbildung 2: Vergleich des Validation-BPB bei einem festen Trainingsbudget von 300 Sekunden auf einer einzelnen B200. Niedrigere Werte sind besser.

Der Schlüssel zu dieser Verbesserung lag darin, dass die Sparsität von n-Gramm den gesamten Trainingsberechnungsprozess durchdringt. ScienceGuru hat bereits gezeigt, dass großskaliger n-Gramm-Speicherung das Trainingsergebnis verbessern kann, aber jeder Batch greift tatsächlich nur auf wenige Zeilen dieser großen Tabellen zu. Unser KI-System stellte weiterhin fest, dass ein Teil der Gradientenberechnung im Trainingsablauf immer noch dicht ausgeführt wird, sodass das Modell zwar im Zugriff sparsam ist, die Systemebene aber weiterhin die Kosten der großskaligen dichten Berechnung trägt.

Um dieses Problem zu lösen, entwarf das KI-System einen kompakteren Backpropagation-Prozess, der nur die Zeilen aktualisiert, auf die der aktuelle Batch tatsächlich zugreift. Nach der Änderung sank der Spitzen-Grafikspeicher für das Training von ca. 177,7 GB auf 140,6 GB, was einer Abnahme von 20,9 % entspricht, während die Modellqualität nahe am SOTA-Niveau gehalten wird. Bei demselben Budget von 300 Sekunden verarbeitete das KI-System ca. 4,5 % weniger Tokens als die Implementierung von ScienceGuru und erzielte trotzdem 0,892426 val_bpb, was zeigt, dass eine nahe am SOTA liegende Trainingsqualität keine höhere Token-Durchsatzrate erfordert.

Anschließend erweiterte das KI-System dieses Prinzip auf den gesamten Datenzugriffsablauf (memory-access path): Es fusioniert zwei n-Gramm-Tabellenabfragen, Verkettung, Erkennung aktiver Zeilen und Zeilenregistrierung zu einem einzigen Triton-Kernel und lässt die Backpropagation die generierte Zeilen-zu-Slot-Zuordnung direkt wiederverwenden, wodurch doppelte Indizierung beseitigt wird und die Sparsität von der Datenabfrage bis zur Gradientenaktualisierung erhalten bleibt. Seine systemische Bedeutung ist eindeutig: Sparse Modelle müssen keine Kosten für dichte Implementierungen mehr tragen. Diese Idee lässt sich voraussichtlich auch auf andere Aufgaben übertragen, die auf großen Einbettungstabellen oder Speichertabellen basieren und bei denen jeder Batch nur auf wenige Zeilen zugreift.

03 

GPUMode TriMul H100

 

Wenn ein GPU-Kernel bereits hochgradig optimiert ist, verbirgt sich die verbleibende Latenz oft an den unscheinbarsten Stellen. Wenn ein Teilbereich kontinuierlich beschleunigt wird, wandert der Engpass zwischen Kernel-Fusion, Tensor-Layout und Speicherzugriff hin und her. Um die Leistung weiter zu steigern, muss man nicht nur bessere Kernel erzeugen, sondern auch neu beurteilen, wo der tatsächliche Engpass liegt.

Die GPUMode-TriMul-Aufgabe zielt auf das outgoing Triangle Multiplicative Update in Proteinstrukturmodellen vom Typ AlphaFold ab. Die Teilnehmer müssen eine numerisch korrekte Version auf einer NVIDIA H100 implementieren und die geometrische mittlere Latenz unter sieben festen Eingangsformen so weit wie möglich senken. Diese Aufgabe hat bereits viele Spitzen-Ingenieure und automatisierte Systeme angezogen, darunter TTT-Discover, das von Forschern von Einrichtungen wie Stanford, NVIDIA, Astera Institute, UC San Diego und Together AI im Januar 2026 veröffentlicht wurde.

Bei sieben H100-Arbeitslasten senkte unser KI-System die geometrische mittlere Latenz auf 1.036,1 μs. Bei gepaarten Bewertungen auf demselben Gerät liegt dieser Wert um 2,71 % niedriger als die beste von Menschen entworfene Kontrolllösung stashuk-olek (1.064,9 μs). Nach den jeweils veröffentlichten Werten liegt er auch unter den Werten von shiyegao CUDA (1.074 μs), Zeyu Shen Triton (1.140 μs) und TTT-Discover (1.161 μs) und unterscheidet sich nur um ca. 0,59 % von dem separat von K-Search gemeldeten Wert von 1.030 μs.

Abbildung 3: Geometrische mittlere Latenz unter sieben GPUMode-TriMul-H100-Eingangsformen. Unser KI-System erreichte 1.036,1 μs, wobei niedrigere Werte besser sind. Hinweis: Andere öffentliche Werte stammen aus jeweiligen Berichten oder Bewertungsaufzeichnungen und wurden nicht auf demselben Gerät wie unsere Ergebnisse gemessen. Unser Wert von 1.036,1 μs wurde lokal mit dem offiziellen Bewerter ermitt