Gerade hat Claude Fable 5 wieder den ersten Platz gewonnen.

Claude hat dieses Mal die KI-Programmier-Rangliste wirklich in eine völlig neue Dimension katapultiert!

Auf der gerade aktualisierten MirrorCode-Rangliste hat Claude Fable 5 mit einer absoluten Erfolgsrate von 64 % erneut den Spitzenplatz erreicht.

Das direkt danach folgende GPT-5.6 Sol erreicht nur ein Drittel dieser Punktzahl!

Auf dem vierten Platz schneidet GPT-5.5 noch schlechter ab. Es erreicht nicht nur eine Erfolgsrate von nur 10 %, sondern wird sogar von seinem Vorgänger GPT-5.4 deutlich übertroffen.

Noch überraschender ist: Bei der Verwendung von ressourcenintensiven Sprachen wie Go liegt die Lösungsrate von Fable 5 bei 64 %; bei der wenig verbreiteten Sprache Ada erreicht sie immer noch 61 %.

Man muss bedenken, dass die Menge an Python-Trainingsdaten in der Open-Source-Welt etwa 230 Mal so groß ist wie die von Ada.

Bei Fable 5 sinkt die Erfolgsrate allerdings um lediglich 3 Prozentpunkte.

Das ist sehr aufschlussreich.

Wenn das Modell hauptsächlich darauf angewiesen ist, die Syntax und gängigen Schreibweisen beliebter Sprachen auswendig zu lernen, sollte die Erfolgsrate bei der Umstellung auf Ada deutlich sinken.

Das aktuelle Ergebnis deutet jedoch auf eine andere Möglichkeit hin –

Das stärkste KI-Modell hat sich von den Einschränkungen konkreter Trainingsdaten gelöst und gelernt, wie man ein vollständiges Softwareprojekt von Grund auf neu erstellt.

An der 100 %-Erfolgsgrenze angekommen: Extremtest mit 10 Milliarden Token

Genauer gesagt umfasst das vollständige MirrorCode 25 Zielprogramme, die Bereiche wie Unix-Tools, Interpreter, Datenabfragen, Bioinformatik, Kryptographie und Komprimierungstools abdecken.

Dabei wird das Modell in eine isolierte Umgebung versetzt: Es gibt keinen Internetzugriff, es kann den Quellcode des Originalprojekts nicht sehen und keine Drittabhängigkeiten herunterladen. Es erhält nur hochrangige Dokumentation, einen Teil der sichtbaren Tests und ein Originalprogramm, das wiederholt aufgerufen werden kann.

Anschließend muss es fortwährend Daten in das Originalprogramm eingeben, die Ausgaben beobachten, um die interne Logik zu erraten, und Schritt für Schritt ein neues Programm mit identischem Verhalten schreiben.

In der aktuellen Rangliste werden 15 mittlere und große Ziele ausgewählt. Für jedes Ziel werden zwei Implementierungssprachen verwendet, und jede Sprache wird dreimal ausgeführt.

Zudem muss die Erfolgsrate sowohl bei den sichtbaren als auch bei den versteckten Tests 100 % erreichen, um als bestanden zu gelten – selbst 99,9 % reichen nicht aus.

Wenn auch nur ein Randfall übersehen wird, wird der gesamte Lauf als fehlgeschlagen gewertet.

Um das Modell dazu zu bringen, auch die letzten Lücken zu schließen, hat MirrorCode das einzelne Budget auf 10 Milliarden Token angehoben und erlaubt eine maximale Laufzeit von 7 aufeinanderfolgenden Tagen.

Der teuerste Aufgabenlauf in der Studie ist noch extremer: Das Modell lief 19 Tage lang ununterbrochen, wobei die Kosten pro Lauf 2600 US-Dollar erreichten.

Während dieser 19 Tage führt das Modell wiederholt das Originalprogramm aus, vergleicht die Ergebnisse, ergänzt Funktionen und führt die Tests anschließend erneut durch. Bei einem Fehler sucht es nach der Ursache, wenn die Ausgabe nicht übereinstimmt, ändert es die Annahmen, und wenn ein Teilabschnitt funktioniert, arbeitet es an der nächsten Lücke.

Der gesamte Prozess ähnelt mehr einem mehrtägigen Debugging-Vorgang als einer einmaligen Codegenerierung.

Das Beispiel von gotree ist besonders anschaulich.

Dieses Bioinformatik-Tool umfasst ursprünglich etwa 16.000 Zeilen Go-Code und mehr als 40 Befehle.

Claude Opus 4.7 hat 14 Stunden und 251 US-Dollar investiert, um 2000 von 2001 Tests zu bestehen, was eine Erfolgsrate von 99,95 % ergibt.

Obwohl es einen seltenen Randfall bei der Verarbeitung von Datumsbemerkungen übersehen hat und damit an der 100 %-Erfolgsgrenze von MirrorCode scheiterte, hat es den normalerweise wochenlangen Arbeitsaufwand auf weniger als 20 Stunden reduziert –

Epoch schätzt, dass menschliche Ingenieure für dieselbe Aufgabe ohne KI-Unterstützung mindestens 2 bis 17 Wochen benötigen würden.

In der „Datenwüste“ von Ada sinkt die Erfolgsrate von Fable 5 nur um 3 Punkte

Die MirrorCode-Studie verwendete die öffentliche Trainingsmischung von StarCoder als Referenz.

Dabei macht Python etwa 8 % aus, Ada nur 0,034 % – der Anteil von Python ist etwa 230 Mal so groß wie der von Ada.

Natürlich wissen wir nicht genau, wie viel Ada-Code das geschlossene Modell gesehen hat. Aber anhand des öffentlichen Ökosystems wird deutlich, wie selten Ada ist.

Diese Sprache wird hauptsächlich in der Luft- und Raumfahrt, der Verteidigung und anderen sicherheitskritischen Systemen eingesetzt. Weder die Größe der Community, die Anzahl der Tutorials noch die Menge an Open-Source-Projekten sind mit Python, JavaScript oder Go vergleichbar.

Und Fable 5 übersetzt den Go-Code offensichtlich nicht Satz für Satz in Ada.

Vielmehr versteht es zuerst, wie das Originalprogramm genau funktioniert, und erstellt dann ein neues Programm mit identischem Verhalten in einer anderen Sprache.

Im Vergleich dazu sind andere Modelle weit weniger stabil.

GPT-5.6 Sol sinkt von 24 % auf 19 %, GPT-5.4 von 21 % auf 12 %, und GPT-5.5 fällt sogar von 17 % auf 5 %. Sobald die Sprache gewechselt wird, werden die Unterschiede sofort deutlich.

Das gesamte Projekt an die KI übergeben

Heutzutage lässt Cursor bereits Hunderte von Agenten fast eine Woche lang zusammenarbeiten, um von Grund auf Browser-Code mit mehr als 1 Million Zeilen zu erstellen, der auf 1000 Dateien verteilt ist.

Anthropic ließ 16 Claude-Agenten parallel fast 2000 Sitzungen durchführen und erstellte schließlich einen C-Compiler mit 100.000 Zeilen Code, der den Linux 6.9-Kernel kompilieren kann.

In den von OpenAI veröffentlichten Stichproben von Codex-Privatnutzern bis Mai haben 70,2 % mindestens einmal eine Aufgabe eingereicht, deren erwarteter menschlicher Arbeitsaufwand mehr als eine Stunde beträgt; 25,6 % haben Aufgaben mit einem Arbeitsaufwand von mehr als 8 Stunden eingereicht.

Die Einheiten, die Menschen der KI übergeben, entwickeln sich von einzelnen Codezeilen und einzelnen Fehlern zu Aufgaben, die einen Nachmittag, eine ganze Woche oder sogar das gesamte Projekt umfassen.

Die 64 % von MirrorCode sind genau eine Quantifizierung dieser „Projektübergabe an die KI“.

Sie zeigt, dass fortschrittliche Modelle heute bereits in der Lage sind, einen Teil mittlerer und großer Softwareprojekte selbstständig abzuschließen, solange das Ziel klar definiert ist und die Ergebnisse automatisch überprüft werden können.

Für alle, die ihre Arbeit zunehmend an die KI übergeben, ist diese Veränderung bereits greifbar nah –

Früher mussten Sie die KI bei jeder einzelnen Codezeile überwachen, in Zukunft werden Sie höchstwahrscheinlich nur noch an wichtigen Knotenpunkten prüfen, ob sie vom richtigen Pfad abweicht.

Code wird immer günstiger werden.

Und die Menschen, die Probleme klar formulieren und Ergebnisse zuverlässig überprüfen können, werden immer wertvoller.

Quelle: https://epoch.ai/MirrorCode

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Xinzhi Yuan“, Autor: ASI Offenbarung; Redakteur: Moses, veröffentlicht mit Genehmigung von 36Kr.