Die KI erstellt selbst Übungsaufgaben für das eigene Training, erzielt innerhalb von zwei Monaten einen rasanten Leistungszuwachs von 11 % und übertrifft Opus 4.8 bei der Codierungs-Selbstprüfung.

Das Teuerste beim Trainieren eines einsatzfähigen Modells ist nicht die Grafikkarte, sondern die Trainingsaufgaben.

Besonders auf dem Niveau von Codierung und Agenten reichen bloße Aufgaben und Lösungen nicht aus: Man muss zusätzlich eine lauffähige Umgebung bereitstellen, einen Test zur korrekten Bewertung der Ergebnisse erstellen und verhindern, dass das Modell alte Einreichungen durchsieht und Lösungen abschreibt.

Der Schwierigkeitsgrad darf auch nicht willkürlich festgelegt werden.

Ist er zu einfach, erledigt das Modell die Aufgaben im Schlaf und lernt nichts; ist er zu schwierig, schafft es keine einzige Aufgabe, sammelt keine korrekten Erfahrungen und die verbrauchte Rechenleistung ist umsonst.

Wenn all diese Bedingungen erfüllt sind, muss auch die Menge ausreichend sein.

Bisher wurde diese Arbeit immer von Menschen erledigt. Sie ist nicht nur langsam und teuer, sondern vor allem nicht nachlieferbar: Sobald man eine Charge von Aufgaben zusammengestellt hat, hat das Modell sie schon erledigt.

Was wäre, wenn das Modell sich selbst Aufgaben stellt?

Es gibt tatsächlich Leute, die das umgesetzt haben.

Im August dieses Jahres hat Ornith auf einen Schlag drei Gewichtungsvarianten veröffentlicht: 397B MoE, 35B MoE und 9B Dense.

Im Trainingsablauf gibt es einen bisher nie dagewesenen Schritt: Das Modell generiert selbst Trainingsaufgaben, erstellt selbst Gerüste zur Lösung der Aufgaben und führt selbst Lösungspfade aus. Alle drei Teile werden gemeinsam in das Reinforcement Learning eingespeist.

Die Aufgabe des Erstellens von Aufgaben wurde von der KI aus den Händen der Menschen übernommen.

Die Zahlen haben sofort Ergebnisse gezeigt.

Auf Terminal-Bench 2.1 erreichte das vor zwei Monaten veröffentlichte 1.0 einen Wert von 77,5, während das aktuelle 397B auf 86,1 kommt. In zwei Monaten ist der Wert um 8,6 Prozentpunkte gestiegen.

In derselben Tabelle gibt Ornith für Claude Opus 4.8 einen Wert von 85,0 an.

Ein frei herunterladbares Gewicht unter der MIT-Lizenz steht in dieser Tabelle vor den geschlossenen Flaggschiff-Modellen.

1.0 lernt, wie man löst

1.5 lernt, was man üben soll

Ornith-1.0 vom Juni dieses Jahres hat bereits ein ziemlich radikales Vorgehen umgesetzt: Das Agentengerüst, also die Arbeitsumgebung, die die KI zur Lösung von Aufgaben nutzt, zu einem erlernbaren Objekt zu machen.

Das übliche Vorgehen besteht darin, dass menschliche Ingenieure ein Gerüst für eine bestimmte Art von Aufgaben entwerfen: Wie Tools bereitgestellt werden, wie Aufgaben zerlegt werden und wie Fehler wiederholt werden, alles wird fest kodiert, dann lässt man das Modell in diesem festen Rahmen immer wieder üben.

Version 1.0 hat diesen Rahmen aufgebrochen und dem Modell überlassen, es selbst zu erstellen.

Jeder Schritt des Reinforcement Learning gliedert sich in zwei Teile: Zuerst wird basierend auf der Aufgabe und dem im vorherigen Schritt verwendeten Gerüst eine neue Version angepasst, dann wird der Lösungspfad auf dieser Version ausgeführt. Die Belohnung wird vom Pfad zurückgegeben und beide Teile erhalten sie.

Das zweistufige Selbstverbesserungsframework von Ornith-1.0. Zuerst wird das Gerüst angepasst, dann der Lösungspfad ausgeführt, die Belohnung wird an beide Teile zurückgegeben.

Das Modell hat gelernt, die Arbeitsumgebung zu erstellen. Aber die Aufgaben wurden immer noch von Menschen zugewiesen: Wo die Aufgaben herkommen, hat Version 1.0 nicht berührt.

Version 1.5 hat auch diesen Teil übernommen.

Bei Angabe eines Code-Repositorys, einer hochrangigen Beschreibung des Aufgabentyps und den eigenen vergangenen Lösungsaufzeichnungen des Modells generiert das System zuerst eine Reihe neuer Aufgaben, die speziell einen Schwierigkeitsgrad höher liegen als die bereits gelösten, um die Lücken in der eigenen Fähigkeit zu schließen.

Nachdem die Aufgabe festgelegt ist, generiert oder verbessert das Modell das spezielle Gerüst für diese Aufgabe: Anweisungen, Tools, Zerlegungsstrategien und Ausführungslogik.

Schließlich wird unter den doppelten Bedingungen von Aufgabe und Gerüst der Lösungspfad ausgeführt.

Die Belohnung wird von dem Pfad rückwirkend an alle drei Teile übergeben und gemeinsam mit GRPO optimiert.

Der entscheidende Punkt ist, dass auch der Teil der Aufgabenerstellung bewertet werden muss. Wenn die Aufgabe schlecht erstellt ist, wird auch der Teil, der die Aufgabe erstellt hat, abgestraft.

Aufgabenerstellung, Gerüsterstellung und Lösung der Aufgaben schließen sich zu diesem Zeitpunkt zu einem geschlossenen Kreislauf zusammen.

Je stärker die Strategie ist, desto schwieriger und informativer sind die erstellten Aufgaben; je weiter sich das Gerüst entwickelt, desto mehr Fähigkeiten des Modells können ausgeschöpft werden; wenn die Qualität der Pfade steigt, liefern sie wiederum stärkere Lernsignale.

In den vergangenen zwei Jahren gab es für offene Modelle, um geschlossene Flaggschiff-Modelle einzuholen, im Grunde nur zwei Wege: Parameter aufzustapeln und Rezepte abzuschreiben.

Beide Wege laufen darauf hinaus, die Lösungen von den Aufgabenblättern anderer abzuschreiben. Ornith will das nicht mehr tun. Es will, dass die KI selbst Aufgabenblätter erstellt.

Selbst erstellte Aufgaben

Wie sichergestellt wird, dass es keine nutzlosen Aufgaben sind

Das klingt gut, aber man findet schnell einen Schwachpunkt: Was ist, wenn das Modell sich selbst Aufgaben stellt, die es ohne Probleme lösen kann?

Die Belohnung geht dorthin, wo sie hoch ist, und das Modell entwickelt sich in diese Richtung. Ein Aufgabensteller, der nur Fragen wie „Wie viel ist 1+1?“ stellt, kann die Punktzahl in die Höhe treiben, liefert aber keinerlei Trainingssignale.

Die Lösung von Ornith besteht darin, die Aufgabenbelohnung in drei Signale aufzuteilen: Gültigkeit, Grenzschwierigkeit und Neuheit, die miteinander multipliziert werden.

Die Multiplikation ist der Schlüssel. Wenn einer der Werte nahe Null liegt, wird die Belohnung für die gesamte Aufgabe Null. Um Punkte zu erhalten, müssen alle drei Bedingungen gleichzeitig erfüllt sein.

Die Gültigkeit prüft, ob die Aufgabe funktionsfähig ist:

Läuft das Gerüst durch? Kann eine korrekte Lösung mit hoher Zuverlässigkeit bestanden werden? Werden offensichtlich falsche Lösungen als fehlgeschlagen eingestuft? Stimmt die Bewertungslogik mit der Aufgabenbeschreibung überein?

Das Team hat sie direkt als harte Schwelle festgelegt: Ungeeignete Aufgaben werden direkt mit Null bewertet, um nutzlose Aufgaben zu blockieren, die schwierig aussehen, aber deren Richtigkeit überhaupt nicht bewertet werden kann.

Die Grenzschwierigkeit ist ein Highlight des gesamten Designs.

Das System sammelt mehrere Pfade für jede Aufgabe und berechnet die empirische Erfolgsrate. Je näher sie am Zielwert von 0,2 liegt, desto höher ist die Belohnung.

Das bedeutet, dass eine gute Aufgabe von dem Modell in zehn Versuchen ungefähr zwei Mal gelöst werden sollte.

Wenn sie acht Mal gelöst wird, bedeutet das, dass das Modell sie bereits beherrscht und sie keinen Trainingswert hat. Wenn sie kein einziges Mal gelöst wird, kann kein einziger erfolgreicher Pfad zum Lernen gesammelt werden, und das Reinforcement Learning läuft ebenfalls leer.

Das Aufgabenblatt muss genau an der Stelle liegen, an der das Modell gerade noch fehlt, um es zu schaffen.

Noch besser ist es, dass sich dieses Ziel mit der Fähigkeit des Modells bewegt: Wenn eine Art von Aufgaben gemeistert ist und die Erfolgsrate steigt, sinkt die Belohnung automatisch, und der Aufgaben-Erstellungsbereich kann den Schwierigkeitsgrad nur weiter erhöhen. Die gesamte Schwierigkeitskurve steigt automatisch, ohne dass Menschen sie anpassen müssen.

Die Neuheit steht an dritter Stelle und hat das niedrigste Gewicht, sie ist nur für eines zuständig: nicht ständig Varianten derselben Aufgabe zu erstellen.

Die offizielle Dokumentation weist ausdrücklich darauf hin, dass ihre Priorität niedriger ist als die der ersten beiden Punkte, ihre Aufgabe ist die Beseitigung von Redundanz, nicht die Belohnung von seltsamen Aufgaben.

Daher verbessert diese „Selbstverbesserung“ wirklich die automatische Entwicklung des Aufgabenpools.

Der gesamte Ablauf findet in der Trainingsphase statt.

Die Gewichtsdatei, die Sie von Hugging Face herunterladen, ist festgelegt. Sie wird sich nicht auf Ihrem Laptop oder Handy selbst ändern, während sie Aufgaben ausführt.

Zwei verschiedene Maßstäbe

Lassen Sie uns zuerst klären, wie der Wert von 86,1 zustande kommt.

Dieses Terminal-Bench 2.1-Ergebnis wurde vom Ornith-Team in seiner eigenen Umgebung mit seiner eigenen Konfiguration ausgeführt. Die offizielle Seite gibt an, dass es sich um den Durchschnitt von fünf unabhängigen Durchläufen handelt.

Terminal-Bench 2.1 selbst hat eine offizielle Bestenliste, jedes Ergebnis wird von Mitgliedern des Listenteams persönlich nachgeprüft und bestätigt, bevor es veröffentlicht wird.

Bis zum 19. August 2026 enthält diese Liste insgesamt 17 Einträge, darunter ist Ornith-1.5 nicht aufgeführt.

Die ersten acht Plätze der offiziellen Terminal-Bench 2.1-Bestenliste. Opus 4.8 steht mit 78,9 % auf Platz 5, Ornith-1.5 ist nicht unter den 17 Einträgen aufgeführt.

Wichtiger ist das Vergleichsobjekt.

Der Wert von 85,0 für Opus 4.8 in der Ornith-Tabelle ist das Ergebnis, das sie selbst mit dem Terminus-2-Framework für Opus 4.8 ausgeführt haben. Auf der offiziellen Liste hingegen erreicht das von Anthropic eingereichte Claude Code mit Opus 4.8 nach Prüfung 78,9 % und steht auf Platz 5; der Spitzenwert liegt bei 83,8 % für Claude Code mit Fable 5.

Bei demselben Opus 4.8 gibt es zwischen den beiden Tabellen eine Differenz von 6,1 Punkten.

Der Unterschied liegt darin, wer misst und womit gemessen wird.

Agenten-Benchmarks wie Terminal-Bench messen das Gesamtergebnis aus Modell, Gerüst, Zeitüberschreitung, Kontext und Ressourcenkonfiguration.

Mit einer anderen Konfiguration hat die Punktzahl eine andere Bedeutung.

Auf der Listenseite gibt es daher eine Einreichregel: Zeitüberschreitung oder Ressourcenkonfiguration dürfen nicht geändert werden. Das soll verhindern, dass teilnehmende Parteien die Punktzahl durch Anpassung der Konfiguration in die Höhe treiben.

Die von Ornith im Blog veröffentlichte Selbsttest-Konfiguration sieht eine Zeitüberschreitung von 4 Stunden, 32-Kern-CPU und 48 GB Arbeitsspeicher vor.

Zusätzlich wurden Konfigurationen geändert, einschließlich der von der offiziellen Stelle festgelegten und gesperrten Zeitüberschreitung und Ressourcen.

Diese Änderungen sind nicht unbedingt dazu gedacht, die Punktzahl zu erhöhen, aber die Voraussetzung für Vergleichbarkeit ist nicht mehr gegeben: Der Selbsttest des Projekts und die offizielle Bestätigungsliste können nicht in derselben Rangliste verglichen werden.

Auch die Lizenzebene muss klar erläutert werden.

Die MIT-Lizenz gilt für die Gewichtsdateien. Das öffentliche GitHub-Repository enthält derzeit hauptsächlich README, LICENSE und Ausstellungsmaterialien, die vollständige Trainingsimplementierung von 1.5, der Trainingsaufgabensatz und reproduzierbare Bewertungsskripte sind nicht sichtbar.

Offene Gewichte bedeuten nicht, dass das gesamte Projekt quelloffen ist.

Das Interessanteste sind eigentlich die 35B- und 9B-Varianten

Die Flaggschiff-Variante sorgt für Aufmerksamkeit in den Medien, aber die mittelgroßen und kleinen Größen bestimmen, wie viele Menschen sie wirklich nutzen können.

Bei dieser Veröffentlichung sind die beiden mittleren Varianten am leichtesten zu übersehen.

35B-A3B ist ein MoE, bei dem pro Token nur etwa 3B Parameter aktiviert werden.

Mit dieser Aktivierungsmenge erreicht es auf Terminal-Bench 2.1 einen Wert von 67,8, was deutlich über den Werten von 42,1 für Gemma 4-31B und 51,7 für Muse Glimmer-30B liegt. Auf SWE-bench Verified erreicht es 79,0 gegenüber 52,0.

3B aktivierte Parameter schlagen ein 31B-Densemodell, das ist das kostengünstigste Produkt dieser Veröffentlichung.

Die noch kleinere Variante, 9B Dense, ist eindeutig für den Einsatz auf Endgeräten ausgelegt.

Beim Selbsttest erreicht es 46,2 auf Terminal-Bench, 70,6 auf SWE-bench Verified und 86,4 auf GPQA Diamond.

Auf Hugging Face ist die komprimierte Version mit 5,63 GB bereits veröffentlicht, auch das MLX-Format für Apple-Computer ist verfügbar.

Aber 9B übertrifft Gemma 4-31B nicht in allen Punkten.

Bei Codierung und Inferenz