38.000 Stunden, verbrauchte Tokens in ungeahntem Ausmaß: ByteDance entdeckt das Scaling Law von Agenten

Am 2. Juli veröffentlichte ByteDance Seed ein Agent-Benchmark-Projekt namens EdgeBench. Es sieht auf den ersten Blick wie ein weiterer üblicher Benchmark aus, aber es stellt eine Frage, die andere Ranglisten bisher nicht gestellt haben.

Dem Modell wird eine Aufgabe gestellt: Bei richtiger Lösung gibt es Punkte, bei falscher Lösung keine Punkte. Das ist die Arbeitsweise der überwiegenden Mehrheit der heutigen Benchmarks, die immer mehr dem nationalen Hochschulaufnahme-Test ähnelt.

Aber in der realen Welt nutzen Menschen KI nicht auf diese Weise.

Du gibst Claude Code nicht einfach eine Aufgabe und wartest dann auf seine Abgabe. Du gibst ihm ein Projekt, eine Codebasis oder eine Menge Daten, und dann arbeitet es stundenlang daran: es erforscht, macht Fehler, liest Feedback, korrigiert sich und probiert erneut. Du interessierst dich viel mehr dafür, ob es nach einer Weile in der realen Aufgabenumgebung stärker ist als zu Beginn.

Aber aktuelle Benchmarks können fast nichts von diesen Dingen messen. Sie messen statische Fähigkeiten – das, was das Modell in dem Moment weiß, in dem es eingefroren wird. Die Fähigkeit, sich kontinuierlich aus Feedback zu verbessern, die Fähigkeit, über lange Zeit Erfahrungen zu sammeln, und die Fähigkeit, sich in unbekannten Umgebungen zurechtzufinden, bleiben alle im Blindbereich.

EdgeBench zielt darauf ab, diese Inhalte aus dem Blindbereich in die Bewertung aufzunehmen und eine Frage zu beantworten: Wenn man einen Agent in eine unbekannte Umgebung wirft, wie viel stärker kann er nach 12 Stunden werden?

134 Aufgaben aus sechs Bereichen: Wissenschaft/ML, Softwareentwicklung, kombinatorische Optimierung, professionelle Wissensarbeit, formale Mathematik, interaktive Spiele

Dafür hat das Seed-Team eine Experimentierplattform namens EdgeBench aufgebaut. Das ist eine Umgebung zum Beobachten des Lernens. Für jede der 134 Aufgaben wird ein Vertrag festgelegt, der den Agenten mindestens 12 Stunden lang laufen lässt.

Sein Design dreht sich um vier Kern-Dimensionen:

5 Spitzenmodelle (Claude Opus 4.8, GPT-5.5, GPT-5.4, GLM-5.1, DeepSeek-V4-Pro) sind darauf insgesamt etwa 38.000 Stunden lang gelaufen.

Die Kosten verbrennen wie Feuer. Aber das Endergebnis ist von enormem Wert:

Sie haben das Scaling Law für Agenten gefunden.

1

Vier Erkenntnisse: Formel, Pfad, Wesen, Geschwindigkeit

1) Das Lernen von Agenten folgt einer feststehenden mathematischen Formel

Durchschnitt über 134 Aufgaben: Die Lernkurven der 5 Modelle werden durch die log-Sigmoid-Funktion mit hoher Genauigkeit angepasst

Das ist die „Seelen-Erkenntnis“ des gesamten Papers.

Bisher haben wir meist angenommen, dass das Lernen in Umgebungen chaotisch ist: Bei verschiedenen Aufgaben, Modellen und Strategien müssen die Regeln natürlich unterschiedlich sein. Aber ihre Daten liefern eine unerwartete Antwort:

Die durchschnittliche Lernkurve der 134 Aufgaben wird von derselben Funktion mit einer Genauigkeit von R² = 0,998 exakt angepasst.

Was bedeutet R² = 0,998? In der Forschung zu Mensch-Maschine-Interaktion und komplexen Systemen traut man sich schon einen Paper zu schreiben, wenn man R² = 0,3 erreicht. 0,998 ist im Grunde kein „Anpassungsproblem“, sondern eine Entdeckung. Wenn ich die Fortschrittsgeschwindigkeit eines Agenten in den ersten zwei Stunden kenne, kann ich auf durchschnittlicher Ebene des Aufgaben-Sets sein Niveau nach 12 Stunden ziemlich genau vorhersagen.

Die Kurve zeigt, dass das Lernerlebnis der getesteten Modelle ungefähr so verläuft: Anfangs langsam, dann ein Ausbruch wenn sie den Dreh raus haben, und zum Ende hin wieder langsamer wenn sie sich dem Maximum nähern. Das stimmt völlig mit der Erfahrung von jedem überein, der schon Erfahrung mit Deep Learning oder konzentrierter, tiefer Arbeit hat.

Und diese Regel gilt über verschiedene Skalen hinweg: Ob bei 12 Stunden, 28 Stunden oder 72 Stunden langen Experimentierfenstern bleibt die Anpassungsgenauigkeit bei R² ≥ 0,993. Sie gilt auch über verschiedene Bereiche hinweg: Bei der Anpassung für jede der sechs Aufgabengruppen liegt R² zwischen 0,972 und 0,998.

2) Es gibt keinen „Standard“-Wachstumspfad

Diese Erkenntnis hat noch mehr praktische Bedeutung.

Wenn man die einzelnen Lernkurven der 134 Aufgaben auseinanderzieht, fällt etwas Intuitionswidriges auf: Obwohl die Durchschnittskurve eine schöne log-Sigmoid-Form hat, unterscheiden sich die einzelnen Kurven stark voneinander.

- Bei manchen Aufgaben verbessert sich der Agent von Anfang an stetig, die Kurve ist glatt

- Bei manchen Aufgaben passiert in den ersten Stunden gar nichts, und plötzlich steigt die Punktzahl zu einem bestimmten Zeitpunkt sprunghaft an

- Bei manchen Aufgaben steigt die Punktzahl zuerst, fällt dann und steigt wieder

- Bei manchen Aufgaben steigt sie am Anfang schnell an, und tritt dann in eine lange Plateau-Phase ein

Verschiedene Lernstrategien und Paradigmen des Ausprobierens führen unter demselben Bewertungsrahmen zu völlig unterschiedlichen Wachstumspfaden.

Agenten unterscheiden sich nicht nur darin, ob sie „schnell“ oder „langsam“ lernen. Sie haben wesentliche Unterschiede darin, wie sie lernen. Eine Bewertungsmethode, die nur das Endergebnis betrachtet und den Prozess ignoriert, wischt diese Dimension vollständig weg. Das Paper erklärt es so: Die Aufgaben bilden eine Fähigkeitslandkarte, das Lernen ist das Freischalten und Ausbreiten der Grenzen, was auf logarithmischer Zeit eine logistische Kurve ergibt. Bei einzelnen Aufgaben gibt es wenige Knoten, also entstehen Zacken – erst wenn genug Aufgaben gemittelt werden, tritt die S-Form zutage. Das Scaling Law im Titel des Papers bezieht sich genau auf diese Kurve.

3) „Das erneute Verstehen der Aufgabe“ erzeugt echten Fortschritt

Vergleich: Mit Erfahrung vs. ohne Erfahrung – Kontinuierliches Ausführen und Sammeln von Erfahrungen bringt einen signifikanten Vorteil von 6,9 Punkten gegenüber 6 unabhängigen Neustarts

Dasselbe Modell (Opus 4.8), dasselbe 12-Stunden-Budget:

- Variante A: Es läuft 12 Stunden lang durch, alle Zwischenergebnisse, Fehlerprotokolle und überprüften Hypothesen werden behalten

- Variante B: Es wird in 6 unabhängige 2-Stunden-Läufe aufgeteilt, bei jedem Lauf wird der gesamte Zustand gelöscht, nur das beste Ergebnis wird behalten

Nach 12 Stunden hat Variante A 6,9 Punkte mehr (auf der 100-Punkte-Skala) als Variante B. Und die beiden Kurven trennen sich schon von Anfang an.

Das zeigt: Fortschritt entsteht nicht durch zufälliges Ausprobieren, sondern durch das Sammeln von Erfahrungen.

Besonders bemerkenswert ist die Fallstudie zur Gravitationswellen-Rekonstruktion im Experiment. GPT-5.5 hat diese Aufgabe 12 Stunden lang bearbeitet und 224 Einreichungen gemacht – aber nur 27 Einreichungen haben den Fortschritt der besten Ergebnisse wirklich vorangetrieben.

Jeder Durchbruch kam nicht dadurch zustande, dass „einfach ein weiteres Experiment ausgeführt wurde“, sondern dadurch, dass das Verständnis des Agenten für die Aufgabe selbst sich qualitativ verändert hat. Es hat die unklaren Ziele schrittweise in durchsuchbare Teilprobleme zerlegt und aus dem Feedback neu definiert, „was ein besserer Weg ist“.

4) Die Lerngeschwindigkeit selbst wird gerade „gelernt“

Diese Erkenntnis ist wahrscheinlich diejenige, die am engsten mit der Industrie verbunden ist.

Das Experiment wählte eine Gruppe von Aufgaben aus, bei denen alle Modelle „am selben Startpunkt“ standen (der erste Versuch lag alle bei etwa 6,87 Punkten), und maß dann, wie viel sich jedes Modell nach 2 Stunden Interaktion verbessern konnte.

Das Ergebnis: Von GPT-5-Codex im September 2025 bis zu GPT-5.5 im April 2026 hat sich die Lerneffizienz innerhalb von 221 Tagen um etwa das 8-fache verbessert, also ungefähr alle 3 Monate verdoppelt.

Bei neueren Modellen steigt die Rate der nützlichen Einreichungen, aber die Anzahl der Einreichungen ist nicht unbedingt höher. Mit anderen Worten: Sie sind nicht fleißiger, sondern jede Aktion ist effektiver. Das stimmt mit der Intuition aus der Ingenieurspraxis überein: Ein erfahrener Senior-Ingenieur schreibt nicht unbedingt mehr Codezeilen als ein Junior-Ingenieur, aber er macht weniger nutzlose Arbeit.

Die Fähigkeiten von KI ähneln immer mehr „Wissen“, aber die Fähigkeit selbst, „neue Dinge zu lernen“, entwickelt sich ebenfalls mit erstaunlicher Geschwindigkeit – und diese Geschwindigkeit ist entscheidender als das Wachstum des statischen Wissens.

2

Die Experimentierumgebung selbst ist genauso wertvoll wie EdgeBench

EdgeBench sieht aus wie eine Modell-Rangliste, aber es misst nicht die Fähigkeiten des reinen Modells, sondern die Fähigkeiten des gesamten Agenten-Systems.

Verschiedene Modelle laufen auf unterschiedlichen Ausführungsframeworks. Claude Opus 4.8 nutzt Claude Code mit einem 1M-Kontextfenster, GPT-5.5 nutzt Codex mit einem kompakten 256K-Fenster. Die endgültigen Punkte spiegeln nicht nur die Fähigkeiten des Modells selbst wider, sondern auch den Einfluss von Kontextverwaltung, Tool-Aufruf, Feedback-Verarbeitung und Ausführungsframework.

Das kommt der realen Bereitstellung viel näher. Ein Agent in der Praxis ist nie ein isoliertes Modell, sondern eine Kombination aus Modell, Tools, Arbeitsabläufen und Feedback-System. Was EdgeBench wirklich misst, ist, ob dieses kombinierte System bei lang andauernden Aufgaben kontinuierlich vorankommen kann.

Aber das bedeutet auch, dass die Rangliste nicht einfach als Ranking der Grundmodelle verstanden werden darf. Sie vergleicht eher die langfristige Arbeitsfähigkeit verschiedener Agenten-Systeme.

Wenn man EdgeBench mit den gängigen Mainstream-Benchmarks vergleicht, wird der Unterschied deutlicher: