Eine grausame Vorwegnahme des Arbeitsplatzes: Wenn KI lernt, sich automatisch zu entwickeln, wird der Existenzraum für Einsteiger von den "200-Stunden-Intelligenzagenten" fast vollständig eingeengt.
Das Übersetzungsbüro von Shenyi ist ein Übersetzungsteam unter 36Kr, das sich auf Technologie, Geschäft, Arbeitsplatz und Lebensbereiche konzentriert und vor allem auf neue Technologien, neue Ansichten und neue Trends aus dem Ausland hinweist.
Herausgeberhinweis: Wenn KI in Sekundenschnelle 200 Stunden Arbeit erledigen kann, werden die Menschen stattdessen zum "Engpass". Diese Übung von METR zeigt auf: In Zukunft wird die Ausführungsfähigkeit rapide an Wert verlieren, und die Effizienz menschlicher Urteile und Rückmeldungen wird der einzige entscheidende Faktor sein. Der Artikel ist eine Übersetzung.
Einführung
METR zielt darauf ab, die Öffentlichkeit über die Fähigkeiten der KI und die damit verbundenen Risiken auf dem Laufenden zu halten. Gemessen an einigen Kriterien ist die KI die bisher am schnellsten entwickelnde Technologie, und mit der Automatisierung ihrer eigenen Forschung und Entwicklung (R&D) könnte dieser Prozess noch beschleunigt werden. Bis Ende nächsten Jahres könnte die Häufigkeit der Modellveröffentlichungen und die Anzahl der erforderlichen neuen Bewertungen (Evals) so ansteigen, dass es ohne effiziente KI-Unterstützung eine Herausforderung sein würde, Informationen zu erhalten. Wir können nicht darauf warten, bis solche Arbeitsabläufe unverzichtbar werden, um erst dann passiv die KI-verstärkten Arbeitsmodelle zu erlernen; wir müssen sie jetzt schon verstehen.
Deshalb haben wir eine zweistündige Desktop-Übung durchgeführt: Drei METR-Forscher haben sich in ihrer realen Person und mit ihren aktuellen Arbeitsfokus gespielt, aber unter der Annahme, dass sie eine KI verwenden können, die etwa 200 Stunden kontinuierlich arbeiten kann - was ungefähr unserem Erwartungen an das technologische Niveau in 12 bis 18 Monaten entspricht. Unser Ziel war es, zu verstehen, welche Arbeitsabläufe entstehen würden, wo die Engpässe liegen und wie viel unsere tatsächliche Effizienz steigen würde.
Übungsprozess
Szenario
Simulierte Welt
METR verfügt über eine KI mit einer Zeitspanne von 200 Stunden, um unsere Arbeit zu automatisieren; der Rest der Welt verwendet die echten Technologien von Februar 2026 (KI mit einer Zeitspanne von etwa 12 Stunden).
Wir haben die Codex/Claude Code-Version für eine KI mit 200 Stunden Zeitspanne sowie einen grundlegenden Projektmanagement-Arbeitsablauf.
Da es aber Februar 2026 ist, bewerten wir die KI von 2026, verwenden die 2026er Version von Inspect und kommunizieren per E-Mail etc. mit Menschen.
KI-Fähigkeiten
Die KI hat jetzt eine Zeitspanne von etwa 200 Menschenstunden, aber ihre relativen Fähigkeitseigenschaften sind denen der KI Anfang 2026 ähnlich.
Sie ist in verifizierbaren Aufgaben erstaunlich gut und in komplexen und ungeordneten Aufgaben noch akzeptabel.
Die KI läuft doppelt so schnell wie der schnelle Modus von Claude 4.6 Opus. Wir können uns den Kosten für das Ausführen des Modells in dieser Geschwindigkeit leisten.
Bei verifizierbaren Aufgaben, die der durchschnittlichen "Komplexität" von HCAST-Aufgaben entsprechen, entspricht eine Arbeit von 200 Menschenstunden einer Erfolgsrate von 50%, 40 Menschenstunden einer Erfolgsrate von 80%.
Bei schwer verifizierbaren Aufgaben entscheidet der Spielleiter (GM) über den Erfolg der KI.
Bei der Schreibarbeit ist die KI bei Vorhandensein des entsprechenden Kontexts auf dem Niveau eines Einstiegsmitarbeiters von METR.
Spielregeln
Ein Manager und zwei Forscher spielen sich in ihrer realen Person und mit ihrem aktuellen Arbeitsfokus. Ich (Thomas Kwa) bin der Spielleiter.
Jede Runde repräsentiert einen halben Tag, und es gibt zwei Stand-up-Meetings pro Tag. Jede Runde dauert in der Realität 15 Minuten: 5 Minuten Stand-up-Meeting und 10 Minuten Simulation von 5 Stunden Arbeit. Wir haben insgesamt 4 Runden (Simulation von 2 Tagen) abgeschlossen. [1]
Alle notieren gleichzeitig in einer Tabelle, füllen jede Stunde ihre eigenen und die Aktionen der Agenten aus und fragen bei Bedarf den Spielleiter. Sie können unten einen Screenshot der Tabelle sehen.
Abbildung 1: Nate Rush schickt wild Anweisungen an die zukünftige Version von Claude, um unsere menschliche Dateninfrastruktur zu verbessern. Am zweiten Tag wird er feststellen, dass es ihm schon schwer fällt, nur das zu verstehen, was die Agenten von Joel und Tom gebaut haben.
Beobachtungen von Thomas Kwa
Wie viel hat sich unsere Effizienz verbessert?
Die meisten Personen schätzen, dass sich die Effizienz im Vergleich zu Februar 2026 um das 3- bis 5-fache verbessert hat (d. h. in diesen 2 Tagen wurde die Arbeit von 1 bis 2 Wochen erledigt). Ich möchte diese Zahl nicht überbetonen, da sie möglicherweise von einer zu optimistischen Einschätzung der tatsächlich geleisteten Arbeit beeinflusst wird und zwischen den verschiedenen Teams große Unterschiede bestehen. Ich finde die qualitativen Schlussfolgerungen interessanter. Unter diesen Voraussetzungen bemerke ich, dass, wenn ein Modell mit einer 17-fachen Zeitspanne im Vergleich zu den Modellen von Februar 2026 nur eine 3-fache Effizienzsteigerung bringt, die Beziehung zwischen Zeitspanne und Beschleunigungsfaktor ungefähr ($Beschleunigungsfaktor \propto TH^{0.39}$) ist.
Wie war die tatsächliche Erfahrung?
Bei diesem 3-Personen-Spiel und den beiden vorherigen Einzelspieler-Alpha-Tests, die ich durchgeführt habe, sind einige gemeinsame Themen aufgetaucht:
Ideen werden schneller umgesetzt als entwickelt: Sobald du eine Idee hast, beginnt der Agent sofort mit der Umsetzung. Daher planst du nicht mehr über mehrere Tage hinweg, sondern kannst in wenigen Stunden ein Minimal Viable Product (MVP) erstellen und korrigieren. Wenn die Aufgabe nicht an die Grenzen der Agentenfähigkeiten heranreicht, verbringst du all deine Zeit damit, die Ergebnisse zu verstehen; wenn die Aufgabe herausfordernd ist, verbringst du all deine Zeit damit, die Arbeit zu überprüfen.
Agenten arbeiten über Nacht: In der Nacht kann der Agent etwa 200 Menschenstunden Arbeit erledigen, aber nur bei Aufgaben, die sehr gut für Agenten geeignet sind. Daher müssen die Forscher die Projektreihenfolge absichtlich planen, um sicherzustellen, dass sehr lange Aufgaben, die für Agenten geeignet sind (z. B. die Optimierung eines klar definierten Kriteriums), in der Nacht durchgeführt werden.
Prioritätsfestlegung und Organisation werden zum Engpass: Wenn die Agenten Ideen fast so schnell umsetzen können, wie du Anweisungen eingibst, macht es keinen Sinn, nur die besten Ideen umzusetzen. Es ist möglicherweise besser, die ersten drei Ideen parallel umzusetzen, aber das erhöht die Schwierigkeit, Ordnung zu halten. Selbst wenn es eine von KI erstellte Übersicht gibt, um das Verständnis der Menschen zu optimieren, kann die Komplexität des Projekts auf eine Weise steigen, die das Projektmanagement viel schwieriger macht.
Arbeitsabläufe
Auf der Grundlage dieser Übung sehe ich die folgenden Trends voraus (natürlich ist die Vorhersage der Zukunft immer äußerst schwierig):
Deklarative Arbeitsabläufe: Ich habe bereits den Großteil der Arbeit durch das Schreiben von Entwurfsdokumenten und die Umsetzung durch Agenten erledigt, was es mir und den Agenten ermöglicht, den Fortschritt synchron zu halten. In einem Jahr könnte sich dies in den von Tom Cunningham unten erwähnten Arbeitsablauf "Schreibe deine lokale Nutzenfunktion" entwickeln.
Spekulative Ausführung: Um serielle Engpässe zu vermeiden (siehe nächster Abschnitt), könnten Forscher zwei Formen der spekulativen Ausführung verwenden: das Starten einer Vielzahl von langfristigen Experimenten, deren Notwendigkeit noch unklar ist, und die Vorhersage von Experimentergebnissen und Rückmeldungen (siehe den Abschnitt "Agenten können Engpässe lindern" von Tom Cunningham).
"Beweis der Richtigkeit": Wenn die Agenten noch nicht 100% zuverlässig sind, wird die wertvollste Form der Ausgabe, die die Agenten erzeugen, darin bestehen, dem Menschen zu beweisen, dass ihr Code den Spezifikationen entspricht. Dies kann Tests, die Verbesserung der Reproduzierbarkeit in der Schreibweise, die Aufzeichnung der genauen Implementierungsstelle jeder Zeile im Entwurfsdokument und im Extremfall auch formale Verifikation umfassen.
Engpässe
Was passiert, wenn die Ausführung praktisch augenblicklich wird? Serielle, zeitaufwändige Aufgaben, die bisher parallel zur Ausführung durchgeführt wurden, können nicht mehr parallel erfolgen und werden stattdessen zu seriellen Engpässen. Der Großteil der gesamten Projektlaufzeit könnte von Schritten wie menschlichen Daten, maschinellen Lernversuchen und Rückmeldungen (von Kollegen, Managern und vor allem externen Beratern) eingenommen werden.
Abbildung 2: Wir könnten in verschachtelten Iterationsschleifen geraten, bei denen die "innere Schleife" der Ausführung viel schneller ist als die "äußere Schleife", und der Projektfortschritt wird durch Schritte blockiert, die eine gewisse serielle Zeit erfordern. Dies ist bereits bei Aufgaben, bei denen die Agenten gut sind, der Fall und könnte sich auf fast alle Projekte ausweiten.
Ich stelle mir vor, dass die Zeitlinie eines zukünftigen METR-Projekts (z. B. einer Studie über die zerstörerischen Fähigkeiten von Multi-Agenten) wie in der folgenden Tabelle dargestellt sein wird (die Textbeschreibung finden Sie in der Fußnote [2]). Es könnte sechs Wochen natürliche Zeit in Anspruch nehmen, wobei etwa 8 Stunden Agentenarbeit (ohne die Zeit für die Durchführung von Bewertungen) erforderlich wären, was bedeutet, dass das Verhältnis von Engpasszeit zu Agentenarbeit weit über 100:1 liegt.
Abbildung 3: Zukünftige Projekte könnten etwa 42 Tage natürlicher Zeit in Anspruch nehmen, darunter etwa 8 Stunden Agentenarbeit (ohne die Ausführung von Bewertungen) sowie 1000 Stunden serielle Zeit für menschliche IC-Arbeit, Bewertungsausführung und Prüfung. In der Realität werden die Menschen sich möglicherweise an die neuen Beschränkungen anpassen, sodass die Projektzeitlinie nicht genau so aussehen wird.
Die Menschen könnten mehrere Projekte parallel durchführen, und die Agenten informieren sie über den Status jedes Projekts. Wenn es zu viele Projekte gibt und die Kosten für den Task-Switching zu hoch werden, könnten die menschlichen Einzelbeitragenden durch zusätzliche Arbeit die Qualität jedes Projekts etwas verbessern.
Einige Organisationen werden unter starkem Wettbewerbsdruck stehen, den Prüfungsprozess zu vereinfachen und die serielle Geschwindigkeit der Experimente zu erhöhen.
Weitere Iterationen
Jeder hat diese Übung sehr genossen: Zwei Teilnehmer haben eine Note von 9/10 gegeben, einer sogar "11/10". Ich hoffe, dass dies zu einer regelmäßigen Übung von METR wird - etwa einmal im Monat, und zwar in den Teams für Tendenzanalyse, Fähigkeiten, Betrieb und im gesamten Unternehmen im Wechsel.
Wenn ich es erneut durchführe, werde ich einige andere Varianten ausprobieren:
Eine Version mit einer Zeitspanne von 50 Stunden, um die Betriebsführung von METR im nächsten Quartal zu leiten. Dies muss nicht veraltet sein, bevor wir es durchführen.
Stellen Sie sich vor, dass wir eine Version hätten, die die 200-Stunden-TH-KI-Infrastruktur optimal nutzen kann. Dies erfordert von jedem mehr Vorstellungskraft.
Eine Version für die KI-Forschungsforschung. Das Verständnis der Engpässe, wenn die Arbeit nahe an der Automatisierung ist, und die grobe Abschätzung zukünftiger Effizienzsteigerungen können als Referenz für Zeitlinien und Startmodelle dienen.
Eine Version, die die Produktivität von Forschern bei mehreren parallelen Projekten besser simuliert. Die aktuelle Version erlaubt den Task-Switching in Stundenintervallen, aber das Wechseln der Aufgabe alle paar Minuten erfordert eine höhere Auflösung.
Beobachtungen von Tom Cunningham
Wir haben 2 Stunden für die Übung von Thomas Kwa aufgewendet: Wir nehmen an, dass wir eine sehr starke KI (200 Stunden Zeitspanne) haben, aber alles andere bleibt gleich: Unsere Arbeit besteht weiterhin darin, die verschiedenen Fähigkeiten der Modelle von Februar 2026 zu untersuchen, und alle anderen Menschen auf der Welt verwenden immer noch die Technologien von Februar 2026.