Anthropic "Der Wolf ist da": Diejenigen, die den Stopp ausrufen, laufen am schnellsten

Drei Tage nachdem Anthropic geheimnisvoll die IPO-Dokumente an die SEC eingereicht hatte, veröffentlichte es plötzlich einen Artikel mit mehreren tausend Wörtern, in dem es die Welt aufrief, für die Entwicklung von Spitzenkünstlicher Intelligenz eine „Notbremse“ vorzubereiten. Fünf Tage später stellte es das bisher stärkste Modell, Claude Fable5, vor und veröffentlichte gleichzeitig die unbeschränkte Version Mythos5.

Das Einreichen der Dokumente, das Aufrufen zum Stoppen und das Vorstellen neuer Modelle ereigneten sich alle innerhalb von zehn Tagen.

Der im Anfang Juni veröffentlichte Artikel mit dem Titel „When AI Builds Itself (Wenn die KI sich selbst aufbaut)“ wurde von Marina Favaro, der Leiterin der Forschung bei Anthropic, und Jack Clark, dem Leiter der Politik und Mitbegründer, gemeinsam verfasst. Das Kernkonzept ist die „rekursive Selbstverbesserung“, d. h. die KI kann fast ohne menschliche Eingriffe die nächste Generation von sich selbst entwerfen, trainieren und verbessern.

In den letzten Jahren wurde das vorherrschende Risiko der KI als „KI ersetzt Menschen“ angesehen. Anthropic hat das Problem nun einen Schritt weiter gebracht. Wenn die KI beginnt, KI-Forscher zu ersetzen, wird der technologische Fortschritt nicht nur linear beschleunigt, sondern könnte in eine Selbstbeschleunigung geraten.

Ein weiterer KI-Riese, OpenAI, hat sich ebenfalls an dieser Diskussion über die Notbremse beteiligt.

Am 8. Juni veröffentlichte OpenAI ein strategisches Vision-Dokument, das von Chefexecutive Sam Altman und Chef-Forscher Jakub Pachocki unterzeichnet wurde. Darin wird vorgeschlagen, eine internationale Organisation einzurichten, um die weltweit führende KI-Entwicklung zu koordinieren und bei Bedarf die „Spitzenentwicklung zu verlangsamen“, damit die soziale Resilienz, die Sicherheit und die Ausrichtung der Forschung mit dem technologischen Fortschritt Schritt halten können.

Einerseits ist es der Rennfahrer, dessen Unternehmenswert fast eine Billion Dollar beträgt und der an der Spitze des öffentlichen Marktes steht; andererseits ist es der Wachter, der die Welt darauf hinweist: „Wir haben nur ein Gaspedal, aber keine Bremse.“ Beide Rollen vereint Anthropic in sich.

Da stellt sich die Frage: Ist dies eine Warnung aus moralischem Grund oder versucht der Führende, die Regeln für die nächste Runde des Wettbewerbs vorab festzulegen?

01. Woraus fürchtet sich Anthropic eigentlich?

Das beunruhigendste an diesem langen Artikel von Anthropic ist, dass es den Ort des Risikos von der Außenwelt in die KI-Firmen hineinverlagert.

Innerhalb von Anthropic bekommt ein Mitarbeiter, je länger er dort arbeitet, desto offener gestaltete Aufgaben. Zum Beispiel: Ein Neuling bekommt die Aufgabe, „den Export-Button zu reparieren, der nicht funktioniert“; ein erfahrener Mitarbeiter muss herausfinden, „warum das Netzwerk bei hoher Belastung langsamer wird“; und ein höherer Manager muss möglicherweise antworten, „was das Team im nächsten Quartal tun soll“.

Wenn man die KI als gewöhnlichen Mitarbeiter ansieht, steigt sie stufenweise in dieser Hierarchie auf.

Zu Beginn war die KI nur ein Ergänzungstool. Menschen schrieben Code, bauten Systeme und trainierten Modelle. Später konnte sie Code-Segmente generieren und Bugs beheben. Später begannen codierende Agenten, Code selbst auszuführen und Stundenlange Arbeit an einen anderen Agenten zu delegieren. Anthropic nennt dies „Closed-Loop“ – in Zukunft könnten Agenten die Fähigkeit haben, Modelle selbst zu bauen und zu trainieren. Wenn dies der Fall wäre, würde die Folgeversion von Claude von Claude selbst kontinuierlich verbessert werden.

Das ist die „rekursive Selbstverbesserung“.

Dies ist keine Science-Fiction-Spekulation, sondern basiert auf den Produktionsdaten von Anthropic selbst.

Bis Mai 2026 war mehr als 80 % des in das Code-Repository von Anthropic integrierten Codes von KI geschrieben worden; Anfang 2025, als Claude Code noch in der Forschungs-Vorschauphase war, lag dieser Anteil nur im einstelligen Bereich. Bei den einzelnen Mitarbeitern betrug die tägliche Code-Menge, die ein typischer Ingenieur im zweiten Quartal 2026 zusammenführte, das Achtfache von 2024. Ein Mitarbeiter sagte, er habe seit etwa fünf Monaten keinen einzigen Codezeilen mehr von Hand geschrieben.

Claude schreibt nicht nur einfachen Code. Bei den offenen und am schwierigsten zu definierenden Aufgaben erreichte es im Mai 2026 eine Erfolgsrate von 76 %, was einen Anstieg von 50 Prozentpunkten innerhalb von sechs Monaten bedeutet. Beispiel: Bei einer routinemäßigen Aktualisierung stürzten Tausende von Trainingsaufgaben nacheinander ab. Die Ingenieure gaben Claude fast nur eine Anweisung und Zugang zu einem Cluster. Claude testete die Umgebungsvariablen einzeln und entdeckte innerhalb von zwei Stunden einen seltenen Debug-Parameter, reproduzierte und behebte das Problem. Früher hätte dies normalerweise zwei bis drei Tage Arbeit gedauert.

Was Anthropic noch stärker alarmiert, ist der Forschungsbereich. Bei jeder Veröffentlichung eines neuen Modells lässt es Claude die gleiche Aufgabe lösen: Einen Code zum Trainieren eines kleinen Modells so schnell wie möglich und fehlerfrei zu optimieren. Normalerweise braucht ein erfahrener menschlicher Forscher vier bis acht Stunden, um eine Vierfache Beschleunigung zu erreichen. Im Mai 2025 erreichte Opus4 eine durchschnittliche Beschleunigung von etwa dem Dreifachen, was noch hinter dem menschlichen Leistungsspektrum lag; bis April 2026 stieg diese Zahl auf etwa das 52-Fache. Innerhalb von weniger als einem Jahr wechselte Claude von einer Leistung, die der menschlichen nahe kam, zu einer, die die Menschen weit hinter sich ließ.

Wenn man diese Kurven miteinander verbindet, ergibt sich ein Weg, auf dem der Mensch immer weiter zurückweicht.

Selbst innerhalb dieser weltweit führenden KI-Firma fühlen sich die Mitarbeiter häufig sinnlos. Ein Mitarbeiter sagte: „An guten Tagen kann ich es einfach nicht lassen, zu denken, dass meine Arbeit nicht mehr wichtig ist.“

Was der Mensch heute noch bewahren kann, ist das sogenannte Forschungsgefühl und die Urteilsfähigkeit: zu beurteilen, welches Problem lohnenswert ist, welches Ergebnis vertrauenswürdig ist, welche Richtung eine Sackgasse ist und das größere Ganze hinter der aktuellen Aufgabe zu erkennen. Aber Anthropic ist auch in Bezug auf dieses letzte Bastion nicht optimistisch. Das sogenannte „Gefühl“ könnte vielleicht nur eine weitere Fähigkeit sein, die die KI zunächst schlecht beherrscht, aber dann lernen kann.

Basierend auf diesen Erkenntnissen hat Anthropic drei zukünftige Szenarien aufgearbeitet: Erstens, dass der Trend heute anhält, aber die vorhandenen Fähigkeiten weit verbreitet werden; zweitens, dass die KI einen Großteil der Entwicklung übernimmt, der Mensch aber immer noch das Steuer hat und die Organisationseffizienz vervielfacht wird; drittens, dass die KI die vollständige Fähigkeit zur Selbstverbesserung erlangt und beginnt, ihren Nachfolger zu entwerfen und zu trainieren, d. h. die „rekursive Selbstverbesserung“.

Anthropic sagt, dass das dritte Szenario noch nicht eingetreten ist und auch nicht unausweichlich ist, „aber es könnte früher eintreten, als die meisten Institutionen sich vorbereitet haben“.

Was ist dann zu tun?

Anthropics Antwort ist, dass die Welt die Möglichkeit haben sollte, bei Bedarf die Spitzenentwicklung zu verlangsamen oder sogar anzuhalten, damit die soziale Struktur und die Ausrichtungsforschung mit dem technologischen Fortschritt Schritt halten können.

02. Aufruf zum Stoppen, aber das Stoppen ist schwierig

Die Stopp-Taste, die Anthropic entworfen hat, besteht aus drei Ebenen.

Innerhalb der Firma werden strengere Sicherheitsbewertungen, rote Linien und Veröffentlichungsbedingungen festgelegt; auf Branchenebene koordinieren die Spitzenforschungslabore miteinander, damit nicht eine Firma bremst, während die andere weiterhin beschleunigt; auf internationaler Ebene sollten Regierungen, Wissenschaftler, Initiativorganisationen und Wettbewerber an einem Tisch zusammensitzen, um zu diskutieren, wie man überprüfen kann, ob das „Stoppen“ tatsächlich erfolgt ist.

Es hat seine Einstellung auch sehr klar gemacht: Solange ein solches Verifizierungsverfahren existiert und andere Spitzenentwickler sich auf nachweisbare Weise anhalten, ist es bereit, ebenfalls zu verlangsamen oder sogar anzuhalten.

Aber jede Voraussetzung deutet auf denselben Unterton hin: Es wird nicht alleine anhalten.

Dies ähnelt einem Gefangenendilemma.

Anthropic ist der Meinung, dass ohne eine globale Koordinierungsmechanismus Firmen und Regierungen unter Wettbewerbsdruck Sicherheitsentscheidungen treffen werden. Das Training von Spitzenmodellen ist nicht wie das Bewachen einer Raketenwerfstelle. Rechenleistung kann gemietet werden, Aufgaben können aufgeteilt werden und Cloud-Dienste können grenzüberschreitend genutzt werden. Wenn jemand anhält, hat derjenige, der heimlich weiterfährt, die Chance, die Spitze zu übernehmen.

Das direkteste Beispiel ist der enge Wettlauf zwischen Anthropic und OpenAI.

Am 23. April veröffentlichte OpenAI GPT-5.5 und stellte gleichzeitig den Programmierassistenten Codex vor, um direkt gegen Claudes Code von Anthropic anzugreifen. Einen Monat später aktualisierte Anthropic sein Flaggschiffmodell auf Opus4.8. Die Außenwelt geht allgemein davon aus, dass dieser Schritt durch GPT-5.5 und Codex erzwungen wurde.

Am 9. Juni (örtliche Zeit) stellte Anthropic die Fable 5-Version vor und veröffentlichte gleichzeitig die Mythos5-Serie von Modellen und ein neues Tool zur Entwicklung von intelligenten Agenten, um die Frontlinie weiter in Richtung Codegenerierung, Ausführung komplexer Aufgaben und Unternehmensworkflows zu verlagern. Anthropic behauptet, dass Fable5 leistungsfähiger ist als alle seine bisher veröffentlichten Modelle. Es war nur fünf Tage zwischen der Warnung vor einer möglichen Unkontrollierbarkeit der Spitzen-KI und der Markteinführung des stärksten Modells.

Jetzt hat dieser Wettlauf auch den Kapitalmarkt erreicht.

Am gleichen Tag wie die Aktualisierung von Opus 4.8 gab Anthropic bekannt, dass es eine neue Finanzierungsrunde über 65 Milliarden Dollar abgeschlossen habe. Der Unternehmenswert nach der Finanzierung betrug 965 Milliarden Dollar und näherte sich der Billion-Dollar-Marke. Am 1. Juni reichte es geheimnisvoll die IPO-Dokumente an die SEC ein, bevor OpenAI dies tat. OpenAI folgte schnell: Am 8. Juni gab es bekannt, dass es ein geheimes Entwurfsprospekt (S-1) eingereicht habe und spätestens im vierten Quartal dieses Jahres, frühestens im September, an die Börse gehen werde. Der vom Markt geschätzte Unternehmenswert könnte bis zu einer Billion Dollar betragen.

Beide Firmen kämpfen darum, der erste „Spitzenmodell-Firma“ am Kapitalmarkt zu werden. In einem Kapitalwettlauf dieser Größenordnung wagt sich niemand, das Gaspedal loszulassen.

Nehmen wir noch einmal Anthropic als Beispiel. Sein aktueller Unternehmenswert übersteigt den von OpenAI nach der Finanzierung im März, der 852 Milliarden Dollar betrug. Aber die Benutzerzahlen beider Firmen liegen auf völlig unterschiedlichen Ebenen. Im März dieses Jahres hatte ChatGPT etwa 961 Millionen monatliche aktive Benutzer auf Mobilgeräten, während Claude nur etwa 23,5 Millionen hatte, was einem Faktor von 40 entspricht. Der Unternehmenswert wird von Unternehmenskunden und dem Wert pro Benutzer getragen. Laut Schätzungen einer unabhängigen Partei beträgt der jährliche Umsatz pro Claude-Benutzer etwa 808 US-Dollar, was das 30-Fache von ChatGPT-Benutzern ist.

Sein aktueller Unternehmenswert, seine Finanzierungsfähigkeit und die Erwartungen an die IPO basieren alle auf der gleichen Voraussetzung: Es kann kontinuierlich stärkere Modelle entwickeln und die Fähigkeiten der Modelle in Umsatz, Kunden und Plattformposition umsetzen. Wenn es tatsächlich einseitig anhält, würde die Logik hinter seinem Unternehmenswert geschwächt werden. Unternehmenskunden würden sich Sorgen machen, dass die Aktualisierungen verlangsamen, Entwickler könnten zu OpenAI, Google oder anderen Plattformen wechseln und Talente würden erneut überprüfen, ob sie sich noch an der Spitze befinden.

Also ruft Anthropic nicht wirklich darum auf, „ich halte an“, sondern eher „wenn alle anderen auf nachweisbare Weise anhalten, halte ich auch an“.

Die Einstellung von OpenAI ist ähnlich.

In dem von Sam Altman und Chef-Forscher Jakub Pachocki unterzeichneten Artikel schlägt OpenAI vor, eine internationale Organisation einzurichten, um die weltweit führende KI-Entwicklung zu koordinieren und bei Bedarf die Spitzenentwicklung zu verlangsamen, damit die soziale Resilienz, die Sicherheit und die Ausrichtung der Forschung mit dem technologischen Fortschritt Schritt halten können.

OpenAI spricht von internationaler Koordination, nicht von einseitiger Verlangsamung; Anthropic spricht von einem nachweisbaren Stoppen, d. h. es stellt sicher, dass es erst anhält, wenn andere auch anhalten. Beide Firmen erkennen an, dass eine Bremse notwendig ist, aber setzen beide die Voraussetzung, dass alle zusammen bremsen müssen.

Außerdem gibt es auf diesem Wettlauf nicht nur zwei Firmen. Hinter ihnen stehen Cloud-Anbieter, Chip-Hersteller, staatliche KI-Initiativen, militärische Anforderungen, Finanzkapital und nationale Strategien. Je stärker das Modell, desto länger die Interessenkette. Jeder Teil dieser Kette könnte ein Gegner der Verlangsamung sein. In einer solchen Struktur ist das „Stoppen“ keine einfache moralische Entscheidung. Es ist eher ein schwieriges Mehrparteienabkommen, bei dem alle glauben müssen, dass die anderen wirklich angehalten haben und dass sie selbst nicht durch ein vorzeitiges Stoppen die Zukunft verlieren werden.

Es lässt sich nicht anhalten, aber genau in diesem Moment wird es vorgeschlagen. Viele Leute stellen daher nicht die Richtigkeit von Anthropics Argumente in Frage, sondern eher seine Echtheit.

Die Kritik von Gary Marcus, einem Professor an der NYU, ist repräsentativ. In seiner Ansicht will Anthropic nicht wirklich anhalten. Dies ist nur eine rhetorische Show im Rahmen der IPO, um Menschen dazu zu bringen, eine Option ernsthaft zu diskutieren, die es ohnehin nicht umsetzen will, und das mit fast null Kosten.

03. Warum ruft man „Wolf kommt“ und beschleunigt gleichzeitig?

Das Warnen vor Risiken und das gleichzeitige Beschleunigen der Iteration ist fast zum Standardverhalten von Spitzen-KI-Firmen geworden. Öffentlich sprechen sie ständig über Sicherheit, Ausrichtung, Regulierung und soziale Vorbereitung; hinter den Kulissen veröffentlichen sie weiterhin Modelle, erweitern die Rechenleistung, rekrutieren Entwickler und treiben die Finanzierung und die Börsengänge voran.

In den letzten Jahren ist dieser Widerspruch immer deutlicher geworden.

Der CEO von Anthropic, Dario Amodei, warnt häufig, dass die KI in den nächsten Jahren die Fähigkeit erlangen könnte, die soziale Struktur zu verändern und sogar zu einer Unkontrollierbarkeit führen könnte. Er ruft Regierungen und die Branche auf, frühzeitig strengere Sicherheitsmechanismen aufzustellen. Gleichzeitig hat Anthropic nicht die Geschwindigkeit verlangsamt, sondern innerhalb eines Jahres kontinuierlich stärkere Claude-Modelle entwickelt, die die Kontextlänge, die Code-Fähigkeiten und das Intelligenzniveau ständig verbessert haben, und hat sich aktiv um Unternehmenskunden und den Entwicklermarkt bemüht.

OpenAI zeigt ein ähnliches Verhalten. Der CEO, Sam Altman, betont seit langem die enormen Risiken, die von Superintelligenz ausgehen können. Er hat mehrmals gesagt, dass der Mensch sich auf die AGI vorbereiten muss und hat sogar die Einrichtung eines Regulierungsrahmens für Spitzenmodelle unterstützt. In der Realität hat Open