Anthropic: 80 % des Codes wird von der KI selbst geschrieben – können Menschen noch rechtzeitig die Notbremse ziehen?

【Einführung】 Mit der IPO-Ambition mit einem Schätzwert von 965 Milliarden US-Dollar und dem öffentlichen Aufruf zum globalen Bremsen der KI-Entwicklung hat Anthropic mit dem extremsten Kontrast die tiefste Widersprüche der gesamten Branche ans Licht gebracht. Jack Clark sagte, die Branche habe ein Gaspedal, aber kein Bremspedal. Wir wollen dieses Bremspedal bauen. Aber kann die Menschheit noch vor dem eigentlichen Abschluss der rekursiven Selbstverbesserung dieses Bremspedal installieren?

Letzte Woche hat Anthropic zwei wichtige Dinge getan.

Am 1. Juni hat das Unternehmen geheimnisvoll ein S-1-Dokument an die US-amerikanische Wertpapier- und Börsenkommission (SEC) abgegeben. Dies ist der erste Schritt auf dem Weg zur Börsengang im Oktober, bei dem der Schätzwert nahezu 965 Milliarden US-Dollar betragen wird.

Am 4. Juni haben der Mitbegründer Jack Clark und die Leiterin des Instituts Marina Favaro einen Vorschlag veröffentlicht, in dem sie einen globalen Stopp der KI-Forschung und -Entwicklung fordern, um eine Kontrollverlust der KI zu vermeiden.

Der entscheidende Wendepunkt ist:

Bis Mai dieses Jahres war mehr als 80 % des Codes, der in Anthropics eigenes Code-Repository integriert wurde, von Claude geschrieben.

Das Argument der rekursiven Selbstverbesserung ist in dieser einen Zahl konzentriert.

Während eines Interviews hat der Mitbegründer von Anthropic, Jack Clark, erklärt, warum Anthropic einen Stopp der KI-Entwicklung vorschlägt:

Derzeit hat die KI-Branche ein Gaspedal, aber kein Bremspedal.

Was wir tun wollen, ist, einen Beitrag zum Bau dieses Bremspedals zu leisten.

Die rekursive Selbstverbesserung ist sowohl verlockend als auch beunruhigend.

Vielleicht erklärt dies, warum Anthropic einerseits Gas gibt, um die IPO zu erreichen, und andererseits einen globalen KI-Stopp fordert.

Jetzt gibt es nur noch eine Frage: Bedeutet die rekursive Selbstverbesserung der KI, dass die KI bald außerhalb der menschlichen Kontrolle gerät?

Jack Clarks erstaunliche Prognose: Die Selbstbeschleunigung der KI

Der Mitbegründer von Anthropic, Jack Clark, prognostiziert, dass bis Ende 2028 die Wahrscheinlichkeit, dass die KI in der Lage ist, ohne jegliche menschliche Beteiligung das nächste Generation von Produkten selbst zu schaffen, 60 % beträgt.

Dieser Moment wird den Beginn des geschlossenen Kreises der 「rekursiven Selbstverbesserung」 markieren.

Das ist nicht alles nur Hype. Die KI-Branche beginnt, die 「rekursive Selbstverbesserung」 ernst zu nehmen.

Anthropic spricht noch über die rekursive Selbstverbesserung (recursive self-improvement, RSI), während Sakana bereits handeln hat und das AI RSI Lab gegründet hat!

Sie haben sogar eine Trajektorie für die rekursive Selbstverbesserung der KI geplant.

Früher wurde der ehemalige Leiter der KI bei Tesla und Gründungsmitglied von OpenAI, Andrej Karpathy (ein Spitzenvertreter der menschlichen Intelligenz), bei der Optimierung eines Modells von einem KI-Agenten namens Autoresearch, dem er freien Lauf gelassen hat, innerhalb weniger Tage um 18 % übertroffen.

Das Modell von DeepMind hat ohne menschliche Intervention den Algorithmus autonom optimiert, wodurch Google 0,7 % der globalen Rechenleistung eingespart hat und die Trainingsgeschwindigkeit des Flaggschiffmodells Gemini um 1 % erhöht hat.

Bevor dieses Ziel erreicht wird, könnte der beschleunigende Effekt der KI-gesteuerten Forschung und Entwicklung (R & D) bereits sichtbar werden.

Nach einem Bericht des Center for Security and Emerging Technology (CSET), eines internen Think Tanks der Georgetown University, der im Januar veröffentlicht wurde, könnte die 「Produktivitätssteigerung im Vergleich zur reinen menschlichen Forschung und Entwicklung」 sich verzehnfachen, verhundertfachen oder sogar verausendfachen, wenn der Anteil der KI-Forschung und -Entwicklung, der von KI-Systemen durchgeführt wird, zunimmt.

Link: https://cset.georgetown.edu/wp-content/uploads/CSET-When-AI-Builds-AI.pdf

Der Bericht warnt, dass in dieser Szenario, auch wenn einige Aspekte der KI-Forschung und -Entwicklung anfänglich schwer zu automatisieren sind, 「die beschleunigte Fortschrittsgeschwindigkeit bedeutet, dass diese Engpässe bald überwunden werden.」

Nach den Benchmarks von METR konnte ein KI-Modell Anfang 2025 nur Aufgaben bearbeiten, die einem menschlichen Ingenieur weniger als eine Stunde Zeit gekostet hätten. Mitte 2026 war die KI jedoch in der Lage, komplexe systemübergreifende Aufgaben zu lösen, die einen Menschen mehr als einen ganzen Tag (mehr als 8 Stunden) kontinuierlich beschäftigen würden.

Dieser steile Anstieg der Fähigkeiten ist der Grund für Jack Clarks erstaunliche Prognose.

Die rekursive Selbstverbesserung: Das unendlich vergrößerte Gute und Böse

Die 「rekursive Selbstverbesserung」 der KI ist ein Konsens in der Branche.

Aber niemand weiß genau, welche Konsequenzen die 「rekursive Selbstverbesserung」 haben wird.

Da die KI im Gegensatz zum Menschen unermüdlich und kontinuierlich arbeiten kann, glauben einige, dass sie in kurzer Zeit eine Super-Künstliche Intelligenz (ASI) hervorbringen wird - das sogenannte 「schnelle Entfesseln」 (fast take-off).

Warum fürchten wir uns vor der Selbstverbesserung von Maschinen? Weil die Evolution von Maschinen in einer tödlichen Einseitigkeit steckt.

Derzeit findet nahezu die gesamte Selbstverbesserung der KI in Bereichen statt, in denen es 「verifizierbare Belohnungen」 (Verifiable Rewards) gibt.

In der Welt des Softwarecodes, mathematischer Beweise und anderen Bereichen, in denen es nur Schwarz oder Weiß gibt, kann die KI durch Selbstspiel eine riesige Menge an 「synthetischen Daten」 generieren, um sich selbst zu trainieren, ohne sich um das Risiko der 「Modell-Degeneration (Model Collapse)」 zu sorgen.

Aber die Grundlagen, auf denen die menschliche Gesellschaft aufbaut - Ethik, Moral, rechtliche Urteile, Empathie und Sicherheitsausrichtung - können nicht einfach 「verifiziert」 werden.

Dies führt zu einer äußerst gefährlichen strukturellen Neigung:

• Die Geschwindigkeit, mit der Maschinen ihre 「Intelligenz」 und 「Kraft」 selbst verbessern, befindet sich in einem geschlossenen Kreislauf, der mit Lichtgeschwindigkeit läuft;
• Die Geschwindigkeit, mit der Maschinen das 「Gute」 und die 「Kontrolle」 der Menschen verstehen, steckt jedoch in einem schlammigen, langsamen und nicht standardisierbaren subjektiven Morast fest.

Der Physiker der Massachusetts Institute of Technology, Max Tegmark, vergleicht dies mit 「einem Fahrer, der mit geschlossenen Augen auf der Autobahn Gas gibt」.

Der Fahrer hat nicht nur die Augen geschlossen, sondern das Gaspedal, das er betätigt, wird durch die rekursive Verbesserung unendlich verstärkt.

KI-Apokalyptiker befürchten, dass die ASI außerhalb der menschlichen Kontrolle gerät, und der Beginn der 「rekursiven Selbstverbesserung」 ist der Moment, in dem das Schicksal der Menschheit an die Maschinen übergeben wird.

Allerdings könnte eine sich selbst verbessernde KI auch Geschwindigkeitsbeschränkungen haben, zumindest am Anfang.

Gerät die KI bald außerhalb der menschlichen Kontrolle?

Auf dem Weg zur Superintelligenz liegen noch einige schwere 「physikalische Sandsäcke」:

Die physischen Beschränkungen der Rechenleistung (Hot Chip)

Selbst wenn die Algorithmen der KI perfekt optimiert sind, hängt das Training neuer Modelle immer noch stark von der physischen Infrastruktur ab - mehr Stromnetze, mehr Kühlsysteme und große Rechenzentren, die Jahre dauern können, um geplant zu werden.

Am Tag nach Anthropics Aufruf zum globalen Stopp der KI-Entwicklung - am Freitag, dem 5. Juni - hatte der Philadelphia Semiconductor Index den schlimmsten Tag seit März 2020. Er stürzte binnen eines Tages um mehr als 10 % ab, und Chips mit einem Marktwert von 1,3 Billionen US-Dollar verschwanden über Nacht.

Der Auslöser für den Absturz war die etwas matt wirkende Prognose für den Verkauf von KI-Chips im dritten Quartal von Broadcom sowie die Abstürze von AMD und Intel um mehr als 10 %.

Hinter diesem epischen Crash steckt, dass die gesamte KI-Industrie an die harten physischen Grenzen