StartseiteArtikel

"Der 'Kardashian-Gott' wechselt zu Anthropic und nimmt die Position in der 'gefährlichsten KI' ein."

36氪的朋友们2026-05-20 15:21
Mit Magie gegen Magie bekämpfen?

Am 19. Mai Ortszeit in den Vereinigten Staaten hat Andrej Karpathy, Mitbegründer von OpenAI und ehemaliger Leiter der KI bei Tesla, angekündigt, dass er sich bei Anthropic engagieren wird.

„Ich habe mich bei Anthropic engagiert“, schrieb Karpathy auf der Plattform X. „Ich glaube, dass die nächsten Jahre die entscheidendsten für die Entwicklung von Large Language Models sein werden. Ich freue mich sehr darauf, dem Team beizutreten und wieder in die Spitze der Forschung zurückzukehren.“

Laut ausländischen Medienberichten wird Karpathy unter der Leitung von Nick Joseph, Leiter des Pre-Training-Teams, ein neues Team aufbauen. Die Kernaufgabe dieses Teams besteht darin, die Pre-Training-Forschung mithilfe von Claude zu beschleunigen.

Mit anderen Worten, seine Aufgabe besteht darin, die KI selbst zur Optimierung des Trainingsvorgangs der KI zu nutzen.

Dieser Ansatz hat in der KI-Sicherheitsbranche einen seit langem bekannten offiziellen Namen: Rekursive Selbstverbesserung (Recursive Self-Improvement, RSI). Die Kernidee besteht darin, dass ein KI-System durch kontinuierliche Optimierung seines eigenen Trainingsvorgangs seine Fähigkeiten stetig verbessert.

Seit Jahrzehnten existiert die RSI hauptsächlich in wissenschaftlichen Publikationen und Gedankenexperimenten. Jack Clark, Mitbegründer von Anthropic, schrieb jedoch in einem ausführlichen Artikel am 4. Mai, dass die Wahrscheinlichkeit, dass die KI bis Ende 2028 eine rekursive Selbstverbesserung erreicht, etwa 60 % beträgt. Am 13. Mai kündigte die neue Firma Recursive Superintelligence (kurz Recursive SI) von Tian Yuandong, dem ehemaligen Forschungsleiter von Meta FAIR, offiziell an, dass ihr Kerngebiet ebenfalls die rekursive Selbstverbesserung ist.

Mit dem gleichzeitigen Überschreiten der kritischen Punkte bei Rechenleistung, Daten und Modellfähigkeiten wird die RSI von Spitzen-KI-Laboren in die Praxis umgesetzt und wird zu einem realen Projekt.

01 Warum Karpathy?

Karpathys Berufsverlauf erklärt, warum er für diese Position geeignet ist.

Er war einer der ersten Forscher bei OpenAI und konzentrierte sich von 2015 bis 2017 auf Deep Learning und Computer Vision. Im Jahr 2017 wurde er von Elon Musk nach Tesla geholt und übernahm dort die Leitung der KI. Er leitete das Autopilot-Visionsteam und brachte das neuronale Netz von der Theorie in Millionen von Serienfahrzeugen.

Während seiner fünf Jahre bei Tesla leitete er den Aufbau eines geschlossenen Systems, das als „Datenmotor“ bezeichnet wird. Im Wesentlichen handelt es sich um eine industrialisierte „Modell-Selbstverbesserungs“-Produktionslinie, wobei das Verbesserungsobjekt ein Wahrnehmungsmodell statt ein Sprachmodell ist. Er verließ Tesla im Jahr 2022, kehrte 2023 kurzfristig zu OpenAI zurück, verließ diese erneut nach etwa einem Jahr und gründete 2024 die KI-Bildungsfirma Eureka Labs.

Pre-Training ist der teuerste, am stärksten rechenintensive und am meisten auf Ingenieurserfahrung angewiesene Schritt in der Large Model-Produktionslinie. TechCrunch bewertete Karpathy als „einer der wenigen Forscher, die sowohl in der Theorie von Large Language Models als auch in der Praxis des Massentrainings kompetent sind“.

02 Die RSI geht von der Theorie in die Praxis

Der Zeitpunkt von Karpathys Einstellung war kein Zufall. Vor zwei Wochen gab Jack Clark, Mitbegründer von Anthropic, in seiner Newsletter-Ausgabe „Import AI“ Nr. 455 eine detaillierte Analyse.

Er schrieb, dass er mehrere Wochen damit verbracht habe, Hunderte von öffentlichen Datenquellen zu lesen, und kam zu dem Schluss, dass die Wahrscheinlichkeit für eine rekursive Selbstverbesserung bis Ende 2028 bei 60 % liegt.

Clarks Argumentation basiert auf einer Reihe von überprüfbaren Trends.

Beim SWE-Bench, einem Test, der misst, wie gut KI-Systeme reale GitHub-Probleme lösen können, stieg die beste Leistung von etwa 2 % von Claude 2 Ende 2023 auf 93,9 % von Claude Mythos Preview; Die „Zeitspanne, in der die KI zuverlässig Aufgaben erledigen kann“, gemessen durch METR, stieg von etwa 30 Sekunden bei GPT-3.5 im Jahr 2022 auf etwa 12 Stunden bei Opus 4.6 im Jahr 2026; Beim CORE-Bench, einem Benchmark zur Überprüfung, wie gut KI-Systeme wissenschaftliche Artikel reproduzieren können, betrug die höchste Punktzahl bei der Einführung im September 2024 nur 21,5 %, bis Dezember 2025 wurde es von Opus 4.5 mit 95,5 % „gelöst“.

Bei einem internen Benchmark bei Anthropic, der misst, wie gut ein Modell das Training kleinerer Sprachmodelle optimieren kann, stieg der Beschleunigungsfaktor von 2,9 Mal bei Opus 4 im Mai 2025 auf 52 Mal bei Claude Mythos Preview im April 2026, während menschliche Forscher für eine Vierfache Beschleunigung bei der gleichen Aufgabe 4 bis 8 Stunden benötigen.

Clarks These ist, dass „99 % der Arbeit“ in der KI-Forschung, einschließlich Datenbereinigung, Experimentausführung, Parameteroptimierung und Kernel-Optimierung, bereits innerhalb der Fähigkeiten aktueller Modelle liegen. Selbst wenn die KI vorerst an kreativer Kraft fehlt, reicht die Automatisierung des Ingenieurteils aus, um die Iteration deutlich zu beschleunigen.

Am 7. Mai veröffentlichte Anthropic offiziell das „Forschungsrahmenwerk des Anthropic Institute“ und listete „KI für KI-Forschung und -Entwicklung“ als eines der vier Forschungsthemen auf. Es wurde klar gestellt, dass es darum gehen soll, die Beschleunigung der KI-Forschung zu messen und dies als Frühwarnsignal für die RSI zu nutzen; gleichzeitig wird diskutiert, welche Interventionspunkte es gibt, wenn eine „Intelligenzexplosion“ bevorsteht, und welche Akteure (Regierung, Unternehmen oder andere) das Recht zur Intervention haben sollten.

Clark sagte gegenüber Axios: „Meine Prognose ist, dass bis Ende 2028 eher ein solches KI-System existieren wird, dem man sagen kann: ‚Mache dich selbst besser‘, und es wird dies vollständig autonom erledigen.“

Die Vorarbeiten auf technischer Ebene begannen noch früher.

Am 14. April 2026 veröffentlichte das Anthropic Fellows-Programm ein Experiment: Es wurde getestet, ob Claude Opus 4.6 in der Lage ist, sich autonom in der Schlüsselfrage der Ausrichtung „schwache bis starke Überwachung“ voranzubringen, einschließlich Aufgabenaufteilung, Hypothesenerstellung, Bewertungsdesign und iterativer Optimierung. Ein KI-Agent übernahm damit die gesamte Forschungsarbeit.

03 Einer der am meisten beobachteten Bereiche in der KI-Branche

Das Rennen verläuft auf mehreren Fronten gleichzeitig.

Abgesehen von dem am Anfang des Artikels erwähnten hat die Firma Recursive Superintelligence, gegründet von acht Gründern, darunter Tian Yuandong, dem ehemaligen Forschungsleiter von Meta FAIR, sich offiziell auf den Markt begeben.

Frühere Anzeichen sind ebenfalls sichtbar. Jack Clark schrieb in Import AI, dass das interne Ziel von OpenAI darin besteht, „bis September 2026 einen automatisierten KI-Forschungsstipendiaten zu entwickeln“, während DeepMind zwar vorsichtiger agiert, aber ebenfalls angibt, dass „die Automatisierung der Ausrichtungsforschung, wenn möglich, vorangetrieben werden sollte“. Von internen Zielen großer Unternehmen bis hin zu unabhängigen Start-up-Projekten hat die RSI sich zu einer gemeinsamen Strategierichtung von Spitzenlabors entwickelt.

Hier besteht ein unausweichliches Paradoxon.

Die Gründung von Anthropic basiert auf dem Prinzip „KI-Sicherheit zuerst“. Die RSI ist jedoch eine der Fähigkeiten, vor denen die KI-Sicherheitsgemeinschaft seit langem die größten Befürchtungen hat.

Pedro Domingos, Professor für maschinelles Lernen an der Universität von Washington, kommentierte Clarks 60%-Prognose: „Seit der Entstehung der LISP-Sprache in den 1950er Jahren hat die KI die Fähigkeit, sich selbst aufzubauen. Die eigentliche Frage ist, ob dieser Prozess zu zunehmenden Renditen führt – bisher gibt es keine Beweise dafür.“

Die Kernfrage der Kritiker besteht nicht darin, ob die RSI „möglich“ ist, sondern ob sie „exponentielle Grenzrenditen“ generieren kann. Wenn die Effizienz der Selbstoptimierung jeder Generation von KI nur linear oder sogar abnehmend verbessert wird, wird der Einfluss dieser Route auf ein kontrollierbares Maß beschränkt.

Der KI-Sicherheitsforscher Eliezer Yudkowsky antwortete auf Clarks 60%-Prognose kurz und furchterregend: „Dann wirst du mit uns anderen sterben.“

Clark selbst ging in seinem Artikel nicht davon ab. In Import AI veröffentlichte er eine Reihe von Berechnungen: Wenn die Genauigkeit der heutigen Ausrichtungstechniken bei 99,9 % liegt, würde sie nach 50 Iterationen auf etwa 95 % sinken und nach 500 Iterationen auf etwa 60 % – eine Art Kompounddrift ähnlich wie bei Genmutationen. Ob die Ausrichtung als Beschränkungsbedingung in der Schleife, in der die KI an ihrem eigenen Training beteiligt ist, zuverlässig an jede nachfolgende Generation von Modellen weitergegeben werden kann, ist derzeit unklar.

Anthropics Antwort scheint zu lauten: „Diejenigen, die das Risiko am besten verstehen, sind am besten geeignet, diese Aufgabe zu übernehmen“ – die Fähigkeitsforschung und die Ausrichtungsforschung werden parallel vorangetrieben, um das Ausbrechen der Kontrolle zu verhindern. Ob diese Antwort zutrifft, muss anhand der von Karpathys Team und dem Anthropic Institute in Zukunft veröffentlichten Daten überprüft werden.

Anthropic hat im Forschungsrahmenwerk ein relativ seltenes Versprechen abgegeben: Die Veröffentlichung von Informationen darüber, „wie unsere Arbeit durch neue KI-Tools beschleunigt wird“ und „Daten zur potenziellen rekursiven Selbstverbesserung von KI-Systemen“. Ob dieses Versprechen eingehalten wird, wird ein entscheidendes Kriterium sein, um zu beurteilen, ob Anthropics Einsatz in der RSI-Route ein echtes Projekt oder eine Positionierungsstrategie ist.

Aktuell kann man an Karpathys Eintritt bei Anthropic deutlich erkennen, wo der Schwerpunkt des Wettbewerbs in der nächsten Phase der KI-Industrie liegt – von „die Verwendung von mehr Rechenleistung zur Traini