Das selbstkonstruierte RSI von KI ist populär geworden, Google bremst die Begeisterung aus, und Unternehmen wie DeepSeek haben die Grenzen erreicht.

Das Wort "Rekursion" ist kürzlich plötzlich in der Künstlichen-Intelligenz-Szene heiß geworden.

Zwei Start-up-Unternehmen haben dieses Wort direkt als Unternehmensname gewählt. Viele Labore haben nun in ihre Roadmaps ein dreibuchstabiges Akronym namens RSI aufgenommen, das für "recursive self-improvement" (rekursive Selbstverbesserung) steht. Genau wie AGI wird RSI zu einem brancheninternen Geheimcode, der einerseits aufregt, andererseits aber auch Bange machen kann, auch wenn die Definition noch nicht ganz klar ist.

(Quelle: X)

Was ist RSI? Einfach ausgedrückt, bedeutet es, dass die KI sich selbst trainiert. In der Technologiebranche wird RSI seit langem als eines der Hauptmerkmale des Fortschritts in der Künstlichen Intelligenz angesehen, zusammen mit Gedächtnis, Schlussfolgerung und Multimodalität. Die einzige Einschränkung ist die Rechenleistung. Der Mensch ist dabei kein notwendiges Element, ja, er kann nicht einmal als Helfer gelten.

Klingt wie Science Fiction oder sogar gefährlich? Aber wenn man sich beruhigt und darüber nachdenkt, ist dies nicht die erste Hype-Phase in der KI-Branche. Von AlphaGo im Jahr 2016 bis zu ChatGPT im Jahr 2023 und bis zur heutigen Rüstungsrace um die Parameter der großen Modelle ist es die Natur der KI-Branche, nach dem nächsten "Alles verändernden" Ding zu streben. Aus Sicht von Lei Keji AGI (ID: leikejiagi) könnte RSI die nächste Feier sein.

RSI wird heiß: Wenn KI sich selbst über "Rekursion" aufbauen kann

Im Mai dieses Jahres gründete der bekannte KI-Forscher Richard Socher ein neues Unternehmen namens Recursive Superintelligence, dessen Name direkt auf RSI abzielt.

Er sagte: "Unser Kernziel ist es, eine echte rekursive Selbstverbesserung der Superintelligenz zu entwickeln. Der gesamte Prozess der Konzeption, Umsetzung und Validierung der Forschung soll vollständig automatisiert sein."

Ein weiteres Beispiel, über das die Branche viel spricht, ist das Projekt Auto-Research, das von Andrej Karpathy vorangetrieben wird: Es nutzt eine Gruppe von Agenten, um Sprachmodelle zu trainieren, sodass die Modelle einfache Forschungsaufgaben selbst erledigen und sich selbst verbessern können.

Quelle: github

‌

Andrej Karpathy ist auch eine Legende. Er hat in Tesla an der Autonomisierung des Fahrens und in OpenAI an GPT gearbeitet und hat dabei beeindruckende Ergebnisse erzielt. Jetzt setzt er alles auf RSI und fördert es auf offene und transparente Weise, was darauf hinweist, dass er wirklich glaubt, dass dies möglich ist.

Interessanterweise ist er über dieses Projekt erstaunlich offen. Er aktualisiert regelmäßig auf Twitter über die Fortschritte und hat auch ein öffentliches GitHub-Repository für den Code erstellt. Natürlich hat Andrej Karpathy selbst auch gesagt, dass die derzeitigen Arbeiten noch an kleinen Modellen auf GPT-2-Niveau durchgeführt werden und "noch keine bahnbrechende Forschung (vorerst)" sind. Aber dies hat bereits eine Reihe von Forschern dazu gebracht, ihm zu folgen.

Wichtiger noch: Andrej Karpathy ist kürzlich dem Pre-Training-Team von Anthropic beigetreten. Anthropic hat Claude, und Karpathy hat die Methodik von auto-research. Wenn beide zusammenarbeiten, also ein großes Modell und ein Selbst-Training-Zyklus, und wenn dies funktioniert, geht es nicht mehr um Kleinigkeiten auf GPT-2-Niveau.

Quelle: haimagazine

Ein weiteres Unternehmen namens Adaption hat ein Tool namens AutoScientist entwickelt, dessen Ziel ist, den Trainingsvorgang von führenden Modellen zu automatisieren. Die Logik ist die gleiche wie bei Andrej Karpathys auto-researchers, nämlich die Agenten zu trainieren, um schrittweise Verbesserungen vorzunehmen. Allerdings hat Adaption größere Ambitionen und möchte direkt einen gesamten Trainingszyklus für ein vollständiges führendes Modell abschließen.

Diese beiden Unternehmen repräsentieren tatsächlich zwei Ansätze: Andrej Karpathy validiert Schritt für Schritt von unten und baut Potenzial in der Community auf, während er gleichzeitig Open Source ist; Adaption zielt direkt auf das kommerzielle Training von großen Modellen ab und hat einen stärkeren Wunsch, die Technologie umzusetzen. Welcher der beiden Ansätze zuerst erfolgreich ist, wird sich erheblich auf die gesamte Branche auswirken.

Google-Chef wirft Kaltdampf: Wir sind noch nicht so weit

Zu RSI gibt es in der KI-Branche unterschiedliche Meinungen.

Google-Chef Sundar Pichai hat im vergangenen Monat in einem Podcast mit großer Vorsicht die Realität anerkannt: "(RSI) ist ein Kontinuum, und wir machen tatsächlich Fortschritte. Aber wenn man RSI so beschreibt, wie es von vielen gemacht wird, würde dies eine Beschleunigung auf die nächste Stufe bedeuten, was viele Auswirkungen hätte. Aber wir sind noch nicht so weit."

Trotzdem beinhaltet die Beschreibung des "Kontinuums" bereits einige Dinge, die einem zu denken geben.

Im Januar dieses Jahres hat ein Programmierer von Anthropic, der an der Entwicklung von Claude Code beteiligt war, zugegeben, dass fast 100 % des Codes im Team von Claude Code geschrieben wurden. Dies ist eine Art von KI, die sich selbst schreibt. Es ist nicht, dass die KI Ingenieure beim Schreiben von Code unterstützt, sondern dass das KI-Tool in gewissem Maße bereits Ingenieure beim Schreiben ihres eigenen Codes ersetzt.

Quelle: Anthropic

Eine interne Umfrage von Anthropic über die Vorschauversion von Mythos ergab, dass von 18 Ingenieuren 5 der Meinung waren, dass, wenn das zugehörige System verbessert würde, diese Version von Mythos einen L4-Ingenieur ersetzen könnte, also einen mittleren Programmierer, der komplexe Projekte unabhängig bearbeiten kann und keine ständige Überwachung benötigt.

Aber die Schwächen sind auch klar beschrieben: "Die Hauptschwächen von Claude Code umfassen: Verwaltung von unklaren Aufgaben über den Zyklus hinaus, Verständnis von organisatorischen Prioritäten, Geschmack, Validierung, Befolgung von Anweisungen und Erkenntnistheorie." Das heißt, es ist schwach bei genau den Dingen, die Selbstmotivation erfordern, und Selbstmotivation ist die Grundlage von RSI.

Interessanterweise hat das Georgetown Center for Security and Emerging Technology (CSET) im vergangenen Jahr eine Gruppe von Experten zusammengestellt, um sich speziell mit RSI zu befassen. Diese Experten waren bei ihrer Bewertung deutlich geteilt. Ein Teil erwartet einen "Superintelligenz-Explosion", der andere Teil erwartet einen langsameren Fortschritt und ein letztliches Erreichen einer Sackgasse.

Aber sie haben einen Konsens: Rekursion macht die Zukunft äußerst unvorhersehbar.

Dafür hat der METR-Forscher Ajeya Cotra in einem Artikel den RSI-Prozess in mehrere Meilensteine aufgeteilt. Ich denke, dies ist derzeit der beste Analyserahmen.

Die erste Stufe heißt "Adequatheit" (Adequacy): Wenn der Mensch vollständig entfernt wird, kann das System immer noch Forschung betreiben - auch wenn es nicht so gut wie der Mensch ist, aber es funktioniert.

Die zweite Stufe heißt "Gleichheit" (Parity): Die Forschung, die von der KI unabhängig durchgeführt wird, hat die gleiche Qualität wie die Forschung, die von Menschen unabhängig durchgeführt wird.

Die dritte Stufe heißt "Überlegenheit" (Supremacy): Die Leistung des unabhängigen KI-Systems übertrifft die eines Systems, das aus der Zusammenarbeit von Menschen und KI besteht.

Ähnlich wie bei der Autonomisierung des Fahrens in den Stufen L2, 3, 4 und 5. Ajeya Cotra ist der Meinung, dass wir der ersten Stufe bereits sehr nahe sind. Aber wann die zweite Stufe kommt, hat sie keine Zeitangabe gemacht, aber sie hat eine sehr klare Vorhersage getroffen: Sobald die zweite Stufe eintritt, wird die Beschleunigung in Zukunft weit höher sein als bisher. "Innerhalb eines Jahres könnte es bereits zur dritten Stufe kommen."

Warum so schnell? Weil die KI in der zweiten Stufe zu einem Forschungsteam wird, das nicht schlafen muss, keine Meetings hat und keine KPIs ausrichten muss. Sie kann 24 Stunden am Tag testen, verbessern und erneut testen. Menschen hingegen haben auch die effizientesten Forscher nur wenige Stunden intensiver Arbeit am Tag, und dazwischen gibt es unzählige Unterbrechungen und Kommunikationskosten. Sobald dieser Engpass weg ist, steigt die Beschleunigung sprunghaft.

In China wird nicht viel von RSI gesprochen, aber DeepSeek und andere sind schon am Rande

Nachdem wir uns so viel mit den Fortschritten im Ausland beschäftigt haben, fragen Sie sich vielleicht: Wie sieht es in China aus?

Ehrlich gesagt sprechen chinesische Hersteller selten öffentlich über RSI. Es ist fast unvorstellbar, dass chinesische KI-Unternehmen "rekursive Superintelligenz" in ihre Unternehmensmission aufnehmen, wie dies im Ausland der Fall ist. Aber wenn es darum geht, dass die KI sich selbst verbessert, haben chinesische Hersteller tatsächlich auf verschiedenen Wegen schon ans Ziel herangekommen.

Das typischste Beispiel ist DeepSeek. Sie haben um eine Größenordnung weniger Geld als OpenAI ausgegeben, aber können in vielen Inferenzaufgaben direkt mit OpenAI mithalten. Dies ist möglich, weil sie die Algorithmuseffizienz auf das Maximum optimiert haben - MoE-Architektur, extreme Komprimierung der Aktivierungsparameter und ingenieurmäßige Verfeinerung der Trainingsstrategie.

Obwohl dies nur wenig mit RSI zu tun hat, ist dies ein Weg, mit einem klügeren Ansatz die brute Kraft der Rechenleistung zu ersetzen. Und dieser Weg ist genau einer der Kernlogiken von RSI: Das Modell soll in der Iteration den klügeren Weg finden.

Bei Baidu Wenxin ist die Modellselbstoptimierung durch verstärktes Lernen bereits Standard. Obwohl nicht der Name RSI verwendet wird, wird das Gleiche getan: Das Modell verbessert sich ständig in bestimmten Aufgaben über einen Selbstfeedback-Zyklus. Aus dieser Perspektive tun chinesische Hersteller auch RSI, sie haben nur einige Aspekte von RSI in ihre täglichen Ingenieurpraktiken integriert und tragen diesen Namen nicht.

(Quelle: Gemini-Generierung)

Natürlich gibt es auch Unterschiede. Die Personaldichte von OpenAI und Anthropic ist derzeit noch höher als die von chinesischen Unternehmen. Dies bedeutet, dass in der Erforschung von RSI China derzeit noch im Nachfolgezustand ist.

Aber die historische Erfahrung zeigt, dass chinesische Hersteller oft erstaunlich schnell aufholen, wenn der Weg klar ist. Das RSI-Framework wird von ausländischen Experten immer klarer aufgebaut, und Karpathys Code ist auf GitHub öffentlich zugänglich. Sobald ein reproduzierbarer Weg gefunden wird, werden die Kostenkontrollfähigkeit und die Dichte der Anwendungsfälle chinesischer Unternehmen eine von der Märkte erheblich unterschätzte Variable sein.

Aber wir sollten auch etwas Kaltdampf werfen. Tatsächlich sinkt die Qualität der Daten, die von der KI selbst generiert werden und für das Training der nächsten KI-Version verwendet werden. Die Logik von RSI ist, dass die KI gute Daten generiert und diese Daten dann für das Training der nächsten Generation KI verwendet werden, um diese stärker zu machen.

Aber in der Realität kann es umgekehrt sein. Die von der KI generierten Daten enthalten oft ihre eigenen Halluzinationen, Vorurteile und Qualitätsverluste. Wenn diese Sekundärdaten an die nächste Version gegeben werden, produziert diese noch schlechtere Tertiärdaten. Nach einigen Generationen bricht das gesamte System zusammen, wie wenn ein Kopierer ständig Kopien von Kopien macht und nach zehn Kopien das Bild unscharf wird.

Die Wissenschaft nennt dies Modellkollaps, und es gibt bereits wissenschaftliche Artikel, die diesen Phänomen bestätigen.

Außerdem existiert die ideale Umgebung, die RSI benötigt, in der realen Welt überhaupt nicht. Damit dieses System funktioniert, sind zwei Voraussetzungen unbedingt erforderlich: unbegrenzte Rechenleistung und eine global offene und kollaborative Forschungsumgebung.

Die Realität ist jedoch, dass die Kosten für das Training eines führenden Modells bereits im Milliardenbereich liegen. Die Chipkapazität ist begrenzt, die Energieversorgung ist begrenzt und die Anzahl an hochwertigen Daten nimmt ab. Exportkontrollen und technologische Entkopplung teilen die KI-Forschung in mehrere voneinander getrennte Kreise auf, und Menschen und Güter können nicht frei fließen. Ohne diese Grundvoraussetzungen kann man von RSI nicht sprechen.

RSI ist nicht nur ein technisches Problem. Es erfordert auch eine ausreichend offene Welt, und ob diese Voraussetzung erfüllt werden kann, kann die Technologiebranche nicht entscheiden.

Abschluss

Abschließend möchte ich eine interessante Beobachtung teilen: In den letzten fünf Jahren hat die Branche zunächst die Massenvorhersage dazu gebracht, dass die Menschen in die "Parameterverehrung" geraten sind. Dann