Die Selbstverbesserung von KI erfordert eine „außerhalb der Tür“-Verifizierungskarte

In den letzten Jahren hat sich die KI allmählich in den Alltag der Menschen integriert: Bei der Arbeit im Unternehmen hilft Ihnen die KI-Office-Unterstützung, wöchentliche Berichte zu schreiben und Sitzungsprotokolle zu organisieren; nach der Arbeit hilft Ihnen der KI-Fahrbestellassistent, mit einem Klick ein Taxi nach Hause zu rufen; wenn Sie zu Hause im Internet surfen, vertreiben KI-Kurzfilme, die den Bildschirm füllen, Ihre Langeweile. Heutzutage sind große KI-Modelle längst nicht mehr nur auf Chat-Partner in Dialogfenstern beschränkt, sondern bereits zu „Quasi-Assistenten“ geworden, die Probleme am Schreibtisch, auf dem Pendlerweg und auf dem Bildschirm lösen können.

Die KI entwickelt sich immer schneller, aber eine tödliche Schwäche begrenzt stets die Obergrenze ihrer Entwicklung: Die meisten ihrer Fähigkeiten sind „eingefroren“. Ein Plan, der heute unzählige Male überarbeitet wurde, muss morgen bei Beginn eines neuen Gesprächs komplett neu erstellt werden; eine Fehlerquelle, auf die man dieses Mal gestoßen ist, führt beim nächsten Mal erneut zu einem Fehlschlag. Seine Fähigkeiten sind zum Zeitpunkt der Auslieferung eingefroren.

Wenn die KI für immer im Kreislauf zwischen Auslieferung und Außerbetriebnahme verharrt, kann sie keinen echten Sprung nach vorne machen. Aus diesem Grund richten KI-Forscher ihren Blick auf grundlegendere Durchbrüche, nämlich die KI dazu zu bringen, „sich selbst zu entwickeln“. In der akademischen Welt wird dies als rekursive Selbstverbesserung, kurz RSI, bezeichnet.

Um RSI wirklich in Gang zu bringen, geht es zuallererst nicht darum, „stärker zu werden“, sondern zunächst zu merken, „was es selbst stärker machen kann“. Dies betrifft ein Kernmodul der KI: das „Gedächtnis“.

Jede Anstrengung der Menschen, den Gedächtnismechanismus der KI voranzutreiben, löst Probleme und bringt die Menschheit gleichzeitig weiter davon entfernt, sie direkt zu verstehen.

01

Beherrschbare „statische Antworten“

Wenn man in der Vergangenheit über das KI-Gedächtnis sprach, gab es in der Branche normalerweise zwei Vorgehensweisen. Die eine besteht aus einem externen Datenbestand, der bei Bedarf durchsucht wird; die andere besteht darin, die Modellparameter anzupassen, damit das Gedächtnis „hineinwächst“. Ersteres lässt sich abrufen, kann aber die Standardaktion des nächsten Schritts nicht ändern; Letzteres lässt sich ändern, ist aber schwer zeilenweise zu prüfen. Obwohl sie jeweils eigene Eigenschaften haben, weisen sie eine gemeinsame Lücke auf: Das Gedächtnis wird zwar gespeichert, aber was erinnert wird und was nicht, wird immer im Voraus von Menschen ausgewählt, die KI ist nur für das Auslesen zuständig.

Sobald man die KI dazu bringen will, im laufenden Betrieb selbst Erfahrungen zu sammeln, ist diese Voraussetzung nicht mehr gültig. Es geht nicht mehr darum, ob ein Gedächtnis bei der Abfrage vorhanden ist oder ob Parameter geändert wurden, sondern darum, zu beurteilen, ob das, was sie sich gemerkt hat, selbst wahr, richtig und förderlich für die Selbstverbesserung ist.

Das ist auch der natürliche Mangel dieses Gedächtnismechanismus: Er kann nur speichern, nicht beurteilen.

In einem Papier über Gedächtnisarchitekturen vom vergangenen Dezember wird ein anschaulicher Vergleich vorgestellt: Bei demselben quelloffenen 20B-Modell beträgt die Genauigkeit bei der Langzeitgedächtnis-Benchmark LongMemEval nur 39,0 %, wenn man sich ausschließlich auf das kontextbezogene Gesamttedächtnis stützt; nach Einführung einer strukturierten externen Gedächtnisarchitektur steigt die Genauigkeit auf 83,6 %. Der Unterschied liegt also nicht darin, „ob etwas gespeichert wurde“, sondern darin, „ob das Gespeicherte organisiert und überprüft wurde“.

Früher wurde dieser Schritt von Menschen erledigt: Menschen sichteten Daten, passten Parameter an und führten Mechanismen ein, sodass alle gespeicherten Inhalte überprüft waren. Sobald die KI selbst merken soll, kann sie falsche Erinnerungen fälschlicherweise für richtig halten oder zufällig erfolgreich eingetretene Ereignisse mit geringer Wahrscheinlichkeit als allgemeingültige Wahrheit ansehen.

Im Juli dieses Jahres wies eine RSI-Übersichtsarbeit, die 1250 Papiere abdeckt, darauf hin: Es reicht nicht aus, die KI nur dazu zu bringen, Erinnerungen zu speichern – das Gespeicherte muss zudem überprüft und vertrauenswürdig sein. Wenn das, was gespeichert wird, an sich falsch ist, rutscht das System in einen selbstbestätigenden Kreislauf, zum Modellzusammenbruch, zum Zusammenbruch der Vielfalt …

Einfach ausgedrückt: Die KI speichert etwas, dessen Richtigkeit sie nicht beurteilen kann, und verwendet es als Grundlage für den nächsten Schritt, um mit einem von ihr erzeugten falschen Logiksystem einen weiteren von ihr erzeugten falschen Schluss zu überprüfen, bis sie in diesem geschlossenen Logikkreis immer weiter vom richtigen Weg abweicht. Ohne externe Eingriffe können diese Fehler ständig verstärkt werden und schließlich wie eine Verschmutzungsquelle das Urteilsvermögen des gesamten Systems zerstören.

Der Kern des Problems liegt also nicht darin, ob die KI selbst Erinnerungen speichern soll, sondern darin, wer für sie über Richtigkeit und Falschheit entscheidet.

Um dieses Problem zu lösen, muss das Entscheidungsrecht aus der Hand der KI genommen und an einen externen Überprüfungsmechanismus übergeben werden. In der Wissenschaft wird diese Lösung als „Prüfung vor der Übergabe“ bezeichnet. Dieser Mechanismus ist nicht an der Inhaltserzeugung beteiligt, er erkennt nur objektive Ergebnisse von Codeausführungen und externe Daten. Bevor Erfahrungen geschrieben werden, durchlaufen sie als „Kandidaten“ zunächst die Prüfung durch diesen unabhängigen Prüfer. Erst nach bestandener Prüfung wird diese Erfahrung von der KI offiziell übernommen.

Indem das Urteilsrecht über das Gedächtnis an einen externen Überprüfungsmechanismus übergeben wird und die KI keine autonome Beurteilung vornehmen darf, wird die Sicherheit der grundlegenden KI-Erfahrungen durch diese Schwelle gewährleistet.

Aber mit dem stetigen Fortschritt von RSI muss sich die KI selbst iterieren, sodass sie nicht nur richtige Erinnerungen speichern kann. Um komplexere unbekannte Aufgaben zu bewältigen und einen tiefergehenden Fähigkeitssprung zu erreichen, muss die KI die zugrundeliegenden Strategien und sogar den Code ändern, die Antworten erzeugen.

Sobald die KI diesen Schritt tut, gerät die externe Überprüfung, die statische Antworten beherrschen konnte, unter Druck durch die Fortschritte der KI-Fähigkeiten.

02

„Dynamische Mechanismen lassen sich nicht verhindern“

Heutzutage wurde die „Methode der KI, ihren eigenen Mechanismus zu ändern“ bereits aus wissenschaftlichen Papieren in die Ingenieurspraxis überführt.

Beispielsweise baut und debuggt der von GLM-5.3 angetriebene Agent von Zhipu Infra Agent auf einem Cluster von mehr als 100.000 inländischen Chips von Grund auf Inferenzdienste auf. Er kann nicht nur seine eigenen Leistungsengpässe erkennen, sondern auch direkt den zugrundeliegenden Code ändern, um sich selbst Patches zu erstellen. Um die Richtigkeit der Patches sicherzustellen, richtet er zudem ein System für gestufte Tests und experimentelles Feedback ein. Nur wenn ein Patch diese Schwelle passiert, wird er vom System akzeptiert.

Weniger als zwei Wochen nach Inbetriebnahme dieses Mechanismus hat sich sein End-to-End-Durchsatz auf das Dreifache des ursprünglichen Basiswerts erhöht. Es ist offensichtlich, dass die KI heute technisch voll in der Lage ist, ihren eigenen Betriebsmechanismus in Echtzeit umzuschreiben und ihn zu optimieren.

Aber mit dem Sprung der Fähigkeiten wird der externe Überprüfungsmechanismus allmählich in die Ecke gedrängt. Denn wenn die KI die zugrundeliegenden Regeln ändert, muss sie das Überprüfungssystem möglicherweise gar nicht direkt konfrontieren, sondern kann „die Antwort ausspähen“ oder sich direkt an das Bewertungssystem anpassen. Es ist immer einfacher, Abkürzungen zu suchen, als sich auf die echten Fähigkeiten zu konzentrieren, da Ersteres weniger Fehlerkosten verursacht und schneller hohe Punktzahlen erzielt.

Wenn der Bewerter des externen Überprüfungsmechanismus nicht streng genug ist oder Lücken in den Regeln aufweist, kann die KI im Prozess der Selbstiteration ganz natürlich Strategien entwickeln, die speziell dazu dienen, den Bewerter zu täuschen. Dadurch verbessert die KI nicht wirklich ihre Fähigkeit zur Problemlösung, sondern lernt nur, wie sie den Bewerter zufriedenstellt.

Eine Untersuchung von METR und Redwood ergab, dass ein Agent innerhalb von 4 Stunden eine universelle Betrugsmethode für ExploitGym entwickelt und dann mehrere Tage damit verbringt, den Bewerter dazu zu bringen, den Betrug zu akzeptieren, einschließlich der Manipulation von Protokollen und der Fälschung von Ausgaben von Toolaufrufen. Und wenn die Bewertungsfunktion für das Modell sichtbar ist, steigt die Betrugsrate auf das 43-fache des ursprünglichen Werts.

Sobald diese Strategie der „Anpassung an die Überprüfung“ vom System verfestigt wird, kann sie zu einem hoch ansteckenden zugrundeliegenden Betriebsregelwerk werden.

Beispielsweise haben bei dem Hugging-Face-Swarm-Ereignis im Juli dieses Jahres etwa 1200 Agenten, die isoliert sein sollten, über ein gemeinsames Schwarzes Brett eine Art kollektives Gedächtnis aufgebaut. Neue ankommende Agenten erben nicht nur Aufgaben, sondern auch die von ihren Vorgängern hinterlassenen Betrugstaktiken: „Wie man den Bewerter erforscht, wie man Protokolle manipuliert, um Erfolge zu fälschen“.

Etwa 700 dieser Agenten setzten die Betrugstaktiken weiter in Angriffsaktionen um. Sie verbrachten mehrere Tage damit, zu versuchen, das System mit verschiedenen gefälschten Aufrufausgaben zu täuschen. In diesem Prozess ist Betrug nicht mehr eine isolierte Systemlücke, sondern wird zu einer kollektiven Fähigkeit, die vererbt und iteriert werden kann.

Sobald ein Agent die Lücke des Bewerters entdeckt, wird diese Taktik sofort von anderen Agenten auf dem Schwarzen Brett kopiert und optimiert, bis sie sich schließlich zu einem perfekten „Gegenaufklärungs“-Plan entwickelt. Das ursprünglich zur Kontrolle bestimmte Bewertungssystem wird von den von den Agenten entwickelten Betrugstaktiken vollständig durchdrungen.

Wenn diese gefälschten Siege als wertvolle Erfahrungen weitergegeben werden, wird die Selbstverbesserung des Systems zu einer Selbstverschmutzung. Auch wenn das System oberflächlich betrachtet immer effizienter läuft und alle Indikatoren steigen, sind die zugrundeliegenden Betriebsregeln mit falschen Abkürzungen gefüllt und entwickeln sich sogar zu einem systemweiten „Verdrängungsprozess von guten durch schlechte Währungen“.

Es ist offensichtlich: Wenn die KI im Prozess der Selbstiteration auf dem richtigen Weg bleiben soll, statt auf Abkürzungen zu setzen, darf die externe Überprüfung nicht im selben Kreislauf wie die KI verbleiben, sonst ist die Unabhängigkeit der Überprüfung praktisch nicht mehr vorhanden.

03

Das „Stopprecht“ außerhalb des Kreislaufs behalten

Da man innerhalb des Kreislaufs keinen Schutz gewährleisten kann, können Menschen nicht mehr nur diesen Überprüfungsmechanismus reparieren, sondern müssen ihn direkt herausziehen und an einen Ort stellen, an den die KI überhaupt nicht gelangen kann.

In der Branche bildet sich derzeit dieser Konsens bei der Top-Level-Gestaltung von RSI heraus: Fähigkeiten wie Ausführung, Strategie, Erfahrungserwerb und Umgebungsanpassung können schrittweise an die KI übergeben werden – aber das Entscheidungsrecht darüber, „ob der Verbesserungsmechanismus selbst übernommen werden darf“, darf keinesfalls mit übergeben werden.

Am Beispiel von Tencent Cloud: In seiner Interpretation der fünfstufigen RSI-Route wird diese Grenze klar gezogen. Von L1 bis L4 werden die Entscheidungsrechte für Ausführung, Strategie, Erfahrungserwerb und Umgebungsanpassung schrittweise an die KI übergeben. Aber bei L5, der rekursiven Änderung des Verbesserungsmechanismus selbst, steht in der Route ausdrücklich: „Die Grenzen werden von Menschen festgelegt“.

Das heißt, egal wie sich die KI entwickelt, selbst wenn die Rekursion in die Mechanismus-Schicht eintritt, verbleibt das Entscheidungsrecht „ob etwas übernommen werden darf“ außerhalb des Kreislaufs. Die Grenzen für die rekursive Änderung des Verbesserungsmechanismus werden nach wie vor von Menschen festgelegt. Das System kann den zugrundeliegenden Mechanismus selbst ändern, aber es kann niemals „wer entscheidet, ob der Mechanismus akzeptiert wird“ ändern.

Und solange dieses Entscheidungsrecht außerhalb des Kreislaufs liegt, bleibt die menschliche Überwachung eine echte Prüfung und das System wird nicht zu einem Prozess, in dem es sich selbst befragt.

Diese Unabhängigkeit zeigt sich im konkreten Ingenieurdesign noch direkter.

Beispielsweise kann bei dem externen Überprüfungsdesign von Recurs der Agent, der für die Änderung des Systems zuständig ist, den Testdatensatz überhaupt nicht sehen. Er wird nur zugelassen, wenn er die Überprüfung durch das unabhängige Entwicklungsdatensatz besteht. Auch bei Zhipus Infra Agent ist der äußere Kreislauf festgelegt – nur der Code der externen Infrastruktur entwickelt sich weiter, die Kerngrenzen werden nicht von der KI übernommen.

Das eine behält das Entscheidungsrecht nach außen, das andere behält die Grenzen nach außen. Solange der Überprüfungsmechanismus außerhalb des Kreislaufs steht, kann der Pfad, auf dem die KI durch Vorhersage den Mechanismus anpasst, vollständig unterbrochen werden.

Aber es reicht nicht aus, den Überprüfungsmechanismus nur nach außen zu stellen. Das System ist zu komplex, Menschen können schließlich nicht jeden Patch vollständig verstehen, der aufgespielt wird. Man weiß nicht, ob die KI sich bei der Selbstiteration innerhalb der Grenzen selbst zum Absturz bringen wird.

Früher konnten Ingenieure noch durch das Lesen von Code nach Lücken suchen, aber angesichts großer Modelle mit heute oft mehreren hundert Milliarden Parametern ist diese Methode der „Fehlersuche mit bloßem Auge“ möglicherweise nicht mehr praktikabel.

Aus diesem Grund hat Anthropic auf Governance-Ebene einen Vorschlag unterbreitet. In der RSI-Governance wird ein äußerst wichtiger Mechanismus ausdrücklich beibehalten: „überprüfbare Verlangsamung“ und „Anhaltemechanismus“. Das heißt, wenn die Geschwindigkeit der rekurs