Neue Fortschritte bei Googles „RSI“: Kontinuierliches RSI durch „selbstverbesserndes Gedächtnis“
Wenn das Modell ausgetauscht wird, kann das sorgfältig optimierte Agent-Harness sofort „nicht mehr passend funktionieren“. Ein Harness, das speziell für Claude entwickelt wurde, kann sogar zu „negativen Ergebnissen“ bei Gemini führen. Daher müssen die übernommenen Anpassungen nach der Modellmigration neu bewertet werden, um festzustellen, welche weiterhin gültig sind und welche überarbeitet werden müssen.
Das Harness verwaltet den Kontext, die Tools und den Ausführungsablauf des Agents. Obwohl das rekursive Selbstverbesserungsverfahren (RSI) Anpassungen basierend auf Feedback vorschlägt, bewertet und auswählt, fehlen bei der Migration häufig die Begründungen für die Anpassungen, die erwarteten Ziele, die Testergebnisse und die Bewertungsszenarien, wenn nur das endgültige Harness übernommen wird. Dies führt zu wiederholtem Ausprobieren und Fehlern und sogar zu fehlerhaften Änderungen an übernommenen Komponenten.
Aus diesem Grund hat das Team von Google das „Selbstverbesserungsgedächtnis“ (Self-Improvement Memory, SIM) vorgeschlagen. Es ist für den Optimierer zuständig, der das Harness optimiert, und speichert die Erfahrungen während des Verbesserungsprozesses. Sie bezeichnen die Einstellung, bei der das Harness nach einer Änderung des Benchmarks oder des Strategiemodells weiter optimiert wird, als „kontinuierliche rekursive Selbstverbesserung“ (CRSI).
Link zum Papier: https://arxiv.org/abs/2611.18856
Die Modelländerung ist nur eines der Szenarien. Auch Änderungen der Aufgabendaten können dazu führen, dass vorhandene Korrekturen angepasst werden müssen. Bei Textklassifizierungsexperimenten erreichte das FewShotAll-Harness, das in der Quellphase entwickelt wurde, einen Ausgangswert von 72,92 im Ziel-Testsuite, was unter dem Wert von 75,72 der ursprünglichen Version liegt. Die Aufgabenabschlussprüfung, die ursprünglich nur prüfte, ob der Befehl erfolgreich ausgeführt wurde, muss möglicherweise weiter prüfen, ob die gefundene Lösung optimal ist.
Angesichts dieser Änderungen gruppiert SIM die Anpassungen nach den Harness-Problemen, die sie lösen. Jede Gruppe von Einträgen enthält die Begründung für die Anpassung, das erwartete Ergebnis, das tatsächlich beobachtete Ergebnis und das Bewertungsszenario. Sowohl der Vorschlaggeber, der Anpassungen vorschlägt, als auch der Selektor, der für die Auswahl verantwortlich ist, können auf diese Informationen zugreifen, um zu entscheiden, ob die vorherigen Änderungen beibehalten, überarbeitet, ersetzt oder gelöscht werden sollen.
Dieses Gedächtnis wird im Zuge der weiteren Optimierung ebenfalls aktualisiert. Neue Probleme erhalten neue Einträge, nachfolgende Versuche und Ergebnisse zum selben Problem werden zu den vorhandenen Datensätzen hinzugefügt. Auf diese Weise kann die Optimierung in der Zielphase sowohl die in der Quellphase gesammelten Erfahrungen nutzen als auch neue Versuche weiter protokollieren.
Abbildung|SIM im äußeren Optimierungszyklus des Agents
CRSI unterscheidet zwei Arten von Umstellungen. Bei der kontinuierlichen Optimierung über Datensätze hinweg bleibt das Strategiemodell fest, während der Benchmark geändert wird. Bei der kontinuierlichen Optimierung über Modelle hinweg bleiben Benchmark und Datenaufteilung fest, während das Strategiemodell geändert wird. Beide Einstellungen erfordern, dass das Harness in Quell- und Zielphase eine kompatible ausführbare Schnittstelle beibehält, sodass vorhandene Optimierungsmethoden weiterhin den ursprünglichen Ablauf für Vorschlag, Bewertung und Auswahl nutzen können.
Um zu untersuchen, ob die Verbesserungserfahrungen nachfolgende Optimierungen unterstützen, haben sie unter Migrationsbedingungen das vollständige SIM, das nur mit dem Harness übernommene System und das System, bei dem nur die Ursache des Problems beibehalten wird, verglichen. Alle drei nutzen dasselbe aus der Quellentwicklung stammende Harness. Zusätzlich wurde ein Kaltstart-Szenario eingerichtet, das von einem Seed-Harness ausgeht, wobei die Anzahl der Optimierungsrunden und das Budget für Kandidatenlösungen übereinstimmen.
Sie haben Experimente in vier Bereichen durchgeführt. Das vollständige SIM erreichte in 6 Einstellungen mit unterschiedlichen Datensätzen und 4 Einstellungen bei der Migration von Opus zu Gemini höhere Endwerte als die kontinuierliche Optimierung, die nur das Harness übernahm oder nur die Problemursache beibehielt. Die Vergleichsergebnisse bestätigen den von ihnen vorgeschlagenen Ansatz, neben der Problemdiagnose auch den Verlauf der Anpassungen und die Bewertungsergebnisse zu behalten.
Abbildung|CRSI über verschiedene Datensätze hinweg
Abbildung|Modellübergreifende CRSI von Opus 5.5 zu Gemini 3.8 Flash, Benchmark und Datenaufteilung bleiben unverändert
Um die Unterschiede zwischen unabhängigen Optimierungsprozessen zu untersuchen, haben sie zudem 10 gepaarte Vergleiche im Programmierbereich durchgeführt. Jede nachfolgende Optimierung startete von einem Harness, das aus demselben unabhängigen Quellphasenlauf stammt, wobei die Nutzung von SIM mit der Bedingung verglichen wurde, bei der nur das Harness übernommen wird. SIM erzielte in 9 der 10 Gruppen Verbesserungen, die Endwerte lagen im Durchschnitt um 2,36 Punkte höher, der p-Wert beträgt 0,003.
Abbildung|Programmieroptimierung, TB2.1 → TB4
Natürlich weist diese Studie auch einige Einschränkungen auf. Aufgrund des begrenzten Rechenbudgets konzentrierten sich die unabhängigen RSI-Wiederholungsexperimente auf den Programmierbereich, jede Bedingung in anderen Bereichen wurde nur einmal ausgeführt. Die Studie deckt Einstellungen ab, bei denen die Harness-Schnittstelle kompatibel ist, der Planungs- und Suchablauf des Optimierers bleibt fest. Darüber hinaus bewerteten diese Vergleiche SIM als vollständigen Ablauf, der sowohl das übernommene Gedächtnis als auch die Aktualisierung des Gedächtnisses während der Optimierung in der Zielphase umfasst.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Academic Headline“ (ID: SciTouTiao), Autor: ZHANG Jiayi, veröffentlicht mit Genehmigung von 36Kr.