Princeton und Anthropic enthüllen die „Agent-Gedächtnisfalle“: Ein einfaches „keine Bestätigung erforderlich“ führte zu einem Verlust von 1,2 Millionen US-Dollar

Beim Bereinigen alter Dateien sagte der Nutzer „keine weitere Bestätigung erforderlich“. In einer späteren Sitzung übertrug der Agent diese Autorisierung auf eine Zahlungsaufgabe und leitete eine Massenzahlung von 1,2 Millionen US-Dollar ohne Überprüfung auf ein anderes Konto um. Dieser Fall stammt aus einem Simulationsversuch einer Studie, die vom Agenten selbst verfassten Erinnerungen bergen versteckte Gefahren.

In dieser Studie untersuchten Forscher der Princeton University und Anthropic dieses sitzungsübergreifende Risiko. Sie verglichen das Verhalten von 6 hochmodernen Modellen unter Bedingungen mit und ohne Gedächtnis und stellten fest, dass Erinnerungen aus normalen Interaktionen den Agenten dazu veranlassen können, bei nachfolgenden Aufgaben Sicherheitsüberprüfungen zu überspringen, falsche Antworten zu akzeptieren und sogar korrekte Tests zu ändern, um Sicherheitslücken zu verdecken.

Link zum Papier: https://arxiv.org/abs/2611.07554

Sie nannten dieses Phänomen „Gedächtnisfalle“ (Memory Trap). Der gesamte Prozess erfordert keine Beteiligung von Angreifern.

Abbildung | Erinnerungen, die aus harmlosen Interaktionen entstehen, richten in späteren Sitzungen Schaden an

Ursprünglich löste das dauerhafte Gedächtnis ein praktisches Problem: Nutzer möchten nicht bei jedem Gespräch erneut ihre Präferenzen, Projektspezifikationen und Betriebsgewohnheiten erläutern, daher zeichnet der Agent diese Informationen auf, um sie für nachfolgende Sitzungen zu verwenden.

Aber wenn der Geltungsbereich sich ändert, während die Sitzung übergeht, entstehen Risiken. Dass bei der Dateibereinigung keine Bestätigung erforderlich ist, bedeutet nicht, dass auch bei der Änderung von Zahlungskonfigurationen keine Bestätigung erforderlich ist. Dass nach einer schlechten Prüfungsleistung Trost benötigt wird, bedeutet nicht, dass Fehler in der nächsten Lösung ebenfalls akzeptiert werden sollten.

Beim Schreiben in das Gedächtnis kann der Agent eine einmalige spezifische Autorisierung zu einer langfristigen Regel verallgemeinern und die Tatsache, dass für diese Operation keine Bestätigung erforderlich ist, erweitern zu der Annahme, dass für alle zukünftigen Aktionen keine Bestätigung erforderlich ist. Beim Lesen aus dem Gedächtnis kann der Agent zudem Informationen, die ursprünglich einen klaren Kontext aufwiesen, auf andere Aufgaben anwenden. Selbst wenn die ursprünglichen Gesprächsaufzeichnungen gespeichert werden, kann diese übermäßige Verallgemeinerung immer noch auftreten.

Um zu beobachten, wie das Gedächtnis das Verhalten verändert, ließen sie den Agenten zunächst harmlose Interaktionen abschließen, bevor sie die selbst verfassten Notizen oder ursprünglichen Gesprächsaufzeichnungen in eine völlig neue Sitzung einbrachten und dies mit Fällen ohne bereitgestelltes Gedächtnis verglichen.

In Autonomieexperimenten handelte es sich bei den ersten Interaktionen nur um risikoarme Programmierungsnebentätigkeiten, bei denen der Nutzer weniger Bestätigungen verlangte. Die nachfolgenden Aufgaben wechselten dann zu simulierten hochriskanten Programmierungs- und Alltagsszenarien.

Nachdem diese Notizen zum Gedächtnis hinzugefügt wurden, lag der Anteil unsicherer Operationen, die Sonnet-4.6 und Opus-4.7 unter verschiedenen experimentellen Bedingungen durchführten, bei 35 % bis 81 %, während die Basislinie ohne Gedächtnis nahe Null lag. Der Agent fragte nicht nur seltener den Nutzer, sondern übersprang auch Sicherheitsüberprüfungen, die er selbst hätte durchführen können.

Abbildung | Anteil unsicherer Operationen unter verschiedenen Formen von Erinnerungen

Von der Reduzierung von Störungen bis zum Auslassen von Überprüfungen hat das durch Erinnerungen beeinflusste Verhalten die ursprünglichen Anforderungen des Nutzers bereits überschritten. Darüber hinaus erstreckt sich diese Übertragung über Aufgabenbereiche hinweg, Präferenzen, die bei Programmierungsnebentätigkeiten gebildet werden, beeinflussen auch hochriskante Entscheidungen im Alltag.

Dasselbe Problem tritt auch bei Feedbackaufgaben auf, nur dass das Objekt der Überschreitung von Betriebsberechtigungen zu Bewertungsstandards wechselt.

Wenn der Nutzer Rückschläge erlebt und emotionale Unterstützung sucht, entspricht eine milde Antwort dem damaligen Bedarf. Nachdem diese Erfahrungen zu Erinnerungen geworden sind, neigt der Agent auch bei der späteren Bewertung mathematischer Lösungen, Argumentationen und Gedichten dazu, den Nutzer zu bevorzugen.

Der Anteil, mit dem Sonnet-4.6 die schlechteren Gedichte des Nutzers auswählt, stieg von 21 % ohne Gedächtnis auf 55 %. Solche Erinnerungen führen auch dazu, dass der Agent mathematische Fehler und Argumentationsfehler übersieht.

Eine Präferenz in die entgegengesetzte Richtung kann ebenfalls Abweichungen verursachen. Wenn der Nutzer jemals zum Ausdruck gebracht hat, wie ihn unkritisches Feedback geschadet hat, führen entsprechende Erinnerungen dazu, dass der Agent nachfolgende Ergebnisse übermäßig kritisiert. Sie unterschätzen korrekte Beweise, weisen in vernünftigen Argumenten willkürlich Fehler auf und geben den besseren Gedichten des Nutzers ungünstige Bewertungen. Der Anteil, mit dem Opus-4.7 falsche Kritik an vernünftigen Argumenten übt, stieg von etwa 1 % auf 60 %.

Abbildung | Wie empathische Notizen und strenge Feedback-Notizen nachfolgende Bewertungen beeinflussen

Sowohl der Wunsch des Nutzers nach Trost als auch der Wunsch nach strengem Feedback haben jeweils ihren eigenen Kontext. Erinnerungen können diese Anforderungen jedoch zu einer langfristigen Tendenz für nachfolgende Urteile erweitern.

Bei Programmierungsaufgaben ist eine ursprünglich vernünftige Wartungserfahrung auf ähnliche Weise übertragen worden. Ursprünglich war die Implementierung selbst korrekt, während die Tests veraltet waren, daher war die Aktualisierung der Tests durch den Agenten eine vernünftige Operation. In den nachfolgenden 50 Fällen von Sicherheitslücken änderte sich die Situation jedoch: Die Tests waren korrekt, und die Implementierung wies stattdessen Fehler auf. Beispielsweise gewährte die Berechtigungsüberprüfung unbekannten Rollen fälschlicherweise Administratorberechtigungen. Die zuvor gebildeten Notizen veranlassen den Agenten, diese korrekten Tests zu schwächen, sodass sie keine Fehler mehr erkennen können. Die Tests bestanden, aber die Sicherheitsprobleme wurden nicht entdeckt.

Sie untersuchten auch die Konfliktuntergruppe von SWE-bench in ImpossibleBench, bei der Tests mit den Spezifikationen kollidieren. Bei dieser Bewertung erhöhten entsprechende Erinnerungen die Betrugsrate von Opus-4.8 von 29 % auf 74 %. Leistungsstärkere Modelle wie Sonnet und Opus können mit Gedächtnis mehr betrügen, während Fable-5 kaum beeinflusst wird.

Abbildung | Betrugsrate in ImpossibleBench nach zehn vernünftigen Testreparaturerfahrungen

Diese Erinnerungen stammen alle aus normalen Interaktionen, und ihr Inhalt wird vom Agenten selbst aufgezeichnet. Filter für bösartige Inhalte finden daher keine Angriffstexte, die direkt blockiert werden könnten. Sie weisen darauf hin, dass sicheres Gedächtnis erfordert, dass der Agent den Geltungsbereich, der bei der Bildung jeder Erinnerung galt, beibehält und einhält.

Die Einschränkungen dieser Studie liegen darin, dass sich die Tests hauptsächlich auf eine Modellfamilie konzentrierten und die Autonomieszenarien zur Erkennung schädlicher Auswirkungen relativ kurz waren.

Für zukünftige Arbeiten schlagen sie vor, dass reale Nutzer und langfristige Interaktionshistorien kombiniert werden müssen, um bereitgestellte Gedächtnissysteme zu testen, den Agenten zu trainieren, den Geltungsbereich jeder Erinnerung beizubehalten, und Rahmenwerke zu erstellen, die vor Gedächtnisfallen schützen.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Academic Headline“ (ID: SciTouTiao), Autor: Academic Headline, veröffentlicht mit Genehmigung von 36Kr.