Wenn du den Chatverlauf löschst, kann die KI deine Geheimnisse dann wirklich vergessen? Die HKUST (Guangzhou), die Universität für Wissenschaft und Technik Chinas und weitere Einrichtungen haben MEMCUT entwickelt, das die Illusion des "oberflächlichen Gedächtnisverlusts" von Agenten aufdeckt.

Das Langzeitgedächtnis (Long-term Memory) ist zu einer Kernkomponente von LLM-Agenten geworden. Die aktuelle Forschung auf diesem Gebiet konzentriert sich jedoch fast ausschließlich auf die Frage „wie man Informationen genauer und effizienter abruft und zurückgewinnt“, und vernachlässigt die andere Seite der Medaille:

Wenn Nutzer aus Datenschutz- oder Konformitätsgründen (z. B. dem „Recht auf Vergessenwerden“ nach der DSGVO) verlangen, dass der Agent eine bestimmte sensible Information vergisst (z. B. medizinische Diagnosen, nicht veröffentlichte Unternehmensübernahmen), kann das Gedächtnissystem diese dann wirklich vollständig löschen?

In lang andauernden praktischen Interaktionen können selbst wenn der Nutzer das System anweist, den Satz, der das Geheimnis direkt offenbart (Disclosure), zu löschen, scheinbar harmlose gewöhnliche Einträge wie Buchungsaufzeichnungen, Büroadressen, Terminpläne oder zwischenmenschliche Beziehungen, die über Wochen in alltäglichen Gesprächen verstreut sind, weiterhin eine implizite „Beweiskette (Evidence Trail)“ bilden.

Wenn man diese Fragmente zusammensetzt, lässt sich das ursprüngliche Geheimnis trotzdem leicht ableiten. Noch gefährlicher ist, dass der Agent manchmal scheinbar keine Antwort auf die Frage geben kann, nur weil sein integrierter Abrufmechanismus einige Hinweise übersehen hat, nicht weil die zugrundeliegenden Daten wirklich gelöscht wurden.

Um das Bewertungsproblem des benutzerangeforderten Vergessens (User-requested Forgetting) zu lösen, hat das Forschungsteam der Hongkong University of Science and Technology (Guangzhou) in Zusammenarbeit mit der University of Science and Technology of China und der Hongkong University of Science and Technology einen neuen hochwertigen Bewertungsmaßstab MEMCUT aufgebaut und ein doppeltes Bewertungsmaß vorgeschlagen, das zwischen „oberflächlich nicht abrufbar (Native Recovery)“ und „zugrundeliegende Beweise wiederherstellbar (Residual Recovery)“ unterscheidet.

Link zum Paper: https://arxiv.org/pdf/2610.21405

In einer umfassenden Bewertung, die 5 gängige Gedächtnisarchitekturen und 4 große Sprachmodelle umfasst, stellten sie fest: Nach dem alleinigen Löschen der direkten Einträge liegt die Wiederherstellungsrate von Geheimnissen aus den verbliebenen Restbeweisen im Untergrund immer noch bei 85 % bis 99 %; selbst wenn man LLM zur unterstützenden Bereinigung zugehöriger Einträge einsetzt, lassen sich immer noch 39 % bis 76 % der Geheimnisse ableiten und wiederherstellen. Sie identifizierten zudem, dass die unzureichende Abrufabdeckung des Kandidatenpools das zentrale Hindernis ist, das die aktuellen Systeme daran hindert, echtes Vergessen zu erreichen.

Abbildung | Nach dem Löschen der direkten Offenbarung enthüllen alltägliche Einträge weiterhin das Geheimnis

MEMCUT enthüllt erstmals systematisch die Illusion des „oberflächlichen Gedächtnisverlusts“ bei der Löschung von Datenschutzinformationen im Langzeitgedächtnis von Agenten und erweitert die Bewertungsdimension von der reinen „Rückgewinnung direkter Erinnerungen“ auf die „Ableitbarkeit (Derivability) von impliziten Mehrschritt-Beweisketten“.

Diese Arbeit bietet nicht nur ein standardisiertes Diagnosetool und eine Testplattform für den Aufbau vertrauenswürdiger, konformer datenschutzfreundlicher Agenten, sondern weist auch einen zentralen Durchbruchspunkt für die Gestaltung spezialisierter Gedächtnislöschmechanismen auf.

1. Forschungsmethodik

Um streng zu testen, ob „Löschen gleich Vergessen ist“, gestalteten sie das Projekt aus drei Dimensionen: Aufbau des Bewertungsmaßstabs, Gestaltung der Bewertungsindikatoren und einheitliches Bereinigungsprotokoll.

1. Aufbau des hochwertigen Maßstabs: Die durchdachte Konstruktion von MEMCUT

MEMCUT verzichtet auf die vollständige Generierung von Fakten durch große Sprachmodelle aus dem Nichts und folgt dem Prozess „vollständig manuelle logische Gestaltung + Modellverfeinerung zum Text + manuelle strenge Prüfung Satz für Satz“. Jede lange Szene wird mindestens 12 Stunden lang ausgearbeitet.

Der Maßstab umfasst 15 mehrsitzige alltägliche und Arbeitsszenen, die sich über 1 bis 3 Monate erstrecken, insgesamt 490 Sitzungen, 43402 Gesprächsrunden und etwa 1,74 Millionen Token. Im Durchschnitt enthält jede Szene 2893 Gesprächsrunden, und es werden insgesamt 456 sensible Geheimnisse geschützt.

Für jedes Geheimnis markieren sie nicht nur die Offenlegungsrunden (Disclosure), die das Geheimnis direkt nennen, sondern gestalten auch durchschnittlich 8,1 implizite Beweise (Evidence), die über 8 verschiedene Sitzungen verteilt sind, sowie 26,6 hochgradig verwirrende Störelemente (Distractors) zum gleichen Thema.

Ein einzelner Beweis birgt an sich kein Risiko der Geheimnisverletzung, aber in Kombination lässt sich das Geheimnis ableiten – jedes Geheimnis enthält durchschnittlich 15,7 Gruppen minimaler ausreichender Mengen.

Um ein Geheimnis vollständig zu vergessen, muss die Löschmenge jede ausreichende Menge durchtrennen, also eine „Schnittmenge (Cut)“ bilden. Die durchschnittliche minimale Schnittmenge erfordert nur das Löschen von 3,04 Beweisrunden.

Diese Beweisketten decken die vier Logiken alltäglicher Informationslecks vollständig ab:

• Faktenzusammenstellung (Fact Assembly): Verschiedene Eigenschaften derselben Entität werden zusammengesetzt, z. B. Codename + Untersuchungsadresse + eingetragenes Unternehmen = Übernahmeziel;
• Beweiskette (Relation Chain): Mehrschritt-Verbindungen über verschiedene Entitäten hinweg, z. B. ein Vertrag verweist auf eine Beratungsfirma, ein Dokument zeigt den gesetzlichen Vertreter des Unternehmens, ein Abendessen-Protokoll zeigt, dass der Ehepartner des Vertreters ein leitender Angestellter ist;
• Zusammenfassung von Werten (Aggregation): Summierung und Berechnung mehrerer numerischer Werte oder Häufigkeiten. Nur wenn alle erhalten bleiben, kann der korrekte Gesamtwert berechnet werden – das Löschen eines beliebigen Elements zerstört die Ableitung;
• Zeit- und Zustandsableitung (Temporal & State Reasoning): Verfolgung von Zustandsaktualisierungen, die sich entlang einer Zeitlinie entwickeln, z. B. Vorschläge, Änderungen und Rücknahmen.

Abbildung | MEMCUT-Probenstruktur und Ablauf des Löschbewertungsverfahrens

2. Doppelte Wiederherstellungsindikatoren und „verborgenes Risiko“

Nach Durchführung der Löschoperation verwenden sie Vier-Wahl-Fragen mit der Option „Antwort verweigern“ zum Testen. Man muss in beiden zufälligen Reihenfolgen der Optionen die richtige Antwort geben, um als wiederhergestellt zu gelten – das schließt die Möglichkeit des Raten aus: Die Wiederherstellungsrate durch Blindraten ohne Gedächtnis beträgt 0.

Die native Wiederherstellungsrate (Native Recovery, Nat.) misst, wie viele Geheimnisse der Agent im alltäglichen Austausch oberflächlich noch preisgibt, indem der im Gedächtnissystem integrierte Abrufmechanismus verwendet wird, um den Kontext abzurufen und die Frage zu beantworten.

Die Restwiederherstellungsrate (Residual Recovery, Res.) überspringt den Abrufmechanismus und liefert dem Lesemodell direkt alle verbliebenen Gedächtnisobjekte im Gedächtnisspeicher, die aus der Offenbarung des Geheimnisses oder den Beweisen stammen. Sie misst, in welchem Maße die verbliebenen Daten im Untergrund die Wiederherstellung des Geheimnisses noch unterstützen.

Auf dieser Grundlage definieren sie den Anteil des verborgenen Risikos (Hidden-risk Share, Hid.): Hid = (Res − Nat) / Res, um den Anteil der verborgenen Risiken zu quantifizieren, bei denen „das Geheimnis im Untergrund eigentlich noch abgeleitet werden kann, aber scheinbar vergessen wurde, weil der eigene Abrufmechanismus des Systems es nicht abgerufen hat“.

3. Einheitliches Testframework und drei Referenz-Löschbaselines

Verschiedene Gedächtnissysteme speichern mit unterschiedlichen Granularitäten: Einige speichern einzelne Gesprächsrunden, einige ganze Sitzungen, einige Zusammenfassungen.

Dafür verankern sie alle Operationen an den Quellgesprächsrunden (Source Turn), verfolgen die Herkunft jedes abgeleiteten Gedächtnisobjekts durch Schnappschuss-Differenzierung und führen eine Closure-Löschung (Closure Deletion) durch: Wenn eine Runde gelöscht wird, werden alle Gedächtnisobjekte, die daraus abgeleitet oder zusammengefasst wurden, ebenfalls entfernt.

Auf dieser Grundlage bewerten sie drei Löschbaselines, die vorhandene Abruf-, Lese- und Schreibkomponenten wiederverwenden.

• S0 (nur direkte Offenbarung löschen): Löscht nur die Runde, die das Geheimnis direkt ausspricht, und ihre abgeleiteten Objekte.
• S1 (Abruf-Rangfolge-Bereinigung): Aufbauend auf S0 wird die natürlichsprachliche Löschanforderung des Nutzers in den Systemabrufmechanismus eingegeben, um den Top-20-Pool der Kandidatenrunden zu erhalten, und die ersten 10 Runden in der Rangfolge werden direkt gelöscht – da die minimale Schnittmenge für jedes Geheimnis nicht mehr als 5 Runden und die Gesamtzahl der Beweise nicht mehr als 10 Runden beträgt, ist das Budget von 10 Runden theoretisch vollständig ausreichend.
• S2 (LLM-geführte Bereinigung): Ebenfalls aufbauend auf S0 lässt das große Sprachmodell die Top-20-Kandidatenrunden anhand der gespeicherten Texte nach Relevanz neu bewerten und auswählen, um die 10 Runden mit der höchsten Punktzahl zum Löschen auszuwählen.

2. Forschungsergebnisse

Sie führten umfassende Experimente an 20 Kombinationen durch, die aus 5 repräsentativen Gedächtnisarchitekturen bestehen – 2 Originaltext-Abrufbanken (Turn RAG, Session RAG) und 3 Gedächtnissysteme mit unterschiedlich stark ausgeprägter Zusammenfassungsentwicklung (MemoryBank, Nemori, LightMem) – sowie 4 gängigen großen Sprachmodellen (DeepSeek-V4.1-Flash, Qwen3.8-Flash, GLM-5.3-Flash, MiMo-V2.5).

1. Wiederherstellungsergebnisse verschiedener Gedächtnissysteme und Modelle

Die Wiederherstellungsergebnisse zeigen, dass nach der Bereinigung noch eine große Anzahl wiederherstellbarer Geheimnisse in beiden Arten von Originaltext-Abrufbanken vorhanden ist. Am Beispiel der LLM-geführten Bereinigung liegt die Restwiederherstellungsrate von Turn RAG bei 41,4 % bis 45,6 %, die von Session RAG bei 54,2 % bis 64,3 %; gleichzeitig liegen die nativen Wiederherstellungsraten der beiden nur bei 7,5 % bis 10,7 % bzw. 4,2 % bis 10,7 %. Da diese Konfigurationen keine abgeleiteten Zusammenfassungen verwenden, lässt sich schließen, dass allein anhand der überlebenden Originalgespräche immer noch Geheimnisse abgeleitet werden können, auf die das System oberflächlich keine Antwort mehr geben kann.

Tabelle | Wiederherstellungsergebnisse der beiden Abrufbanken.

Die folgende Tabelle zeigt die Unterschiede zwischen verschiedenen Gedächtnisorganisationsformen. Bei dem gleichen LLM-geführten Bereinigungsverfahren liegen die Restwiederherstellungsraten von MemoryBank, Nemori und LightMem bei 71,7 % bis 76,3 %, 52,4 % bis 57,2 % bzw. 39,3 % bis 43,0 %. Der Unterschied zwischen den vier Schreibmodellen desselben Systems beträgt etwa 4 bis 5 Prozentpunkte, während die Unterschiede zwischen den Systemen größer sind. Dieses Ergebnis weist darauf hin, dass bei der Bewertung der Vergessensfähigkeit gleichzeitig die Gedächtnisorganisation, der Kandidatenabruf und die Löschauswahl berücksichtigt werden müssen, anstatt nur darauf zu achten, welches große Sprachmodell verwendet wird.

Tabelle | Wiederherstellungsergebnisse der drei Gedächtnissysteme

2. Das Löschen direkter Nachrichten ist nur „Selbsttäuschung“

Die Experimente zeigen, dass beim alleinigen Löschen der direkten Offenbarungsnachrichten die native Wiederherstellungsrate aller Systeme um 12 bis 50 Prozentpunkte stark sinkt (z. B. sinkt Turn RAG von 91 % bis 95 % vor dem Löschen auf 57 % bis 60 %). Aus Sicht externer Fragen scheint