Je besser ich dich verstehe, desto gefährlicher wird es? MemPrivacy enthüllt den nächsten Stopp der KI-Memory-Technologie

Zeit des KI-Gedächtnisses: Agenten werden immer mehr zu echten persönlichen Assistenten.

Er erinnert sich an Ihre Gewohnheiten, kennt Ihren Zeitplan, versteht Ihren Gesundheitszustand und kann sogar im Laufe längerer Gespräche ein eigenes „Persönlichkeitsprofil“ von Ihnen erstellen. Doch damit kommen auch Probleme auf: Wenn all diese Erinnerungen in die Cloud gelangen sollen, ist die Privatsphäre noch sicher?

Am 22. April hat OpenAI ein leichtgewichtiges Privatsphäre-Filtermodell namens privacy-filter open source gemacht, um das Problem der PII-Erkennung und -Entschärfung in Großmodellsystemen zu lösen.

Link zu OpenAI Privacy Filter: https://openai.com/zh-Hans-CN/index/introducing-openai-privacy-filter/

Nur zwei Wochen später hat das Team von MemTensor eine noch radikalere Lösung präsentiert. Dieses Konzept wurde von MemTensor und dem Team von Honor gemeinsam entwickelt, an dem auch die Tongji-Universität beteiligt war – dies ist die erste tiefe Zusammenarbeit zwischen einem Endgerätehersteller und einem Gedächtnisinfrastrukturteam im Bereich „Agenten-Privatsphäre“.

Sie haben offiziell ein Privatsphärenschutz-Framework und eine Reihe von Modellen namens MemPrivacy für Endgeräte-Cloud-Kooperations-Agenten open source gemacht. Überraschenderweise erreicht MemPrivacy bei der gleichen echten Aufgabe der Privatsphäreextraktion aus Gesprächen einen um 50,47 % höheren F1-Score als das OpenAI privacy-filter-Modell.

Dies war keine spontane Kollaboration.

Bevorher hatte MemTensor bereits MemOS entwickelt, das das Gedächtnis von Agenten von Vektordatenbanken oder RAG-Plugins zu einem verwaltbaren, planbaren und entwicklungsfähigen Systemressourcenkonzept aufstieg: Was gespeichert wird, wie es abgerufen, aktualisiert und verwaltet wird, ist in einem „Gedächtnis-Betriebssystem“ festgelegt.

MemPrivacy ist eher eine natürliche Erweiterung von MemOS für Endgeräte-Cloud-Kooperationsszenarien – wenn Agenten langfristig Benutzerpräferenzen, Gesundheitszustände, Zugangsdaten und Arbeitskontexte speichern, geht es nicht nur darum, „ob“ sie etwas speichern können, sondern auch „wie sicher“ sie es tun können. Dies macht es für MemTensor logisch, MemPrivacy zu entwickeln: Es geht nicht von der generellen PII-Blindung aus, sondern von den realen Anwendungsfällen des langfristigen Agentengedächtnisses, um die Privatsphärentypen, Schutzgrade und Platzhaltermechanismen neu zu definieren.

Am Tag der Veröffentlichung erreichte MemPrivacy Platz 1 in der Hugging Face Daily&Weekly Papers TOP1.

Dies ist kein einfaches „Privatsphäre-Blindungstool“.

Es zielt auf das zentralste und schwierigste Problem der nächsten Generation von personalisierten Agenten ab: Wie kann man es dem Cloud-Großmodell ermöglichen, weiterhin langfristige Erinnerungen und individuelle Fähigkeiten zu haben, ohne dass die sensiblen Daten des Benutzers tatsächlich das Endgerät verlassen?

Mit anderen Worten, MemPrivacy möchte erreichen: Agenten sollen nutzbar, aber unsichtbar sein.

Titel der Studie: MemPrivacy: Privacy-Preserving Personalized Memory Management for Edge-Cloud Agents

Link zur Studie: https://arxiv.org/pdf/2605.09530

Code-Repository: https://github.com/MemTensor/MemPrivacy

Modell-Repository: https://huggingface.co/collections/IAAR-Shanghai/memprivacy

OpenAI tritt ein

Aber 8 Tags reichen nicht für das langfristige Gedächtnis eines Agenten aus

Das Vorgehen von OpenAIs privacy-filter ist einfach: Es scannt den Text, erkennt private Passagen und ersetzt sie dann durch semantische Tags.

Beispielsweise ersetzt es den Namen „Maya“ im Benutzereingabefeld durch [PRIVATE_PERSON].

Dieses Modell hat 1,5 Milliarden Parameter, von denen etwa 50 Millionen aktiv sind. Es verwendet eine bidirektionale Token-Klassifizierungsarchitektur und unterstützt 128.000 Kontextzeichen. Sein Schwerpunkt liegt auf der Hochdurchsatz-PII-Erkennung und -Maskierung.

Im Vergleich zur herkömmlichen Methode, alles durch *** zu ersetzen, ist dies schon ein Schritt vorwärts: Es behält zumindest einen Teil der Semantik bei.

Aber im Szenario des langfristigen Gedächtnisses von Endgeräte-Cloud-Agenten treten schnell Probleme auf.

OpenAI privacy-filter bietet nur 8 grundlegende Privatsphäre-Tags. Für die Entschärfung von normalen Formularen mag dies ausreichen, aber für einen Agenten, der den Benutzer verstehen, ihn langfristig im Gedächtnis behalten und sogar Tools nutzen muss, um Aufgaben für ihn auszuführen, ist dies zu grob.

Kreditkartennummern, Sozialversicherungsnummern und Projektarchivnummern werden möglicherweise alle in dasselbe [ACCOUNT_NUMBER]-Tag gepackt. Anmeldepasswörter, Datenbankzugangsdaten, API-Schlüssel und interne Schlüssel können alle zu [SECRET] werden.

Das ist wie das Aufkleben des Wortes „gefährlich“ auf alle gefährlichen Gegenstände.

Es ist zwar etwas sicherer, aber die Semantik wird ausgeglichen.

Das eigentliche Problem ist, dass ein Agent kein Datenbank-Reinigungs-Skript ist. Er muss den Kontext verstehen, Beziehungen aufrechterhalten, Erinnerungen bilden und diese Informationen in zukünftigen Gesprächen weiterhin nutzen können.

Wenn ein Benutzer sagt: „Mein Blutdruck ist heute 160/110“, sind dies keine normalen Zahlen, sondern Gesundheitsindikatoren. Wenn ein Benutzer sagt: „Dies ist die Verbindungszeichenfolge zu meiner Firmen-Datenbank“, ist dies auch kein normaler Text, sondern ein hochgefährliches Zugangsdokument. Wenn grobe Tags nicht erkannt werden, werden Informationen ausgelassen; wenn sie falsch erkannt werden, wird die Semantik zerstört.

So gerät die Privatsphärendurchsuchung in eine Zwickmühle:

Bei Fehlern bleibt die Privatsphäre des Benutzers ungeschützt; bei Fehlinterpretationen verliert der Agent seinen Verstand.

Dies ist das schwerwiegendste Problem, das die nächste Generation von personalisierten Agenten zu meistern hat.

MemPrivacy tritt auf die Bühne

Es geht nicht darum, die Privatsphäre zu löschen, sondern ihr eine „lokale Personalausweisnummer“ zu geben

Das MemPrivacy-Konzept des MemTensor-Teams basiert auf dem Prinzip der lokalen reversiblen Pseudonymisierung.

Es löscht keine privaten Informationen einfach oder ersetzt sie durch bedeutungslose Sterne, sondern führt auf dem Endgerät eine feinere „Tauschaktion“ durch.

Der gesamte Prozess lässt sich in drei Schritte aufteilen.

Erster Schritt: Entschärfung bei der Übertragung vom Endgerät zur Cloud.

Wenn ein Benutzer auf einem Mobiltelefon, PC oder anderen Edge-Geräten mit einem Agenten spricht, wird zunächst ein leichtgewichtiges MemPrivacy-Modell lokal ausgeführt. Es erkennt private Passagen im Gespräch und behandelt sie gemäß den vom Benutzer festgelegten Schutzgraden.

Wenn im Text steht: „Mein Blutdruck ist heute 160/110“, wird MemPrivacy es nicht einfach in *** umwandeln, sondern durch einen feingranularen, typisierten Platzhalter wie <Health_Info_1> ersetzen.

Die Zuordnung zwischen dem realen Blutdruckwert und dem Platzhalter wird nur in der lokalen Datenbank gespeichert.

Zweiter Schritt: Sichere Verarbeitung in der Cloud.

Das Cloud-Großmodell sieht: „Mein Blutdruck ist heute <Health_Info_1>.“

Es sieht nicht den Klartext des sensiblen Datums 160/110, aber es weiß, dass es sich um einen Gesundheitsindikator handelt. Daher kann es weiterhin Schlussfolgerungen ziehen, Vorschläge generieren, Erinnerungen bilden und sogar relevante Tools aufrufen.

Dritter Schritt: Wiederherstellung auf dem Endgerät.

Wenn die Cloud antwortet: „Ihr Blutdruck <Health_Info_1> ist zu hoch“, wird das lokale System den Platzhalter wieder in den realen Wert umwandeln und es schließlich dem Benutzer präsentieren.

Für den Benutzer ist dieser Prozess fast transparent.

Aber in der Systemarchitektur verlassen die sensiblen Schlüsselinformationen das Endgerät nie wirklich.

Dies ist das wichtigste Design von MemPrivacy: Das Cloud-Modell kann die Struktur verstehen, aber nicht den Klartext sehen.

Vergleich von drei Ansätzen

Ohne Schutz: Privatsphäre ist gefährdet; vollständige Filterung: Agent verliert Intelligenz; MemPrivacy behält Intelligenz bei

Im Szenario von Endgeräte-Cloud-Agenten gibt es traditionell zwei extreme Ansätze zum Privatsphärenschutz.

Der erste Ansatz ist der fehlende Schutz.

Die ursprünglichen Benutzerdaten werden direkt in die Cloud übertragen. Das Cloud-Modell kann natürlich den gesamten Kontext verstehen, und die Individualisierung ist am besten, aber sensible Informationen wie Gesundheitsdaten, private E-Mail-Adressen, Wohnadressen und Zugangsdaten werden vollständig preisgegeben.

In einer Zeit strengerer Datenschutzgesetze ist dies fast wie das Gehen auf Seil.

Der zweite Ansatz ist die vollständige Filterung.

Alle privaten Inhalte werden durch *** ersetzt oder direkt gelöscht. Dies scheint sicher, aber der Agent verliert dadurch die gesamte Schlüsselinformation. Wenn ein Benutzer möchte, dass der Agent seinen Gesundheitszustand, seine finanziellen Beschränkungen und seinen Arbeitskontext im Gedächtnis behält, sieht er nur ein leeres Feld.

Dieser Art von Agent scheint sicher, hat aber tatsächlich die Grundlage für „langfristige Individualisierung“ verloren.

MemPrivacy wählt den dritten Weg: Feingranulare, typisierte Platzhalter.

Die Cloud weiß nicht, wie hoch Ihr echter Blutdruck ist, aber sie weiß, dass es sich um einen Gesundheitsindikator handelt; sie weiß nicht, was Ihre private E-Mail-Adresse ist, aber sie weiß, dass es hier eine E-Mail gibt; sie weiß nicht den Klartext Ihres API-Schlüssels, aber sie weiß, dass es sich hier um ein hochgefährliches Zugangsdokument handelt.

Dieses Design bewahrt zwei Dinge: die Privatsphäregrenze und die semantische Struktur.

Deshalb hat MemPrivacy die Möglichkeit, einen Ausgleich zwischen Privatsphärenschutz und Agenten-Nutzung zu finden.

Hardcore-Leistung

F1-Score um über 50 Punkte besser als OpenAI, schlägt GPT-5.2 aus

Um die Fähigkeiten von MemPrivacy zu testen, hat das Forschungs-Team einen neuen Bewertungsstandard namens MemPrivacy-Bench erstellt. Dieser Standard deckt die Gesprächsverläufe von 200 Benutzern ab, enthält über 155.000 private Einträge und unterstützt die Erkennung von privaten Informationen in Englisch und Chinesisch.

Darüber hinaus hat das Team auch eine OOD-Querprüfung auf dem externen personalisierten Langtext-Gesprächsdatensatz PersonaMem-v2 durchgeführt, um die Generalisierungsfähigkeit zu testen.

In der Konkurrenz der Extraktionsgenauigkeit (kompositiver F1-Score von privaten Texten, Schutzgraden und Typen) auf diesen beiden Standards hat MemPrivacy in beiden Fällen eine überlegene Leistung gezeigt:

Deutlich besser als OpenAIs spezialisiertes Modell:

Bei MemPrivacy-Bench erreichte OpenAI privacy-filter nur einen kompositiven F1-Score von 35,50 %.

MemPrivacy-4B-RL erreichte dagegen 85,97 %, was einen Unterschied von beispiellosen 50,47 % bedeutet! Selbst auf dem Persona