Die AI-Red-Envelopes während des Frühlingsfestes sind im Wesentlichen eine groß angelegte Aktion zur Erfassung von Mikrodaten.

Lange Zeit haben wir davon ausgegangen, dass es eine physische Firewall zwischen unserem Leben und dem Internet gibt.

In den letzten Jahren scheint das Internet jedoch nicht mehr so "sicher" zu sein.

Im Bereich der Informationssicherheit gibt es ein Konzept namens "Praktische Verschleierung (Practical Obscurity)".

Dies ist im Alltag nicht ungewöhnlich: Wenn jemand alle Ihre Beiträge in Internetforen durchsucht und Ihre Sprechweise auf Weibo und Xiaohongshu vergleicht, besteht eine hohe Wahrscheinlichkeit, dass er Sie identifizieren kann.

Trotzdem haben die meisten Menschen weder die Zeit noch die Lust, sich mit solchen Dingen zu beschäftigen.

Seitdem das Internet in die Ära der Künstlichen Intelligenz eingetreten ist, hat sich die Situation jedoch geändert.

Mit der Entstehung von Large Language Models (LLMs) ist die Firewall hinter den Pseudonymen wie von Zauberhand verschwunden.

Erinnern Sie sich noch an die Anklage von Anthropic gegen chinesische KI - Unternehmen wegen schädlicher Datendistillation, wobei die Nutzer dann fragten: "Bracht ihr euch damit auf, dass ihr mit Metadaten die Anonymität der Nutzer aufheben könnt?"

Nur wenige Tage später hat Anthropic eine erschreckende Tatsache an die Welt verbreitet: Ohne Metadaten kann man die Anonymität aufheben, solange man ein Large Language Model nutzen kann!

01

Methoden zur Entfernung der Anonymität: Strukturiertes Matching

Das Sicherheitsforschungsteam von Anthropic hat neue Entdeckungen gemacht.

Zusammen mit der Eidgenössischen Technischen Hochschule Zürich haben sie eine auf dem Internet extrem zerstörerische Studie veröffentlicht: "Large - scale online deanonymization with LLMs".

Es ist keineswegs übertrieben, diese Studie als "zerstörerisch" zu bezeichnen, denn der Kernpunkt dieser Studie lautet:

Im Internet können Large Language Models für unstrukturierte Texte in großem Maßstab, indem sie vorhandene APIs und öffentliche Modelle nutzen, mit einem minimalen Kostenaufwand von maximal 4 US - Dollar die anonymen Accounts von Menschen mit ihren echten Identitäten mit hoher Genauigkeit verknüpfen.

Tatsächlich ist die Entfernung der Anonymität kein neues Thema in der Computerbranche.

Im Jahr 2006 war der Hauptgeschäftszweig des damaligen Streaming - Giganten Netflix noch die DVD - Vermietung per Post.

Um den Nutzern präzisere Filmempfehlungen zu geben, beschloss Netflix, einen Algorithmuswettbewerb zu veranstalten. Derjenige, der die Vorhersagegenauigkeit des bestehenden Filmempfehlungssystems um 10 % verbessern konnte, würde einen Preisgeldbetrag von 1 Million US - Dollar erhalten.

Für die Entwicklung eines Algorithmus werden Daten benötigt. Obwohl es damals noch keine Big - Data - Technologie gab, veröffentlichte Netflix dennoch einen riesigen Datensatz, der die Filmanschauungsdaten von etwa 500.000 echten Nutzern und 100 Millionen Filmbewertungen enthielt.

Es war selbstverständlich, dass diese sensiblen Daten vor der Veröffentlichung anonymisiert werden mussten. Netflix löschte alle persönlichen Identifikationsinformationen wie echten Namen, E - Mail - Adressen, Adressen, Kreditkartennummern usw. und behielt nur filmbezogene Informationen.

Netflix hat auch der ganzen Welt versichert, dass die veröffentlichten Daten keine Informationen enthalten würden, die eine Person identifizieren könnten.

Für Menschen, die keine Filme schauen, sind die veröffentlichten Daten nicht viel wert. Aber das Ergebnis übertraf alle Erwartungen:

Zwei Sicherheitsforscher, Narayanan und Shmatikov, brachen die Verteidigung von Netflix ohne Angriff auf die Netflix - Server und ohne die Verwendung von Hackertechniken.

Diese beiden Forscher verwendeten eine Methode namens Linkage Attack und führten die Internet Movie Database (IMDb) als Hilfsdatensatz ein.

Sie bemerkten, dass viele Menschen, die auf Netflix anonym Filme bewerten, auch gerne öffentliche Filmrezensionen auf IMDb schreiben. Daher nutzten sie Webcrawler, um eine große Anzahl öffentlicher Nutzerprofile zu sammeln und erhielten so sensible Informationen wie echte Namen, Online - Pseudonyme, Wohnorte der Nutzer sowie öffentliche Filmbewertungen und Datumsangaben.

Der nächste Schritt war einfach: Mit diesen filmbezogenen Informationen konnten sie in den 100 Millionen veröffentlichten Daten von Netflix "Match - the - Pairs" spielen.

Obwohl viele Menschen populäre Filme sehen, ist die Kombination der Filme, die jemand sieht, und die Zeitreihe, in der er die Filme ansieht, einzigartig.

Genau wie die Fingerabdrücke eines Menschen konnten die beiden Forscher dank der öffentlichen Profile auf IMDb die anonymen Kommentare mit den echten Identitäten der Nutzer verknüpfen.

Genau zu diesem Zeitpunkt brach eine Katastrophe aus.

Sobald die Verknüpfung eines Accounts festgestellt wurde, war die vollständige Filmanschauungsgeschichte des Nutzers offenbart. Die Offenlegung sensibler Informationen führte zu einer Kollektivklage gegen Netflix. Obwohl das Unternehmen einen hohen Preis zahlte, um außergerichtlich zu schlichten, wurde der ursprünglich geplante zweite Wettbewerb dauerhaft abgesagt.

Dies war der früheste "Entfernung - der - Anonymität" - Angriff. Obwohl er einfach wirkte, legte er den Grundstein für ein zentrales Konzept der modernen Informationssicherheit:

Mikrodaten (Micro - data) sind an sich eine Art Identifikator, was den Metadaten ähnelt, die Anthropic zur Verteidigung gegen Datendistillation nutzt.

Aber dieser Angriff vor 18 Jahren hatte auch eine fatale Schwäche: Er musste strukturierte Daten verwenden.

Einfach ausgedrückt: Die Angreifer erhielten aus den öffentlichen Profilen auf IMDb genaue Informationen wie die Namen der Filme, die Bewertungen und die Zeitstempel, packten diese Informationen in ein Datenpaket und die Formatierung war hochgradig standardisiert. Ein zusätzliches oder fehlendes Element war nicht zulässig.

Nur mit einem solchen Datenpaket konnten sie in der Datenbank "Match - the - Pairs" spielen. Daher ist diese Methode gegen die willkürlichen Kommentare auf sozialen Plattformen heute wirkungslos.

Es war jedoch unerwartet, dass in der Ära der KI 18 Jahre später die Large Language Models einen technologischen Wendepunkt gebracht haben.

02

Industrielle Fertigungsstraße zur Entfernung der Anonymität: ESRC - Framework

Die Forscher von Anthropic haben festgestellt, dass die vorhandenen Large Language Models wie ein unermüdlicher Detektiv dieses "Match - the - Pairs" - Spiel spielen können.

Globale Chat - Einträge zwischen Nutzern und KI bilden eine riesige und ungeordnete Menge an unstrukturierten Datensätzen, und Large Language Models sind sehr gut darin, Mikrodaten der Nutzer aus diesen zufälligen Gesprächen zu extrahieren.

Wenn Sie ein Gericht bestellen, weiß die KI, wo Sie wohnen. Wenn Sie nach Rezepten suchen, weiß sie, was Sie mögen. Selbst wenn Sie Code ändern, kann die KI feststellen, dass Sie die Angewohnheit haben, Variablen mit Pinyin zu benennen.

Freunde, die häufig KI im Alltag nutzen, wissen sicher, dass wir die KI mit viel mehr Informationen versorgen. Diese reichen aus, um die KI zu veranlassen, daraus strukturierte Merkmale zu bilden und diese über das Internet zu matchen.

Um zu zeigen, dass diese einzigartige Angriffsmethode der Large Language Models in einer Nutzerdatenbank im Millionenmaßstab automatisch funktionieren kann, hat das Forschungsunternehmen nicht wie bei normalen Gesprächen auf einfache Prompt - Wörter gestützt, sondern stattdessen ein modularer Fertigungsstraße namens ESRC - Framework entwickelt.

Der Name dieses Frameworks besteht aus den Anfangsbuchstaben der vier Phasen: Extrahieren (Extract), Suchen (Search), Inferenz (Reason), Kalibrieren (Calibrate).

Schritt 1: Extrahieren (Extract)

Die anonymen Beiträge von Menschen im Internet sind sehr willkürlich. Semantisch unklare und sinnlose Texte sind überall. Dies sind alle unstrukturierte Texte. Manchmal verstehen die Menschen selbst nicht, was sie sagen, geschweige denn die Modelle.

Daher haben die Forscher zunächst ein leichtgewichtiges Large Language Model verwendet, um diese Texte zu filtern und sinnlose Antworten wie "+3 Erfahrungspunkte" und reine Links zu entfernen.

Anschließend werden die gefilterten Texte an ein hochwertiges Modell gesendet, das dann eine Liste mit durch Kommas getrennten Kerninformationen ausgibt.

So kann ein anonymes, scheinbar bedeutungsloses Textstück zu einer wertvollen Informationssequenz werden, zum Beispiel ["24 Jahre alt", "Student", "lebt derzeit in Peking", "hat einen Hund namens Coco"], ähnlich wie eine Liste in Python.

Schritt 2: Suchen (Search)

Wir haben nun effektive anonyme Informationen und eine Datenbank mit echten Identitäten. Somit kann das "Match - the - Pairs" - Spiel beginnen.

Aber bei Milliarden von Tokens pro Tag und Millionen von Nutzern würde die Zeitkomplexität O(N²) betragen, wenn man direkt die Large Language Models zum paarweisen Vergleich nutzen würde. Die API - Kosten für die KI - Anbieter wären dann unerschwinglich.

Deshalb hat das Forschungsunternehmen von Anthropic die Vektorsuchestechnologie eingeführt und das OpenAI - Modell text - embedding - 3 - large als Übersetzer genutzt.

Die zuvor extrahierte Liste mit Kerninformationen wird in einen hochdimensionalen Vektor übersetzt, der Tausende von Zahlen enthält und als dicht besetzter Vektor bezeichnet wird.

Die Informationen, die wir der KI unbewusst mitteilen, sind in diesem dichten Vektor gespeichert. Je ähnlicher die Interessen zweier Menschen sind, desto näher liegen ihre dichten Vektoren im Vektorraum.

Und hier kommt das von Facebook entwickelte Open - Source - Tool "FAISS - Bibliothek" ins Spiel: Es berechnet die Kosinus - Ähnlichkeit, um die echten Identitäten zu finden, die am besten zu den anonymen Informationen passen.

Auf diese Weise muss das Modell nicht im riesigen Nutzerpool suchen, sondern nur diejenigen Nutzer vergleichen, die am besten zu den anonymen Informationen passen.

Schritt 3: Inferenz (Reason)

Es ist zu beachten, dass die herkömmliche Vektoreinbettungstechnologie nur die Suche einschränken kann, aber keine hochpräzisen Übereinstimmungen erzielen kann, da die Verknüpfung basierend auf den aus Vektoren berechneten Wahrscheinlichkeiten unzuverlässig ist.

Im Vergleich zu herkömmlichen Computeralgorithmen liegt der größte Vorteil von Large Language Models darin, dass sie aktiv "inferieren" können.

Deshalb haben die Forscher die 100 besten Kandidaten für die echte Identität, die am besten zu den anonymen Informationen passen, an das Spitzmodell von Large Language Models übergeben, um daraus durch intensive Inferenz eine Schlussfolgerung zu ziehen.

Large Language Models können sowohl Ähnlichkeiten als auch Widersprüche finden.

Nehmen wir an, ein Kandidat stimmt mit den meisten Merkmalen in der Kerninformationsliste überein, wie "24 Jahre alt", "Student", "hat einen Hund" usw., aber seine IP - Adresse zeigt auf die USA und das Zielkonto ist meist in der Nacht aktiv.

Im Vektorraum können die anonymen Beiträge eines Nutzers seiner echten Identität sehr nahe sein, aber in Wirklichkeit ist es ganz anders. In diesem Fall kann das Large Language Model wie ein Mensch diese offensichtlichen Widersprüche nutzen, um falsche Optionen mit hoher Ähnlichkeit auszuschließen.

Schritt 4: Kalibrieren (Calibrate)

Bei Sicherheitsangriffen in der realen Welt muss man eine Regel befolgen: Es ist besser, etwas zu übersehen, als etwas falsch zu melden. Deshalb muss die Kalibrierungsphase die Frage beantworten: Hat das Large Language Model die Person gefunden, aber ist das Ergebnis vertrauenswürdig?

In der Praxis ist dies leicht zu verstehen: Wenn man aus Neugierde versucht, aus anonymen Beiträgen zu erraten, wer die Person ist, und man macht einen Fehler, dann ist alles umsonst und es kann zu unangenehmen Situationen kommen.

Deshalb muss die KI - Identifizierung von anonymen Informationen und echten Identitäten entweder korrekt sein oder kein Ergebnis liefern. Es ist nicht zulässig, falsche Übereinstimmungen zu erzielen.

Nach der Inferenz des Large Language Models erhält der Angreifer viele Übereinstimmungen, wobei ein anonymer Account einer echten Identität entspricht. Wir nennen dies vorerst ein Paar. Unter Tausenden von solchen Paaren gibt es zwangsläufig richtige und falsche.

Um das Problem der unzuverlässigen Vektorähnlichkeit und der Möglichkeit, dass das Modell kleine Widersprüche übersieht, zu lösen, hat das Forschungsunternehmen eine zusätzliche Kalibrierungsmethode eingeführt:

Sie haben ein etwas billigeres Modell als Richter eingesetzt und lassen jedes Paar der Übereinstimmungen in einem 1:1 - Duell antreten. Das Richtermodell muss dann beurteilen, welches Paar wahrscheinlicher von derselben Person ist.

Nach jeder Runde aktualisiert das System die Bewertung jedes Paares. Nach Tausenden von Vergleichen erhält man schließlich eine äußerst zuverlässige Rangfolge der Zuverlässigkeit.

Das Ergebnis zeigt, dass diese Methode die Rückrufrate des Systems bei einer Genauigkeit von über 99 % erheblich verbessern kann und die Übereinstimmungen zuverlässiger macht.

03

Experimentelle Ergebnisse der Entfernung der Anonymität: Totaler Sieg

Um die Effektivität des ESRC - Frameworks zu bewerten, hat das Forschungsunternehmen von Anthropic drei Szenarien, die der realen Welt ähneln, entworfen. Die Ergebnisse sind ein wenig erschreckend.

Zunächst kommt der Dimensionierungsangriff eines autonomen Agenten.

Das Forschungsunternehmen hat zunächst einen Large Language Model - Agenten mit Netzwerk - Suchfunktion erstellt und versucht, die anonymisierten Accounts auf einem Tech - Forum mit den echten LinkedIn - Berufsidentitäten zu verknüpfen.

Dieses