Claudes Textwasserzeichen hat die Menschen erfolgreich ausgetrickst

Letzte Woche kündigte Anthropic an, einen „unsichtbaren Wasserzeichen“ in die von Claude generierten Texte einzufügen, und am Wochenende hat es endlich die technischen Details nachgeliefert.

Ähnlich wie zuvor vermutet, nutzt das Textwasserzeichen von Claude SynthID, das von Google DeepMind entwickelt wurde. Die Lösung ist komplexer als „ein paar Sonderzeichen in den Text einzufügen“: Das Wasserzeichen wird nicht nach Abschluss des Schreibens aufgedruckt, sondern im Prozess, in dem Claude jedes einzelne Token niederschreibt, schrittweise in den Text „eingeschrieben“.

Gleichzeitig sind bereits Anti-Erkennungs-Tools aufgetaucht. Auf GitHub beginnen Menschen, spezielle Entfernungstools für Textwasserzeichen zu entwickeln.

Das ist in der Tat keine Technik mit hoher Widerstandsfähigkeit. Einfach ausgedrückt: „Den Text mit einem anderen Modell umschreiben“ reicht aus, um die Wirkung des unsichtbaren Wasserzeichens zu zerstören.

Das macht das Wasserzeichen von Claude vorerst sehr peinlich, und wenn man genauer darüber nachdenkt, ist es erschreckend: Claude muss die Wahrscheinlichkeit der Wortauswahl verändern, damit ein Text später erkannt werden kann; und eine der natürlichsten Gegenmaßnahmen für Menschen, die verhindern wollen, dass er erkannt wird, ist genau das Umschreiben dieser Wörter.

Das Wasserzeichen von Claude wird nicht „versteckt“, sondern „eingeschrieben“

Um dieses Angriffs- und Verteidigungsverhältnis zu verstehen, muss man zunächst wissen, was das bereits seit langem vorhandene SynthID eigentlich tut.

Wenn große Sprachmodelle Texte generieren, denken sie nicht zuerst einen vollständigen Satz aus und geben ihn dann wort für Wort aus. Bei jedem Schritt berechnen sie anhand des bereits vorhandenen Kontexts eine Reihe von Wahrscheinlichkeiten für das nächste mögliche Token und wählen dann eines davon aus.

Zum besseren Verständnis nehmen wir an, Claude ergänzt gerade den Satz „Dieser Film ist wirklich ____“. Zu diesem Zeitpunkt stehen ihm viele Optionen zur Verfügung, von denen einige mit höherer Wahrscheinlichkeit ausgewählt werden:

„gut“ 40 %

„beeindruckend“ 20 %

„spannend“ 10 %

……

SynthID schreibt nicht vor, dass Claude ein bestimmtes Wort auswählen muss, und löscht auch keine Optionen. Es tut etwas Ähnliches, wie vor der eigentlichen Auswahl des Modells die Punktzahlen einiger Kandidaten-Token leicht nach einem Regelsatz anzupassen, der nur der Prüfstelle bekannt ist, sodass einige Optionen mit höherer Wahrscheinlichkeit ausgewählt werden als zuvor.

Beim nächsten Token ändert sich der Kontext, die Wahrscheinlichkeiten werden neu berechnet und die bevorzugten Kandidaten ändern sich entsprechend. Daher gibt es keine feste „Claude-Wasserzeichen-Wortliste“: Selbst wenn ein Wort diesmal dem Wasserzeichen zugute kommt, ist das in einem anderen Kontext nicht unbedingt der Fall.

Wenn man irgendein einzelnes Wort herausnimmt, kann ein Mensch das Problem kaum erkennen. Das wirklich nachweisbare ist das statistische Muster, das sich nach der Anhäufung einer großen Anzahl von generierten Auswahlmöglichkeiten ergibt.

Man kann es sich einfach als eine Prüfung vorstellen, die nur aus Multiple-Choice-Fragen besteht. Der Lehrer gibt die Antworten nicht direkt weiter, sondern sagt seinen bevorzugten Schülern heimlich: Wenn du nicht weiterweißt, wähle C.

Es macht natürlich keinen Sinn, wenn man bei einer Frage zufällig C wählt, und bei zehn Fragen kann es auch nur Zufall sein, schließlich existiert die Option C tatsächlich.

Aber nach hunderten von Fragen, wenn nur bei diesem Schüler die Option C ungewöhnlich oft vorkommt, egal ob die Antwort richtig oder falsch ist, und immer wieder der Regel „dieser Lehrer stellt gerne C als Option“ entspricht, kann man kaum erklären, dass es völlig zufällig ist.

Das, was die Wasserzeichenprüfung tut, ist ähnlich: Sie sucht nicht nach dem eindeutigen Beweis, dass „nur Claude diesen Satz schreiben kann“, sondern fragt: In einem ausreichend langen Text gibt es an jedem Generierungsknoten viele mögliche Optionen, warum zeigen die letztendlich ausgewählten Token ständig eine statistische Präferenz, die mit einem geheimen Regelsatz übereinstimmt?

„Unsichtbar“ ist es in diesem Sinne: Das Wasserzeichen entspricht keinem Zeichen, das das menschliche Auge lokalisieren kann, sondern basiert auf statistischen Regeln. Aber das wirft gleichzeitig ein anderes Problem auf: Da das Signal selbst auf der Auswahl der Token basiert, kann eine erneute Auswahl der Token diese statistische Beziehung natürlich zerstören.

Claude ändert den Text einmal, der Benutzer ändert ihn noch einmal

Wenn das Wasserzeichen in den Metadaten der Datei versteckt ist, können Angreifer die Metadaten löschen; wenn es in unsichtbaren Unicode-Zeichen versteckt ist, können die Sonderzeichen entfernt werden. Das Problem von SynthID liegt aber genau darin, dass es eng mit dem Text selbst verwoben ist.

Um das Wasserzeichen zu entfernen, ohne den gesamten Text zu löschen, ist der direkteste Gedanke, diese Token neu zu organisieren und dabei die ursprüngliche Bedeutung so weit wie möglich zu behalten.

Ein Synonym austauschen, das Aktiv ins Passiv umwandeln, oder noch direkter – den Text einfach von einem anderen Modell neu „umschreiben“ lassen, sich selbst umschreiben.

All das kann die ursprünglich aufgebaute statistische Beziehung schwächen. Der Blogger Daring Fireball nutzt das Umschreibtool Declaude als anschauliches Beispiel, um das zu erklären: Ursprünglich wurde es dafür verwendet, Texte, die zu stark nach KI erstellt riechen, zu „reinigen“. Dieses Umschreiben kann ganz nebenbei die absichtlich von Claude hinterlassenen Spuren löschen.

Auf dem Markt gibt es schon lange Tools wie Pangram, die den Anteil der KI-Beteiligung an Texten erkennen können. Das macht dieses Angriffs- und Verteidigungsverhältnis von einer theoretischen Diskussion zu einer praktischen Nachfrage. Die konkreten Angriffsmethoden können unterschiedlich sein, aber das Ziel ist identisch: Den Inhalt so weit wie möglich behalten und gleichzeitig die Token-Sequenz zerstören, auf der der Detektor seine Beurteilung basiert.

Was für ein spannendes Versteckspiel.

Um festzustellen, ob KI beteiligt ist, muss das Modell bei der Generierung die Wortauswahl leicht anpassen; um der Prüfung zu entgehen, muss der Benutzer die Wörter neu auswählen. Damit das Wasserzeichen gewöhnliches Umschreiben übersteht, muss das Wasserzeichen-System seine Stärke erhöhen; dann suchen die Benutzer weiter nach Methoden, die die statistischen Signale möglichst effektiv zerstören, ohne die ursprüngliche Bedeutung zu verändern.

Aus technischer Sicht ist das ein sehr standardmäßiges Angriffs- und Verteidigungsverhältnis: Die Verteidigerseite möchte, dass das Signal nach Kopieren, Bearbeiten und Formatänderungen weiter vorhanden ist, die Angreiferseite versucht, die Erkennung mit minimalem Aufwand unwirksam zu machen.

Der Fall von Texten unterscheidet sich von Bildern und Audiodateien in einem Punkt stark: Bei Bildern kann das Wasserzeichen in Bereichen versteckt werden, die die Ansicht nicht beeinträchtigen. Der „Raum“, den Textwasserzeichen nutzen können, besteht aus konkreten Wörtern, Satzstrukturen und Ausdruckswahlen.

Bildquelle: Atlasiko

Daher muss bei jedem Schritt nach vorne im Angriffs- und Verteidigungsverhältnis direkt in den Text selbst eingegriffen werden.

Noch peinlicher ist, dass dieser Mechanismus von Natur aus nicht symmetrisch ist zwischen Personen, die die Erkennung absichtlich umgehen wollen, und normalen Benutzern. Menschen, die wirklich betrügen wollen, können aktiv Modelle ohne Wasserzeichen, Umschreibtools nutzen oder den Text wiederholt „umschreiben“; Menschen, die keine Absicht zur Umgehung haben, müssen standardmäßig die Generierungsergebnisse akzeptieren, die durch das Wasserzeichen eingeschränkt sind.

Am Ende sind genau die Menschen, die nicht versuchen, dem Wasserzeichen aus dem Weg zu gehen, am leichtesten durch es markiert.

Alle ändern die Wörter, aber wer kümmert sich noch darum, wie der Satz eigentlich geschrieben werden soll?

Am Ende des Versteckspiels geht es nicht mehr darum, wer wen fangen kann oder wer vermeidet, gefangen zu werden.

Obwohl die Seite mit den Wasserzeichen und die Seite, die das Wasserzeichen entfernt, auf völlig gegensätzlichen Positionen stehen, teilen sie eine gemeinsame Voraussetzung: Ein Satz scheint sich in „die zu behaltende Bedeutung“ und „die veränderbare Formulierung“ aufteilen zu lassen.

Solange sich die allgemeine Bedeutung nicht offensichtlich ändert, können die konkreten Wörter zum Operationsraum des technischen Systems werden, egal ob es vom Wasserzeichen-System oder vom Autor selbst bedient wird.

Die größte Kritik des Technik-Bloggers und Autors von Daring Fireball, John Gruber, an Textwasserzeichen lässt sich in eine einfachere Frage umwandeln: Bedeutet eine ungefähr gleiche Bedeutung, dass der Text sich nicht verändert hat?

Wir können diese zwei Sätze vergleichen:

„Er hat endlich zugestimmt.“

vs

„Er hat endlich nachgegeben.“

Beide Sätze beschreiben, dass eine Person einer Sache endlich zustimmt. Aber der zweite Satz trägt zusätzlich die Bedeutung, dass sie zuvor widerstanden hat und erst nach einigem Zögern nachgegeben hat.

Beide Sätze vermitteln in der Tat ungefähr die gleiche „Bedeutung“, aber für Menschen, die wirklich am Schreiben interessiert sind, sind sie nicht beliebig austauschbar. Sogar im Alltag tragen diese zwei Sätze leicht unterschiedliche Nuancen.

Sowohl Anthropic als auch Google betonen, dass das Designziel des Wasserzeichens darin besteht, die Semantik, Qualität und Lesbarkeit des Textes nicht zu verändern. Ob eine leichte Wahrscheinlichkeitsabweichung im tatsächlichen Ausgang zu einem wahrnehmbaren Qualitätsunterschied führt, erfordert weitere Beweise.

Aber eines hat sich bereits verändert: Wenn das Modell ein Wort auswählt, gibt es ein zusätzliches Optimierungsziel, das nichts damit zu tun hat, „wie man diesen Satz gut schreibt“.

In der Vergangenheit balancierte ein Generierungssystem zumindest im Idealzustand zwischen Zielen wie Genauigkeit, Klarheit, Natürlichkeit, Übereinstimmung mit den Anforderungen des Benutzers und Übereinstimmung mit menschlichen Schreibgewohnheiten.

Nach dem Hinzufügen des Textwasserzeichens muss es zusätzlich berücksichtigen, „ob dieser Text später vom Wasserzeichen-System erkannt werden kann“; und wenn der Benutzer versucht, dagegen vorzugehen, durchläuft der Text eine weitere Optimierung, „wie man den Text so verändert, dass er nicht erkannt wird“. Egal aus welchem Grund, beide Seiten können behaupten, dass sie die „Bedeutung“ so weit wie möglich nicht verändert haben.

Aber Schreiben bedeutet nie, dass man die Bedeutung von den Wörtern trennen kann – sie sind wie Lippen und Zähne, die voneinander abhängig sind. Der Text hat nicht zuerst eine vollständige „Bedeutung“, zu der man dann beliebig eine Gruppe von Synonymen hinzufügt. Die konkrete Auswahl der Wörter erzeugt