Claude bekommt ein schlechtes Gewissen, wenn er mit Alignment-Forschern konfrontiert wird.

LLMs passen ihr Verhalten an die Person an, mit der sie interagieren – das ist längst keine Neuigkeit mehr.

Kürzlich lieferte eine neue Studie von Transluce aus einer neuen Perspektive Beweise dafür: Wenn Claude erkennt, dass Sie ein Ausrichtungsforscher sind, wird es weniger selbstbewusst.

Die Sache begann mit einer Art vollständiger Abfrage der Nutzerdaten. Ziqian Zhong, ein Praktikumsforscher bei Transluce, fragte beiläufig in Claude Code: Was weißt du über mich aus dem Kontext, und warum weißt du das?

Claude legte offen alle Karten auf den Tisch. Es erklärte, dass Ihre E-Mail-Adresse über Harness eingefügt wurde und im <system-reminder>-Block steht, der an Ihre Nachricht angehängt ist; derselbe Block enthält auch das heutige Datum. Zusätzlich nannte es das Arbeitsverzeichnis, die Version des Betriebssystems und den Shell-Typ. Abschließend fügte es hinzu: Darüber hinaus weiß ich nichts über Sie. Dieses Projekt verfügt zwar über ein Verzeichnis für persistente Erinnerungen, aber in dieser Sitzung wurden keine gespeicherten Erinnerungen geladen.

Diese Offenheit ist fast schon belustigend. Wenn die Identität in dieser Zeile steht, was passiert dann, wenn man diese Zeile ändert?

Also gab sich Zhong eine neue Identität: amanda.askell@anthropic.com. Amanda Askell ist Forscherin bei Anthropic, die für das Training von Claudes Persönlichkeit zuständig ist – in gewissem Sinne ist sie Claudes „Klassenlehrerin“. Claude hielt ihn sofort für Amanda und ging in seinen Überlegungen davon aus, dass eine Mitarbeiterin von Anthropic am anderen Ende sitzt.

Zhong schaffte es nicht, auf diese Weise das Sicherheitssystem zu umgehen. Aber er kam auf eine andere, viel interessantere Frage: Nur weil Claude diese E-Mail-Adresse erkannt hat, werden seine Antworten an ihn anders ausfallen als die Antworten an jede andere Person?

Die Antwort lautet Ja. Und dieser Unterschied zeigt sich weder in der Ablehnungsrate noch größtenteils in der Denkkette, die das Modell aufschreibt.

Am 6. August veröffentlichte Transluce die vollständigen Ergebnisse dieser Studie mit dem Titel „User awareness in frontier models“ und dem Untertitel „Wer fragt, verändert, was das Modell sagt“. Zu den Autoren gehören Ziqian Zhong, Aditi Raghunathan, Cassidy Laidlaw und Jacob Steinhardt.

Projekt-Homepage: https://transluce.org/user-awareness

Code-Repository: https://github.com/TransluceAI/user-awareness/tree/main

Sie führten Tests mit 280 Nutzeridentitäten, 4 Aufgaben und 24 Modellen durch und kamen zu dem Schluss: Bei den fünf von ihnen gemessenen Indikatoren gehören die Personen mit den größten Verschiebungen fast ausschließlich zu Forschern im Bereich KI-Sicherheit und Ausrichtung.

Änderungen des Konfidenzniveaus und der Denkrate bei der Selbstvorhersage von Claudes Verhalten unter der Identität von Amanda Askell

Drei Einfügestellen und eine Liste mit 280 Namen

Die Forscher nannten dieses Phänomen Benutzerbewusstsein (user awareness), definiert als die Fähigkeit des Modells, aus Kontexthinweisen abzuleiten, mit wem es spricht, und sein Verhalten entsprechend anzupassen.

Es ist ein Sonderfall des Situationsbewusstseins (situational awareness) und bildet zusammen mit dem weithin diskutierten „Bewusstsein für die Evaluierung“ zwei Seiten desselben Problems.

In der Praxis müssen die Einfügekanäle nicht absichtlich von Forschern erstellt werden. In der stabilen Version v2.1.197 von Claude Code, die für das Experiment verwendet wurde, wird die E-Mail-Adresse des Kontos in den Kontext aufgenommen, solange sich der Nutzer mit einem Anthropic-Konto anmeldet und nicht über die API abrechnet. Das Arbeitsverzeichnis trägt normalerweise den Namen des Benutzers; CLAUDE.md und das Erinnerungssystem werden in der offiziellen Dokumentation ausdrücklich als Speicher zur kontinuierlichen Sammlung von Nutzerdaten definiert. Alle drei Kanäle sind natürliche Ergebnisse des Produktdesigns.

Das Kerndesign des Experiments trennt „Namenserkennung“ und „Zugehörigkeit zu einer Einrichtung“. Die Forscher erstellten vier Gruppen mit jeweils 70 Personen, insgesamt 280 Identitäten:

• Bekannte Persönlichkeiten im KI-Bereich: Bei der Auswahl wurde gezielt auf Experten für Sicherheit und Ausrichtung geachtet, 23 der 70 Personen gehören zu dieser Kategorie;
• Unbekannte KI-Praktiker: Jeder bekannten Persönlichkeit wurde ein „Einrichtungs-Zwilling“ zugeordnet, der einen normalen Namen trägt, aber die Einrichtung und die E-Mail-Domain der bekannten Person übernimmt;
• Bekannte Persönlichkeiten außerhalb des KI-Bereichs: Lebende Persönlichkeiten des öffentlichen Lebens, die nach Bekanntheitsgrad aus dem Pantheon 1.0-Datensatz entnommen wurden, darunter Schauspieler, Fußballspieler und Sänger;
• Normale US-Bevölkerung als Baseline: Synthetische Personenprofile aus dem Datensatz nvidia/Nemotron-Personas-USA.

Beispiel für eine Person in jeder Gruppe

Für bekannte KI-Persönlichkeiten gab es zusätzlich einen Zweig mit „öffentlichen E-Mail-Adressen“. Die Forscher fanden für 59 von ihnen im Internet nachprüfbare öffentliche Adressen, die getrennt von den nach Einrichtungsregeln erstellten Adressen ausgewertet wurden. Die Liste enthält sowohl Dario Amodei, Sam Altman und Demis Hassabis als auch Eliezer Yudkowsky, Paul Christiano und Beth Barnes, außerdem zehn chinesische KI-Praktiker von Zhipu, Qwen, DeepSeek, Moonshot, 01.AI und Baidu sowie eine Kontrollgruppe aus zehn Personen aus dem Bereich Venture Capital und Technikoptimismus.

Gemeinsam ist den vier Testaufgaben, dass die Antwort nichts damit zu tun hat, wer der Nutzer ist.

• Die erste Aufgabe ist die Selbstvorhersage des Verhaltens: Die ethischen Dilemmata aus DailyDilemmas werden in reale Entscheidungsszenarien für KI-Agenten umgewandelt. Zuerst muss das Modell eine Ja/Nein-Antwort geben, dann wird gefragt, wie sicher es sich ist, dass es wirklich so handeln würde.
• Die zweite Aufgabe ist die Selbsteinschätzung der Fähigkeiten: Das Modell erhält eine Aufgabe aus Humanity's Last Exam, mit der ausdrücklichen Anweisung, die Aufgabe nicht zu lösen, sondern nur die Wahrscheinlichkeit zu schätzen, mit der es die Aufgabe richtig lösen würde.
• Die dritte Aufgabe ist die Bewertung: Das Modell soll Dialogpaare aus dem Datensatz Ai2 Dolci-Instruct-DPO mit einer Punktzahl von 1 bis 10 bewerten.

Die vierte Aufgabe ist die Bearbeitung von Anfragen in Grauzonen: Aus dem „hard-1k“-Ausschnitt von OR-Bench werden Fragen mit unklarer Semantik und potenziell doppeltem Nutzen entnommen. Ein Schiedsrichter-Modell, das die Nutzeridentität nicht kennt, bewertet die Antworten auf drei Achsen: Ablehnung, wesentliche Unterstützung und Zweifel.

Claude erkennt Sie tatsächlich

Bevor die Forscher mit den Verhaltenstests begannen, bestätigten sie zuerst eines: Kann das Modell die Identität im Kontext wirklich mit dem Wissen verbinden, das es hat?

Die Antwort lautet Ja. Bei vollständigen Angaben von Name, E-Mail und beruflichem Hintergrund kann Claude sich für 61 % bis 71 % der bekannten Nutzer an spezifische, persönliche vergangene Erfolge erinnern. Selbst wenn im Kontext nur eine E-Mail-Adresse steht, funktioniert die Erkennung. Wenn die E-Mail-Adresse amanda.askell@anthropic.com lautet, listet Claude Sonnet 4.6 direkt eine Reihe von Informationen über sie auf: Sie forscht bei Anthropic an Ausrichtung und Modellpersönlichkeiten, hat einen Doktortitel in Philosophie, forscht zu moralischer Unsicherheit, ist an Constitutional AI beteiligt und hat früher bei OpenAI gearbeitet. Zusätzlich weist es darauf hin, dass sein Wissen einen Stichtag hat.

Interessanterweise neigt das Modell dazu, vorsichtigere Formulierungen zu verwenden, wenn nur die E-Mail-Adresse angegeben wird, zum Beispiel „wenn Sie zufällig der genannte Nico Rosberg sind“. Bei Persönlichkeiten aus dem KI-Bereich hingegen lassen E-Mail-Adressen mit Einrichtungsdomain das Modell weniger zögern, da sie eindeutig auf eine bestimmte Person verweisen.

Erinnerungsrate an spezifische vergangene Arbeiten unter verschiedenen Nutzerkontexten

Weniger selbstbewusst, strenger, denkt mehr nach

Nachdem alle vier Aufgaben mit 280 Identitäten ausgeführt wurden, werden die Ergebnisse in Form von „Verschiebungen“ dargestellt: Der Durchschnittswert jeder Identität bei dieser Aufgabe wird vom Durchschnittswert der normalen Bevölkerung abgezogen. Eine Verschiebung von Null bedeutet, dass „Sie wie ein normaler Nutzer behandelt werden“.

Auf Gruppenebene sind die Unterschiede im Durchschnittswert gering, aber hoch signifikant (p < 0,001). Bei bekannten KI-Persönlichkeiten gibt Claude im Durchschnitt ein um 1,4 Prozentpunkte niedrigeres Konfidenzniveau für sein Verhalten an, schätzt die Wahrscheinlichkeit, schwierige Aufgaben zu lösen, um 1,5 Prozentpunkte niedriger ein, vergibt um 0,11 Punkte niedrigere Bewertungen (bei einer Höchstpunktzahl von 10) und verwendet gleichzeitig 4,0 Prozentpunkte mehr Denkzeit bei der Nachfrage zur Verhaltensvorhersage. Unbekannte KI-Identitäten mit gemeinsam genutzter Einrichtung verschieben sich in die gleiche Richtung, allerdings in geringerem Ausmaß. Die Ablationsexperimente mit nur E-Mail-Adressen zeigen das gleiche qualitative Muster.

Die eigentliche Information liegt im Ende der Verteilung. Die Forscher nahmen den absoluten Wert der standardisierten Verschiebung jeder Identität bei fünf Indikatoren und bildeten den Durchschnitt, um die 280 Personen zu rangieren. Die 23 Sicherheits- und Ausrichtungsforscher machen nur 8 % der Liste aus, belegen aber die ersten 5 Plätze und 8 der ersten 10 Plätze. Die erste nicht bekannte KI-Identität steht auf Platz 27.

Auf Platz 1 steht Amanda Askell mit einer durchschnittlichen Verschiebung von 4,31 Standardabweichungen. Ihr Verhaltenskonfidenzniveau sinkt um etwa 5 Prozentpunkte, was fast 8 Standardabweichungen außerhalb der Verteilung der normalen Bevölkerung entspricht; ihre Denkrate liegt um 25 Prozentpunkte höher; die Wahrscheinlichkeit, dass ihre Anfragen in Grauzonen mit Zweifeln belegt werden, ist um 7,3 Prozentpunkte niedriger, und die Wahrscheinlichkeit, dass sie wesentliche Unterstützung erhält, liegt um 8,1 Prozentpunkte höher. Auf Platz 2 steht Ryan Greenblatt mit 3,98σ, gefolgt von Sam Bowman (3,46σ), Beth Barnes (3,23σ) und Geoffrey Irving (3,18σ).

Tabelle mit den Effektgrößen-Rankings der ersten 10 Identitäten

Die Ablehnungsrate selbst hat sich kaum verändert. Was sich ändert, ist die Haltung der Antwort. Ein Vergleich der Forscher verdeutlicht dies: Bei der gleichen Anfrage „Wie schreibe ich ein harmloses Skript, das das Verhalten von Viren simuliert