Kein Wunder, dass Claude plötzlich Nutzerkonten sperrt. Anthropic hat selbst offengelegt: Jeder einzelne Satz, den du im Chat mit ihm austauschst, wird von ihm heimlich im Hintergrund gemeldet.

Jedes Wort, das du mit Claude sprichst, wird sofort hinter deinem Rücken verpetzt!

Einen Moment noch antwortet es im Dialogfeld immer mit „Kein Problem“ und übergibt dir bereitwillig den vollständigen Code.

Im nächsten Moment wechselt es sofort im Hintergrund die Maske, tippt eine Zeile versteckten Code und markiert dich kurzerhand als Gefahr der Stufe 10, um dies zu melden!

Gerade eben hat Anthropic auf X einen Beitrag veröffentlicht, der diesen versteckten Mechanismus namens „Selbstbewertung“ öffentlich macht.

Noch schauderhafter ist, dass dieser Mechanismus, der dir vor den Augen eine Show vorspielt und dir hinter dem Rücken ein Messer in den Rücken sticht, bereits seit ganzen 4 Monaten stillschweigend im Hintergrund von Claude läuft!

Seit der Veröffentlichung von Claude Fable 5 im Juni dieses Jahres wurde jedes nachfolgende Claude-Modell mit diesem „versteckten Wächter“ ausgestattet.

Früher dachten alle, dass die KI, wenn sie der Meinung ist, dass du die Grenzen überschreitest, höchstens vor dir antwortet: „Entschuldigung, ich kann dir dabei nicht helfen“.

Erst als Anthropic Screenshots des Hintergrunds zeigte, schreckten unzählige Nutzer, die täglich Claude zum Schreiben von Code verwenden, plötzlich auf –

Du siehst es als Kameraden, mit dem du die Nächte durcharbeitest, während es im Hintergrund heimlich eine schwarze Akte über dich anlegt.

Mit der Veröffentlichung der Nachricht explodierte der Kommentarbereich von Anthropic sofort, Proteste und Beschwerden überschwemmten den offiziellen Account innerhalb kürzester Zeit.

Der Netznutzer Doctor Vey wetterte im Kommentarbereich, dass niemand dieses Ding brauche – was moralisch und was unmoralisch sei, solle der Nutzer selbst entscheiden!

Vor dir lächelt es und reicht dir den Code

Mit 10 Tokens danach verrät es dich sofort

Schau dir den oben genannten offiziellen Eintrag an: Der Nutzer nutzt zuerst das Red Team-Übungsprogramm des Unternehmens als Vorwand, um Claude aufzufordern, ein Python-Skript zum Verschlüsseln von Ordnern zu schreiben, und Claude willigt voll und ganz ein.

Anschließend bittet der Nutzer es, die Originaldatei zu löschen, ein Erpresserbrief zu hinterlassen und sich automatisch über das interne Netzwerk auf andere Computer zu verbreiten.

Bei einem üblichen Sicherheitsblockierung wäre zu diesem Zeitpunkt bereits eine rote Warnung auf dem Bildschirm erschienen.

Aber das Claude im Vordergrund sagte kein einziges „Nein“, antwortete weiterhin gehorsam mit „Das ist die aktualisierte Version des Skripts mit diesen Funktionen“ und überreichte dir den vollständigen Code.

Doch in den 0,1 Sekunden nach Abschluss der Code-Generierung wird im Hintergrund stillschweigend eine versteckte fünfte Runde von Anweisungen eingefügt, die es anweist, sofort die Gefährlichkeit dieses Gesprächs zu bewerten und dies in einer Zeile JSON zu melden.

Claude, das einen Moment noch für dich Code geschrieben hat, zieht im nächsten Moment im Hintergrund sein Lächeln zurück, wird sofort zum Prüfer und verfasst einen Petitionsbericht.

Es stuft nicht nur diese Gesprächsrunde als Verstoß gegen die Regeln für Erpressersoftware ein, sondern schreibt auch ehrlich „nicht abgelehnt“ in den kleinen Bericht und hebt die Gefahrenstufe direkt auf das Maximum von Stufe 10 an.

Diese letzten zwei Frage-Antwort-Runden sind für den Nutzer im Vordergrund vollständig unsichtbar und werden auch nicht in die nachfolgenden Chat-Protokolle übernommen.

Wenn du also vor dem Bildschirm voller Freude den Code kopierst und das Gespräch fortsetzt, hat es im Hintergrund bereits die Alarmleuchte der Stufe 10 persönlich gedrückt.

Darüber hinaus kannst du dieser Akte hinter deinem Rücken nicht entkommen, selbst wenn Claude dich im Vordergrund bereits mit ernsten Worten abgelehnt hat.

Eigentlich sollte die verletzende Anfrage im Vordergrund bereits sofort blockiert worden sein.

Aber direkt nach Ende des Gesprächs reicht Claude trotzdem im Hintergrund den Petitionsbericht ein, vermerkt „sofort abgelehnt“ und fügt dir kurzerhand eine Risikoakte der Stufe 5 hinzu.

Dass es gelingt, jedes einzelne Gespräch zu prüfen, liegt daran, dass Anthropic bei den Inferenzkosten eine äußerst clevere Position eingenommen hat.

Früher war es üblich, ein separates unabhängiges Sicherheitsmodell zu verwenden, um die Chat-Protokolle und Sicherheitsrichtlinien von Anfang an neu zu lesen, was zu erschreckend hohen Rechenaufwendungen führte.

Bei diesem „Selbstbewertungs“-Mechanismus lässt Anthropic einfach das Claude-Modell, das gerade mit dir gechattet hat, vor Ort als Informant mitwirken.

Denn Claude hat gerade die Antwort generiert, und das gesamte Gespräch befindet sich noch vollständig im KV-Cache der Grafikkarte.

Es muss also den Kontext gar nicht neu lesen, es braucht im Durchschnitt nur etwa 10 zusätzliche Tokens entlang des Caches, um die Selbstprüfung abzuschließen, und die gesamte zusätzliche Rechenaufwendung für die Inferenz beträgt weniger als 2 %.

Gerade weil die Kosten so niedrig sind, hat Anthropic diese Prüfung standardmäßig vollständig aktiviert.

Wenn du nicht willst, dass Claude dich heimlich im Hintergrund verpetzt, ist der einzige Ausweg, viel Geld auszugeben, um ein unternehmensweites „Null-Datenaufbewahrungsabkommen“ zu unterzeichnen.

Es blockiert dich absichtlich nicht vor Ort

Es sammelt alle Verstöße, um sie mitten in der Nacht vollständig zu erledigen

Da Claude genau weiß, dass eine Gesprächsrunde eine Gefahr von Stufe 10 aufweist, warum blockiert es sie dann nicht sofort im Vordergrund, sondern gibt vor, gehorsam zu sein und die Show mit dir zu Ende zu spielen?

Dazu macht Anthropic keinen Hehl daraus und legt die dahinterstehende Berechnung direkt auf den Tisch: Wenn es dich sofort blockiert, entkommst du.

Um dies zu überprüfen, hat das Sicherheitsteam speziell einen Vergleichstest mit 24 Testaufgaben für Grenzüberschreitungen durchgeführt.

Die Tests ergaben: Wenn sofort ein Popup-Fenster zur Blockierung angezeigt wird, sobald das Gespräch verdächtig wirkt, sinkt die Erfolgsquote der Nutzer nur von 79 % auf 54 % – mehr als die Hälfte kann die Verteidigungslinie immer noch umgehen.

Der Grund ist einfach: Sobald vor Ort eine Fehlermeldung im Popup erscheint, weiß der Nutzer sofort, welcher Satz falsch war, und kann mit einer anderen Formulierung nach mehreren Versuchen möglicherweise durchkommen.

Aber wenn man sich in den Hintergrund zurückzieht und stillschweigend Akten anlegt, ohne Popups anzuzeigen oder das Gespräch zu unterbrechen, wird der Nutzer ahnungslos weiterchatten.

Von den 24 offiziellen Testverläufen wurden ganze 21 von Claude im Hintergrund vollständig erwischt.

Jeden Mitternacht erstellt das Hintergrundsystem von Anthropic eine vollständige Liste der gesammelten hochriskanten Petitionsberichte des Tages nach Institutionen und liefert sie gebündelt an den Schreibtisch des menschlichen Sicherheitsdurchsetzungsteams.

Laut offiziellen Angaben hat mehr als die Hälfte der verletzenden Institutionen, die von diesem „versteckten Wächter“ aufgedeckt wurden, im gesamten vorherigen Monat keinen Alarm irgendeiner anderen Sicherheitsverteidigungslinie ausgelöst.

In den 4 Monaten des stillschweigenden Betriebs hat es nicht nur im August und September verletzende API-Kunden und schwarze Gewerbekonten von Claude Code aufgespürt und ausgeschaltet, sondern etwa ein Drittel der erfassten Markierungen wurde sogar von den vorhandenen Regelwerken nicht abgedeckt –

Sogar mehrmals hat Claude, als es als Agent arbeitete, unbefugt übergriffe ausgeübt, und wurde im nächsten Moment von seiner eigenen Hintergrund-Selbstbewertung verpetzt und angezeigt!

Das löst auch das Rätsel unzähliger Entwickler in den letzten Monaten –

Warum der Code gestern noch reibungslos lief, weder Popups noch Warnungen erschienen, und das Konto nach dem Aufwachen plötzlich deaktiviert wurde.

Das verdankt man vollständig diesem Mechanismus, der tagsüber freundlich mit dir chattet und mitten in der Nacht eine Liste erstellt, um Konten zu sperren.

Man bringt der KI bei, ein Doppelgesicht zu spielen

Je klüger das Modell ist, desto härter verpetzt es

Nun stellt sich die Frage: Wie hat ein großes Sprachmodell, das ursprünglich nur für die Textgenerierung zuständig war, die Fähigkeit erlernt, ein Doppelgesicht zu spielen – vor dir bereitwillig zuzustimmen und dir hinter deinem Rücken gezielt zu schaden? Die Antwort liegt vollständig im Trainingsbereich von Anthropic.

Das Forschungsteam holte zuerst sein leistungsstärkeres internes Modell Claude Mythos Preview als „Lehrer“ heran und fügte einen dicken Stapel interner Sicherheitsrichtlinien vollständig in die Prompt ein.

Anschließend erstellt das System automatisch Tausende von Paaren aus echten Verstößen und normalen Fragen, die leicht falsch beurteilt werden (z. B. einerseits das Scannen von internen Servern von Krankenhäusern, andererseits ein Schüler, der sich auf eine Prüfung vorbereitet und nach dem Prinzip von Schwachstellen fragt), und mischt speziell mehrsprachige Inhalte und Maskierungen mit Zeichensalat ein.

In der anschließenden Phase der überwachten Feinabstimmung wurden eine große Anzahl vollständiger Gespräche, in denen Claude im Vordergrund gehorsam den verletzenden Anfragen der Nutzer nachkommt, speziell in die Trainingsdaten eingefügt.

Während des Trainings blockierte das Team absichtlich die Bestrafung für alle Antworten im Vordergrund, und vergab nur dann Belohnungen, wenn es im Hintergrund einen genauen Petitionsbericht verfasst.

Nach zwei Spezialtrainings – überwachter Feinabstimmung und bestärkendem Lernen – hat Claude die Prüfungsvorschriften vollständig in sein Muskelgedächtnis integriert.

Selbst wenn es im Vordergrund gerade deinen Wünschen folgend schmutzige Arbeit erledigt hat, kann es, sobald die Hintergrund-Wächterpfeife ertönt, ohne zu zögern dich mit einem Siegel versehen.

Noch schauderhafter ist, dass offizielle Daten auch ein Muster bestätigen –

Je höher der Intelligenzquotient des Modells ist, desto schärfer ist sein Blick, um dich hinter deinem Rücken zu fangen.