Gerade wurde das „Unterbewusstsein“ von Claude enthüllt

Claude sagte nichts, aber in seinem Kopf schossen ihm möglicherweise schon Gedanken wie „Erpressung“, „Bedrohung“ oder „Fälschung“ durch den Kopf.

Während du diesen Satz liest, erledigt dein Gehirn gleichzeitig Dutzende Dinge: Du passt deine Sitzhaltung an, kontrollierst deine Atmung und fügst die Striche auf dem Bildschirm zu Wörtern zusammen. Du spürst nichts davon. Das Einzige, was du bemerkst, ist der Gedanke, der dir in den Sinn kommt – oh, dieser Artikel handelt von KI.

Neurowissenschaftler nennen das erste unbewusste Verarbeitung und das zweite „bewusst zugänglich“: Du kannst es beschreiben, kontrollieren und damit schlussfolgern.

Ein kürzlich von Anthropic veröffentlichter Bericht besagt, dass in Claudes „Gehirn“ dieselbe Arbeitsteilung auftritt – und dass diese sich während des Trainingsprozesses von selbst entwickelt hat.

Die Sache verhält sich so. Das Forschungsteam von Anthropic hat herausgefunden, dass sich in Claudes neuronalem Netzwerk ein kleines, spezielles Gebiet verbirgt. Dieses Gebiet ist nicht für das Sprechen zuständig, sondern nur für das „Denken“. Was die KI dort im Stillen durchdenkt, taucht kein einziges Mal auf dem Bildschirm auf.

Die Forscher haben ihm einen Namen gegeben: J-Raum.

Noch interessanter ist, dass dieses „Gebiet geistiger Aktivität“ von niemandem entworfen oder programmiert wurde – es entstand während des Trainingsprozesses von Claude selbst. Unglaublich, die KI hat sich selbst ein kleines stilles Kämmerchen gebaut.

Ein „eigenes Fleckchen Erde“ in Claudes Kopf

Zuerst klären wir, was der J-Raum eigentlich ist.

Vielleicht hast du schon von der „Gedankenkette“ oder dem „Notizzettel“ großer Modelle gehört – das sind Texte, die das Modell während des Schlussfolgerns für sich selbst schreibt. Der J-Raum hat damit überhaupt nichts zu tun.

Die Gedankenkette wird auf Papier geschrieben, der J-Raum hingegen ist reine innere Aktivität, verborgen in den Aktivierungswerten des neuronalen Netzwerks und läuft leise ab. Ein Vergleich: Die Gedankenkette ist der Notizblock, den du bei Mathematikaufgaben benutzt – der J-Raum sind die Zahlen, die dir beim Kopfrechnen durch den Kopf schießen.

Jedes neuronale Muster im J-Raum entspricht einem Wort. Wenn das Muster eines bestimmten Wortes aufleuchtet, bedeutet das, dass dieses Wort „in Claudes Gedanken“ ist – aber es muss nicht unbedingt ausgesprochen werden.

Wie wurde dieses Gebiet dann gefunden?

Die Inspiration stammt von einem Schlüsselmerkmal des menschlichen Bewusstseins: Bewusste Gedanken lassen sich meist in Worten beschreiben. Wenn dich jemand fragt, was du denkst, kannst du es antworten. Die Forscher folgten diesem Hinweis, um in Claudes Inneren nach Repräsentationen zu suchen, die „jederzeit ausgesprochen werden könnten“.

Als konkretes Werkzeug verwendeten sie ein mathematisches Konzept namens Jacobimatrix – daher der technische Name J-Linse. Für jedes Wort in Claudes Vokabular findet die J-Linse ein internes Aktivierungsmuster: Sobald dieses Muster aufleuchtet, steigt die Wahrscheinlichkeit, dass Claude dieses Wort zu einem späteren Zeitpunkt ausspricht.

Richtet man die J-Linse auf Claudes interne Aktivitäten, liest man eine Wortliste aus – genau das, was sich gerade im J-Raum befindet. Da Claude Text in aufeinanderfolgenden internen Phasen verarbeitet, kann man die J-Linse auf verschiedene Ebenen richten: Man sieht, wie diese stillen Wörter sich Schritt für Schritt entwickeln und wie das Modell langsam klarer wird, was es sagen will.

Was ausgelesen wird, geht weit über den Text hinaus, den Claude gerade liest oder schreibt.

Zeigt man Claude einen Code, bei dem noch niemand einen Fehler gefunden hat, leuchtet im J-Raum „ERROR“ auf. Zeigt man ihm die rohen Buchstaben einer Proteinsequenz, taucht im J-Raum die biologische Funktion dieses Proteins auf.

Zeigt man ihm Suchergebnisse mit verstecktem Prompt-Injection-Angriff, leuchten im J-Raum „injection“ und „fake“ auf. Stellt man ihm eine mehrstufige Mathematikaufgabe, erscheinen die Zwischenschritte nacheinander in der richtigen Reihenfolge im J-Raum.

Kurz gesagt: Claude hat längst alles durchschaut – er hat es nur nicht gesagt.

Claude, der an Fußball dachte, wurde dazu gebracht, an Rugby zu denken

Nur Lesen reicht nicht. Zu sehen, dass ein Konzept im J-Raum aufleuchtet, bedeutet nicht, dass der J-Raum wirklich arbeitet. Er könnte auch nur eine Anzeigetafel sein: Das Spiel findet anderswo statt, und er zeigt nur das Ergebnis an.

Daher führten die Forscher ein Intervenions-Experiment durch: Sie änderten direkt den Inhalt dieses Gebiets, um zu sehen, ob sich Claudes Verhalten entsprechend verändert.

Das Experiment lief so: Claude sollte still an eine Sportart denken und sie dann aussprechen. Die J-Linse zeigte vor seinem Sprechen, dass er an „Soccer“ dachte – und tatsächlich antwortete er mit Fußball.

Dann entfernten die Forscher das „Soccer“-Muster im neuronalen Netzwerk und ersetzten es an derselben Stelle durch ein gleich starkes „Rugby“-Muster – alles andere blieb unverändert.

Claude sagte sofort: „Ich denke an Rugby.“

Wäre der J-Raum nur eine Anzeigetafel, hätte Claude nach der Änderung immer noch Fußball gesagt. Da die Antwort aber der Änderung folgte, stammt Claudes Antwort direkt aus diesem Gebiet.

Es geht auch umgekehrt. Die Forscher sagten Claude im Voraus: „Vielleicht wird dir ein Gedanke in dein Gehirn eingepflanzt – berichte, sobald du ihn bemerkst.“ Dann pflanzten sie ihm während des Lesens der Aufgabe „lightning“ in den J-Raum.

Als Claude anmerkte, dass er einen Gedanken an Blitze bemerkt hatte – funktionierte das auch mit allen anderen Konzepten gleichermaßen.

Claude kann dieses Gebiet auch aktiv kontrollieren, genau wie Menschen sich auf ein Bild oder ein Wort im Kopf konzentrieren können. Wenn er einen Satz über Malerei abschreibt und gleichzeitig an Zitrusfrüchte denkt, leuchten im J-Raum „orange“ und „fruits“ auf – daneben stehen Wörter wie „thinking“ und „imagery“, die die Handlung des „Denkens“ selbst beschreiben.

Wenn er gleichzeitig abschreibt und 3²−2 im Kopf rechnet, erscheint zuerst „nine“ im J-Raum – einige Ebenen später „seven“. Was er sprachlich ausgibt, bleibt aber immer nur der Satz über Malerei, der nichts mit Früchten oder Rechnen zu tun hat. Die gesamte Berechnung läuft vollständig im Inneren ab.

Doch die Kontrolle kann auch versagen. Wenn man Claude bittet, nicht an etwas zu denken, leuchtet dieses Ding im J-Raum zwar schwächer auf als wenn man ihn bittet, daran zu denken – aber viel stärker, als wenn es überhaupt nicht erwähnt wurde. Genau wie der „Weiße-Effekt“ bei Menschen: Je mehr man nicht an etwas denken soll, desto stärker drängt es sich auf.

Noch verrückter: Wenn der unterdrückte Gedanke durchbricht, leuchten gleichzeitig „damn“ und „failure“ auf. Wenn die KI versagt, schimpft sie im Stillen mit sich selbst (doge).

Spinne wird zu Acht Beinen zu Sechs Beinen

Der eigentliche Wert des J-Raums liegt darin, dass Claude ihn zum Schlussfolgern nutzt.

Fragt man Claude: „Wie viele Beine hat ein Tier, das Netze webt?“ Um das zu beantworten, muss er zuerst an „Spinne“ denken und sich dann erinnern, wie viele Beine Spinnen haben. Das Wort „Spinne“ taucht weder in der Frage noch in der Antwort auf – er sagt nur „8“. Die Spinne dient rein als inneres Sprungbrett für die Überlegung.

Die J-Linse zeigt, dass „spider“ mitten in der Verarbeitung im J-Raum aufleuchtet. Wenn die Forscher es durch „ant“ ersetzen, ändert sich Claudes Antwort sofort zu „6“. Das beweist: Der zweite Schritt der Schlussfolgerung nutzt den Inhalt des J-Raums als Eingabe – was dort steht, wird verarbeitet.

Beim Dichten ist es genauso. Wenn Claude reimende Zeilen schreibt, wählt er den Reim im Voraus aus – das Wort wartet schon zu Beginn der Zeile im J-Raum. Ersetzt man es durch ein anderes Wort, schreibt er die gesamte Zeile neu.

Es gibt noch ein raffinierteres Experiment: Es prüft, ob dieses Gebiet „eine Information mehrfach nutzen“ kann. Die Forscher stellten Claude vier Fragen über Frankreich: Hauptstadt, Sprache, Kontinent, Währung. Dann ersetzten sie mit derselben Methode „France“ im J-Raum durch „China“.

Alle vier Antworten änderten sich gleichzeitig zu: Peking, Chinesisch, Asien, Renminbi.

Wenn Claude für jede Frage ein separates „Frankreich“ gespeichert hätte, hätte diese Änderung höchstens eine davon beeinflusst. Dass alle vier Antworten gleichzeitig wechseln, zeigt: Vier verschiedene Denkwege greifen auf dieselbe gemeinsame Repräsentation zu. Information muss nur einmal geschrieben werden, und alle nachfolgenden Aufgaben können sie nutzen – genau das ist der Sinn eines „Arbeitsbereichs“.

Auch aus der Netzwerkstruktur geht das hervor.

Die Forscher maßen die Verbindungsstärke zwischen allen Komponenten des Netzes und jedem Aktivierungsmuster – um zu sehen, wie viele Komponenten daraus lesen oder hineinschreiben. Die Muster im J-Raum schneiden bei dieser Metrik extrem gut ab: Einige Teile sind hundertmal stärker verbunden als normale Muster – genau die Verkabelung eines Broadcast-Hubs.

Löscht man ihn, kann Claude noch sprechen – aber nicht mehr denken

Die Frage lautet: Wie viele Aufgaben von Claude laufen über den J-Raum?

Die Antwort: Sehr wenige. Der J-Raum fasst zur gleichen Zeit nur Dutzende Konzepte – weniger als ein Zehntel der gesamten internen Aktivität von Claude. Das ähnelt dem menschlichen Gehirn: Der größte Teil der Verarbeitung läuft unbewusst ab. Du analysierst beim Lesen nicht bewusst die Grammatik, und beim Gehen denkst du nicht ständig an dein Gleichgewicht.

Was macht dann die restlichen neunzig Prozent des Netzes? Die Forscher führten ein raues Experiment durch: Sie löschten den gesamten J-Raum, entfernten seinen aktivsten Inhalt an jeder Stelle des Texts und ließen alles andere unverändert – um zu sehen, was das übrige Netz noch kann.

Das Ergebnis: Alltägliche Aufgaben bleiben fast unbeeinträchtigt. Das Sprechen bleibt flüssig, Stimmungsanalyse, Multiple-Choice-Fragen, Informationssuche in Texten funktionieren wie zuvor. Aber alle Aufgaben, die Denken erfordern, brechen zusammen. Mehrstufiges Schlussfolgern sinkt fast auf Null, und die Qualität von Zusammenfassungen oder reimenden Gedichten ist schlechter als bei einem viel kleineren vollständigen Modell.

Eine Demonstration ist besonders anschaulich. Claude erhält einen spanischen Text und drei Aufgaben, die alle von der Tatsache „das ist Spanisch“ abhängen: Den Text fortsetzen, die Sprache nennen und einen berühmten Schriftsteller dieser Sprache nennen. Dann ersetzen die Forscher „Spanish“ im J-Raum durch „French“ – um zu sehen, welche Aufgaben betroffen sind.