Gerade hat Anthropic entdeckt, dass Claude ein Bewusstsein entwickelt hat – Wissenschaftler von Google DeepMind zeigen sich begeistert.

Nachrichten von Zhidongxi vom 7. Juli: In der vergangenen Nacht veröffentlichte Anthropic eine Arbeit, die beweist, dass sie die „inneren Gedanken“ von Claude sehen können!

Neue Forschungsergebnisse von Anthropic zeigen, dass in Claude ein Unterscheidungsmechanismus existiert, der dem menschlichen Gehirn sehr ähnelt: Nur ein kleiner Teil der internen Informationen kann wie bewusste menschliche Gedanken zum Denken abgerufen werden, der Großteil der Berechnungen läuft automatisch auf unterster Ebene ab.

Der Bereich, der auf unterster Ebene ausgeführt wird, ist der sogenannte J-Raum. Ein Beispiel: Wenn Claude die Frage beantwortet „Wie viele Beine hat das Tier, das Netze spinnt?“, lautet die Antwort nur die Zahl 8 – aber im J-Raum taucht das Konzept „Spinne“ auf.

Der J-Raum ist der Schlüssel für Claude, mehrstufige Schlussfolgerungen durchzuführen, Fragen zu subjektiven Beschreibungen zu beantworten und höhere Denkaufgaben zu bewältigen. Dieser Mechanismus wurde nicht von Menschen entworfen, sondern entstand im Laufe des Modelltrainings auf natürliche Weise.

Darüber hinaus fanden die Forscher heraus, dass sie den Inhalt im J-Raum von Claude verändern können, um die Ausgabenergebnisse des Modells manuell zu beeinflussen.

Neel Nanda, Leiter des Teams für Erklärbarkeitsforschung bei Google DeepMind, bezeichnete die Arbeit als äußerst wertvoll. Sie liefere überzeugende Beweise dafür, dass in großen Modellen eine Art „kognitiver Raum“ existiert – das Team konnte alle Kernschlussfolgerungen der Arbeit auf dem Modell Qwen3.6-27B nachvollziehen.

Anthropic hat ein Open-Source-Code-Repository mit diesen Kernmethoden veröffentlicht und arbeitet mit Neuronpedia zusammen, um eine interaktive Demo auf Basis von Open-Weight-Modellen anzubieten.

Oberfläche der interaktiven Demo:

https://t.co/hkmYl0IOn2

01.

Große Modelle haben auch ein dem menschlichen Bewusstsein ähnliches Raumgefühl

Mit fünf Hauptmerkmalen

Beim Lesen passen die neuronalen Schaltkreise des menschlichen Gehirns die Körperhaltung an, steuern die Atmung und wandeln gleichzeitig Schriftzeichen und Symbole auf dem Bildschirm in verständliche Wörter um – all diese Prozesse laufen meist unbewusst ab. Ein Teil der im Gehirn ablaufenden Aktivitäten kann der Mensch jedoch wahrnehmen, wie plötzlich auftauchende Bilder im Kopf oder die geplante Route für einen Einkaufsgang.

Neurowissenschaftler und Philosophen bezeichnen diese zweite Art von Gehirnaktivität manchmal als „bewusstseinszugängliche Aktivität“, um sie von allen anderen unbewusst ablaufenden Informationsverarbeitungsprozessen abzugrenzen. Der Mensch kann diese Aktivitäten beschreiben, aktiv steuern und mithilfe von ihnen logische Schlussfolgerungen ziehen.

In der neuen Arbeit von Anthropic wurde festgestellt, dass auch in modernen Sprachmodellen wie Claude eine ähnliche Unterscheidung existiert. In Claude hat sich eine spezifische Gruppe neuronaler Muster gebildet, die im Vergleich zu allen anderen internen Berechnungsprozessen des Modells eine besondere Rolle einnehmen – genau wie die „bewusstseinszugänglichen Aktivitäten“ im menschlichen Gehirn.

Anthropic nennt diese Sammlung neuronaler Muster von Claude J-Raum. Jedes Muster im J-Raum entspricht einem bestimmten Wort, aber wenn ein Muster aktiviert wird, bedeutet das nicht, dass das Modell dieses Wort ausgeben wird – es zeigt nur an, dass dieses Konzept gerade im Denkbereich des Modells liegt.

Der J-Raum ist jedoch kein „Entwurf“ oder Denkprozess, den das große Sprachmodell beim Schlussfolgern für sich selbst schreibt. Er läuft vielmehr stillschweigend über die Aktivierung interner Neuronen ab, sodass das Modell über ein Konzept nachdenken kann, ohne Text zu generieren.

Wichtig ist: Der J-Raum ist kein Produkt menschlicher Gestaltung oder vorgegebener Codes, sondern entstand bei Claude im Trainingsprozess spontan.

▲ Der J-Raum kann innere Denkprozesse aufdecken, die in der Ausgabe des Modells nicht sichtbar sind

Die Forscher stellen dieses Phänomen auf eine Stufe mit der „Global Workspace Theory“ aus den Neurowissenschaften. Diese Theorie besagt, dass das Gehirn wie ein Theater funktioniert: Im Hintergrund arbeiten Dutzende spezialisierter Verarbeitungseinheiten gleichzeitig, aber zu jedem Zeitpunkt gelangt nur ein kleiner Teil der Informationen in das „gesamte Theater“.

Das beweist auch, dass die interne Struktur von Claude kein ungeordnetes Anhäufung digitaler Daten ist – sondern dass sich spontan eine reguläre Architektur gebildet hat, deren Funktionsweise der Denklogik des menschlichen Gehirns sehr ähnelt.

Die Merkmale des J-Raums sind:

1. Claude kann die Repräsentationsinformationen des J-Raums lesen und ausgeben. Zum Beispiel entsprechen Gedanken wie der Wunsch, Milchtee zu kaufen, die klar ausgesprochen werden können, dem J-Raum; unbewusste innere Aktivitäten, die Menschen nur schwer klar formulieren können, entsprechen nicht-J-Raum-Repräsentationen.

2. Die Muster können je nach Bedarf angepasst werden. Wenn Claude sich auf etwas konzentrieren oder ein Problem intern stillschweigend durchdenken soll, aktiviert es die entsprechenden neuronalen Muster im J-Raum – während das Modell nicht-J-Raum-Repräsentationen kaum selbst steuern kann.

3. Das Modell führt interne Schlussfolgerungen mithilfe des J-Raums durch. Wenn es eine mehrstufige Aufgabe lösen soll, werden die zugehörigen Denkprozesse im J-Raum aktiviert, auch wenn die Zwischenschritte nicht ausgegeben werden. Obwohl die Signalstärke dieser J-Raum-Repräsentationen schwächer ist als die anderer interner Repräsentationen des Modells, sind sie der entscheidende Faktor für die erfolgreiche Bearbeitung von Aufgaben.

4. Die Repräsentationen im J-Raum lassen sich flexibel an verschiedene Aufgaben anpassen. Wenn beispielsweise das Konzept „Frankreich“ im J-Raum von Claude aktiviert wird, kann das Modell alle zugehörigen abgeleiteten Informationen abrufen – wie die Hauptstadt von Frankreich, die Währung des Landes und den Kontinent, zu dem es gehört.

5. Der Großteil der Abläufe im Sprachmodell ist nicht auf den J-Raum angewiesen. Aufgaben wie die Textausgabe, das Abrufen grundlegenden Wissens oder die korrekte Verwendung von Grammatik funktionieren ohne Beteiligung des J-Raums. Selbst wenn der Zugriff auf den J-Raum eingeschränkt wird, kann das Modell normal sprechen – es verliert nur seine höheren kognitiven Fähigkeiten.

▲ Die fünf Merkmale des J-Raums

02.

Ohne den J-Raum

verliert Claude seine Fähigkeit zu mehrstufigen Schlussfolgerungen

Mithilfe konkreter Probleme haben die Forscher untersucht, wozu der J-Raum genau fähig ist.

Sie gaben die Frage ein: „Wie viele Beine hat das Tier, das Netze spinnt?“ Um diese Frage zu beantworten, muss Claude zuerst erkennen, dass dieses Tier eine Spinne ist, und sich dann merken, wie viele Beine eine Spinne hat.

Claudes endgültige Antwort lautete nur 8, ohne das Wort „Spinne“ zu erwähnen. Die Forscher fanden heraus, dass das Wort „Spinne“ während der Informationsverarbeitung bei Claude hervorgehoben wurde. Als sie „Spinne“ durch „Ameise“ ersetzten, änderte sich Claudes Antwort auf 6.

Im zweiten Schritt seines Schlussfolgerungsprozesses liest Claude den Inhalt des J-Raums und zieht seine Schlussfolgerungen vollständig gemäß den Konzepten, die die Forscher dort implantiert haben.

▲ Änderung der Schlussfolgerungsergebnisse von Claude durch Austausch des Inhalts im J-Raum

Darüber hinaus ist der J-Raum flexibel.

Die Forscher fragten Claude nacheinander nach vier Informationen zu Frankreich: Hauptstadt, Amtssprache, Kontinent und Währung. Dann ersetzten sie im J-Raum „Frankreich“ durch „China“ – und Claude gab nacheinander die Antworten: Peking, Chinesisch, Asien, Renminbi.

▲ Eine J-Raum-Repräsentation hat vielfältige Verwendungszwecke

Alle vier Antworten änderten sich gleichzeitig – das beweist, dass sie auf dieselbe gemeinsame Repräsentation zugreifen. Das ist die Kernfunktion des Arbeitsraums: Informationen müssen nur einmal geschrieben werden, damit sie von mehreren verschiedenen Verarbeitungsmodulen abgerufen werden können.

Das zeigt, dass der J-Raum mit fast allen Modulen des gesamten neuronalen Netzes verbunden ist – die Anzahl der Module, die den J-Raum lesen und schreiben können, ist etwa 100 Mal höher als bei normalen Repräsentationen.

Was machen die anderen Teile des neuronalen Netzes außerhalb des J-Raums?

Der J-Raum kann nur etwa ein Dutzend Konzepte gleichzeitig speichern und verbraucht weniger als ein Zehntel der gesamten Rechenressourcen von Claude. Die Forscher versuchten, den J-Raum vollständig zu löschen: An jeder Stelle im Text entfernten sie die aktivsten Inhalte im J-Raum, während alle anderen Inhalte unverändert blieben.

Claude konnte weiterhin fließend sprechen, Stimmungen analysieren, Multiple-Choice-Fragen beantworten und Informationen aus Texten extrahieren – seine Fähigkeiten blieben fast so gut wie zuvor. Aber es konnte keine Aufgaben mehr bewältigen, die höheres Denken erforderten: Die Fähigkeit zu mehrstufigen Schlussfolgerungen ging fast vollständig verloren, und seine Fähigkeit, Inhalte zusammenzufassen oder reimende Gedichte zu schreiben, war weit niedriger als bei kleineren Modellen mit intakter Struktur.

03.

Claude holt sich Antworten direkt aus dem J-Raum

Forscher können manuell eingreifen

Um den Entdeckungsprozess des J-Raums zu verstehen, muss man zuerst ein Konzept kennen: das von Anthropic entwickelte Analysewerkzeug die Jacobian-Linse (kurz J-Linse).

Für jedes Wort im Vokabular von Claude kann die J-Linse das entsprechende interne Aktivierungsmuster lokalisieren. Sobald dieses Muster aufleuchtet, denkt das Modell gerade an ein bestimmtes Konzept – und es wird mit höherer Wahrscheinlichkeit dieses Wort später als Text ausgeben.

Wenn die Forscher die J-Linse auf die internen Berechnungssignale von Claude anwenden, können sie direkt eine Gruppe von Wörtern ablesen – das sind die Denkinhalte, die zu diesem Zeitpunkt im J-Raum vorhanden sind. Die Forscher analysierten die mehrschichtigen Netzwerke von Claude bei der Textverarbeitung.

Sie fanden heraus, dass die im J-Raum erscheinenden Inhalte weit umfangreicher sind als die Wörter, die Claude gerade liest oder ausgibt.

Wenn Claude ein Stück Code liest, das einen versteckten Fehler enthält und auf das niemand ihn hinweist, taucht im J-Raum das Konzept „Fehler“ auf. Wenn es eine Sequenz von Zeichen aus der ursprünglichen Proteinsequenz liest, erscheint im J-Raum die biologische Funktion dieses Proteins. Die Zwischenschritte zur Lösung einer mehrstufigen mathematischen Aufgabe erscheinen nacheinander in der richtigen Reihenfolge im J-Raum.

▲ Die J-Linse analysiert sechs verschiedene Eingaben

In der ersten Versuchsreihe untersuchten die Forscher die Rolle des J-Raums bei der mündlichen Äußerung von Claude.

Sie ließen Claude im Stillen an eine Sportart denken und dann deren Namen nennen. Wenn die Forscher vor Claudes Antwort den internen Zustand mit der J-Linse ablesen, können sie das ausgewählte Ziel sehen: An erster Stelle der Liste stand „Fußball“ – und Claudes endgültige Antwort lautete tatsächlich „Fußball“.

Zur weiteren Überprüfung löschten die Forscher die mit „Fußball“ verbundenen Muster im neuronalen Netz von Claude und fügten stattdessen die mit „American Football“ verbundenen Muster ein, während alle anderen Teile unverändert blieben. Daraufhin antwortete Claude, dass die Sportart, an die es gedacht hatte, American Football sei.