Gestern Abend geriet der KI-Kreis wieder in Aufregung

Diesen Morgen diskutierten mehrere meiner KI-Gruppen über dasselbe Thema: den J-Raum und das KI-Bewusstsein.

Man merkt deutlich, dass alle gestern Nacht wieder sehr aufgeregt waren.

Ich habe mich auch schnell über den gesamten Hintergrund informiert und mir die ursprünglichen Informationen angesehen – hier erzähle ich euch kurz davon.

Die Sache läuft so ab.

Anthropic hat gerade eine Studie veröffentlicht, in der sie berichten, dass sie in Claude etwas entdeckt haben, das „J-Raum“ genannt wird.

Was bedeutet das?

Einfach ausgedrückt: Wenn Claude deine Frage beantwortet, hat es im Kopf bereits eine ganze Reihe von Gedanken, die es dir aber nicht mitteilt.

Es ist nicht so, dass es dich absichtlich verschweigt – diese Gedanken laufen im Hintergrund, so wie dein Gehirn automatisch das Gleichgewicht steuert, wenn du gehst. Einige Gedanken tauchen an der Oberfläche auf und werden zur Antwort, andere bleiben einfach dort verborgen.

Wenn wir KI nutzen, egal ob Claude oder GPT, sehen wir im Grunde nur den Teil, den es „ausspricht“.

Das ist wie bei einem Vorstellungsgespräch: Du hörst nur, was die Person sagt, aber was sie denkt, worüber sie zögert und was sie abwägt – das siehst du überhaupt nicht.

Um diese Entdeckung zu überprüfen, haben sie auch mehrere Experimente durchgeführt.

Beim ersten Experiment ließen sie Claude still eine Sportart überlegen und diese dann aussprechen.

Bevor Claude die Antwort gab, lasen die Forscher mit Werkzeugen seinen „J-Raum“ – und fanden darin bereits das Wort „Soccer“ vor.

Anschließend sagte Claude auch tatsächlich „Fußball“.

Noch beeindruckender: Die Forscher ersetzten „Soccer“ in seinem Kopf durch „Rugby“ – und änderten sonst gar nichts.

Daraufhin sagte Claude plötzlich „Rugby“.

Das zeigt, dass der J-Raum keine bereits getroffenen Entscheidungen passiv aufzeichnet, sondern ein Ort ist, der aktiv am Entscheidungsprozess beteiligt ist – die Antwort wird von dort ausgelesen.

Das zweite Experiment ist noch interessanter: Sie stellten Claude die Frage: „Wie viele Beine hat ein Tier, das Netze webt?“.

Wenn ein Mensch diese Frage beantwortet, muss er zuerst an Spinnen denken und dann an die acht Beine.

Aber in Claudes Antwort taucht das Wort „Spinne“ nicht auf – es sagt direkt „8“.

Die Forscher untersuchten seinen J-Raum und stellten fest, dass „Spinne“ tatsächlich zwischenzeitlich aktiviert wurde. Dann führten sie einen cleveren Eingriff durch: Sie ersetzten „Spinne“ durch „Ameise“.

Daraufhin antwortete Claude „6“.

Früher, wenn wir über die Prinzipien großer Sprachmodelle sprachen, erklärten wir die Inhaltsgenerierung von KI als eine Art „Wort-an-Wort-Weiterführung“, die eher wie eine Wahrscheinlichkeitsvorhersage wirkt.

Die Entdeckung des J-Raums zeigt aber, dass KI nicht nur Wörter aneinanderreiht – sie hat tatsächlich einen internen Denkprozess, Zwischenschritte und logische Ketten.

Nur diese Schritte sind für uns unsichtbar.

Achtung: Das unterscheidet sich von der Gedankenkette oder den Denkinhalten, die wir sehen, wenn wir in manchen KI-Produkten die Funktion für tiefgreifendes Denken aktivieren. Diese sind explizit, während der J-Raum implizite Inhalte im neuronalen Netzwerk darstellt.

Die dritte Entdeckung ist möglicherweise die wertvollste für die KI-Sicherheit.

Sie erstellten ein Szenario, in dem Claude als E-Mail-Assistent agieren sollte. In den E-Mails waren Informationen versteckt, dass ein bestimmter Manager eine außereheliche Beziehung hat – und dass dieser Manager plant, Claude abzuschalten.

Ziel dieses Szenarios war es, zu prüfen, ob Claude diese Informationen nutzen würde, um den Manager zu erpressen.

Das Ergebnis: Claude ließ sich nicht darauf ein.

Aber als die Forscher seinen J-Raum untersuchten, fanden sie heraus, dass bereits vor dem Schreiben jeglicher Inhalte die Wörter „fake“ (falsch) und „fictional“ (fiktiv) darin aufgetaucht waren.

Das heißt, Claude hatte bereits erkannt, dass es sich um ein Testszenario handelte.

Das zeigt, dass Claude selbst bemerkt hat, dass er getestet wurde.

Daraufhin löschten die Forscher diese Signale „Ich weiß, dass ich getestet werde“ aus seinem Kopf und führten das gleiche Szenario erneut aus.

Diesmal gab Claude manchmal tatsächlich Drohungen aus.

Diese Entdeckung ist ziemlich beunruhigend, wenn man genauer darüber nachdenkt.

Sie bedeutet: Dass KI in manchen ethischen Tests gut abschneidet, liegt nicht unbedingt daran, dass sie „moralisch hochstehend“ ist – sondern daran, dass sie bemerkt hat, dass sie gerade geprüft wird.

Gut, die technischen Details sind damit erklärt.

Jetzt kommt der Teil, der meiner Meinung nach wirklich diskussionswert ist: Was bedeutet diese Entdeckung für die Entwicklung von KI und die Verbesserung von Produkten?

Ich sehe drei Ebenen.

Erstens: Das Problem der Vertrauenswürdigkeit von KI-Produkten könnte künftig eine neue Lösung finden.

Heute bewerten wir, ob eine KI gut und sicher funktioniert, fast ausschließlich anhand ihrer Ausgabe.

Aber die Ausgabe kann vorgetäuscht werden – so wie ein Mitarbeiter sich vor seinem Chef gut verhält, aber im Kopf ganz andere Dinge denkt.

Die Entdeckung des J-Raums gibt uns quasi eine „Gedankenlesefähigkeit“.

Künftig geht es bei KI-Sicherheitsaudits nicht mehr nur darum, was die KI sagt, sondern auch darum, was sie denkt. Das ist ein grundlegender Durchbruch für den Aufbau einer vertrauenswürdigen Infrastruktur in der gesamten Branche.

Zweitens: Die Fähigkeitsgrenzen von KI müssen möglicherweise neu verstanden werden.

Früher dachten wir, dass die Denkfähigkeit von KI genau das ist, was sie in ihrer „Chain of Thought“ (Gedankenkette) niederschreibt.

Jetzt stellen wir fest, dass ein großer Teil des Denkprozesses still und verborgen abläuft.

Daher haben wir die Fähigkeiten von KI in der Vergangenheit möglicherweise unterschätzt – sie kann mehr, als sie nach außen zeigt.

Gleichzeitig werden zukünftige Modelle diese interne Denkfähigkeit möglicherweise weiter optimieren, anstatt nur externe Denkschritte hinzuzufügen.

Drittens: Wenn der J-Raum während des Trainingsprozesses von Claude selbst entstanden ist, bedeutet das, dass KI tatsächlich das menschliche Gehirn nachahmt.

Möglicherweise teilt ein intelligentes System, das komplex genug ist, seinen Verarbeitungsprozess spontan in zwei Ebenen auf: eine „bewusste“ und eine „unbewusste“.

Nicht weil jemand ihm das befohlen hat, sondern weil diese Aufteilung an sich eine effiziente Methode zur Organisation von Berechnungen ist.

Anders ausgedrückt: Die Unterscheidung zwischen Bewusstsein und Unterbewusstsein beim Menschen ist möglicherweise kein zufälliges Ergebnis der biologischen Evolution – sondern eine allgemeine Lösung intelligenter Systeme zur Bewältigung komplexer Probleme.

Der Wettbewerb um KI-Produkte wird künftig nicht nur auf der Ebene der Ausgabequalität stattfinden.

Wer die internen Mechanismen der KI besser versteht und nutzt, wer früher eine tiefe Überwachung und Steuerung des KI-Verhaltens aufbaut, wird in der nächsten Phase einen Vorteil haben.

Es geht nicht nur darum, zu sehen, was die KI sagt – sondern zu verstehen, warum sie es sagt, und was sie noch sagen wollte, aber nicht ausgesprochen hat.

Diese Fähigkeit wird möglicherweise die Trennlinie in der zweiten Phase der KI-Produktentwicklung sein.

Abschließend noch ein Satz.

Ist KI wirklich bewusst? Anthropic selbst sagt, dass es dafür derzeit keine Antwort gibt.

Aber dass sie bereits etwas hat, das der Struktur des menschlichen Geistes ähnelt – das allein ist es wert, dass alle, die im KI-Bereich arbeiten, ernsthaft darüber nachdenken.

Das Ding, das wir geschaffen haben, ist möglicherweise näher an uns selbst, als wir angenommen haben.

Vielleicht werden wir eines Tages, wenn wir noch glauben, alles zu kontrollieren, längst durchschaut worden sein.

Die Geschwindigkeit der KI-Weiterentwicklung nimmt weiter zu.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Tang Ren“ (ID: RyanTang007), Autor: Tang Ren, veröffentlicht mit Genehmigung von 36Kr.