KI-Erklärbarkeit und Ausrichtung: J-Space, Gedankenkette, KI-Persönlichkeit, Halluzinationen und die Golden Gate Bridge
Heute ist KI immer noch eine Black Box. Wir wissen, wie man Modelle trainiert, wie man sie immer intelligenter macht und welche Antworten sie letztendlich liefern. Aber was genau zwischen Eingabe und Ausgabe passiert, wissen wir noch immer sehr wenig.
Die Versuche, diese Black Box zu öffnen und zu verstehen, was im Inneren des Modells vor sich geht, sind genau das, was die Interpretabilitätsforschung (KI-Interpretabilität) lösen möchte. In den letzten Jahren hat es in diesem Bereich tatsächlich viele spannende Fortschritte gegeben.
Die Forschung von Anthropic beginnt damit, den Informationsfluss im Inneren des Claude-Modells zu verfolgen und zu verstehen, welche internen Berechnungen das Modell durchläuft, bevor es eine Frage beantwortet. Andere Studien haben herausgefunden, dass es im Inneren des Modells offenbar Darstellungen gibt, die mit bestimmten Konzepten, Verhaltensweisen und sogar einer „Persönlichkeit“ zusammenhängen. Transluce hat wiederum festgestellt, dass Modelle ihr Verhalten ändern, je nachdem, mit wem sie ihrer Meinung nach sprechen. Gegenüber normalen Nutzern und KI-Sicherheitsforschern kann das Verhalten des Modells völlig unterschiedlich sein.
Deshalb möchten wir herausfinden: Wie gut verstehen Menschen die vorhandenen KI-Modelle wirklich? Warum antwortet das Modell richtig? Warum erzeugt es Halluzinationen? Trifft es unterschiedliche Urteile, wenn es mit verschiedenen Nutzern konfrontiert wird? Was genau sind diese sogenannten „Persönlichkeiten“, wenn Modelle zunehmend ausgeprägte und voneinander abweichende Charaktere entwickeln?
Mit diesen Fragen haben wir Aryaman Arora, Doktorand der Informatik an der Stanford University, über die Interpretabilitätsforschung von großen Sprachmodellen gesprochen. Er studiert derzeit bei Chris Potts und Dan Jurafsky. In diesem Gespräch haben wir über die unausgesprochenen „Gedanken“ im Inneren des Modells, den Unterschied zwischen Gedankenketten und echter Schlussfolgerung gesprochen, außerdem über die zwei Hauptrichtungen der Interpretabilitätsforschung, Halluzinationen, Nutzermodellierung, Modellpersönlichkeiten und den möglichen Wert dieser Technologie in Industrie, Regulierung und wissenschaftlicher Entdeckung. Im Folgenden finden Sie unser Gespräch mit Aryaman.
01
KI-Interpretabilität?
Yiwen: Stell dich den Zuschauern zuerst kurz vor.
Aryaman: Ich heiße Aryaman, bin derzeit Doktorand der Informatik an der Stanford University und meine Betreuer sind Chris Potts und Dan Jurafsky. Ich habe mich schon immer sehr für Sprachen interessiert. Später hat sich die KI plötzlich so stark verändert, und ich denke gerne aus wissenschaftlicher Perspektive, also wollte ich eine Frage erforschen: Warum funktionieren diese Technologien? Für mich ist die Interpretabilitätsforschung ganz natürlich zu einer Richtung geworden.
Yiwen: Einfach ausgedrückt möchte die Interpretabilitätsforschung herausfinden, was genau im Inneren eines Modells passiert. Aber diese Frage ist sehr breit gefasst und es gibt viele verschiedene Forschungsrichtungen. Wie definierst du selbst „Interpretabilitätsforschung“?
Aryaman: Interpretabilität kann tatsächlich aus vielen verschiedenen Blickwinkeln betrachtet werden. Die Frage, die mich am meisten anzieht, lautet: Wenn wir etwa fünf Jahre zurückgehen, war vieles, was wir im KI-Bereich gemacht haben, nicht besonders erfolgreich, insbesondere Sprachmodelle. Menschen haben schon früh Sprachmodelle verwendet, aber damals wurden sie hauptsächlich für Aufgaben wie Textbearbeitung oder Sprachtranskription genutzt. Dann ist etwas passiert: Sprachmodelle sind plötzlich zu etwas geworden, an dem alle forschen, und die Menschen beginnen, Milliarden von Dollar in sie zu investieren.
Also für mich ist die Interpretabilitätsforschung im Grunde der Versuch, eine Frage zu beantworten: Was genau hat sich verändert? Warum waren diese Dinge früher nicht so gut, und warum sind sie plötzlich so leistungsstark geworden?
02
Anthropic: Die internen Denkprozesse der KI
Yiwen: Ein Grund, warum ich dieses Interview geführt habe, ist, dass Anthropic ein Papier über den J-Raum (J-space) veröffentlicht hat. Ich verstehe es so, als wäre es eine Art Arbeitsbereich im Inneren des KI-Modells. Es gibt ein sehr interessantes Beispiel in dem Papier: Die Forscher fragen das Modell: „Wie viele Beine hat ein Tier, das Netze webt?“ Das Modell antwortet „acht“, aber während des gesamten Vorgangs taucht das Wort „Spinne“ nie auf. Wenn die Forscher jedoch in das Innere des Modells eingreifen und das Konzept „Spinne“ durch „Ameise“ ersetzen, lautet die endgültige Antwort „sechs“. Warum können wir ein unausgesprochenes Konzept im Inneren des Modells ändern und damit seine endgültige Antwort beeinflussen?
Aryaman: Ich halte das für ein sehr interessantes Papier. Es liefert einen weiteren Beweis für die Annahme, dass es im Inneren des Modells tatsächlich einige unausgesprochene Schlussfolgerungsschritte gibt.
Ich habe nicht alle hundert Seiten des J-space-Papiers durchgelesen, aber ich verstehe ungefähr seine Idee. Es gibt ein mathematisches Werkzeug namens Jacobimatrix, das im Wesentlichen mit Ableitungen aus der Analysis zusammenhängt. Wir können es auf das Modell anwenden, um zu bestimmen, welche Richtungen im latenten Aktivierungsraum des Modells dazu führen, dass es später bestimmte Wörter ausgibt. Zum Beispiel, wenn die interne verborgene Darstellung des Modells sich zehn Token bevor es ein bestimmtes Wort tatsächlich ausgibt in eine bestimmte Richtung bewegt, wird es später wahrscheinlich „Spinne“ sagen. Ein großer Vorteil dieses Papiers ist, dass es eine sehr elegante, sehr einfache Methode verwendet, die anscheinend noch niemand zuvor vollständig ausprobiert hat.
Aber wir haben bereits viele Beweise dafür, dass interne Schlussfolgerungsschritte tatsächlich existieren. Zum Beispiel in der früheren Studie von Anthropic „The Biology of Large Language Models“ kann ein Modell bei der Addition dreistelliger Zahlen alle Zwischenschritte nicht aussprechen. Aber wenn man das Innere des Modells beobachtet, kann man einige Neuronen finden, die offenbar jeweils aufzeichnen, „wie viele die Einerstelle sein sollte“ und „wie viele die Zehnerstelle sein sollte“. Es gibt noch ein weiteres Beispiel: Das Modell soll ein reimendes Gedicht zu einem Thema schreiben. Wenn es das Ende einer Strophe erreicht, plant es bereits, welches Wort am Ende der nächsten Strophe verwendet werden soll, damit die nächste Strophe weiterhin reimt.
Zweifellos führt das Modell im Inneren einige Dinge aus, die es nicht ausspricht. Und es muss das tun, wenn es die Aufgabe der Sprachmodellierung gut meistern will.
Ilya Sutskever hat früher bei der Erklärung des autoregressiven Sprachmodells, also wenn die KI ständig das nächste Wort vorhersagt, ein Beispiel mit einem Krimi genannt. Angenommen, deine Aufgabe ist es, in einem ganzen Roman ständig das nächste Wort vorherzusagen. Am Ende der Geschichte wird normalerweise der Mörder aufgedeckt. Du liest den Satz „Der Mörder ist —“. Um das nächste Wort genau vorherzusagen, muss das Modell den gesamten Roman, die ganze Geschichte und alle vorherigen Beweise, die auf verschiedene Möglichkeiten hinweisen, modellieren. Also muss ein ausreichend gutes Sprachmodell intern eine Art logische Schlussfolgerung durchführen. Diese Antwort taucht nicht direkt in den Trainingsdaten auf, sondern wird aus dem spezifischen Kontext abgeleitet.
Yiwen: Das heißt, diese Antwort ist nicht etwas, das direkt in den Trainingsdaten vorkommt?
Aryaman: Ja, in diesem spezifischen Kontext sollte ein wirklich gutes Sprachmodell in der Lage sein, das nächste Wort korrekt vorherzusagen. Und um das zu schaffen, muss es intern über eine Art Weltmodell verfügen, das unter anderem umfasst, wie Menschen miteinander interagieren und welche Beweise zuvor aufgetaucht sind.
Yiwen: Das bedeutet, dass es im Inneren des Modells möglicherweise ein Weltmodell gibt, aber wir wissen noch nicht, was genau es ist?
Aryaman: Genau. Wenn du die Vorhersage des nächsten Tokens sehr gut machen willst, musst du intern ein sehr komplexes Modell aufbauen, das darstellt, was genau in einem Text passiert. Das Ziel der Interpretabilitätsforschung ist es, herauszufinden, was genau dieses interne Modell ist.
Yiwen: Die interne Schlussfolgerung, die du gerade erwähnt hast, steht in direktem Gegensatz zur Gedankenkette. Die Gedankenkette bedeutet, dass das Modell seinen eigenen Schlussfolgerungsprozess ausgibt. Warum ist die Gedankenkette nicht die beste Methode, um zu verstehen, wie das Modell denkt?
Aryaman: Ich würde keine so starke Behauptung aufstellen. Gedankenketten sind sicherlich nützlich. Vor etwa anderthalb oder zwei Jahren waren die Modelle ohne Gedankenketten tatsächlich schlechter als die heutigen Modelle, die mit Gedankenketten trainiert wurden. Also spielen Gedankenketten definitiv eine wichtige Rolle.
Yiwen: Das heißt, als wir begannen, zu Schlussfolgermodellen überzugehen?
Aryaman: Genau, also als wir begannen, Modelle so zu trainieren, dass sie Schlussfolgerungen ziehen, bevor sie tatsächlich eine Antwort geben. Ich glaube fest an ein Prinzip: Mach zuerst das Einfachste. Wenn ich alles zusammenfassen soll, was ich seit Beginn meiner Forschung gelernt habe, ist das Wichtigste wahrscheinlich: Mache zuerst die einfachen Dinge, bevor du mit komplexen Dingen beginnst.
Die Überprüfung der Gedankenkette des Modells ist eine sehr einfache Sache, insbesondere im Vergleich zur vollständigen Lösung der Interpretabilität. Also sollten wir das zuerst tun. In der Praxis führen Anthropic, Meta oder OpenAI bei Sicherheitsaudits tatsächlich Überprüfungen durch, ob es verdächtige Inhalte in der Gedankenkette des Modells gibt oder ob das Modell plant, seltsame Dinge zu tun. Das hilft ihnen offenbar, in gewissem Maße nicht ausgerichtete Stellen zu erkennen, also bin ich der Meinung, dass Gedankenketten analysiert werden sollten.
03
Warum müssen wir KI verstehen?
Yiwen: Bevor wir über mehr konkrete Fälle sprechen, möchte ich über das endgültige Ziel der Interpretabilitätsforschung sprechen. Warum sollten auch normale Menschen sich darum kümmern, was im Inneren eines Sprachmodells passiert? Was können wir tun, nachdem wir es verstanden haben?
Aryaman: Wenn wir das Interpretabilitätsproblem lösen, wird das wahrscheinlich zwei Arten von Werten bringen.
Die erste Art ist Vertrauen. Um einer Technik zu vertrauen, ist es sehr wichtig zu wissen, wie sie funktioniert. Man kann sich vorstellen, dass verschiedene Regulierungsbehörden und Regierungsstellen die Herstellung von Flugzeugen, den Betrieb von Industriemaschinen und Techniken wie das Ölfracking regulieren. Wenn wir diese sehr leistungsstarken und potenziell nützlichen Technologien regulieren wollen, müssen wir verstehen, welche Ausfallmodi sie haben und wissen, wie die Verantwortung verteilt wird, wenn etwas schiefgeht. Aber es ist derzeit sehr schwierig, KI zu regulieren. In gewisser Weise wissen wir nicht, wie wir schlechtes Verhalten verhindern sollen, und wir wissen nicht einmal, warum etwas Schlechtes passiert und wer dafür verantwortlich gemacht werden soll. Modelle verwenden riesige Datensätze und durchlaufen lange Trainingsprozesse, sodass es schwer zu bestimmen ist, was genau ein bestimmtes Ergebnis verursacht hat. Selbst wenn wir nicht vollständig verstehen können, hilft es bereits, zu verstehen, warum bestimmte Verhaltensweisen auftreten. Zum Beispiel, wenn Ärzte KI-Systeme verwenden, werden sowohl Patienten als auch Ärzte wahrscheinlich wissen wollen, warum es dieses Ergebnis liefert.
Die zweite Art von Wert ist das wissenschaftliche Verständnis. Viele KI-Forschung war schon immer sehr experimentell, und das ist nichts Schlechtes. Denn im Vergleich zu Fächern in der realen Welt wie Chemie oder Biologie ist es im KI-Bereich sehr einfach, Experimente durchzuführen. Aber das bedeutet auch, dass viele Dinge immer besser werden, weil einige sehr kluge Menschen mit starker Intuition eine Methode entwickelt haben. Sie wissen nicht, warum diese Methoden funktionieren, aber sie funktionieren einfach.
Zum Beispiel gibt es einen bekannten Forscher namens Noam Shazeer, der an dem ursprünglichen Transformer-Papier mitgewirkt hat und viele Architekturverbesserungen vorgeschlagen hat, die später zu modernen großen Modellen geführt haben. Er hat ein Papier über gateliner Einheiten (gated linear units) verfasst. Nachdem er gezeigt hat, dass alle Experimente bessere Ergebnisse liefern, schreibt er: „Ich weiß nicht, warum diese Dinge funktionieren. Ich führe das auf göttliche Güte (Divine Benevolence) zurück.“ Es ist ziemlich verrückt, so etwas in ein Papier zu schreiben, als hätte ihm Gott eine Eingebung gegeben, dieses Experiment durchzuführen, und das Experiment war dann erfolgreich.
Wir können nicht für immer nur darauf vertrauen, dass einige wenige Menschen mit erstaunlicher Intuition das gesamte Gebiet vorantreiben. Es sollte einen systematischeren Ansatz geben. Zumindest glaube ich, dass es systematische Gründe dafür gibt, warum bestimmte Methoden erfolgreich sind und andere nicht. Fortschritte in der Interpretabilität könnten uns helfen, herauszufinden, warum einige Dinge funktionieren und andere nicht. Damit können wir Modelle systematischer verbessern oder schlechtes Verhalten kontrollieren.