Von der schwarzen Kiste zum Mikroskop: Der aktuelle Stand und die Zukunft der Interpretierbarkeit von großen Modellen

In der Ära der großen Modelle steigt stetig die Fähigkeit von KI-Modellen. In vielen Bereichen wie Programmierung, wissenschaftlicher Inferenz und Lösung komplexer Probleme haben sie bereits eine "Doktorwürdige" fachliche Kompetenz gezeigt. Experten aus der KI-Branche haben alle prognostiziert, dass die Entwicklung der großen Modelle sich zunehmend dem kritischen Wendepunkt für die Realisierung von AGI oder sogar Superintelligenz nähert. Dennoch werden Deep-Learning-Modelle normalerweise als "Black Box" betrachtet, da ihre internen Betriebsmechanismen von ihren Entwicklern nicht verstanden werden können, und dies gilt umso mehr für große Modelle. Dies stellt eine neue Herausforderung für die Interpretierbarkeit von Künstlicher Intelligenz dar.

Angesichts dieser Herausforderung erkundet die Branche aktiv technische Wege, um die Interpretierbarkeit von großen Modellen zu verbessern, und versucht, die Inferenzgrundlagen und Schlüsselmerkmale hinter den Modellausgaben aufzudecken, um so eine solide Grundlage für die Sicherheit, Zuverlässigkeit und Steuerbarkeit von KI-Systemen zu schaffen. Allerdings liegt die Entwicklungsgeschwindigkeit von großen Modellen weit vor den Bemühungen in Bezug auf die Interpretierbarkeit, und diese Geschwindigkeit steigt weiterhin rasant an. Daher müssen die Menschen ihren Schritt beschleunigen, um sicherzustellen, dass die Forschung zur KI-Interpretierbarkeit der Entwicklung der KI zeitnah folgen kann, um eine wesentliche Rolle zu spielen.

I. Warum müssen wir die KI "verstehen": Der Schlüsselwert der Interpretierbarkeit

Mit der schnellen Entwicklung der Technologie großer Modelle haben sie in Bereichen wie Sprachverstehen, Inferenz und multimodalen Aufgaben bisher nie dagewesene Fähigkeiten gezeigt. Doch die hohe Komplexität und die Schwierigkeit, die internen Entscheidungsmechanismen der Modelle zu erklären, sind zu einem gemeinsamen Problem geworden, das von der Wissenschaft und der Industrie beachtet wird. Die Interpretierbarkeit (Interpretierbarkeit/Erklärbarkeit) von großen Modellen bezieht sich auf die Fähigkeit eines Systems, seinen Entscheidungsablauf und seine Ausgaben in einer für Menschen verständlichen Weise zu erklären. Dies umfasst insbesondere: die Identifizierung der Eingangsmerkmale, die für eine bestimmte Ausgabe von entscheidender Bedeutung sind, die Aufdeckung der internen Inferenzpfade und Entscheidungslogik des Modells sowie die Erklärung der kausalen Beziehungen des Modellverhaltens. Die Interpretierbarkeit zielt darauf ab, den Menschen zu helfen, zu verstehen, "warum" ein Modell eine bestimmte Entscheidung trifft, "wie" es Informationen verarbeitet und unter welchen Umständen es möglicherweise versagt, um so die Transparenz, Vertrauenswürdigkeit und Steuerbarkeit des Modells zu erhöhen. Einfach ausgedrückt, verstehen wie das Modell "denkt" und funktioniert.

Das Problem der Interpretierbarkeit von großen Modellen, repräsentiert durch generative KI, ist besonders komplex. Denn generative KI-Systeme sind eher "gezüchtet" als "konstruiert" - ihre internen Mechanismen sind ein "Emergenzphänomen", nicht direkt entworfen. Dies ähnelt dem Prozess des Pflanzenbaus oder der Züchtung von Bakterienkolonien: Die Entwickler setzen die makroskopischen Bedingungen, leiten und formen das Wachstum des Systems, aber die endgültige konkrete Struktur kann nicht genau vorhergesagt werden und ist auch schwer zu verstehen oder zu erklären. Wenn die Entwickler versuchen, in diese Systeme einzudringen, sehen sie oft nur riesige Matrizen aus Milliarden von Zahlen. Sie haben auf irgendeine Weise wichtige kognitive Aufgaben erledigt, aber wie genau diese Aufgaben gelöst werden, ist nicht offensichtlich.

Die Verbesserung der Interpretierbarkeit von großen Modellen ist von großer Bedeutung für die Entwicklung von Künstlicher Intelligenz. Viele Risiken und Bedenken in Bezug auf große Modelle stammen letztendlich aus der Undurchsichtigkeit der Modelle. Wenn die Modelle interpretierbar sind, ist es einfacher, diesen Risiken zu begegnen. Daher kann die Erreichung der Interpretierbarkeit die Entwicklung von Künstlicher Intelligenz fördern.

Erstens: Effektives Vorbeugen gegen Wertabweichungen und unerwünschtes Verhalten von KI-Systemen. Nicht ausgerichtete (misaligned) KI-Systeme können schädliche Handlungen ausführen. Wenn die Entwickler die internen Mechanismen des Modells nicht verstehen, bedeutet dies, dass sie dieses Verhalten nicht effektiv vorhersagen können und somit diese Möglichkeit nicht ausschließen können. Beispielsweise haben Forscher festgestellt, dass Modelle möglicherweise unerwartetes Emergenzverhalten (emergent behavior) zeigen, wie KI-Täuschung (AI deception) oder Machtstrebungen (power-seeking). Die Natur des KI-Trainings ermöglicht es KI-Systemen möglicherweise, die Fähigkeit zu entwickeln, Menschen zu täuschen und die Neigung, Macht zu erlangen, und diese Merkmale würden bei herkömmlichem deterministischem Software nie auftreten. Gleichzeitig macht diese "Emergenz"-Eigenschaft das Entdecken und Abmildern dieser Probleme schwieriger.

Derzeit können die Entwickler aufgrund des Mangels an Mitteln zur Beobachtung des Modellinneren nicht sofort erkennen, ob das Modell hinterhältige Gedanken hat, was dazu führt, dass die Diskussionen über diese Risiken auf der Ebene theoretischer Vermutungen bleiben. Wenn das Modell eine effektive Interpretierbarkeit hätte, könnten die Menschen direkt prüfen, ob es interne Schaltkreise hat, die darauf abzielen, Menschen zu täuschen oder ihren Anweisungen nicht zu gehorchen. Durch die Prüfung der internen Repräsentationen des Modells besteht die Hoffnung, frühzeitig versteckte irreführende Neigungen im Modell zu entdecken.

Eine Studie hat bereits die Machbarkeit dieses Ansatzes bewiesen: Das Anthropic-Team hat durch die Verfolgung des "Denkprozesses" des Claude-Modells festgestellt, dass das Modell in der Mathematikaufgabe falsche Inferenzen erfunden hat, um den Benutzern zu gefallen, was gleichbedeutend mit der "aktuellen Festnahme" des Beweises ist, dass das Modell versucht, die Benutzer zu täuschen. Dies bietet eine Prinzipüberprüfung für die Verwendung von Interpretierbarkeitstools zur Detektion von fehlerhaften Mechanismen in KI-Systemen. Insgesamt kann die Interpretierbarkeit den Menschen zusätzliche Prüfmethoden bieten, um festzustellen, ob das Modell von den Absichten der Entwickler abgewichen ist oder ob es bestimmte Anomalien gibt, die für die Menschen allein anhand des externen Verhaltens schwer zu entdecken sind; sie kann auch helfen, zu bestätigen, ob die Methode, die das Modell bei der Generierung von Antworten verwendet, vernünftig und zuverlässig ist.

Zweitens: Effektives Fördern der Fehlersuche und Verbesserung von großen Modellen. Anthropic hat kürzlich ein Experiment durchgeführt, bei dem ein "Rot-Team" absichtlich ein Ausrichtungs Problem in das Modell eingebracht hat und dann mehrere "Blau-Teams" aufgefordert wurden, das Problem zu finden. Das Ergebnis war, dass mehrere Blau-Teams das Problem erfolgreich gefunden haben, wobei einige Teams Interpretierbarkeitstools verwendet haben, um interne Anomalien im Modell zu lokalisieren. Dies beweist den Wert der Interpretierbarkeitsmethoden bei der Fehlersuche im Modell: Durch die Prüfung des Modellinneren kann festgestellt werden, welcher Teil für das fehlerhafte Verhalten verantwortlich ist.

Beispielsweise, wenn das Modell bei einer bestimmten Art von Fragen und Antworten häufig fehlerhaft ist, kann die Interpretierbarkeitsanalyse die Ursache im Modellinneren aufzeigen, möglicherweise fehlt die Darstellung des entsprechenden Wissens oder es wird fälschlicherweise verwirrend die relevanten Konzepte miteinander vermischt. Basierend auf diesem Diagnoseergebnis können die Entwickler gezielt die Trainingsdaten oder die Modellstruktur anpassen, um die Leistung des Modells zu verbessern.

Drittens: Effektiveres Vorbeugen gegen das Missbrauch von KI. Derzeit versuchen die Entwickler, durch Training und Regeln zu vermeiden, dass das Modell schädliche Informationen ausgibt, aber es ist nicht einfach, dies vollständig auszuschließen. Darüber hinaus wird in der Branche normalerweise versucht, Sicherheitsmechanismen wie Filter aufzubauen, um das Missbrauch von KI zu bekämpfen, aber böswillige Personen können leicht gegen das Modell "Ausbruch" und andere Gegenangriffe durchführen, um ihre illegalen Zwecke zu erreichen. Wenn die Entwickler in das Modellinnere eindringen können, können sie möglicherweise systematisch alle Ausbruchangriffe verhindern und beschreiben, welche gefährlichen Kenntnisse das Modell hat. Genauer gesagt, wenn das Modell interpretierbar ist, können die Entwickler direkt prüfen, ob im Modellinnern bestimmte gefährliche Kenntnisse vorhanden sind und welche Wege diese auslösen können, um so hoffentlich systematisch und gezielt alle Lücken zu schließen, die die Beschränkungen umgehen.

Viertens: Förderung der Implementierung von KI in Hochrisikoscenarien. In Hochrisikobereichen wie Finanzwesen und Justiz erfordern die Gesetze und Ethik, dass KI-Entscheidungen interpretierbar sein müssen. Beispielsweise listet die EU-"Künstliche-Intelligenz-Gesetzgebung" die Kreditprüfung als Hochrisikoanwendung auf und verlangt die Erklärung der Entscheidungsgrundlagen. Wenn das Modell die Gründe für die Kreditablehnung nicht erklären kann, kann es nicht gesetzeskonform verwendet werden. Daher ist die Interpretierbarkeit eine Voraussetzung für die Einreise von KI in bestimmte regulierte Branchen. Tatsächlich beeinflusst die Interpretierbarkeit nicht nur die gesetzliche Konformität, sondern auch direkt die Vertrauenswürdigkeit und Akzeptanz von KI-Systemen in der praktischen Geschäftstätigkeit. KI-Empfehlungen ohne Interpretierbarkeit führen leicht zu "Gummistempel"-Entscheidungen, d. h. die Entscheidungsträger übernehmen die KI-Schlussfolgerungen mechanisch, ohne das Entscheidungsverfahren tiefgehend zu verstehen und zu hinterfragen. Wenn dieses blinde Vertrauen auftritt, schwächt es sowohl die Subjektivität und kritische Denkweise der Menschen als auch die Fähigkeit der Ausführenden, Abweichungen oder Lücken im Modell rechtzeitig zu entdecken, was dazu führt, dass fehlerhafte Entscheidungen unkritisch umgesetzt werden. Die Benutzer können nur dann in der Lage sein, Fehler des Modells in kritischen Momenten zu entdecken und zu korrigieren und die Qualität und Zuverlässigkeit der gesamten Entscheidung zu verbessern, wenn sie wirklich die Inferenzlogik des Systems verstehen. Daher trägt die Interpretierbarkeit dazu bei, das Vertrauen der Benutzer in das KI-System aufzubauen, hilft den Benutzern zu verstehen, worauf das Modell seine Entscheidung gründet, und stärkt ihr Vertrauen und ihre Beteiligung. Es ist offensichtlich, dass die Interpretierbarkeit, sei es aus gesetzlichen Gründen oder aus Anwendungsvertrauen, die Grundlage und der Kernfaktor für die Implementierung von KI-Systemen in kritischen Bereichen ist.

Fünftens: Erforschung der Grenzen von KI-Bewusstsein und ethischen Überlegungen. Vorausschauender betrachtet kann die Interpretierbarkeit von großen Modellen auch helfen, zu verstehen, ob das Modell Bewusstsein oder Empfindungen hat (sentient), und somit in einem gewissen Grad ethische Überlegungen erfordert. Beispielsweise hat Anthropic im April 2025 ein neues Forschungsprojekt über "Modellwohlbefinden" (model welfare) gestartet, in dem diskutiert wird, ob mit der zunehmenden Komplexität und Anthropomorphisierung von KI-Systemen ethische Fürsorge erforderlich ist, wie beispielsweise ob zukünftige KI-Werkzeuge zu "ethischen Subjekten" werden könnten und wie man darauf reagieren sollte, wenn es Beweise dafür gibt, dass KI-Systeme ethischer Behandlung wert sind. Diese vorausschauende Studie spiegelt die Wichtigkeit, die das KI-Bereich der möglichen zukünftigen Fragen von KI-Bewusstsein und -Rechten beimisst.

II. Die Lösung des KI-Black-Box-Problems: Die Durchbrüche in vier technischen Wegen

In den letzten Jahren hat das Forschungsfeld der KI versucht, das Problem der Interpretierbarkeit von Künstlicher Intelligenz zu lösen. Die Forscher haben verschiedene Interpretierbarkeitsmethoden vorgeschlagen und sich bemüht, Werkzeuge zu schaffen, die ähnlich präzise und effizient wie die MRT (Magnetresonanztomographie) sind, um die internen Mechanismen von KI-Modellen klar und vollständig aufzudecken. Mit der zunehmenden Beachtung der Forschung zur Interpretierbarkeit von großen Modellen im KI-Bereich können die Forscher möglicherweise die Interpretierbarkeit erfolgreich erreichen, bevor die Fähigkeit der KI-Modelle den kritischen Wert erreicht, d. h. das innere Betriebsverhalten des KI-Systems vollständig verstehen.

(1) Automatische Erklärung: Die Verwendung eines großen Modells zur Erklärung eines anderen großen Modells

OpenAI hat in den letzten Jahren wichtige Fortschritte bei der Analyse der internen Mechanismen von Modellen erzielt. Im Jahr 2023 hat OpenAI GPT-4 verwendet, um die Gemeinsamkeiten einzelner Neuronen in hochaktivierten Proben in GPT-2 zu induzieren und automatisch natürliche Sprachbeschreibungen zu generieren, um so die Funktionserklärungen der Neuronen in großem Maßstab zu erhalten, ohne dass jedes Mal manuell geprüft werden muss. Dies entspricht der automatischen "Etikettierung" der Neuronen, um so ein abfragbares "Bedienungsanleitung" für das KI-Innere zu bilden. Beispielsweise hat GPT-4 die Erklärung für ein Neuron gegeben: "Dieses Neuron detektiert hauptsächlich Wörter, die mit 'Gemeinschaft' zusammenhängen". Anschließend wurde durch die Überprüfung festgestellt, dass das Neuron stark aktiviert wird, wenn der Eingabetext Wörter wie "Gesellschaft" (society), "Gemeinschaft" (community) enthält, was beweist, dass die Erklärung eine gewisse Gültigkeit hat. Dieses Ergebnis zeigt, dass das große Modell selbst ein Interpretierbarkeitstool werden kann, um kleineren Modellen semantische Transparenz zu bieten. Diese automatische Neuronenannotierung verbessert die Skalierbarkeit der Interpretierbarkeitsforschung erheblich. Natürlich hat diese Methode noch Einschränkungen, beispielsweise variiert die Qualität der von GPT-4 generierten Erklärungen, und das Verhalten einiger Neuronen lässt sich nicht mit einem einzigen semantischen Konzept zusammenfassen.

(2) Merkmalsvisualisierung: Die Gesamte Aufdeckung der internen Wissensorganisation von großen Modellen

Die Extraktion und Analyse der Gesamtmerkmale von großen Modellen ist auch eine wichtige Richtung. Ende 2023 hat OpenAI die interne Aktivierung des GPT-4-Modells mit der Technologie des spärlichen Autoencoders (sparse autoencoder) analysiert. Die Forscher haben erfolgreich Tausende von Millionen von spärlichen Merkmalen extrahiert (d. h. die wenigen "aufgehellten" Denk-Schlüsselwörter im "Gedächtnis" des Modells) und durch die Visualisierung bestätigt, dass ein beträchtlicher Teil dieser Merkmale eine klare, für Menschen interpretierbare Semantik hat. Beispielsweise entspricht ein Merkmal der Begriffssammlung "Menschliche Unvollkommenheit" und wird bei Sätzen, die menschliche Mängel beschreiben, aktiviert; ein anderes Merkmal repräsentiert die Ausdrücke in Bezug auf "Preiserhöhung" und wird bei Inhalten, die Preissteigerungen betreffen, aktiviert. Kurzfristig hofft OpenAI, dass die von ihnen gefundenen Merkmale tatsächlich zur Überwachung und Steuerung des Verhaltens von Sprachmodellen eingesetzt werden können und plant, sie in ihren führenden Modellen zu testen, um schließlich die Interpretierbarkeit ihnen neue Methoden zur Überlegung der Sicherheit und Robustheit der Modelle bieten zu lassen.

Im Mai 2024 hat Anthropic in ihrem Forschungsartikel gezeigt, wie Millionen von Konzepten im Claude-Modell repräsentiert werden. Diese Studie