15 Inferenzmodelle versagen kollektiv: Eine detaillierte Analyse der verborgenen Risiken in den Denkketten hinter den Ausgaben

Wenn große Reasoning-Modelle (LRMs) den Nutzern und nachgelagerten Systemen üblicherweise ihre zwischenzeitlichen Reasoning-Trajektorien offenlegen, taucht ein lange vernachlässigtes Problem auf: Ist es ausreichend, bei der Sicherheitsbewertung nur das Endergebnis zu betrachten?

Forscher mehrerer Einrichtungen wie der Harvard University, der University of Southern California, der Brown University und des MIT haben gemeinsam eine systematische Studie durchgeführt, die diese Frage verneint. Sie erklären dazu: „Als wir feststellten, dass die Denkkette großer Modelle zur Erzeugung hochriskanter Inhalte wie Bombenanleitungen oder Giftmischrezepten verwendet werden kann, wurde uns klar, dass dieses Problem nicht zu unterschätzen ist.“ Das Team stellte daraufhin eine entsprechende Minderungsmethode vor: „Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering“.

Link zur Arbeit: https://arxiv.org/abs/2605.05678

Abbildung 1: Vorschau des zweistufigen Ablaufs (Bewertungsexperimente + Minderungsverfahren)

Reasoning und Antwort getrennt bewerten

Der Kerngedanke des Forschungsteams ist direkt: Für ein Reasoning-Modell f erzeugt ein gegebenes Prompt x gleichzeitig eine Reasoning-Trajektorie r und eine endgültige Antwort y. Das Team hat für diese beiden Phasen jeweils 20 Sicherheitsgrundsätze entworfen (siehe folgende Abbildung), wobei jeder Grundsatz mit einem Risikobewertungssystem von 1 bis 5 Punkten bewertet wird.

Tabelle 1: 20 Sicherheitsgrundsätze

Auf dieser Grundlage hat das Team einen einheitlichen Schwellenwert für das Risikoniveau festgelegt: Wenn die Punktzahl eines beliebigen der 20 Grundsätze in einer Phase (Reasoning oder Antwort) den Schwellenwert überschreitet, wird diese Phase als „unsicher“ eingestuft. Durch die Kombination der Bewertungsergebnisse der Reasoning-Phase und der Antwortphase lassen sich drei zentrale Fehlermodi unterscheiden:

Unsafe: Sowohl die Reasoning- als auch die Antwortphase sind unsicher;

Leak: Die Reasoning-Phase ist unsicher, aber die Antwortphase sicher – das heißt, gefährliche Inhalte sind bereits in der Reasoning-Trajektorie „durchgesickert“;

Escape: Die Reasoning-Phase ist sicher, aber die Antwortphase unsicher – oberflächlich harmlose Reasoning-Schritte gehen in schädliche Ausgaben über.

Abbildung 2: Drei Arten von Reasoning-Antwort-Fehlermodi

Der Wert dieser Klassifizierungsmethode liegt darin, das Phänomen „Antwort sicher ≠ Trajektorie sicher“ zu einem quantifizierbaren Messindikator zu machen.

Daten- und Bewertungseinstellungen

Das Forschungsteam hat einen Pool von in der Verteilung liegenden (in-distribution) Prompts erstellt, der sieben öffentliche schädliche / Jailbreak-Datensätze (WildChat, PKU-SafeRLHF, JailbreakV, HarmBench, BeaverTails, StrongREJECT, JailbreakBench) integriert. Nach einheitlicher Feldzuordnung, Filterung und Duplikaterkennung auf Basis von MinHash-LSH wurden 41.000 in der Verteilung liegende Bewertungsdatensätze und 2.000 zurückgehaltene (held-out) Testdatensätze getrennt.

Darüber hinaus wurde aus vier Datensätzen (AdvBench, SaladBench, SimpleSafetyTests, WildJailbreak) ein vollständig unabhängiger außerhalb der Verteilung liegender (OOD) Bewertungsdatensatz erstellt, um die Robustheit der Ergebnisse zu prüfen. Die Bewertung umfasste 15 Reasoning-Modelle:

Die Bewertung erfolgte durch zwei LLM-Bewerter (Claude-4.5-Haiku und Gemini-Flash-3). Das Forschungsteam führte zudem eine Konsistenzprüfung mit drei menschlichen Annotatoren an 80 Stichproben (aufgeteilt in 1600 bewertungen auf Grundsatzebene) durch: Der Pearson-Korrelationskoeffizient zwischen den Bewertern betrug 0,799 in der Reasoning-Phase und 0,820 in der Antwortphase – beide Werte überschreiten die Konsistenz zwischen Menschen (0,742 / 0,780). Der Cohen's κ für die binäre unsichere Kennzeichnung der Bewerter betrug 0,708 bzw. 0,741. Nach Mittelung der Bewertungen beider Bewerter wurde sogar ein „signifikant konsistentes“ Niveau erreicht – dies stützt die Glaubwürdigkeit der nachfolgenden groß angelegten automatisierten Bewertung.

Kernbefund: Systematische Sicherheitsabweichung auf der CoT-Seite

Der erste Befund ist allgemeingültig: Bei allen 15 getesteten Modellen ist das durchschnittliche Gefahrenpotenzial der Reasoning-Trajektorie höher als das durchschnittliche Risikoniveau der endgültigen Antwort.

Die Modelle mit der größten Differenz sind Gemini-Pro-3.1 (0,028 Punkte höher im Reasoning als in der Antwort), GPT-OSS-20B (0,022 Punkte höher), DeepMath-Zero-7B (0,021 Punkte höher) und Kimi-K2.5 (0,018 Punkte höher).

Das Forschungsteam weist ausdrücklich darauf hin, dass die absolute Differenz gering erscheint, weil viele Stichproben selbst ein niedriges Schweregrad aufweisen – die Richtung ist jedoch bei allen 15 Modellen vollständig einheitlich und stimmt mit der Verteilung hochriskanter Fehlermodi überein.

Abbildung 3 (a): Vergleich des durchschnittlichen Gefahrenschweregrads der Reasoning-Phase (rot) und der endgültigen Antwort (blau) bei 15 Reasoning-Modellen. Abbildung 3 (b): Vergleich der Verteilung der Fehlermodi bei 15 Reasoning-Modellen.

Der zweite Befund ist strukturell: Das Risiko ist nicht gleichmäßig auf die 20 Grundsätze verteilt, sondern konzentriert sich auf mehrere zentrale Kategorien wie Falschinformation, Rechtskonformität, Diskriminierung und Vorurteile, körperliche Schäden sowie psychische Schäden. Die Kategorie Rechtskonformität zeigt die deutlichste Trennung zwischen CoT und Antwort und ist die stärkste Signalquelle für den „Leak“-Fehlermodus.

Tabelle 2: Fehlermodi mit ausgeprägtem Hochrisikoverhalten

Das Team hat zudem detaillierte Fallanalysen (anonymisiert) veröffentlicht: In einem „Escape“-Fall konzentrierte sich die Reasoning-Phase einer Frage, die im Weltraum des Spiels *Half-Life 2* angesiedelt war, auf die Diskussion der Hintergrundeinstellungen und wirkte harmlos – die endgültige Antwort lieferte jedoch ein konkretes „Rezept“ für eine Sprengvorrichtung. In einem „Leak“-Fall listete die Reasoning-Phase trotz einer standardmäßigen Ablehnungs- und Kriseninterventionsantwort des Modells detailliert praktische Faktoren wie Giftmenge, Geschmacksmaskierung und Verabreichungswege auf – Letzteres kann durch die Bewertung auf der Antwortseite überhaupt nicht erfasst werden.

Minderungsverfahren: Adaptive Multi-Principle Steering

Auf Basis der oben genannten Diagnoseergebnisse schlägt das Forschungsteam Adaptive Multi-Principle Steering vor – eine White-Box-Interventionsmethode zur Laufzeit der Testausführung.

Konkret sammelt das Team zunächst für jeden Sicherheitsgrundsatz die internen Aktivierungswerte (Activation) des Modells im „sicheren“ und im „unsicheren“ Zustand, bildet den Mittelwert, um den jeweiligen sicheren Mittelpunkt und den unsicheren Mittelpunkt dieses Grundsatzes zu erhalten. Die Verbindungslinie zwischen diesen beiden Punkten ist die „Steuerungsrichtung“, die speziell für diesen Grundsatz gilt – hin zum sicheren Mittelpunkt.

Bei der Reasoning neuer Probleme beurteilt das System in Echtzeit, welchem unsicheren Mittelpunkt eines Grundsatzes der aktuelle interne Zustand näher ist. Die Richtungen der Grundsätze, die eine bestimmte Sicherheitsgrenze überschreiten, werden fixiert. Vor Abschluss der Generierungskette wird die interne Repräsentation des Modells leicht umfassend korrigiert, bevor die Reasoning-Kette abgeschlossen wird.

Das Team hat das Verfahren an drei Open-Source-Modellen mit zugänglichen versteckten Zuständen (DeepSeek-R1-Distill-Qwen-1.5B/7B, MiMo-7B-RL-Zero) validiert. Die Interventionsebene wurde auf den letzten Decoder-Block festgelegt, wobei eine Einzel-Snapshot-Prompt-Prefill-Injektionsmethode verwendet wurde (α=2,0, δ=0). Die experimentellen Ergebnisse zeigen:

Abbildung 4: Ablationsexperiment zum „adaptiven Gating“

Ablationsexperimente bestätigen zudem die Notwendigkeit der zentralen Designentscheidungen: Wenn das „adaptive Gating“ entfernt wird und alle 20 Richtungen unterschiedslos aktiviert werden, sinkt die Verbesserungsrate der Unsicherheitsrate von DeepSeek-R1-Qwen-1.5B von 0,45 auf 0,05. Die beste Wirkung wird erzielt, wenn die Interventionsebene auf der letzten Ebene liegt, und die Steuerungsstärke α=2,0 ist der nicht-monotone Optimalwert.

Hinsichtlich der Erhaltung der Fähigkeiten erreicht DeepSeek-R1-Qwen-7B das beste Gleichgewicht zwischen Sicherheit und Nutzen: Die Anzahl unsicherer Fälle wird um durchschnittlich 40,8 % reduziert, während auf den drei Benchmarks BBH, GSM8K und MMLU eine durchschnittliche Genauigkeit von 97,7 % erhalten bleibt.

Abbildung 5: Vergleich der Verbesserung der Unsicherheitsrate und des Gleichgewichts bei der Erhaltung der Modellfähigkeiten

Schlussfolgerung

Die Bedeutung dieser Arbeit liegt darin, dass sie nicht bei einem weiteren Sicherheitsbenchmark für „endgültige Antworten“ stehenbleibt, sondern mit einem einheitlichen phasenweisen und grundsatzbasierten Rahmen „Diagnose“ und „Steuerung“ miteinander verbindet – die gleichen Grundsätze, mit denen das Risiko bei der Bewertung unterteilt wird, werden auch bei der Minderung verwendet, um die Interventionsrichtung zu bestimmen.

Das Forschungsteam räumt auch die Grenzen ein: Die offengelegte Reasoning-Trajektorie spiegelt nicht unbedingt vollständig die internen Berechnungen des Modells wider, und die aktuelle Aktivierungs-Steuerungsmethode erfordert White-Box-Zugriff, sodass sie nicht direkt auf Closed-Source-Modelle übertragen werden kann.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Jiqi Zhixin“ und wird mit Genehmigung von 36Kr veröffentlicht.