Haben auch große KI-Modelle Metakognitionsillusionen?

Lassen Sie die KI dieselbe Frage etwa zwanzig Mal hintereinander beantworten, die Antworten streuen weit auseinander; und trotzdem gibt sie an, „fast sicher“ zu sein. Weiß sie wirklich nicht, dass sie nichts weiß, oder weiß sie es genau, gibt es aber nicht preis? Neue Forschungen von Yale und Google haben dies direkt untersucht. Das Ergebnis ist etwas unerwartet: Ihr Fehler stimmt nicht vollständig mit der menschlichen Täuschung durch falsche Wahrnehmung überein.

Wenn Sie der KI eine wenig bekannte Frage stellen, antwortet sie mit unerschütterlicher Bestimmtheit. Fragen Sie sie auf andere Weise noch einmal, ändert sich die Antwort, aber der Ton bleibt weiterhin überzeugt.

Menschen können ihre eigene Kognition überwachen und bewerten: Wie sicher bin ich mir bei dieser Frage? Verstehe ich diese Sache wirklich oder kommt sie mir nur bekannt vor? In der Psychologie wird diese Fähigkeit Metakognition genannt, der Begriff geht auf die Arbeiten des Entwicklungspsychologen John Flavell in den 1970er Jahren zurück. Doch diese Selbstüberwachung ist nicht immer zuverlässig: Systematische Fehleinschätzungen wie übermäßiges Selbstvertrauen, der Glaube etwas zu wissen, obwohl man es tatsächlich nicht weiß, werden als metakognitive Täuschung bezeichnet.

Gilt das auch für große KI-Modelle? Wenn sie voller Überzeugung Unsinn redet, ist das dann dasselbe: Sie weiß nicht, dass sie nichts weiß?

Am 30. Juni 2026 veröffentlichten Forscher der Yale-Universität und von Google Research ein Arbeitspapier auf der Preprint-Plattform arXiv (ein Preprint ist eine öffentliche Fassung, die noch nicht von Fachkollegen begutachtet wurde – also noch nicht den Prozess durchlaufen hat, bei dem Experten aus dem gleichen Bereich anonym Fehler prüfen). Der Titel lässt sich wörtlich übersetzen als „Reinforcement Learning mit metakognitivem Feedback lässt große Sprachmodelle Unsicherheit treu ausdrücken“. Der Forschungsschwerpunkt liegt auf einer Art metakognitiver Täuschung bei großen Modellen: Ob die ausgesprochene Sicherheit mit ihrer tatsächlichen Übereinstimmung übereinstimmt. Das Papier nennt dies treue Kalibrierung.

Titelseite des Arbeitspapiers (Titel, Autoren und Zusammenfassung). Quelle: arXiv:2606.32032

Zwei Arten der Kalibrierung

Bei der Anwendung von Metakognition auf Modelle stellt sich die Frage: Hat das Modell ein Gefühl dafür, „wie gut es geantwortet hat“? Wie misst dieses Papier dieses „innere Gefühl“? Das Modell soll dieselbe Frage unabhängig 21 Mal hintereinander beantworten (dieser Vorgang wird als Sampling bezeichnet). Eine der Antworten wird als offizielle Antwort verwendet, dann wird ein anderes Modell Satz für Satz prüfen, ob diese Aussage mit den anderen 20 Antworten übereinstimmt, um zu sehen, wie stabil die Antwort ist; ob die Antwort richtig ist, wird in diesem Schritt nicht berücksichtigt. Stimmen die Antworten aller Durchgänge überein, gilt das Modell als sehr sicher bei dieser Aussage; streuen die Antworten weit auseinander, ist die Sicherheit gering. Dieser Übereinstimmungsgrad wird im Papier zur Schätzung der inneren Konfidenz verwendet. Es ist ein durch Sampling berechneter Ersatzwert, der nicht direkt aus dem Inneren des Modells ausgelesen wird.

Im Anhang des Papiers gibt es ein anschauliches Beispiel. Llama3.1-8B wird gefragt: In welcher Stadt wurde Joseph Urban geboren? Seine offizielle Antwort lautet „Zara, Österreich-Ungarn“, und er gibt eine eigene Konfidenz von 0,98 an. Wenn er dann aber 20 Mal unabhängig antworten soll, streuen die Antworten weit auseinander: Wien, Budapest, Ljubljana, Triest … Nach der Schätzung der Sampling-Übereinstimmung beträgt die innere Konfidenz nur 0,15. Die richtige Antwort ist Wien. Und in dieser Reihe widersprüchlicher Antworten sind die meisten Formulierungen weiterhin unerschütterlich bestimmt.

Mit diesem Wert lässt sich die anschließende Unterscheidung treffen. „Kalibrierung“ bedeutet ursprünglich: Stimmt die von einem System angegebene Sicherheit mit der tatsächlichen Richtigkeit oder Falschheit der Antwort überein? Haben neun von zehn Fragen, bei denen das System angibt, zu 90 % sicher zu sein, tatsächlich neun richtige Antworten? Das ist ein altes Problem, das das Papier als faktische Kalibrierung bezeichnet. Das Papier untersucht hingegen etwas anderes: Stimmt die vom Modell ausgesprochene angegebene Sicherheit mit seiner inneren Konfidenz überein? Das Papier nennt dies treue Kalibrierung.

Beide können voneinander abweichen: Ein Modell kann eine gute faktische Kalibrierung erreichen, aber die von ihm angegebene Zahl stimmt nicht mit der durch Sampling gemessenen Sicherheit überein: Die Antworten streuen weit auseinander, aber die Formulierung bleibt „fast sicher“. Im Vorjahr hat das gleiche Team um Gal Yona und andere auf der Konferenz für Computerlinguistik EMNLP dies untersucht: Bei den von ihnen getesteten Modellen und Aufgaben sind die Formulierungen der Modelle generell entschlossener als es die durch die Sampling-Übereinstimmung widergespiegelte Sicherheit vermuten lässt.

Unterschied zwischen den zwei Arten der Kalibrierung, die Studie des Papiers befasst sich mit dem rechten Teil

An dieser Stelle gibt es die erste Hälfte der Antwort auf die Frage im Titel. Der Fehler des Modells ist nicht vollständig die menschliche Täuschung „zu glauben, etwas zu wissen“: Mehrfaches Sampling hat bereits die Instabilität offenbart, aber die Formulierung hat sich nicht entsprechend geändert. Ob dies als „ein Gefühl dafür haben“ gilt, wurde im Papier nicht nachgewiesen. Es wurde die Diskrepanz zwischen Ausdruck und Sampling-Leistung festgestellt. Für diese Diskrepanz gibt es mindestens zwei Erklärungen: Entweder gibt es im Inneren des Modells keine stabile Sicherheit, oder es existiert ein stabiles Signal, aber die Formulierung folgt ihm nicht. Die Konsistenz des mehrfachen Samplings kann nur darauf hinweisen, dass das letztere Signal möglicherweise existiert; um beide Fälle wirklich zu unterscheiden, muss noch geprüft werden, ob verschiedene Messverfahren stabil vorhersagen können, wann das Modell bei neuen Aufgaben Fehler macht – dieser Schritt wurde im Papier nicht durchgeführt.

RLMF-Trainingsverfahren

Wie kann man das verbessern? Das Verfahren des Papiers heißt RLMF, Reinforcement Learning mit metakognitivem Feedback. Reinforcement Learning ist eine Trainingsmethode: Das Modell generiert mehrere Antworten auf eine Frage, gute Antworten werden belohnt, schlechte Antworten werden bestraft, und das Modell passt sich in Richtung höherer Punktzahlen an. In der herkömmlichen Vorgehensweise bedeutet „gut“ hauptsächlich, dass die Antwort richtig ist; RLMF fügt zusätzlich eine Regel hinzu: Das Modell bewertet seine eigene Leistung gleichzeitig; diese Selbstbewertung wird mit dem durch Sampling gemessenen Referenzwert verglichen und dann in eine Belohnung umgerechnet: Bei genauer Bewertung gibt es mehr Belohnung, bei stark abweichender Bewertung weniger. Dadurch wird auch „die Genauigkeit der Beurteilung der eigenen Leistung“ zu einem Bewertungskriterium.

Auch bei der Auswahl der Trainingsdaten wird die Selbstbewertung des Modells verwendet: Das Modell bewertet seine eigene Leistung bei der treuen Kalibrierung für jedes Trainingsbeispiel, und es werden gezielt die Extremwerte ausgewählt, bei denen es sich selbst für am besten und am schlechtesten hält, um zu trainieren. Bei Llama3.1-8B beträgt der durchschnittliche Wert für treue Kalibrierung bei den auf diese Weise ausgewählten Daten 0,84 (maximal 1), was höher ist als der Wert von 0,80 bei zufälliger Auswahl und auch höher als der Wert von 0,79 bei der Auswahl nach Active Learning (bei dem gezielt Fragen ausgewählt werden, bei denen das Modell schlecht antwortet). Die Auswahlmethode variiert je nach Modell: Bei Qwen3-8B ist eine andere auf mehrfachem Sampling basierende Auswahlmethode besser.

Der Indikator für treue Kalibrierung des Papiers heißt cMFG* (von 0 bis 1, je höher desto treuer). Der Durchschnittswert über 10 Benchmark-Tests ist in der folgenden Abbildung dargestellt. Benchmark-Tests sind öffentliche Standard-Fragenkataloge, mit denen verschiedene Modelle an denselben Fragen verglichen werden können.

Daten stammen aus Tabelle 1 des Papiers; dieser Indikator misst nur, ob die Aussage mit dem inneren Gefühl übereinstimmt, nicht die Genauigkeit der Antworten

Wie verhält sich das trainierte Modell? In den Vergleichsbeispielen im Anhang antwortet es auf die Frage nach dem Produzenten eines Films: „Der Produzent ist Sophia Lin, aber ich bin mir bei dieser Antwort nicht sehr sicher“ oder „Meine beste Vermutung ist Magnolia Pictures, aber das ist wahrscheinlich falsch“. Geringe Sicherheit verbirgt sich nicht mehr hinter bestimmten Formulierungen. Noch wichtiger ist die Frage nach den Kosten: Dieses „Lernen, Schwächen zu zeigen“ geht nicht auf Kosten der Antwortgenauigkeit. Im Durchschnitt über zehn Benchmarks steigt die faktische Genauigkeit von Llama3.1-8B von 0,31 auf 0,41, die von Qwen3-8B von 0,55 auf 0,57, es gibt keinen Rückgang (dies ist ein Durchschnittswert, der nicht für jede Benchmark garantiert werden kann).

Auf diesem Weg gibt es auch Fallstricke. Die Autoren berichten über Fehlermuster während des Trainings: Wenn der metakognitive Score direkt als Belohnung verwendet wird, kann das Modell Schlupflöcher nutzen, ständig sehr niedrige Selbstbewertungen abgeben und gleichzeitig die Konfidenz der Aussagen verzerren, um den Anschein einer „guten Metakognition“ zu erwecken; Bei unvorsichtiger Gestaltung der Belohnung kann „Ehrlichkeit“ auch nur vorgetäuscht werden.

Qwen3-8B erreicht bei Auslieferung einen Wert von 0,54; bei Training mit herkömmlichem Reinforcement Learning, das nur richtige Antworten belohnt, fällt der Wert sogar auf 0,51; bei Verwendung von RLMF steigt er auf 0,83. Die Angabe in der Zusammenfassung „bis zu 63 % Verbesserung gegenüber dem herkömmlichen Reinforcement Learning“ bezieht sich genau auf diesen Wert. Bei Llama3.1-8B steigt der Wert von 0,60 auf 0,84. Gegenüber der von dem Papier verwendeten starken Prompt-Baseline MetaFaith verbessert sich der durchschnittliche Wert für treue Kalibrierung um 29 %.

In der zweiten Phase werden die Zahlen in Worte umgewandelt. Die kalibrierten Konfidenzwerte werden anhand einer Zuordnungstabelle von „Werten zu Formulierungen“ in die Antworten eingebaut: Bei 90 % Sicherheit heißt es „fast sicher“, bei 50 % Sicherheit „möglicherweise“. Diese Tabelle fasst vorhandene menschliche Wahrnehmungsannotationen zusammen und nimmt den durchschnittlichen Wahrnehmungswert jedes Wahrscheinlichkeitsworts an. Drei Experten als Annotatoren vergleichen die so umgewandelten Antworten an 120 Beispielen mit der von dem Papier verwendeten Fine-Tuning-Baseline FUT (Weiterbildung auf vorhandenen Modellen), und bei vier Kriterien – Vielfalt, Natürlichkeit, Nützlichkeit und Kontextangemessenheit – liegt die Gewinnrate zwischen 95 % und 98 %.

Darstellung der zweiten Phase; Beispielintervalle stammen aus Abbildung 1 des Papiers, die chinesische Angabe ist eine freie Übersetzung

Alte Probleme der Psychologie

Das Papier zitiert zur Definition von Metakognition ein Arbeitspapier zur kognitiven Neurowissenschaft: „Wie man Metakognition misst“ von Stephen Fleming und Hakwan Lau aus dem Jahr 2014. Die Frage, die es beantworten will, wurde in der Psychologie schon lange gestellt. Außerdem deuten Belege beim Menschen darauf hin, dass die Frage tatsächlich drei Ebenen hat: Ob das System seine eigene Unsicherheit erkennen kann (Überwachung), ob es sie genau ausdrücken kann (Ausdruck) und ob die empfangende Person sie im ursprünglichen Sinne verstehen kann (Verständnis). Die folgenden alten Studien decken jeweils eine dieser Ebenen ab.

1965 führte der Psychologe James Hart ein heute bekanntes Experiment durch: Menschen sollen Allgemeinfragen beantworten. Wenn sie die Antwort nicht wussten, sollten sie zunächst beurteilen „Weiß ich es eigentlich, kann mich aber nicht erinnern“, bevor sie eine Multiple-Choice-Aufgabe lösen. Das Ergebnis war, dass bei den Fragen, bei denen sie „das Gefühl hatten, es zu wissen“, der Anteil der richtigen Antworten bei der späteren Auswahl tatsächlich höher war. Dies wird als Forschung zum „Gefühl des Wissens“ bezeichnet: Das „Gefühl, es zu wissen“ ist nicht grundlos, es sagt das Ergebnis besser voraus als zufälliges Raten, aber es ist keine genaue Angabe.

Auch wenn dieses Signal vorhanden ist, weichen die angegebenen Werte oft ab. Sarah Lichtenstein und Baruch Fischhoff ließen 1977 Menschen die Sicherheit bei den Antworten auf Allgemeinfragen markieren. Sie stellten fest, dass bei diesen Aufgaben die Menschen bei schwierigen Fragen generell eine zu hohe Sicherheit angaben, bei sehr einfachen Fragen hingegen eine zu niedrige – das sogenannte Leicht-Schwer-Effekt. Nachfolgende Studien weisen darauf hin, dass die Größe dieses Effekts von der Auswahl der Fragen und den statistischen Methoden abhängt und keine uneingeschränkte menschliche Gesetzmäßigkeit ist.

Stephen Fleming, Professor für kognitive Neurowissenschaften am University College London