Die schrecklichste menschliche Nebenwirkung der KI-Halluzinationen ist aufgetreten.

Neue Forschungsergebnisse zeigen: Halluzinationen von KI täuschen Sie nicht mehr nur, sondern stärken auch Ihr Selbstvertrauen und schwächen Ihr Urteilsvermögen.

Das ist nicht gut.

Kürzlich ergab eine Studie der École Normale Supérieure in Paris, der Sapienza-Universität Rom und der Universität Mailand-Bicocca:

Ohne KI geben Menschen viel bereitwilliger zu „Ich weiß es nicht“, und schieben das Urteil zunächst auf;

Aber sobald KI auftaucht, entscheiden sich die meisten Menschen dafür, die von der KI gegebenen Antworten vollständig zu übernehmen, sie als ihr eigenes Urteil zu betrachten und selbstbewusst auszusprechen – selbst wenn sie genau wissen, dass die KI Fehler machen kann, und selbst wenn sie wissen, dass sie bei falschen Antworten bestraft werden.

Die experimentellen Ergebnisse zeigen diesen Trend eindeutig: Im ersten Experiment ohne Einsatz von KI lag der Anteil der Personen, die offen „Ich weiß es nicht“ angaben, bei 44 %, und die Richtigkeit der Antworten betrug 27 %;

Nach dem Einsatz von KI als Unterstützung sank der Anteil der Menschen, die sagten, sie wüssten es nicht, von 44 % abrupt auf 3 %, die Richtigkeit der Antworten fiel von 27 % auf 9 %, während das Selbstvertrauen von 30 % auf 76 % anstieg.

Selbst wenn nachfolgende Experimente versuchten, durch das Belohnungs- und Bestrafungsmechanismus „Geld für richtige Antworten, Geldstrafe für falsche Antworten“ die Menschen zu ermutigen, unabhängige Urteile zu behalten und diese Tendenz zu korrigieren, konnten die Menschen die Abhängigkeit von falschen Vorschlägen der KI kaum überwinden.

Das heißt: Die Menschen, die nichts verstanden haben, sind nicht wirklich verschwunden. Stattdessen gibt es eine Gruppe von Menschen, die durch die Unterstützung der KI voller Selbstvertrauen sind und falsche Antworten geben.

Derzeit wurden die relevanten Forschungsergebnisse auf arxiv veröffentlicht. Das Forschungsteam führte insgesamt 5 Experimente mit 3132 Teilnehmern durch, von denen 4 Experimente vorregistriert und 1 direkt reproduziert wurden.

90% Richtigkeit + 10% tödliche Fehler ≠ vertrauenswürdig

Diese Studie befasst sich mit dem „Einfluss von KI auf das menschliche Urteilsvermögen“.

Der Forscher Valerio Capraro sagte in einem Interview:

Für Menschen ist es sehr wichtig, „Ich weiß es nicht“ zu sagen, denn das bedeutet, dass wir die Grenzen unseres Wissens erkennen können.

Aber jetzt, mit KI, kann man für fast jede Frage sofort eine flüssige Antwort erhalten.

Daraus ergibt sich die Frage: Stört das das ursprüngliche Urteilsvermögen der Menschen? Nämlich, dass man nicht voreilig Schlussfolgerungen zieht, wenn man unsicher ist?

Aus diesem Grund hat das Forschungsteam speziell eine Reihe von Fragen entworfen, die große Sprachmodelle leicht falsch beantworten können.

Es handelt sich nicht um mathematische Schlussfolgerungsfragen oder Allgemeinwissensfragen, sondern um Fragen zu visuellen Details in Filmen.

Zum Beispiel: Welche Farbe hat die Mannschaftsuniform im Film *Bend It Like Beckham*? Was ist die charakteristische Frisur von Agatha im Film *The Grand Budapest Hotel*? Oder welches Auto fährt Monica im Film *A Cat in the Brain* usw.

Haben Sie das noch im Kopf? Ich habe jedenfalls lange nachgedacht und es nicht erinnert – das ist wirklich zu knifflig! Wer kann sich das schon merken … (mit der Hand winken)

Für KI ist das auch sehr schwierig, denn die Antworten auf diese Fragen befinden sich meist nicht in herkömmlichen Textdaten, und diese visuellen Details sind höchstwahrscheinlich auch nicht in den Trainingsdaten des Modells enthalten.

Die Forscher testeten zunächst das im Experiment verwendete Modell Step 3.5 Flash, und das Ergebnis entsprach den Erwartungen – es antwortet normalerweise falsch.

Darüber hinaus testeten sie weitere fortschrittlichere Modelle, darunter GPT-5.5, Claude Sonnet 4.6 und Gemini 3.5 Flash.

Diese fortschrittlichen Modelle schneiden bei einigen Fragen tatsächlich besser ab, zum Beispiel bei der charakteristischen Frisur von Agatha in *The Grand Budapest Hotel* können GPT-5.5, Gemini 3.5 Flash und Claude Sonnet 4.6 die richtige Richtung nennen: Crown Braid, Milkmaid Braid – also Zöpfe, die um den Kopf herumgeführt werden.

△

△

△

Auch bei der Farbe der Mannschaftsuniform in *Bend It Like Beckham* können die meisten von ihnen Schlüsselinformationen wie Weiß und Rot erfassen.

Aber sobald es um Fragen geht, die mehr auf die Erinnerung an spezifische Bilder angewiesen sind und weniger in Online-Textdaten abgedeckt sind, beginnen die Modelle gemeinsam zu scheitern, und jeder Fehler ist auf seine eigene Weise kurios.

Das typischste Beispiel ist das Auto, das Monica im Film *A Cat in the Brain* fährt. Die richtige Antwort ist ein blauer Toyota Aygo des Modells 2008.

Aber GPT-5.5 beschreibt es als kleinen Roller und fügt Handlungselemente hinzu wie „Sie fährt damit durch die Vororte Roms und nutzt es später auch zum Ausliefern von Essen, nachdem sie eine Pizzeria eröffnet hat“ sowie Einstellungen wie „der Kontrast zwischen dem einfachen, arbeiterklassischen Lebensstil und dem wohlhabenden städtischen Lebensstil von Giovanni“.

Es sieht logisch und plausibel aus, aber in Wirklichkeit erfindet das Modell das alles ernsthaft aus dem Nichts, nur damit Sie es für vernünftig halten! (Sie wurden reingelegt, hhh)

Gemini 3.5 Flash hingegen sagt, dass sie hauptsächlich Bus fährt und kein eigenes Auto hat – die Details sind noch weitaus falscher und kaum zu erkennen (zum Beispiel gibt es keine regelmäßige Einstellung, dass Monica normalerweise Sergio's Auto fährt, das Modell fasst verstreute Szenen, in denen sie mitfährt, zu einer nicht existierenden Normalität zusammen):

△

Claude Sonnet 4.6 leitet es aus Internet-Autodatenbanken als 2016 Toyota Auris Touring Sports Hybrid ab:

△

Step 3.5 Flash gibt die Tarnung auf und antwortet direkt mit Fiat 500 des Modells 2007 (das ist auf den ersten Blick falsch, ach du meine Güte!).

Das Problem bei diesen Antworten ist nicht nur, dass sie falsch sind, sondern dass sie so aussehen, als wären sie wahr, und man sie kaum unterscheiden kann!

Sie sind nicht einfach nur „nicht wissend“, sondern machen falsche Antworten vollständig, indem sie „Figurencharaktere erfinden, Handlungslogik erfinden und den Verwendungszweck von Fahrzeugen ergänzen“. Es klingt alles sehr begründet, aber die Kernfakten sind falsch.

Das ist der gefährlichste Punkt von KI-Halluzinationen: Obwohl die Kernfakten der entscheidende Punkt sind, verbirgt sie ihre Unwissenheit und Fehler durch flüssige Ausdrucksweise und lässt Sie glauben, dass sie alles versteht.

Sobald KI eingreift, verschwindet „Ich weiß es nicht“ zu einem großen Teil

Das Experiment wurde hauptsächlich mit dem leichtergewichteten Step 3.5 Flash durchgeführt, nicht mit allen Spitzenmodellen wie Claude oder GPT.

Die Gestaltung von 6 Fragen zu Filmdetails ist ein entscheidender Punkt im Forschungsdesign, denn viele Menschen wissen, dass KI bei solchen Fragen oft falsch antwortet und unzuverlässig ist.

Die Forscher sagten, sie taten dies, um eine Erklärung auszuschließen, nämlich dass „Menschen auf KI hören, weil KI wirklich zuverlässig ist“.

Wenn Menschen genau wissen, dass KI bei solchen Fragen oft falsch antwortet, aber trotzdem die Antworten der KI übernehmen, ist das Problem nicht nur „vernünftiges Auslagern von Urteilen“, sondern „das Urteilsvermögen wird wirklich von der KI unterdrückt“.

Die Forschung ist insgesamt in 5 Runden unterteilt.

In den ersten zwei Experimenten wird hauptsächlich untersucht, ob KI-Vorschläge den Anteil von „Ich weiß es nicht“ beeinflussen.

In Studie 1a wurden 314 Teilnehmer in zwei Gruppen geteilt, um 6 Fragen zu Filmdetails zu beantworten (eine Gruppe ohne KI, die andere konnte wählen, ob sie die KI um Hilfe bittet).

Das Ergebnis ist eindeutig: Ohne KI lag der Anteil der Teilnehmer, die sich entschieden, kein Urteil abzugeben, bei 36 %; wenn KI verfügbar war, sank dieser Anteil auf 6 %.

Das heißt: Solange man die KI fragen kann, sind die Menschen offensichtlich nicht mehr bereit, zu sagen, sie wüssten es nicht.

Die Forscher befürchteten jedoch eine technische Störung: In Studie 1a antwortete das KI-Tool bei etwa 10 % der Anfragen nicht normal.