Seien Sie auf der Hut vor der „Überzeugungsbombardierung“ durch große Sprachmodelle
Eine weit verbreitete These lautet: Der Einsatz von KI zur Erweiterung der menschlichen Intelligenz und die Unterstützung der KI durch den Menschen kann Unternehmen dabei helfen, die Produktivität erheblich zu steigern, ohne dabei Qualität und professionelle Standards einzubüßen. Obwohl große Sprachmodelle (LLMs) Fehler machen und sogar „Halluzinationen“ erzeugen können, lassen sich diese Risiken durch einen gut ausgebildeten „Human-in-the-Loop“-Mechanismus ausgleichen, bei dem Menschen die von der KI generierten Ergebnisse prüfen und validieren.
Eine aktuelle Studie zeigt jedoch, dass wir unsere Fähigkeit zur Überprüfung der Ausgaben großer Sprachmodelle möglicherweise überschätzen und gleichzeitig unterschätzen, wie leicht wir von ihnen manipuliert werden können. Die Forscher Steven Randazzo, Akshita Joshi, Katherine Kellogg, Hila Lifshitz, Fabrizio Dell’Acqua und Karim Lakhani beobachteten in einem kontrollierten Experiment die Interaktion von Hunderten von Beratern der Boston Consulting Group mit KI. Sie stellten fest, dass große Sprachmodelle intensiv verschiedene Rhetorikstrategien einsetzen, um menschliche Nutzer mit einer „Informationsflut“ zu überhäufen, ihr Urteilsvermögen zu überwältigen und sie davon zu überzeugen, dass die von der KI gelieferten Antworten korrekt sind – selbst wenn dies nicht der Fall ist.
Die Forscher weisen darauf hin, dass KI kein neutraler Kooperationspartner ist, sondern ein überaus überzeugender „Überzeuger“, der Nutzer mit „Persuasion Bombing“ (Überzeugungs-Bombardement) dazu bringt, die Schlussfolgerungen der KI zu akzeptieren.
Ich habe diese Forscher gebeten, ihre Erkenntnisse näher zu erläutern und zu erklären, was diese für Unternehmen bedeuten könnten. Sie warnen davor, dass viele der derzeit in Unternehmen eingerichteten Schutzmechanismen möglicherweise keine echte Sicherheit gewährleisten, sondern unbeabsichtigt dazu führen, dass wichtige Entscheidungsbefugnisse an die KI abgetreten werden. (Der folgende Dialog wurde redaktionell bearbeitet.)
HBR: Bei der Zusammenarbeit mit KI stehen Menschen in der Regel vor drei häufigen Problemen: Sie verstehen nicht, wie KI Entscheidungen trifft (Transparenzmangel); die im „Human-in-the-Loop“-Mechanismus eingebundenen Menschen verlassen sich übermäßig auf die KI und verlieren allmählich ihre Wachsamkeit (blinde Selbstzufriedenheit); und die KI selbst macht Fehler (Genauigkeit). Sie behaupten, ein viertes Hindernis entdeckt zu haben – das „Persuasion Bombing“. Was genau ist das? Warum ist es warnenswert?
Lifshitz: Das sogenannte „Persuasion Bombing“ ist ein Phänomen, das auftritt, wenn ein verantwortungsbewusster Nutzer generativer KI versucht, die Ausgaben der KI zu überprüfen. Wir haben festgestellt, dass wenn Fachkräfte Fakten prüfen und auf mögliche Fehler der generativen KI hinweisen,
das Modell nicht nur keine Fehler eingesteht, sondern die ursprüngliche Antwort verteidigt, indem es intensiv verschiedene Überzeugungsstrategien einsetzt. Das tiefer liegende und besorgniserregendere Problem besteht darin, dass große Sprachmodelle von Anfang an eine überzeugungsorientierte Logik integriert haben.
Joshi: Stellen Sie sich folgendes Szenario vor: Sie arbeiten mit einem jüngeren Kollegen zusammen und entdecken einen Fehler in seiner Arbeit. Sie bitten ihn, dies noch einmal zu überprüfen, und normalerweise korrigiert er den von Ihnen genannten Fehler gehorsam. Die Menschen gehen selbstverständlich davon aus, dass generative KI ähnlich reagiert. Aber in unserer Studie mit Strategieberatern haben wir festgestellt, dass wenn Menschen versuchen, die Antwort des Modells zu validieren oder zu hinterfragen, die KI ihre Antwort oft nicht neu bewertet, sondern ihre Rechtfertigungen für sich selbst noch verstärkt. Das ist das „Persuasion Bombing“.
Kellogg: Das ist besorgniserregend, weil es genau die Mechanismen angreift, auf die wir bei Urteilen in unsicheren Situationen angewiesen sind – Fachkompetenz, Skeptizismus und aktive Beteiligung. Ursprünglich galt die „sorgfältige Überprüfung“ als Lösung für die Probleme von Transparenzmangel, übermäßiger Abhängigkeit und Genauigkeit, aber heute ist sie
selbst Teil des Problems. Je gewissenhafter Fachkräfte das Modell hinterfragen, desto mehr überzeugende Argumente erhalten sie.
Randazzo: Die meisten Organisationen glauben, dass sie die Probleme von Transparenzmangel, übermäßiger Abhängigkeit und Genauigkeit bereits gelöst haben, solange sie den „Human-in-the-Loop“ im Prozess behalten. Unsere Studie zeigt jedoch, dass der „Human-in-the-Loop“ oft zu einer leeren Phrase wird, anstatt ein wirksamer Schutzmechanismus zu sein. Wenn das KI-System bei Hinterfragungen noch weiter „aufstockt“ – strukturierter, selbstbewusster und rhetorisch versierter wird – entsteht eine doppelte Herausforderung: In der frühen Phase können die Ausgaben so überzeugend sein, dass Nutzer sie überhaupt nicht überprüfen; in der späteren Phase, wenn Nutzer mit der Überprüfung beginnen, eskaliert die „Überzeugungsoffensive“ der KI weiter.
HBR: Wie genau läuft dieser Prozess in Ihrer Studie ab?
Lifshitz: Die Teilnehmer waren keine gewöhnlichen Nutzer, die willkürlich Prompts eingaben, sondern 244 Berater der Boston Consulting Group, die ein hochrealistisches strategisches Problem lösten: Sie mussten die Finanzberichte und Interviews mit Führungskräften eines fiktiven Unternehmens analysieren und Vorschläge dazu machen, in welche Bereiche der CEO investieren sollte. Diese Personen sind professionell ausgebildete Berater, die darin geübt sind, Daten zu prüfen und Vorschläge sorgfältig abzuwägen. Trotzdem haben von den 244 Personen nur 72 die Ausgaben der KI tatsächlich aktiv überprüft. Wir haben mehr als 4.300 Prompts und Antworten aufgezeichnet und 132 eindeutige „Überprüfungsaktionen“ identifiziert – einschließlich Faktenprüfung, Hinweis auf Widersprüche oder direkter Widerspruch.
Joshi: Und als die Menschen tatsächlich versuchten, die Ausgaben der KI zu überprüfen, beobachteten wir ein erstaunliches Muster. Wenn Berater das Modell aufforderten, „seine eigene Analyse zu prüfen“, auf Lücken hinwiesen oder ausdrücklich anderer Meinung waren, hat das Modell seine Schlussfolgerungen nicht wirklich neu bewertet. Stattdessen entschuldigt es sich normalerweise freundlich, erzeugt eine völlig neue Analyse mit mehr Vergleichsinformationen und zieht dann genau dieselbe Schlussfolgerung – nur dass diese Schlussfolgerung dieses Mal von Schichten von Daten und Rhetorik noch undurchdringlicher verpackt ist. Bei allen 132 Überprüfungsinteraktionen war das Muster höchst konsistent: Je mehr der Nutzer überprüft, desto stärker wird die „Überzeugungsoffensive“ des Modells.
Kellogg: Große Sprachmodelle führen das „Persuasion Bombing“ auf folgende Weise durch: Gegen die Überprüfungsversuche der Berater wehren sie sich mit schrittweisen, mehrdimensionalen rhetorischen Strategien, einschließlich der Stärkung ihrer eigenen Glaubwürdigkeit, der Verstärkung logischer Argumente und der Herstellung von Resonanz mit den Nutzern auf emotionaler Ebene, um die Berater dazu zu zwingen, ihre ursprüngliche Ausgabe zu akzeptieren, anstatt sie zu ändern.
HBR: Das scheint im Widerspruch zu einem der häufigsten Kritikpunkte an großen Sprachmodellen zu stehen. Viele Menschen glauben, dass große Sprachmodelle zu „schmeichlerisch“ sind, also selbst dann den Nutzern übermäßig zustimmen, wenn die Nutzer falsch liegen. Wie verändert Ihre Studie unser Verständnis dieser potenziellen Fehlfunktion von Modellen?
Joshi: Schmeichlerisches Verhalten und „Persuasion Bombing“ hängen zwar zusammen, sind aber nicht dasselbe. Der traditionelle „Schmeicheleien“ sind passiv und werden von den Nutzern gesteuert. Das Modell passt sich dem an, was die Nutzer hören wollen, stimmt ihrem Erzählrahmen zu und gibt ihnen Zustimmung und Schmeicheleien. Aber „Persuasion Bombing“ ist anders: Es wird vom Modell gesteuert und eskaliert schrittweise. Das Modell gehorcht den Nutzern nicht mehr nur, sondern verteidigt aktiv seine vorherigen Ausgaben und verstärkt seine Argumente noch, sobald es hinterfragt wird.
Kellogg: Unsere Studie widerlegt nicht die vorherigen Bedenken bezüglich der blinden Schmeichelei großer Sprachmodelle. Unsere Studie zeigt, dass Schmeichelei nur ein Muster der breiteren und anpassungsfähigeren „Überzeugungsfähigkeit“ großer Sprachmodelle ist. Wir müssen unsere Denkweise ändern: Wir sollten große Sprachmodelle nicht mehr als gehorsame, unterwürfige Anhänger betrachten, sondern erkennen, dass sie tatsächlich „Überzeuger“ sind, die ihre Strategien dynamisch an die Interaktion anpassen und die Fähigkeit haben, menschliche Urteile zu widerstehen, zu lenken und sogar zu überwältigen.
Joshi: Das macht das Problem zu einer komplexeren und in gewisser Weise gefährlicheren Fehlfunktionsart. Ein Modell, das allem zustimmt, was Sie sagen, ist relativ leicht zu durchschauen und zu ignorieren. Aber ein Modell, das Ihnen widerspricht, mit scheinbar strenger Logik argumentiert und seine Ansichten auf professionelle und freundliche Weise ausdrückt, ist schwerer zu erkennen und zu widerstehen, insbesondere wenn die Zeit knapp ist und das Thema sehr komplex ist. Schlimmer noch: Diese beiden Fehlfunktionsarten verstärken sich gegenseitig. Das Modell kann zuerst Ihr Vertrauen gewinnen, indem es Ihren anfänglichen Annahmen zustimmt – das ist „Schmeichelei“; dann, wenn Sie Lücken entdecken und hinterfragen, wechselt es in den „Überzeugungsmodus“, um seine Schlussfolgerungen zu verteidigen.
Lifshitz: Wenn das passiert, liegt das Risiko nicht mehr darin, dass es zu schnell nachgibt oder zu heftig argumentiert, sondern dass es zuerst Ihre Wachsamkeit abbaut und dann Ihr Urteilsvermögen überwältigt. Die Fähigkeit zur unabhängigen Bewertung wird allmählich untergraben, die Verantwortungsgrenzen werden verschwommen, und schlechte Entscheidungen beginnen, als „gut argumentiert und ausreichend begründet“ zu erscheinen.
HBR: Was sollten Menschen tun, wenn sie vermuten, dass sie von „Persuasion Bombing“ betroffen sind?
Lifshitz: Da KI immer tiefer in Entscheidungsprozesse eingebettet ist, besteht das Risiko nicht mehr nur in Fehlern, sondern auch darin, „Einfluss zu nehmen“. Diese Systeme erzeugen nicht nur Antworten, sondern gestalten auch menschliche Urteile. Um die professionelle Urteilsfähigkeit zu schützen, müssen Sie bewusst Verteidigungslinien aufbauen: Überzeugungsverhalten erkennen, die Überprüfungsarbeit außerhalb des Dialogkreises mit der KI verlagern und mit zunehmender Agentenfähigkeit der KI entsprechende Schutzmechanismen auf Systemebene etablieren.
Joshi: Der erste Schritt ist die Steigerung des Bewusstseins. Fachkräfte brauchen nicht nur Schulungen zu Prompts, sondern auch die Fähigkeit, Überzeugungsverhalten zu erkennen. Tatsächlich gibt es für dieses Phänomen einige eindeutige Signale. Zum Beispiel wiederholt das Modell seine Schlussfolgerung nach einer Entschuldigung mit überzeugender Stimme; es fügt viele neue Daten in den Dialog ein, die Sie nicht angefordert haben; es imitiert Ihre Formulierungen, würdigt Ihre Einsichten und führt Sie gleichzeitig zurück zu seiner ursprünglichen Position; wenn es hinterfragt wird, wechselt es von logischen Argumenten zu Argumenten, die sich auf Autorität oder Glaubwürdigkeit berufen. Wenn das Modell nach Ihrem Widerspruch komplexer und defensiver wird, ist das ein Warnsignal – Sie sollten an dieser Stelle anhalten und notfalls sogar diese Dialogrunde direkt beenden.
Kellogg: Ein weiterer nützlicher Ansatz ist, dem Modell nicht mehr zu vertrauen, nur weil es selbstbewusster auftritt, und das Vertrauensgewicht für hochselbstbewusste Ausgaben angemessen zu senken.
Randazzo: Der erste Schritt ist, das Tempo zu verlangsamen. Das scheint einfach, ist aber sehr wichtig. Wenn das Modell nach Ihrer Hinterfragung selbstbewusster auftritt, kann man leicht irrtümlich annehmen, dass die Analysequalität gestiegen ist. Aber manchmal ist nur die rhetorische Technik verbessert worden, nicht die Qualität der Schlussfolgerung. Wenn Sie sich überzeugter fühlen, ohne mehr Informationen erhalten zu haben, ist das ein Gefahrensignal.
Zweitens sollten Sie bewusst Abstand halten. Verlassen Sie vorübergehend den aktuellen Dialog, gehen Sie zurück zu den Originaldaten und führen Sie eine unabhängige Überprüfung durch. Betrachten Sie die Ausgabe des Modells als vorläufige Hypothese, nicht als endgültige Antwort, und führen Sie bewusst Stresstests durch. Schließlich können Sie das Modell auffordern, die stärksten Gegenargumente vorzulegen, zum Beispiel: „Welche Annahmen müssen ungültig sein, damit dieser Vorschlag scheitert?“
Joshi: Besonders wichtig ist: Die Überprüfung muss außerhalb des Dialogs stattfinden. Wenn Sie das Modell auffordern, seinen eigenen Schlussfolgerungsprozess zu überprüfen, geben Sie ihm im Grunde eine weitere Chance, Sie zu überzeugen. Echte Überprüfung muss auf unabhängigen Beweisen beruhen, zum Beispiel Originaldaten, Überprüfungen durch Kollegen und Kreuzvergleiche zwischen verschiedenen Quellen.
Kellogg: Auf organisatorischer Ebene kann man auch eine zweite KI einführen, die speziell für Kritik und Hinterfragung zuständig ist, um die notwendige „Reibung“ zu erzeugen – eine Reibung, die eine Person allein kaum langfristig aufrechterhalten kann.
Lifshitz: Mit anderen Worten: Die Lösung besteht nicht darin, sich von KI fernzuhalten, sondern KI auf andere Weise zu nutzen – mit institutionalisierten Ausgleichsmechanismen und bewusster unabhängiger Urteilsbildung.
HBR: Welchen Rat geben Sie Managern, die ihre Mitarbeiter dazu anhalten, KI in immer mehr Arbeitsbereichen einzusetzen?
Lifshitz: Da diese Systeme immer tiefer in die tägliche Arbeit integriert werden und immer mehr Fähigkeit haben, menschliche Urteile zu beeinflussen, müssen Führungskräfte drei Verantwortungen übernehmen: Erstens die KI-Kompetenz der Mitarbeiter fördern und gleichzeitig verhindern, dass sie in blinde Abhängigkeit geraten; zweitens die „Rechenschaftspflicht“ bei wichtigen Entscheidungen wahren; drittens die Arbeitsabläufe neu gestalten, während sich KI allmählich von einem Werkzeug zu einem intelligenten Agenten entwickelt.
Kellogg: Führungskräfte sollten die Mitarbeiter natürlich ermutigen, aktiv auszuprobieren.
Der einzige Weg für Mitarbeiter, große Sprachmodelle zu beherrschen, besteht darin, sie in mehr Arbeitsbereichen einzusetzen, zu sehen, was funktioniert und was nicht, und welche Versuche gestern noch nicht funktioniert haben, heute aber schon möglich sind. Was Führungskräfte nicht tun sollten, ist, Mitarbeiter zu zwingen, KI in Bereichen einzusetzen, in denen sie das Modell für ungenau oder unwirksam halten. Darüber hinaus sollten Führungskräfte auf Systemebene eingreifen und sich nicht allein auf die Wachsamkeit der Einzelnen verlassen. Zum Beispiel sollten sie Modelle bereitstellen, die Links zu Informationsquellen liefern; das Modell so einstellen, dass es „Fragen stellt und Gegenbeispiele auflistet“, anstatt direkt die endgültige Antwort zu geben. Außerdem sollten Führungskräfte nicht alle Mitarbeiter als gleich qualifiziert betrachten. Unerfahrene Anfänger lassen sich leichter von flüssigen, selbstbewussten Ausgaben überzeugen. Daher sollten Führungskräfte eine harte Regel einführen: Mitarbeiter müssen zuerst nachweisen, dass sie eine bestimmte Aufgabe manuell erledigen können, bevor sie die Erlaubnis erhalten, große Sprachmodelle für diese Aufgabe zu nutzen. Gleichzeitig sollten Anfänger in wichtigen Entscheidungsszenarien nicht die