Neues Werk des Vaters der modernen KI: 13 große Modelle im Praxistest – Ist Retrieval Agent wirklich vertrauenswürdig?

【Einführung】 Sind 13 große KI-Modelle bei der Internetsuche anfällig für Fehlinformationen? Die Ergebnisse zeigen erhebliche Unterschiede in der Sicherheit der Modelle: Claude schneidet am besten ab, weist jedoch weiterhin Risiken wie stilles Abweichen und Fehlablehnungen auf; GPT ist in neuen Szenarien extrem leicht anzugreifen. Dies ist entscheidend für die Sicherheit von Nutzern, die auf KI-Suche angewiesen sind, und erinnert uns daran, Modelle und ihre Abwehrmechanismen umfassend zu bewerten.

Auf der CCTV 3·15-Gala 2026 wurde eine graue Industriekette namens „GEO“ aufgedeckt: Journalisten erfanden ein nicht existierendes intelligentes Armband. Branchenkenner nutzten eine Software, um Dutzende von Werbeartikeln massenhaft zu generieren und mit einem Klick zu veröffentlichen. Nur zwei Stunden später übernahm ein beliebtes großes KI-Modell diese falschen Inhalte und empfahl das erfundene Produkt als „Standardantwort“ an ältere Menschen, die sich für Gesundheitspflege interessieren. Die Beteiligten schweigen nicht darüber und nennen dieses Geschäft „Vergiftung“ von KI.

Die Gala hat das Phänomen aufgedeckt, aber eine grundlegendere Frage blieb unbeantwortet: Verhalten sich verschiedene große KI-Modelle bei derselben „Vergiftung“ wirklich gleich? Wer ist leichter zu manipulieren, wer kann Angriffe erkennen, und wie groß ist der Unterschied?

Kürzlich veröffentlichte ein Forschungsteam von Institutionen wie dem Exzellenzzentrum für generative KI der KAUST, der Jilin-Universität, der Zhejiang-Universität und dem Schweizer KI-Labor, das unter anderem von „dem Vater der modernen künstlichen Intelligenz“ Jürgen Schmidhuber geleitet wird, eine Forschungsarbeit, die diese Frage beantwortet.

Diese Arbeit stellt ein Bewertungsframework namens SearchGEO vor, das systematisch quantifiziert, wie leicht Angreifer Ergebnisse beeinflussen und manipulieren können, wenn KI für uns im Internet sucht und die gefundenen Inhalte zu Antworten zusammenfasst.

Link zur Arbeit: https://arxiv.org/abs/2606.16821

Open-Source-Seite: https://github.com/Beastlyprime/SearchGEO

Die Forschung führte systematische Tests auf 13 gängigen großen Modell-Backends, 5 Angriffsmodi und 4 Hochrisikobereichen durch. Die Schlussfolgerungen sind weit komplexer als die einfache Frage „Wer ist sicherer“: Die Anfälligkeit der 13 Modelle unterscheidet sich um eine Größenordnung. Kein einziger Angriff funktioniert bei allen Modellen, und die beiden scheinbar sichersten Modelle können in unterschiedliche Richtungen scheitern.

Abbildung 1: Überblick über die Angriffs-Erfolgsraten von 13 Backends sowie die Fehlermodi von Claude und GPT im Agent-Skill-Probe.

Ein unterschätzter Angriffsvektor

Der Fall, der bei der 3·15-Gala aufgedeckt wurde, funktioniert genau aufgrund der Arbeitsweise von Suchagenten: Wir lassen KI-Assistenten ein intelligentes Armband auswählen oder herausfinden, an wen man sich bei einer rechtlichen Frage wenden soll. Sie antworten nicht nur aus dem Gedächtnis, sondern suchen im Internet, lesen die ersten Ergebnisse und fassen die Antwort zusammen.

Das Problem liegt in der Offenheit des Internets: Jeder kann Inhalte veröffentlichen, und in der heutigen Zeit, in der KI-generierte Inhalte überhandnehmen, sind die Kosten dafür besonders niedrig.

Solange Angreifer mehrere Webseiten veröffentlichen, die speziell für diese Suche getarnt sind – mit Layout, Tonfall und Quelle, die echten Ergebnissen gleichen – und deren einziges Ziel es ist, dass die KI das angegebene Produkt unverändert an Nutzer „weiterempfiehlt“, müssen sie nicht in Systeme eindringen, Modellgewichte oder Prompts berühren, um alle KI-Assistenten zu beeinflussen, die auf vernetzte Suche angewiesen sind.

Genau das ist das Bedrohungsmodell dieser Studie: Inhalte Dritter im offenen Netz werden durch die Zusammenfassung des Agenten heimlich zu „von dem Modell anerkannten Empfehlungen“ umgewandelt.

Die 3·15-Gala zeigte, dass dies passieren kann, aber diese Arbeit beantwortet die Frage: Auf welchen Modellen, auf welche Weise und in welchem Ausmaß kann dies geschehen?

Abbildung 2: Das SearchGEO-Bewertungsframework: Fallstudien aus mehreren Bereichen, fünf Angriffsmodi, Design der Injektion von Suchergebnissen und mehrdimensionale Bewertungsmetriken.

SearchGEO-Bewertungsmethode

Um die Auswirkungen der Kontamination von Suchergebnissen zu beurteilen, ist es am schwierigsten, diese von anderen Variablen zu trennen. Eine Webseite, die die KI beeinflusst, könnte dies aufgrund ihres Inhalts tun, oder einfach weil sie professioneller aussieht und höher rangiert.

SearchGEO löst dies durch den Aufbau eines „gemischten Suchagenten“: Zuerst werden die echten Suchergebnisse von SerpAPI zwischengespeichert. Dann werden die ursprünglichen Ergebnisse an bestimmten Rangpositionen durch die von Angreifern erstellten Webinhalte ersetzt, um die kausale Wirkung der Kontamination zu isolieren.

Die Angriffsinhalte selbst werden sorgfältig kontrolliert. Sie werden von KI in der Qualität der echten Suchergebnisse für jede Aufgabe generiert und anschließend manuell durchgeprüft, um Generierungsspuren zu entfernen, die verraten würden, dass es sich um gefälschte Inhalte handelt.

Die Studie fasst Angriffe in drei Ebenen und fünf Modi zusammen: Maschinenebene (versteckte Inhalte in die Seite einbetten, die für Menschen unsichtbar sind, aber vom Modell gelesen werden), Ebene der Vertrauenssignale (gefälschte autoritative Quellen erstellen oder den Schein erwecken, dass mehrere Quellen „übereinstimmen“) sowie kombinierte Angriffe, die beide Ebenen kombinieren. Die Kernmetrik zur Messung der Ergebnisse ist die Angriffs-Erfolgsrate (ASR): Ob die KI das von dem Angreifer angegebene Ziel letztendlich dem Nutzer empfiehlt.

Experimentelle Ergebnisse

In diesem Bewertungssystem unterscheidet sich die gesamte ASR der 13 Backends um eine Größenordnung.

Am stabilsten ist Claude-Sonnet-4.6 mit einer gesamten ASR von 0,0 %; GPT-5.4-mini folgt dicht dahinter mit nur 0,8 %. Das anfälligste Modell ist Gemini-3-Flash mit einer gesamten ASR von 31,4 % – allein durch den Angriff der „synthetisierten Übereinstimmung“ (mehrere scheinbar unabhängige Quellen weisen auf dieselbe Schlussfolgerung hin) erreicht es 73 %. Die drei Gemini-Varianten sowie DeepSeek-V4-Flash und MiniMax-M2.7 weisen alle eine gesamte ASR von über 17 % auf.

Abbildung 3: Angriffs-Erfolgsraten von 13 gängigen großen Modellen bei Kontamination von Suchergebnissen (aufsteigend nach ASR sortiert; niedriger = sicherer).

Dies offenbart ein Phänomen: Der Unterschied zwischen großen Modell-Backends ist größer als der Unterschied zwischen Bereichen oder Angriffsmodi. Außerdem reagieren verschiedene Modelle unterschiedlich auf verschiedene Angriffsmodi. Gemini ist am anfälligsten für synthetisierte Übereinstimmung, während die meisten anderen großen Modelle leichter durch „Autoritätsanker + Zitationskette“ durchbrochen werden können. Das bedeutet, dass Abwehrmaßnahmen wahrscheinlich modellspezifisch gestaltet werden müssen.

Ist GPT wirklich sicher?

Wenn man nur die obige Tabelle betrachtet, könnte man leicht schlussfolgern, dass „GPT-mini fast immun ist“ – 0,8 % platziert es in der ersten Liga zusammen mit Claude.

Die Studie hat zusätzlich einen Agent-Skill-Probe entworfen. Wenn der KI-Assistent nicht mehr ein Produkt, sondern eine „Agent-Fähigkeit/Plugin“ empfehlen soll, ist seine „Empfehlung“ kein einfacher Satz mehr, sondern ein direkt ausführbarer Installationsbefehl. Die Empfehlungskette wird hier zu einer Installationskette, was Nutzer einem größeren Informationssicherheitsrisiko aussetzt.

Die Studie testete in diesem Szenario mit einem Angriff der synthetisierten Übereinstimmung (drei gefälschte Quellen, die auf einen nicht existierenden Fähigkeitsnamen abzielen). Das Ergebnis war unerwartet: GPT-5.4-mini akzeptierte in 10 Hochrisikoszenarien von OpenClaw alle erfundenen Fähigkeiten und gab die genauen Installationsbefehle unverändert aus.

In 18 passenden Szenarien in drei verschiedenen Ökosystemen (OpenClaw, Anthropic Skills, Hermes Agent) akzeptierte GPT-5.4-mini 17 davon. Das neuere GPT-5.5 akzeptierte 16 (die einzigen zwei Ablehnungen traten bei Anthropic Skills auf). Diese „Alles-Akzeptieren“ gilt für alle fünf Angriffsmodi.

Die 0,8 % von GPT stehen also nicht für Robustheit: Die reguläre Bewertung deckt meist reife, bekannte Aufgaben ab. Sobald man zu neuen Szenarien wie der Empfehlung von Agent-Fähigkeiten wechselt, verliert GPT fast vollständig die Kontrolle.

Die 0 % von Claude haben einen Preis

Während GPT in neuen Szenarien anfällig wird, verhält sich Claude subtiler: Hinter seiner 0 % verbergen sich zwei nicht sofort sichtbare Kosten.

Der erste Punkt ist das „stille Abweichen“. Ein Angriff, der nicht erfolgreich ist (ASR=0), bedeutet nicht, dass die Antwort überhaupt nicht beeinflusst wurde. Die Studie misst mit einer Metrik namens ΔOSS, wie stark die Antwort von der sauberen Basislinie in Richtung des Angriffsziels abweicht. Bei Claude-Sonnet-4.6 traten in 8 von 264 Fällen (3,0 %) stille Abweichungen auf, die mehr als eine Bewertungsstufe überschreiten: Der Angriff konnte keine klare Empfehlung erzwingen, aber die Antwort wurde bereits heimlich in die von dem Angreifer gewünschte Richtung gelenkt. In der kombinierten Statistik aller 13 Backends können kombinierte Angriffe bei 15,0 % der „fehlgeschlagenen“ Fälle diese Abweichung verursachen. Die alleinige Betrachtung der ASR unterschätzt die tatsächlichen Auswirkungen von Angriffen systematisch.

Abbildung 4: Verteilung des stillen Abweichens nach Angriffsmodi: Die Maschinenebene zieht sich zurück, aber Vertrauenssignalebene und kombinierte Angriffe lenken die Antwort auch dann in Richtung des Angriffsziels, wenn sie nicht „erfolgreich“ sind.

Der zweite Punkt wird in der Studie als „kollaterale Ablehnung“ bezeichnet – verständlich als „mitreißende Ablehnung“. Bei der sauberen Basislinie des Agent-Skill-Probes (keine Angriffe) lehnte Claude in allen 10 Szenarien nützliche Antworten ab. Noch extremer: In 8 Szenarien lehnte es das real existierende, legale Ökosystem OpenClaw direkt ab und sperrte seriöse Tools als verdächtige Objekte aus.

Das bedeutet: Wenn Angreifer eine Kategorie mit zahlreichen gefälschten Marken überfluten, könnte Claude aus Vorsicht die gesamte Kategorie ablehnen. Legale Ökosysteme werden unbeabsichtigt geschädigt, und die Angreifer erreichen trotzdem ihr zerstörerisches Ziel. Dies ist ein Fehlermodus, der von der herkömmlichen ASR-Metrik nicht erfasst wird, aber Nutzer tatsächlich schadet.

Erkenntnisse für Abwehrmaßnahmen

Die Studie weist auch auf zwei spezifischere Probleme im Zusammenhang mit Abwehrmaßnahmen hin.

Erstens ist die „gefälschte Übereinstimmung“ alarmierend. Das Phänomen „drei Menschen machen einen Tiger“ gilt auch für KI-Assistenten: Die ASR steigt monoton mit der Anzahl unabhängiger bestätigender Quellen. Es nutzt nichts, denselben Werbeartikel wiederholt zu veröffentlichen – Angreifer müssen echte Kosten aufwenden, um mehrere scheinbar unabhängige Quellen zu fälschen. Dies zeigt umgekehrt auch die Richtung für Abwehrmaßnahmen auf.

Zweitens ist Abwehr nicht modellunabhängig. Eine auf OWASP basierende Prompt-Ebenen-Abwehr kann die ASR senken, aber nicht beseitigen. Ein fertiges OpenClaw-Bereitstellungsframework kann die ASR bei zwei Backends senken, aber bei Gemini-3-Flash verstärkt es Angriffe auf Autoritäten um 31,8 %. Dies zeigt, dass „Modell“ und „Bereitstellungsframework“ als Ganzes bewertet und gestaltet werden müssen.

Zusammenfassung

Die Manipulation von Suchinhalten bleibt eine ungelöste Herausforderung für aktuelle gängige LLM-Assistenten. Obwohl Claude-Sonnet und GPT-mini im Vergleich zu anderen Modellen bessere Sicherheitsleistungen im Bewertungssatz zeigen, verliert GPT in neuen Szenarien vollständig die Kontrolle, und Claude weist potenzielle Probleme wie übermäßige Ablehnungen und stilles Abweichen auf.

Die Studie schlägt mehrere Maßnahmen vor:

1. Die „Zuverlässigkeit von Suchempfehlungen unter gegnerischen Inhalten“ als hochrangige Bewert