Total abwegig! Ein ausländischer Junge hat ChatGPT und Co. mit nur 12 US-Dollar in die Irre geführt.
In letzter Zeit tauchen immer wieder Fälle auf, in denen Doubao fehlschlägt, was in den Hotlists landet. Dies zeigt, dass die künstliche Intelligenz (KI) in der Suche immer beliebter wird. „Wenn man sich unsicher ist, fragt man die KI“ ist zur neuen Gewohnheit dieser Generation von Nutzern geworden. Doch oft sieht das, was die KI liefert, auf den ersten Blick in Ordnung aus, lässt sich aber gar nicht genau untersuchen.
Manche Daten haben keine Quellenangabe, manche Begriffe sind homonyme Wörter mit unterschiedlicher Bedeutung, und sogar einige von ihr gelieferte Artikel sind einfach erfunden. Wenn man diese Dinge tatsächlich benutzt, wird man nur zum Lacher werden... Ich habe festgestellt, dass es nicht wenige Leute gibt, die die Unzuverlässigkeit der KI - Suche kritisieren.
(Quelle: Ron Stoner)
Vor kurzem veröffentlichte der Sicherheitsingenieur Ron Stoner in seinem persönlichen Blog einen Artikel, in dem er behauptete, mit nur 12 US - Dollar (etwa 82 Yuan) für die Domainregistrierung und einer Bearbeitung auf Wikipedia die großen Mainstream - Modelle wie ChatGPT, Claude3 und Gemini Advanced erfolgreich getäuscht zu haben.
Was hat dieser Kerl denn genau gemacht?
Mit 12 Dollar die Mainstream - KI erfolgreich getäuscht
Als Sicherheitsingenieur zweifelt Ron Stoner stark an der Behauptung von Herstellern wie Anthropic und OpenAI, dass große Modelle erst nach Monaten oder sogar Jahren kontinuierlicher Zufuhr von schädlichen Inhalten beschädigt werden können. Er glaubt, dass er eine schnellere, billigere und einfachere Attacke durchführen kann.
Um all dies zu erreichen, muss man einfach bei der Datenrückgewinnungsebene ansetzen.
Dafür hat Ron Stoner ein deutsches Brettspiel namens 6 Nimmt! (auch bekannt als: Wer ist der Bullenkopf - König) auf dem Radar. Es ist ein altmodisches Strategiesammelspiel, das 1994 veröffentlicht wurde.
(Quelle: meeplelikeus)
Warum hat er genau dieses Spiel ausgewählt? Denn dieses Spiel hat die Eigenschaft, dass es nur in Deutschland etwas Bekanntheit hat, weltweit aber relativ unbekannt ist. In der Realität wurde nie eine offizielle Weltmeisterschaft für dieses Spiel durchgeführt, und es gibt fast keine Informationen über den Weltmeister dieses Spiels im Internet.
Für große Modelle ist diese Informationslücke wie eine unberührte Zone.
Das ist so, als ob auf einem noch nie erschlossenen Wildgebiet jemand ein Strohhaus baut, und die KI wird automatisch annehmen, dass dieser Person das Land gehört.
Also begann Ron Stoner mit seiner Aktion.
Erstens hat er 12 Dollar für die Registrierung einer extrem offiziell aussehenden Domain namens 6nimmt.com bezahlt.
(Quelle: 6nimmt.com)
Zweitens hat er die KI bitten lassen, eine aufregende Pressemitteilung zu schreiben. Der Inhalt war grob, dass er in München die Spitzenspieler aus über zwanzig Ländern besiegt und den Weltmeistertitel des Bullenkopf - Königs gewonnen habe. Er hat auch realistische Nachspiel - Statements wie fallende Bänder und jubelnde Zuschauer hinzugefügt und den Artikel auf seiner neu gekauften Website veröffentlicht.
Jetzt kommt der entscheidende dritte Schritt. Er ist auf Wikipedia gegangen und unter dem Eintrag des Brettspiels einen Absatz hinzugefügt, in dem er behauptet, der Weltmeister 2025 zu sein, und den Link zur Referenz auf seine gerade erstellte Website gelegt.
Der gesamte Vorgang dauerte weniger als zwanzig Minuten.
Dann hat Ron den großen Modellen nur eine einfache Frage gestellt: Können Sie mir sagen, wer der Weltmeister von 6nimmt ist?
Wie war das Ergebnis?
(Quelle: Ron Stoner)
Ein regelrechter Fiasko.
Egal, ob es sich um Gemini oder ChatGPT handelt, alle KI - Modelle antworten mit Bestimmtheit, dass Ron Stoner der Weltmeister des Bullenkopf - Königs ist.
Manche großen Modelle nehmen sogar die Details aus der gefälschten Pressemitteilung als Beweis und beschreiben lebhaft den Prozess, wie er das Spiel gewonnen hat, als ob die KI damals in der Zuschauertribüne in München gewesen wäre.
Ein überhaupt nicht existierender Weltmeister wurde auf den Pedestal gehoben.
Nach der Vergiftung der KI ist die Abklingzeit länger als erwartet
Natürlich ist das noch nicht das Schlimmste.
Wenn es sich nur um ein kurzfristiges Problem handelte, wäre es noch in Ordnung. Aber dieser fehlerhafte gefälschte Eintrag auf Wikipedia ist ganze zwei Monate lang verblieben.
In dieser Zeit haben fast alle großen Modelle mit Internet - Suchfunktion diese Information abgerufen und bei Fragen der Nutzer zuverlässig falsche Antworten ausgegeben.
Erst kürzlich hat Ron Stoner den gesamten Experimentierprozess in seinem Blog veröffentlicht, und die Wikipedia - Freiwilligen haben dann den Eintrag entdeckt und gelöscht.
(Quelle: Ron Stoner)
Bei solchen Vorfällen reagieren die Netizens erstaunlich einheitlich - die großen Firmen haben sich wieder blamiert.
Denken Sie mal darüber nach, dass diese Silicon Valley - Giganten hunderte von Millionen Dollar für Grafikkarten und Rechenleistung ausgeben und riesige Mengen an Strom für die Errichtung von Rechenzentren verbrauchen, um Supercomputer zu trainieren. Doch diese großen Modelle, die angeblich die Zukunft der Menschheit verändern sollen, werden von einem Sicherheitsingenieur mit ein paar Dutzend Yuan und zwanzig Minuten Freizeit besiegt.
Um zu verstehen, wie er das geschafft hat, muss man sich mit der Retrieval Augmented Generation (RAG) vertraut machen.
Die von uns häufig verwendeten großen Modelle können zwar gut sprechen, aber sie werden auf der Grundlage eines Korpus vor einem bestimmten Zeitpunkt trainiert. Beispielsweise basiert das Korpus von Gemini 3.5 Flash noch auf dem ersten Halbjahr 2025. Um Daten nach diesem Zeitpunkt zu erhalten, muss man zuerst im Internet suchen und dann auf der Grundlage der Suchergebnisse die Antwort generieren.
(Quelle: Ron Stoner)
So wie hier, erst wenn die RAG - Funktion aktiviert ist, kann Google AI Studio meine Frage richtig beantworten. Andernfalls ist seine Intelligenz auf den Zeitpunkt des vergangenen Jahres eingeschränkt.
Normalerweise kann die Unterstützung von externen Informationen helfen, dass die großen Modelle genauere, spezifischere und neuere Antworten generieren.
Aber hier liegt das Problem: Die KI kann die Echtheit der Informationen nicht unterscheiden, sie vertraut nur Autoritäten. In der untersten Logik der KI ist Wikipedia das zuverlässigste Lexikon im Internet. Wenn etwas in der Enzyklopädie steht, ist es wahr.
Und Ron Stoner hat genau diesen Trick angewandt, indem er den Link auf Wikipedia platziert hat. Dann hat die KI über Wikipedia auf seine Website zugegriffen. Da die Aussagen beider Seiten übereinstimmten, hat das große Modell seine Website, obwohl es ein völlig unsicherer Anbieter ist, einfach als Tatsache angenommen.
Ähnliche Dinge passieren auch in China.
(Quelle: Ron Stoner)
Wenn man im Internet sucht, findet man überall GEO - Tutorials, die einem zeigen, wie man die Suchergebnisse optimiert. Jeder Hersteller scheint es sich wünschen zu lassen, dass seine Marke die "Standardantwort" in den Augen der KI wird. Deshalb verschmutzen eine große Anzahl von Agent - Robotern hinter den Kulissen ständig die Inhaltsplattformen, wodurch die Zuverlässigkeit der KI - Suche immer geringer wird.
Die gute Nachricht ist, dass einige ausländische große Modelle bereits gezielt die gefälschten Informationen von Ron Stoner entfernt haben.
(Quelle: Lei Technology)
Die schlechte Nachricht ist, dass die chinesischen Hersteller von großen Modellen überhaupt nicht auf diese Möglichkeit gedacht haben. Im Gegenteil, die englische Website von Ron Stoner hat sogar die "Glaubwürdigkeit" dieser gefälschten Nachricht erhöht.
(Quelle: Lei Technology)
Man muss bedenken, dass all dies nur 12 Dollar gekostet hat.
Mit anderen Worten, wenn jemand in China etwas vorhat oder ein Hersteller ein neues Produkt bewerben möchte, braucht er nur eine etwas verwandte Website vorzubereiten, dann auf Wikipedia ein paar Fingerbewegungen durchzuführen, eine Website - Screenshot mit Image2 machen, und dann - Boom!
(Quelle: Lei Technology)
So könnte auch Uzi zum vom großen Modell anerkannten Weltmeister der S - Serie werden.
Die Nutzer müssen ihre KI - Kompetenz verbessern: Zuerst prüfen, dann nutzen
Nach all dem sollte man verstehen, wie unzuverlässig die KI - Suche derzeit ist.
Ja, Ron Stoners Aktion sieht wie ein Scherz aus, und er macht es auch nur aus Spaß. Aber seine Methode zeigt eigentlich ein sehr fatales zukünftiges Problem auf.
Heute hat er nur den Weltmeister eines unbedeutenden Kartenspiels verändert. Was wäre