Zwischen Algorithmus und Realität: Die Herausforderungen der KI-Governance von Xiaohongshu

Die heutigen KI-generierten Inhalte sind in den beiden Dimensionen „Genauigkeit“ und „menschliche Authentizität“ oft in doppelter Hinsicht unzureichend.

01 Ein „perfektes“ KI-generiertes Foto eines Ferienhauses

Im späten Herbst letzten Jahres plante Lin Wei, ein Mädchen aus Hangzhou, ein Wochenende in Dali zu verbringen. Sie öffnete Xiaohongshu und gab „Empfehlungen für Ferienhäuser in Dali“ ein – überall waren Bilder der Cangshan-Berge und des Erhai-Sees, Höfe der Bai-Volksgruppe und Sonnenaufgänge vor bodenhohen Fenstern zu sehen, jedes Foto war so schön wie ein Filmbild. Schließlich wählte sie ein „kleines, von Designern geführtes Ferienhaus“ mit einer Bewertung von 4,9 aus. In dem dazugehörigen Beitrag stand: „Wenn man das Fenster öffnet, sieht man den Erhai-See, man wird morgens von Möwen geweckt, und die Blumenkuchen, die der Vermieter selbst zubereitet, sind so süß, dass es einem bis ins Herz geht.“

Sie flog drei Stunden lang und fuhr dann noch eine Stunde auf kurvenreichen Bergstraßen. Als sie ankam, stellte sie fest, dass das Ferienhaus tief in einer staubigen Gasse versteckt lag. Das sogenannte „bodenhohe Fenster“ blickte auf eine fleckige Zementwand, und der blaue Erhai-See auf dem Foto war nichts weiter als ein blaues Hintergrundtuch, das der Vermieter auf dem Dach gespannt hatte. Später erfuhr Lin Wei, dass die Bilder in dem Beitrag, der sie so begeistert hatte, von KI generiert waren.

Das ist kein Einzelfall. Am 3. September 2026 veröffentlichte Xiaohongshu über das offizielle Konto „Shu Guanjia“ eine Mitteilung: Von Juni bis August dieses Jahres hat die Plattform fast 120.000 gefälschte, von KI erstellte und veröffentlichte Beiträge beseitigt. Darunter fallen drei typische Verstöße: KI-generierte gefälschte Erfahrungen mit kosmetischen Behandlungen, KI-generierte gefälschte Text- und Bildeindrücke von Ferienhäusern sowie KI-erfundene Familienhintergründe und Bildungserfahrungen zum Verkauf von Lernmaterialien.

120.000 Beiträge. Nimmt man eine durchschnittliche Aufrufzahl von 100 an, stehen dahinter 12 Millionen Nutzer, die möglicherweise irregeführt wurden – das ist eine systemische Krise, vor der eine Inhaltsplattform gerade steht.

02 Warum grassiert das „falsche Gras“, das von KI gesät wurde?

Was ist der Kernwert von Xiaohongshu? Es ist die Authentizität. Ein Nutzer teilt das Gesichtswasser, das er selbst benutzt hat, ein Reisender zeichnet eine echte Wanderroute auf, eine junge Mutter schreibt ihre Erfahrungen mit der Kindererziehung nieder – diese auf echten Erlebnissen basierenden UGC-Inhalte bilden den stärksten Schutzgraben von Xiaohongshu. Die Nutzer kommen hierher, um nicht Werbung zu sehen, sondern das Leben „echter Menschen“ zu erleben.

Aber die KI verändert all das.

Früher war Fälschen mit Kosten verbunden. Man musste vor Ort Fotos aufnehmen, Texte entwerfen, Bilder bearbeiten und das Image des Kontos pflegen. Für einen gefälschten Beitrag über ein besuchtes Lokal brauchte man mindestens eine echte Person, ein Handy und mehrere Stunden Arbeit. Heute hingegen kann eine Person mit Tools wie Midjourney, Stable Diffusion und GPT-4o an einem Tag hunderte von „persönlichen Erfahrungsbeiträgen“ erstellen. Gibt man „Ferienhaus am Erhai-See in Dali, Sonnenaufgang am Morgen, bodenhohes Fenster“ ein, gibt die KI eine Reihe von Fotos aus, die nicht von echten zu unterscheiden sind. Lässt man das große Sprachmodell dann einen Text mit „echten Gefühlen“ schreiben und fügt einen Ton wie „Mädels, los geht's“ hinzu – schon ist ein gefälschter Beitrag fertig.

Noch schlimmer: Diese KI-generierten Inhalte bilden bereits eine gesamte Industriekette. Die drei in der Mitteilung genannten typischen Verstöße entsprechen genau den drei Bereichen, in denen sich am einfachsten Geld verdienen lässt:

Kosmetische Medizin. Ein von KI generiertes „Vorher-Nachher-Vergleichsbild“ mit dem Text „Nach dieser Behandlung sagte mein Freund, ich sehe aus wie eine andere Person“ kann Nutzer dazu verleiten, private Anfragen zu stellen, und sie schließlich zu unlizenzierten unterirdischen Kliniken weiterleiten. Von Juni bis August hat Xiaohongshu im Bereich der kosmetischen Medizin täglich durchschnittlich über 4000 Verstöße beseitigt und mehr als 4200 betrügerische Konten gesperrt.

Ferienhäuser und Kulturtourismus. Von KI zusammengeschnittene Bilder fälschen die reale Szenerie, erfinden Etiketten wie „geheimer Ort für wenige Eingeweihte“ oder „nur Einheimische kennen es“ und locken Nutzer zu Anbietern, die nicht halten, was sie versprechen. Diese Beiträge enthalten oft auch Gruppenkauf-Links und schließen so einen vollständigen Kreislauf von Inhalt bis zur Transaktion.

Bildung. KI erfindet die Identitäten von „hochbegabter Mutter von einer 985-Universität“ oder „Elternteil aus dem Haidian-Distrikt“, erfindet die Lernerfahrungen und Noten der Kinder, und das endgültige Ziel ist der Verkauf von Lernmaterialien, Kursen und „internen Unterlagen“. Was Sie sehen, ist nicht die echte Sorge eines echten Elternteils, sondern ein von KI sorgfältig gestalteter Verkaufstrichter.

Wenn das „Empfehlen von Produkten“ zum „Säen von Fälschungen“ wird, beginnt die Inhaltsökosystem der Plattform zu verfallen. Ein noch versteckteres Risiko ist, dass Nutzer oft gar nicht merken, dass sie getäuscht wurden – KI-generierte Inhalte werden immer realistischer, und normale Internetnutzer haben überhaupt keine Fähigkeit, sie zu erkennen.

03 Mit der eigenen Waffe gegen sich selbst: KI zur Bekämpfung von KI einsetzen

Angesichts dieser Krise hat Xiaohongshu sich entschieden: KI zur Bekämpfung von KI einzusetzen.

Fast alle in der Mitteilung genannten Maßnahmen sind auf technische Mittel angewiesen: Die Fähigkeit zur Erkennung von nicht gekennzeichneten KI-Inhalten wird gestärkt, die Erkennung der wiederholten Nutzung desselben Bildes oder Videos über verschiedene Regionen und Konten hinweg wird verbessert, und historische KI-Falschinhalte werden in allen Gliedern wie Beiträgen, Kommentaren und Konten beseitigt.

Das klingt nach einem perfekten geschlossenen Kreislauf – wenn KI Falschinhalte erzeugen kann, dann kann KI sie auch erkennen. Aber ist die Sache wirklich so einfach?

Aus technischer Sicht stützt sich die Erkennung von KI-generierten Inhalten durch KI derzeit hauptsächlich auf mehrere Wege:

Erstens: Erkennung von Wasserzeichen und Metadaten. Einige KI-Generierungstools betten unsichtbare Wasserzeichen in Bilder oder Texte ein, und Plattformen können diese Wasserzeichen erkennen, um KI-Inhalte zu identifizieren. Das Problem ist aber, dass Inhalte aus Open-Source-Tools oft keine Wasserzeichen haben, und die Wasserzeichentechnik selbst wird ständig geknackt.

Zweitens: Erkennung von Generierungsmerkmalen. KI-generierte Bilder weisen feine Unterschiede zu von Menschen aufgenommenen Fotos in der Pixelverteilung, dem Rauschmuster und den Texturdetails auf. Auch KI-generierte Texte haben spezifische statistische Merkmale – zum Beispiel die übermäßige Nutzung bestimmter Wörter oder die Regelmäßigkeit von Satzstrukturen. Plattformen können spezielle Erkennungsmodelle trainieren, um diese Merkmale zu erkennen. Aber die Technik entwickelt sich ständig weiter: Mit der Iteration der Generierungsmodelle werden diese Merkmale immer unauffälliger, und das heutige Erkennungsmodell kann morgen schon unwirksam sein.

Drittens: Plattformübergreifende Wiederholungserkennung. Die von Xiaohongshu genannte „wiederholte Nutzung desselben Bildes oder Videos über verschiedene Regionen und Konten hinweg“ ist ein sehr kluger Ansatz. Wenn dasselbe Foto vom „Sonnenaufgang am Erhai-See“ gleichzeitig in Beiträgen von drei verschiedenen Konten in Peking, Shanghai und Guangzhou auftaucht und alle behaupten „Ich habe es letzte Woche selbst aufgenommen“, dann sind mindestens zwei davon gefälscht. Diese auf Graphanalyse basierende Erkennung hängt nicht von der Echtheit des Inhalts selbst ab, sondern von der logischen Plausibilität.

Viertens: Analyse von Verhaltensmustern. Konten, die Inhalte in großen Mengen von KI generieren lassen, weisen oft gemeinsame Verhaltensmerkmale auf: Konzentrierte Registrierungszeit, ungewöhnliche Veröffentlichungsfrequenz, mechanistische Interaktionsmuster und Wachstumskurven der Follower, die nicht den natürlichen Verbreitungsregeln entsprechen. Durch die Analyse dieser Verhaltensmerkmale können Plattformen verdächtige Konten bereits vor der Prüfung der Inhalte identifizieren.

Diese Methoden haben alle ihre Vor- und Nachteile, aber das gemeinsame Problem ist: Sie sind alle eine „nachträgliche“ Verteidigung. Jedes Mal, wenn sich die Technik zur KI-Generierung verbessert, muss die Erkennungstechnik hinterherhinken. Das ist ein asymmetrischer Krieg – der Angreifer braucht nur eine Lücke zu finden, aber der Verteidiger muss alle Lücken schließen.

Außerdem hat die KI-Erkennung ein grundlegendes Paradox: Wenn das Erkennungsmodell zu aggressiv eingestellt ist, löscht es versehentlich viele normale Inhalte. Zählt es als KI-generierter Inhalt, wenn ein Fotoliebhaber KI zur Unterstützung der Bildbearbeitung nutzt? Soll es markiert werden, wenn ein Urheber ChatGPT zum Polieren des Textes verwendet? Wenn Plattformen „KI-Unterstützung“ und „KI-Fälschung“ durcheinanderwerfen, können sie die Motivation der Urheber ersticken und sogar eine Gegenreaktion gegen die „Stigmatisierung von KI“ auslösen.

03 Bekämpfen wir die „KI“ oder den „KI-Geschmack“?

Das führt zu einer tiefergehenden Frage: Was bekämpfen wir eigentlich, wenn wir KI-Inhalte regulieren?

Ist es die „Authentizität und das Vertrauen“, von dem in der Mitteilung von Xiaohongshu die Rede ist? Oder etwas Wesentlicheres – die Existenz des Menschen?

Lassen Sie uns ein Gedankenexperiment machen. Angenommen, eines Tages übertreffen KI-generierte Inhalte die Menschen in Bezug auf faktische Genauigkeit vollständig. Die von KI geschriebenen populärwissenschaftlichen Texte zur kosmetischen Medizin sind strenger als die von echten Ärzten; die von KI empfohlenen Ferienhäuser sind zuverlässiger als die von echten Bloggern; die von KI zusammengestellten Bildungserfahrungen sind praktischer als die von echten Eltern. Haben wir dann noch einen Grund, KI-Inhalte abzulehnen?

Die Antwort lautet wahrscheinlich nein. Aber das Problem liegt genau darin: Die heutigen KI-generierten Inhalte sind in den beiden Dimensionen „Genauigkeit“ und „menschliche Authentizität“ oft in doppelter Hinsicht unzureichend.

Schauen wir uns zuerst die „Genauigkeit“ an. KI hat keinen physischen Körper, sie kann nicht wirklich in einem Ferienhaus übernachten, eine kosmetische Behandlung durchführen oder ein Kind erziehen. Alle ihre „Erfahrungen“ sind Wahrscheinlichkeitsinferenzen, die auf Trainingsdaten basieren. Wenn die KI einen „Erfahrungsbericht über ein Ferienhaus in Dali“ schreibt, erinnert sie sich nicht, sondern sie „halluziniert“ – sie konstruiert eine Szene, die nie stattgefunden hat, mit der statistisch wahrscheinlichsten Kombination von Wörtern. Deshalb sind KI-Inhalte besonders gut darin, „echt auszusehen“, aber verraten sich oft in Details: Sie kann den Standort des Erhai-Sees falsch angeben, Möwen in der falschen Saison erscheinen lassen oder einen Ferienhausnamen erfinden, der gar nicht existiert.

Schauen wir uns dann die „menschliche Authentizität“ an. Selbst wenn KI-Inhalte faktisch vollständig korrekt sind, fehlt ihnen etwas Unersetzbares: Die Perspektive des Menschen, die Emotionen des Menschen, die Gegenwart des Menschen. Wenn wir einen Reisebericht lesen, wollen wir nicht nur wissen „Ist dieses Ferienhaus gut?“, wir wollen auch die Stimmung der Autorin spüren, als sie an dem Morgen das Fenster öffnete, die Überraschungen und Unerwarteten Dinge erfahren, die sie auf der Reise erlebt hat, und Resonanz in ihrer Geschichte finden. Diese „menschliche Authentizität“ kann KI nicht nachahmen.

Deshalb sollte der Standard der Regulierung doppelt sein: Wir müssen sowohl die faktische Genauigkeit anstreben als auch die menschliche Eigenschaft der Inhalte bewahren.

Die Formulierung in der Mitteilung von Xiaohongshu spiegelt diesen doppelten Standard in gewissem Maße wider. Einerseits „ermutigt die Plattform Urheber, KI zur Unterstützung der Erstellung zu nutzen“ – das anerkennt den Wert von KI als Werkzeug. Andererseits verlangt die Plattform, „keine Orte zu erfinden, die man nie besucht hat, keine Produkte, die man nie tatsächlich benutzt hat, und keine Ereignisse, die man nie persönlich erlebt hat“ – das verteidigt das Kernmerkmal menschlicher Inhalte, die „Persönlichkeit des Erlebens“.

Aber diesen Standard umzusetzen, ist viel schwieriger als ihn zu formulieren.

05 Eine Zukunft, die sich allmählich verwischt

Kehren wir zu der Geschichte von Lin Wei zurück. Wenn das KI-Erkennungssystem von Xiaohongshu leistungsfähig genug wäre, hätte es den gefälschten Ferienhausbeitrag bereits blockiert, bevor sie ihn gesehen hat. Sie hätte vielleicht ein Ferienhaus verpasst, das „schön aussieht“, aber sie hätte nicht die drei Stunden holprige Fahrt auf Bergstraßen ertragen müssen, und vor allem hätte sie nicht die Enttäuschung erlebt, bei der Ankunft nur eine Zementwand zu sehen.

Das ist das ideale Bild der technischen Regulierung. Aber die Realität ist, dass Plattformen täglich Hunderte Millionen Inhalte verarbeiten und das KI-Erkennungssystem keine 100%ige Genauigkeit erreichen kann. Zwischen „einen gefälschten Inhalt durchlassen“ und „einen echten Inhalt versehentlich löschen“ müssen die Plattformen abwägen. Und die derzeit übliche Branchenpraxis lautet: Lieber einen falsch löschen, als einen durchlassen – das ist der Grund, warum Xiaohongshu innerhalb von drei Monaten 120.000 KI-Falschinhalte beseitigen konnte, während sich gleichzeitig viele Urheber darüber beschweren, dass ihre normalen Inhalte falsch beurteilt wurden.

Aus langfristiger Sicht wird dies ein Krieg ohne Ende sein.

Wenn die Fähigkeit zur Generierung von KI-Inhalten immer stärker wird und die Technik zur Erkennung von KI durch KI immer ausgereifter wird, wird die Konfrontation zwischen den beiden ständig eskalieren. Schließlich müssen Plattformen möglicherweise auf komplexere Systeme zurückgreifen – zum Beispiel mehrere KI-Modelle zur gegenseitigen Überprüfung einsetzen oder das gemischte Modell „menschlicher Prüfer + KI“ einführen. Das bedeutet aber auch, dass die Betriebskosten von Inhaltsplattformen stark steigen werden, und kleine und mittlere Plattformen können sich solche technischen Investitionen möglicherweise gar nicht leisten.

Eine mögliche Zukunft ist: Die Inhaltsplattformen werden sich schichten. Große führende Plattformen sind in der Lage, fortschrittliche KI-Regulierungssysteme aufzubauen und eine relativ gesunde Inhaltsökosystem zu erhalten; kleine und mittlere Plattformen hing