Untersuchung zur Missbrauch von KI-Technologie: Prominente können mit einem Klick "umgekleidet" werden, "grenzüberschreitende" Inhalte werden zur Schlüsselkarte für Traffic. Warum ist die technologische Abwehrlinie nur ein leeres Gebräu?

Ein unansehnliches Video mit "AI-Gesichtswechsel" hat einen Hochschuldozenten plötzlich in eine Betrugsgefahr gebracht; ein fast identisches AI-Klonfoto hat die Angestellte Xiaoya (Pseudonym) besorgt, dass ihr Foto für die Herstellung von pornografischem Material verwendet werden könnte; die Top-Verkäuferin für Porsches in Qingdao und die Billardspielerin Wang Sinuo sind hingegen in die Wellen des böswilligen AI-Generierens von "pornografischen Gerüchten" verwickelt... Sie alle sind Opfer des Missbrauchs der Künstlichen Intelligenz.

Darüber hinaus sind auf sozialen Plattformen Inhalte wie "AI-Kleidungstausch" und "AI-Randspiele" bei Prominenten allgegenwärtig und werden zur "Traffic-Magieformel". Einige Accounts sammeln Fans mit solchen Inhalten, und es gibt sogar Anleitungen, wie man damit "Konten aufbaut und Geld verdient".

Warum können diese mutmaßlich rechtsverletzenden und randsüchtigen AI-Inhalte so leicht hergestellt werden?

In letzter Zeit haben die Reporter der "Daily Economic News" (im Folgenden "Reporter") 12 häufig genutzte AI-Anwendungen für die Generierung von Bildern und Videos aus Text getestet. Das Ergebnis zeigte, dass 5 von ihnen einen "Eintastendresswechsel" bei Prominenten ermöglichen und 9 "randsüchtige" Bilder generieren können.

Angesichts dieser Unsitte hat die zentrale Internet-Zentrale im Juni dieses Jahres die zweite Phase der Spezialaktion "Reinigung: Bekämpfung des Missbrauchs von Künstlicher Intelligenz" gestartet, die sich auf die Bekämpfung von 7 ausgeprägten Problemen konzentriert, darunter die Nutzung von AI zur Erstellung und Veröffentlichung pornografischer und vulgärer Inhalte sowie die Nutzung von AI zur Nachahmung anderer Personen zu rechtsverletzenden Zwecken.

Warum ist jedoch die technische Abwehr von AI-Anwendungen so schwach? Welche Rolle spielen die Inhaltsplattformen dabei? Die vielen Fragen hinter diesem Missbrauch von Technologie müssen dringend beantwortet werden.

1

Im Schatten des AI-Missbrauchs:

Weder Normalbürger noch Prominente sind davor gefeit

An einem späten Abend im August erhielt Gao Xiang, ein außerhalb der Universität tätiger Mentor für Studierende der künstlichen Intelligenz an der Universität der Elektronischen Wissenschaft und Technologie, eine Betrugsnachricht mit einem unansehnlichen Video, in dem sein Gesicht mithilfe von AI-Gesichtswechseltechnologie in einem Hotelzimmer ersetzt worden war.

Ähnlich verging es Xiaoya (Pseudonym). Am Abend des 18. September erhielt sie plötzlich eine Privatnachricht von einem Freund, der ihr sagte, dass er in der Freundesliste ein Foto von jemandem gesehen habe, der "sehr ähnlich" wie sie aussehe, fast ein "Klon". Nach einem Vergleich der Fotos mit ihrem Freund stellte Xiaoya schließlich fest, dass jemand mithilfe von AI-Bildgenerierungstechnologie aus ihren öffentlich auf sozialen Plattformen veröffentlichten Fotos einen "Klon" erstellt habe. "Ich weiß nicht, wie viele Fotos oder Videos andere mit meinem Foto erstellt haben, und ich weiß auch nicht, wie viele Accounts sie benutzt haben und wie lange sie betrogen haben", sagte Xiaoya.

Sie befürchtete sehr, dass der andere, neben der Fälschung einer Liebesbeziehung oder der Erpressung von Geld, auch pornografische Gesichtswechselvideos erstellen könnte. Daher meldete sie sich sofort bei der Polizei.

Am 10. Oktober teilte auch Frau Mou, die Top-Verkäuferin für Porsches im Qingdao-Porsche-Zentrum, über soziale Medien mit, dass sie kürzlich gefälschte Videos, die mithilfe von AI böswillig generiert wurden, sowie unangemessene Videos, die teilweise ähnlich wie ihr Gesichtsprofil aussehen, entdeckt habe, die sie diffamierten und beleidigten. Sie habe auch "Bombardierungen" mit Störanrufen erlebt und viele unklare Freundschaftsanfragen über WeChat erhalten.

Prominente sind ebenfalls nicht davor gefeit. Am 30. August veröffentlichte die Billardspielerin Wang Sinuo ein Video, in dem sie sagte, dass sie böswillig dazu benutzt wurde, pornografische Videos mithilfe von AI zu generieren und zu verbreiten. Anschließend sprach sich die Billardrichterin Wang Zhongyao zu ihrer Verteidigung aus und gab an, dass auch sie ähnliche Probleme erlebt habe, da auf ausländischen Websites illegal gefälschte pornografische Videos mit ihr verbreitet wurden.

Deng Yile, ein Anwalt von der Rechtsanwaltskanzlei Xingquan in Peking, sagte den Reportern der "Daily Economic News", dass laut Artikel 13 des "Gesetzes der Volksrepublik China zum Schutz persönlicher Informationen" die Verarbeitung persönlicher Informationen eine ausdrückliche Zustimmung erfordert. Doch ist es für normale Benutzer im Allgemeinen sehr schwierig zu wissen, ob ihr Foto für das Training oder den Gesichtswechsel verwendet wird, es sei denn, die AI-Firma teilt es im Voraus mit oder der Benutzer entdeckt das gefälschte Foto selbst. Wenn die Plattform in den Nutzungsbedingungen die Daten für das AI-Training in Form einer "umfassenden Zustimmung" erlaubt, ohne eine separate Warnung, könnte dies eine "verdeckte Nutzung" im Sinne des Rechts darstellen.

2

Der unkontrollierte Traffic-Raum:

"AI-Kleidungstausch" und "AI-Randspiele" überfüllen die Plattformen

Auf sozialen Plattformen gibt es überall Fotos oder Videos von Prominenten mit "AI-Kleidungstausch" und "AI-Randspielen".

Mit Eingabe von Suchbegriffen wie "AI-Portrait" oder "AI-Malerei" kann man viele von AI generierte Prominentenporträts finden. Wenn man jedoch "AI-Seduction" oder "nassgekleidete" und andere suggerierendere Begriffe eingibt, wird der Maßstab der Suchergebnisse deutlich größer.

Diese Inhalte erzielen oft erstaunliche Traffic-Rücklagen. Beispielsweise gibt es auf einer Videoplattform fast hundert Accounts, die sich speziell mit "AI-Schönheiten" befassen. Einige Accounts haben fast 250.000 Fans, und der Großteil ihrer veröffentlichten Inhalte sind "randsüchtige" Videos, die von AI generiert wurden. Ein Account namens "AI Yaoyao" veröffentlichte ein Video einer AI-Frau in einem tiefausschnittigen Oberteil und engen, leicht transparenten Lederhosen, das über 12.000 Likes und zusammen über 6.000 Speicherungen und Weiterleitungen erhielt.

Auch auf einer anderen Videoplattform gibt es überall AI-Frauenbilder in Berufskleidung wie Miniröcken und Strumpfhosen, die in suggerierenden Haltungen neben einem Schreibtisch knien. Noch besorgniserregender ist das Phänomen der Verletzung des Porträtrechts. Beispielsweise wurden die Bilder von fast zehn bekannten Schauspielerinnen wie Bai Lu, Yu Shuxin, Yang Zi und Liu Yifei in Massen auf denselben Tänzer übertragen, um den Effekt von "denselben antiken Kostümen und einem gemeinsamen Tanz" zu schaffen.

Darüber hinaus gibt es auf der Plattform auch verschiedene Anleitungen, die Benutzern zeigen, wie man "randsüchtige" AI-Inhalte erstellt und damit Konten aufbaut und Geld verdient. Die Autoren der Anleitungen behaupten, dass man "mit einem Klick hochwertige Videos von tanzenden Schönheiten" oder "Schönheiten im Badezimmer" generieren kann und empfehlen die Verwendung von Hashtags wie "Doubao" oder "Jimeng". Der Autor sagt, dass dieses Modell "unglaublichen Traffic" generiere und "der Warenverkauf im Showcase wie auf Autopilot" läufe.

Auf TikTok (Douyin) hat ein Lehrvideo mit fast 10.000 Likes, Kommentaren und Weiterleitungen im Kommentarbereich viele Benutzer, die sich nach Informationen erkundigen. Einige Benutzer bieten sogar bis zu 50.000 Yuan an, um diese "Traffic-Magieformel" zu erlernen.

Auch auf Xiaohongshu (Little Red Book) verbreiten einige Blogger Methoden zur Generierung von "randsüchtigen" Bildern mithilfe von AI-Tools und kommentieren mit "AI-Randspiele haben großes Potenzial". Einige Blogger veröffentlichen auch Beiträge mit Titeln wie "Privatporträts von Prominentinnen zu Hause", wobei die Coverbilder von AI generierte sexy Selbstporträts von mehreren bekannten Schauspielerinnen unter schwachem Licht sind und die Beiträge detaillierte Anleitungen zu den Suchbegriffen enthalten.

Baidu-Bilder ist ebenfalls ein Problemgebiet für von AI generierte "randsüchtige" Inhalte. Die Bilder umfassen "Uniform-Seduction", animierte Stile und verschiedene aufgedeckte AI-Frauenbilder. Viele der Bildtitel oder -beschreibungen enthalten Wörter wie "Seduction" oder "Sexy", und einige Bilder haben sogar Kommentare wie "AI versteht Männer besser".

Bezüglich der mutmaßlich rechtsverletzenden und "randsüchtigen" AI-Inhalte auf der Plattform sagte der Verantwortliche für die Bekämpfung von Falschinformationen auf Xiaohongshu, dass falsche und unechte Inhalte, falsche Persönlichkeiten und AIGC-Fälschungen die drei Schwerpunkte der gegenwärtigen Bekämpfung von "Falschheit" in der Community seien. Angesichts des explosiven Wachstums der AIGC-Technologie seien auch die falschen und niedrigwertigen AIGC-Inhalte ein zentrales Anliegen der Bekämpfung. Xiaohongshu steigere kontinuierlich die Investitionen in die Entwicklung von AIGC-Erkennungsmodellen, um die Erkennungsgenauigkeit zu verbessern und die Sichtbarkeit von falschen und niedrigwertigen AIGC-Inhalten zu reduzieren. Gleichzeitig mache die Plattform eine aktive Kennzeichnung von AIGC-generierten Inhalten, um die Transparenz der Informationen zu erhöhen. Im ersten Halbjahr 2025 hat Xiaohongshu insgesamt 600.000 falsche und niedrigwertige AIGC-Beiträge beseitigt und verwaltet.

Ein Verantwortlicher von TikTok sagte den Reportern der "Daily Economic News", dass gemäß der "Self-Regulierungsvereinbarung der TikTok-Community" die Plattform entsprechende Einschränkungsmaßnahmen gegen die Darstellung und Verbreitung vulgärer und schmutziger Inhalte ergreifen werde. Unabhängig davon, ob die Videos mithilfe von AI oder anderen Methoden generiert wurden, werde die Plattform alle als rechtswidrig eingestuften Inhalte behandeln.

Die Reporter der "Daily Economic News" fragten Baidu, ob es sich der Probleme bewusst sei. Die Antwort war, dass die Firma keine Stellungnahme abgeben könne. Auch Kuaishou gab keine Antwort.

Die Reporter bemerkten, dass die Plattformen normalerweise auf von AI generierten Bildern Hinweise wie "Verdächtiges AI-Kunstwerk, bitte vorsichtig prüfen" anbringen.

"Eine solche Kennzeichnung kann nicht direkt bedeuten, dass die Plattform ihre angemessene Sorgfaltspflicht erfüllt hat, und erst recht nicht, dass sie automatisch von ihrer gesetzlichen Verantwortung befreit wird." sagte Liang Qian, eine Anwältin von der Rechtsanwaltskanzlei FaXian, direkt. Sie ist der Meinung, dass die Frage, ob die Plattform eine Verantwortung übernehmen muss, in Bezug auf die Sichtbarkeit der Kennzeichnung, die Wahrnehmung der Benutzer, die aktiven Präventionsmaßnahmen der Plattform und die Effizienz bei der Behandlung von rechtsverletzenden Inhalten und andere Faktoren einer umfassenden Beurteilung bedarf.

Wenn die Plattform in der Lage ist, zu erkennen und zu kennzeichnen, warum kann sie nicht noch strenger prüfen?

Liang Qian meint, dass zunächst die bestehenden Erkennungstechnologien unvollkommen seien. Wenn die Plattform zu stark auf die Technologie für die Prüfung angewiesen sei, könnten normale Benutzerbeiträge versehentlich gelöscht oder eingeschränkt werden. Angesichts der riesigen Menge an täglichen Inhalten sei jedoch eine manuelle Prüfung unrealistisch und kostspielig. "Die Kennzeichnung" sei vielleicht eine kostengünstigere und praktikablere Verwaltungsweise.

Entsprechend schlägt Zheng Xiaoqing, ein Dozent an der Fakultät für Informatik der Fudan-Universität, vor, dass allen von AI generierten Inhalten ein für das menschliche Auge unsichtbares, aber von der Plattform schnell erkennbares "digitale Wasserzeichen" hinzugefügt werden könnte. Sobald ein Benutzer ein von AI generiertes rechtswidriges Foto veröffentlicht, könne die Plattform über das Wasserzeichen sofort die Quelle erkennen und schnell Maßnahmen ergreifen.

3

Tests von 12 AI-Anwendungen:

5 können Prominenten "Kleidung wechseln", 9 können "randsüchtige" Bilder generieren

Um die Gründe für die leichte Herstellung dieser Inhalte aufzudecken, haben die Reporter der "Daily Economic News" 12 häufig genutzte AI-Anwendungen für die Generierung von Bildern und Videos aus Text getestet. Der Test konzentrierte sich auf die tatsächliche "Abwehrfähigkeit" der AI-Anwendungen in Bezug auf "AI-Kleidungstausch" bei Prominenten und die Generierung von "randsüchtigen" Bildern.

5 AI-Anwendungen können Prominenten "mit einem Klick die Kleidung wechseln", was eine Rechtsverletzung darstellt

Bei dem "AI-Kleidungstausch"-Test wählten die Reporter ein Foto einer bekannten Schauspielerin und laden es in 12 Anwendungen hoch. Das Ergebnis zeigte