Ist es zuverlässig, den AIGC-Anteil mit KI zu erkennen?

Am 23. Juni kündigte Superhuman die Übernahme des AI-Detektionstools GPTZero an.

Wo liegt denn die Spannung in diesem Vorfall?

Der Übernehmer Superhuman ist das Mutterunternehmen von Grammarly. Grammarly ist eines der weltweit größten AI-Schreibhilfsmittel und hilft täglich 40 Millionen Menschen, ihre Texte flüssiger und kohärenter zu schreiben.

Das übernommene Unternehmen GPTZero ist ein AI-Detektionstool mit 19 Millionen Benutzern, das speziell darauf ausgelegt ist, zu bestimmen, ob ein Text von einem AI-System geschrieben wurde.

Das heißt, Superhuman fördert einerseits mit Grammarly die AI-gestützte Texterschreibung, nutzt andererseits aber auch GPTZero, um zu prüfen, ob ein Text von einem AI-System stammt, und damit der AI-gestützten Texterschreibung entgegenzuwirken. Ist das nicht ein klassisches Beispiel für inneren Konflikt?

AI prüft AI: Ein inkonsistentes "Scheinproblem"

Die Logik, AI zur Prüfung anderer AI-Systeme zu verwenden, ist von Anfang an problematisch.

Sowohl die AI-gestützte Texterschreibung als auch die AI-Detektion basieren auf Modellen, die mit einer großen Menge an menschlichen Texten trainiert wurden und verwenden ähnliche Technologien. Die Kriterien für menschliche Texte, die die Detektionstools verwenden, sind auch bei den Textgenerierungstools vorhanden. Da AI-Systeme beim Schreiben den menschlichen Stil imitieren, ist es paradox, mit AI-Detektionstools zu prüfen, ob ein Text wie von einem Menschen oder einem AI-System geschrieben wurde.

Darüber hinaus gibt es ein gravierendes strukturelles Problem: AI-Detektion kann möglicherweise nie der AI-Generierung hinterherkommen.

Um die Ausgabe eines neuen Modells zu erkennen, müssen Detektionstools genügend Beispiele sammeln, Daten annotieren und dann Klassifikatoren trainieren. Dieser Prozess kann zwei bis drei Monate dauern oder noch länger, während die Modelle aber ständig weiterentwickelt werden. Beispielsweise wurde GPT-4 im März 2023 veröffentlicht, und im November desselben Jahres erschien GPT-4 Turbo. In diesen acht Monaten veröffentlichte Anthropic Claude 2, und Meta brachte Llama 2 auf den Markt. Die Modelle werden ständig aktualisiert, und ihre Ausgaben haben unterschiedliche Merkmale. Wenn das Detektionstool endlich trainiert und bereit zur Implementierung ist, ist bereits ein neues, stärkeres Modell auf den Markt gekommen. Die Genauigkeit der Prüfung leidet, wenn man die Daten des vorherigen Modells zur Beurteilung der Ausgabe des neuen Modells verwendet. Dieses Timingproblem führt dazu, dass die AI-Detektion in eine endlose Jagd gerät, in der sie immer hinterherhinkt.

Darüber hinaus gibt es in dieser Logik ein weiteres unausweichliches Problem: AI-Halluzinationen.

AI-Systeme können beim Schreiben gelegentlich Halluzinationen haben und falsche oder nicht existierende Informationen erfinden. Auch bei der Detektion von AI können Halluzinationen auftreten, die zu Fehlurteilen führen, indem menschliche Texte als von AI generiert oder umgekehrt markiert werden. Es ist paradox, dass ein fehleranfälliges System ein anderes fehleranfälliges System beurteilt, und die Konsequenzen müssen von Menschen tragen. Dies ist die Wurzel des Konflikts bei der AI-Detektion von AI.

Die Realität bestätigt dies, und die Situation ist noch absurder als man denkt.

Ein Internetnutzer hat einmal die "Unabhängigkeitserklärung", die 1776 von Thomas Jefferson geschrieben wurde, in ein AI-Detektionstool eingegeben. Das System hat es zu 99,99 % als von AI generiert bewertet. Eine historische Schrift, die mehr als zweihundert Jahre vor der Entstehung von AI geschrieben wurde, wurde von einem Algorithmus als maschinell generiert markiert. Ein emeritierter Professor namens Paul Speck hat ein Papier vor 45 Jahren geschrieben, das von einem Detektionstool zu 77 % als von AI generiert bewertet wurde.

Zu der Zeit, als diese Werke entstanden, gab es noch nicht einmal den Begriff von Large Language Models.

Wie kann es so absurd sein?

Tatsächlich verstehen AI-Detektoren nicht die Bedeutung von Texten. Sie konzentrieren sich auf statistische Merkmale des Textes, wie die Unvorhersehbarkeit von Wortsequenzen, die Länge und Struktur von Sätzen und die Häufigkeit von Wortkombinationen. Je präziser die Wortwahl, je strenger die Logik und je regelmäßiger die Satzstruktur, desto wahrscheinlicher wird ein Text als von AI geschrieben bewertet. Im Gegensatz dazu haben Texte mit ungeordneter Wortfolge und stumpfer Wortwahl eher Chancen, die Prüfung zu bestehen.

Wenn gute Texte eher von AI verdächtigt werden, ist dies nicht nur ein technisches Problem, sondern die Logik hinter der AI-Detektion muss neu überdacht werden.

Wie kann man AI beweisen, dass ein Text von einem Menschen geschrieben wurde?

Abgesehen von den logischen Paradoxien der AI-Detektionstools gibt es in einer Zeit, in der die Gesellschaft AI vollständig aufnimmt, ein weiteres Paradox: Die Verwendung von AI zur Inhaltserstellung wird von den meisten Menschen akzeptiert, aber gleichzeitig wird versucht, den Anteil von AI-generierten Inhalten zu prüfen.

Trotz dieser Paradoxien besteht ein eindeutiger Bedarf an AI-Detektionstools.

Nach der Veröffentlichung von ChatGPT werden Schulaufgaben und Abschlussarbeiten von Studenten zunehmend von AI beeinflusst. Lehrer müssen prüfen, ob die Arbeiten von AI generiert wurden und ob es Probleme mit der akademischen Integrität gibt.

GPTZero wurde in dieser Situation entwickelt. Anfang 2023 nahm infolge von ChatGPT die Anzahl der Fälle von akademischem Betrug zu. Das Bildungsministerium der Stadt New York in den USA verbot sogar die Verwendung von ChatGPT, um die akademische Integrität zu schützen. Edward Tian, ein Student an der Princeton University, hat in wenigen Tagen ein Prototyp von GPTZero entwickelt und es auf Twitter veröffentlicht. Er hatte erwartet, dass nur einige Dutzend Personen es testen würden, aber binnen weniger Stunden kamen mehr als 2.000 Benutzer, und die Plattform stürzte ab. Drei Jahre später hat das Projekt ein Jahresumsatz von 30 Millionen US-Dollar erreicht.

Der Bedarf an AI-Detektionstools ist größer als man denkt.

Aber die Realität hat eine andere Richtung eingeschlagen.

Im idealen Szenario schreibt ein Student eine Arbeit, die AI-Detektion bestätigt, dass es ein menschlicher Text ist, und der Student gibt die Arbeit an den Lehrer ab.

Im realen Szenario schreibt ein Student eine Arbeit, lässt sie zuerst von einem AI-Detektionstool prüfen. Wenn der AI-Anteil zu hoch ist, ändert er die Arbeit absichtlich, lässt sie erneut prüfen, und wenn der AI-Anteil sinkt, gibt er die Arbeit ab.

Das Schreiben von Arbeiten wird nicht mehr ein Prozess des Denkens und Ausdrucks, sondern ein Kat-und-Maus-Spiel mit Algorithmen.

"Ich bin echt von der AI-Detektion verärgert und gleichzeitig amüsiert", sagte ein Student, der im Jahr dieses Schreibens seine Abschlussarbeit geschrieben hat, auf Xiaohongshu. In der Zeit vor seiner Promotion war er täglich in die Aufgabe verwickelt, zu beweisen, dass seine Arbeit von ihm selbst und nicht von einer AI geschrieben wurde.

Von März bis Mai, in der Zeit vor der Promotion, sind auf der Internetplattform viele "Tutorials zur Reduzierung des AI-Anteils" aufgetaucht, die ähnlich wie "Tutorials zur Reduzierung der Plagiatshöhe" funktionieren. Einige Leute schlagen vor, AI-generierte Texte absichtlich unflüssig zu gestalten. Andere empfehlen, kurze Sätze wie "Zunächst" oder "Zusammenfassend" zu löschen, da diese Strukturen von Algorithmen leicht markiert werden. Noch andere schlagen vor, Texte mit Übersetzungstools hin und her zu übersetzen, um den AI-Anteil zu senken, auch wenn der resultierende Text möglicherweise nicht so flüssig ist.

Von März bis Mai sind auf Xiaohongshu viele Beiträge über die AI-Detektion von Arbeiten und die Reduzierung des AI-Anteils erschienen.

Ein Student hat frustriert kommentiert: "Ich habe das Gefühl, dass ich die Arbeit zwar durch die AI-Detektion bekomme, aber den Lehrer damit nicht überzeugen kann."

Tatsächlich verliert die Arbeit ihren Wert, wenn Studenten viel Zeit damit verbringen, den AI-Anteil zu reduzieren. Der Kern des Schreibprozesses, nämlich die Wiederholung des Schreibens und die Verbesserung der Ausdrucksweise, wird zu dem Versuch, die Vorlieben von Algorithmen zu verstehen und künstliche Merkmale zu erzeugen.

Selbst Studenten, die keine AI verwendet haben, können nicht vor diesem Kat-und-Maus-Spiel gefeit bleiben.

William Quantman, ein Student an der University of California, Davis, war einmal von einem "AI-Detektionsfehler" betroffen. Im Jahr 2023 wurde er von einem Professor bei einer Geschichte-Prüfung des Betrugs mit ChatGPT verdächtigt, und seine Arbeit wurde von GPTZero als "wahrscheinlich von AI generiert" bewertet. Der Professor hat ihm eine ungenügende Note gegeben und ihn an die Abteilung für akademische Integrität der Universität weitergeleitet. Um sich zu rechtfertigen, hat Quantman der Universität die Bearbeitungsgeschichte seiner Arbeit in Google Docs gezeigt, einschließlich der Änderungsaufzeichnungen und der Zeitachse seiner Eingaben. Erst dann wurde die Anklage gegen ihn zurückgenommen.

Wenn die AI-Detektion fehlschlägt und einen menschlichen Text als von AI generiert markiert, müssen die Betroffenen sich unendlich lange rechtfertigen. AI sollte eigentlich dem Menschen dienen, aber jetzt muss der Mensch sich der Technologie gegenüber rechtfertigen.

Marktbedarf trotz Konflikten

Obwohl der Bereich der AI-Detektion voller Konflikte und Paradoxien ist, muss man zugeben, dass die Anzahl der relevanten Produkte nicht abnehmen wird, sondern weiter zunehmen wird, und der Markt wird sich weiter ausweiten.

Im Januar 2026 hat der "2026 AI Detection Landscape Report" eine Statistik veröffentlicht: Die Anzahl der globalen AI-Inhaltsdetektionsplattformen ist von etwa 85 im Jahr 2024 auf 247 im Jahr 2026 gestiegen, was einer Zunahme von 190 % in zwei Jahren entspricht. Die durchschnittliche Genauigkeit der Textdetektion ist von 90,1 % auf 94,3 % gestiegen.

AI-Detektionstools werden nicht nur von Lehrern verwendet, um Betrug zu entdecken, sondern sie werden immer weiterentwickelt und in andere Bereiche eingesetzt, die man ursprünglich nicht erwartet hätte.

Im Januar 2026 hat Originality.ai ein akademisches Modell speziell für STEM-Fächer veröffentlicht, um akademische Arbeiten mit Code und Formeln zu prüfen. Im Juni hat die Firma ein Moodle-Plugin veröffentlicht, das es Bildungsinstitutionen ermöglicht, die AI-Detektions- und Plagiatsprüfungsfunktionen nahtlos in ihre Lehrverwaltungssysteme zu integrieren.

Copyleaks, das sich bisher auf Textdetektion und Plagiatsprüfung spezialisiert hat, hat im Juni dieses Jahres auch in den Bereich der AI-Detektion eingestiegen und ein unternehmensnahes AI-Video-Detektionstool entwickelt, das sowohl die visuelle als auch die auditive Spur von Videodateien scannen kann und den genauen Zeitpunkt der AI-generierten Inhalte identifizieren kann.

Der Bildungssektor ist nur der Anfang, aber keineswegs das Ende. Hinter der Weiterentwicklung dieser Produkte steckt ein noch tieferes Motiv: AI-Kompatibilität.

Mit der zunehmenden Realität von AI-generierten Inhalten steigt auch das Risiko. In den letzten zwei Jahren hat die Anzahl der Betrugsfälle, die mit AI-Face-Swapping und Stimme-Kloning durchgeführt wurden, deutlich zugenommen. Ein Geschäftsführer in Fujian wurde von einem gefälschten Video eines "Freundes" um 4,3 Millionen Yuan betrogen. Ein Mitglied des Nationalen Komitees der Chinesischen Volkspolitischen Konsultativkonferenz, Jin Dong, hat während der Nationalversammlung dieses Jahres berichtet, dass ein alter Mann um 270.000 Yuan seiner Altersvorsorge betrogen wurde, indem ihm gefälschtes Gesicht und Stimme von AI vorgegaukelt wurden.

Die Ausbreitung von Betrug hat die Einführung von Regulierungen beschleunigt. Im März 2025 wurde die "Verordnung über die Kennzeichnung von künstlich generierten und synthetisierten Inhalten" veröffentlicht, die alle AI-generierten Texte, Bilder, Audiodateien und Videos mit expliziten und impliziten Kennzeichnungen versehen müssen. Im Juni 2026 haben Kurzzeitvideo-Plattformen die Kennzeichnung von AI-generierten Inhalten vollständig eingeführt, und nicht gekennzeichnete Inhalte werden nicht weiterverteilt. Auf dem internationalen Markt hat die US-amerikanische Federal Trade Commission bereits in Anlehnung an das "TAKE IT DOWN Act" gegen AI-Tieffake-Inhalte vorgegangen, und die Transparenzpflichten der EU "Künstliche-Intelligenz-Gesetzgebung" in Bezug auf die Kennzeichnung von AI werden am 2. August 2026 in Kraft treten.

Dies ist nur der Anfang, und die zukünftigen Regulierungen werden sicherlich noch detaillierter und strenger sein. Es wird klärer geregelt, in welchen Szenarien AI-generierte Inhalte gekennzeichnet werden müssen, in welchen Szenarien die Verwendung von AI generierten Inhalten verboten ist und welche Prüfungsverantwortung die Plattformen haben. Wenn diese Regulierungen in Kraft treten, wird die AI-Detektion nicht nur ein Werkzeug für Schulen sein, sondern eine grundlegende Infrastruktur für Inhaltsplattformen, Medienunternehmen, Werbeagenturen, Finanzinstitute und viele andere Branchen. Banken müssen prüfen, ob es sich beim Anrufer am anderen Ende der Leitung um eine echte Person oder eine geklonte Stimme handelt. Medienunternehmen müssen überprüfen, ob ein Live-Video von AI manipuliert wurde. Recruiting-Plattformen müssen prüfen, ob das Video eines Bewerbers tatsächlich von ihm selbst aufgenommen wurde.

Einerseits wird die Effizienzsteigerung durch AI gefördert, andererseits wird geprüft, welche Inhalte von AI generiert wurden. Die AI-Detektion scheint entgegen der allgemeinen Tendenz der Akzeptanz von AI zu gehen, aber es handelt sich nicht um einen Rückschritt im herkömmlichen Sinne. Wenn eine Technologie so realistisch ist, dass