Die AI-Prüfung von Aufsätzen treibt die Studenten dieser Generation in den Wahnsinn.

Fehlerhaftigkeit: Im Jahr "Tianlin 7" gibt es für die Abschlussarbeiten dieses Jahres zusätzlich zur Plagiatsüberprüfung eine weitere Prüfstufe - die AIGC-Prüfung.

Seit Anfang dieses Jahres haben mehrere chinesische Hochschulen nacheinander Ankündigungen herausgegeben, in denen gefordert wird, dass Bachelor-Abschlussarbeiten einer AIGC-Prüfung unterzogen werden müssen, und es wurden klare Vorschriften für die AIGC-Rate der Arbeiten festgelegt. Das Prüfungsergebnis wird als Kriterium für die Zulassung der Arbeit verwendet.

• Die Sichuan-Universität verlangt, dass der Anteil an von KI generiertem Inhalt in Abschlussarbeiten der Geisteswissenschaften nicht mehr als 20 % und in denen der Naturwissenschaften, Ingenieurwissenschaften und Medizin nicht mehr als 15 % betragen darf.
• Die Nanjing University of Technology verlangt, dass alle Abschlussarbeiten der gesamten Universität einer Prüfung unterzogen werden müssen. Die Standards werden von den einzelnen Fakultäten selbst festgelegt.
• Die Guangxi Normal University, die Hebei University of Engineering und die Nanjing University of Aeronautics and Astronautics haben festgelegt, dass der AIGC-Anteil nicht höher als 40 % sein darf.

Bild von KI generiert

Als frisch abgeschlossener Student habe ich in jener Zeit lange mit der AIGC-Prüfung ringen müssen. Nach der schmerzlichen Schleife von "Prüfung - Korrektur - erneute Prüfung - erneute Korrektur" konnte ich die AIGC-Rate endlich von 61,7 % auf 0 % senken.

Dieser Prozess war so entmutigend, weil die AIGC-Prüfung wirklich unfair ist:

Manche Passagen, die ich selbst zeichenweise geschrieben habe, wurden ganz als von KI generiert markiert und rot hinterlegt. Ein AIGC-Anteil von 10 %, der auf einer Plattform gemessen wurde, kann auf einer anderen Plattform 100 % betragen. Selbst auf derselben Plattform kann ein Absatz, der beim ersten Test 0 % AIGC-Anteil hatte, beim zweiten Test 100 % haben.

Das ist noch nicht das Schlimmste. Ein Netizen hat die Essay "Moonlight over the Lotus Pond" von Zhu Ziqing in mehrere Hochschul-KI-Prüftools eingegeben, und es wurde als "62,88 % von KI generiert" bewertet.

Dies lässt mich stark daran zweifeln, ob die aktuelle AIGC-Prüfung von ihrem ursprünglichen Zweck abgewichen ist. Auf einer größeren Ebene: Welchen Einfluss wird sie auf unsere Schreib- und Denkweise haben?

Beim "Senken der KI-Rate" wurde die Qualität des Inhalts zu einem Nebenaspekt, nur um diese Zahl zu senken. Die Arbeit wurde in unzählige Stücke zerlegt und völlig entstellt, nur um zu beweisen, dass "ich keine KI benutzt habe". Gleichzeitig habe ich auch noch zahlreiche AIGC-Prüfgebühren bezahlt.

Das Beweisen, dass man keine KI benutzt hat, wird zum neuen Albtraum der Studenten

Als ich im Internet recherchierte, stellte ich fest, dass es nicht wenige Absolventen gibt, die von der AIGC-Prüfung geplagt werden. Alle beschweren sich.

Eine von einem Studenten komplett von Hand geschriebene Arbeit hatte nach der Prüfung eine KI-Rate von 80 %. Bei demselben Text können die Plagiatscheckergebnisse auf verschiedenen Plattformen um bis zu 30 % differieren.

Um die Prüfung zu bestehen, werden Studenten gezwungen, absichtlich Fehler zu machen, wie z. B. logische Verbindungen zu löschen, absichtlich Grammatikfehler und Rechtschreibfehler zu machen oder umgangssprachliche Ausdrücke zu verwenden. Es ist ironisch, dass sie die Qualität ihrer Arbeit herabsetzen, um die KI-Rate zu senken.

Auch im Ausland ist die Situation nicht besser. Der 23-jährige amerikanische Student Burrel hat in einer schriftlichen Prüfung in einer Pflichtkursarbeit eine 0 bekommen. Der Grund, den der Professor angeführt hat, ist die Vermutung, dass sie diese Arbeit von einer KI schreiben lassen hat.

"Mir ist fast der Herzschlag ausgegangen." Burrel findet diese Anschuldigung absurd und furchterregend.

Burrel behauptet, dass sie diese Übung für einen Bewerbungsschreiben völlig ohne KI erstellt hat. Sie hat der New York Times die Bearbeitungsgeschichte des Google-Dokuments gezeigt und erklärt, dass sie zwei ganze Tage damit verbracht hat, diese Arbeit zu entwerfen und zu korrigieren.

Die von der weltweit bekannten Plagiatscheckfirma Turnitin durchgeführte KI-Prüfung hat jedoch ergeben, dass dieser Text Anzeichen von KI-Schreibung aufweist.

Um ihre Unschuld zu beweisen, hat Burrel der Direktorin der Englischabteilung eine 15-seitige PDF-Datei vorgelegt, die alle zeitgestempelten Bildschirmfotos und Notizen aus ihrem Schreibprozess enthält. Schließlich wurde ihre Note wiederhergestellt.

Schließlich wurde ihre Note wiederhergestellt. Aber diese Erfahrung hat Burrel tief traumatisiert.

Nach dieser Anschuldigung hat Burrel, als sie erneut eine Arbeit abgegeben hat, ein 93-minütiges YouTube-Video hochgeladen, das ihren gesamten Schreibprozess vollständig aufzeichnet.

"Ich habe Angst, dass meine Note wegen etwas, das ich nicht getan habe, beeinträchtigt wird."

Turnitin hat auf diesen Bericht noch nicht geantwortet. Aber der Chief Product Officer Annie Chechitelli hat in einem Blogbeitrag aus dem Jahr 2023 darauf hingewiesen, dass die KI-Prüfwerte nicht als einziges entscheidendes Kriterium für die Beurteilung, ob ein Student KI missbraucht hat, herangezogen werden sollten.

Seit letztem Jahr haben einige amerikanische Hochschulstudenten online Petitionen gestartet, in denen sie ihre Universitäten darum bitten, die Verwendung ähnlicher KI-Prüftools einzustellen. Mit der zunehmenden Verbreitung von KI-Tools ist zu erwarten, dass solche Konflikte zwischen Studenten und Lehrern immer häufiger auftreten werden.

Tatsächlich ist der Anteil an Studenten, die KI in ihren Arbeiten und Hausaufgaben verwenden, bereits sehr hoch. Aber das muss nicht unbedingt als "Schummeln" angesehen werden.

Da der Arbeitsmarkt von diesen Studienabsolventen erwartet, dass sie KI-Fähigkeiten beherrschen, sollte die sinnvolle Verwendung von KI eher in der Hochschulausbildung gefördert werden, anstatt dass man sich von KI komplett distanziert.

Das Grundprinzip der AIGC-Prüfung verstehen

Warum scheinen die AIGC-Prüfungsergebnisse so zufällig zu sein? Was ist eigentlich ihre Prüflogik? Nur wenn man das Prinzip versteht, kann man beim "Senken der KI-Rate" gezielt vorgehen.

Die traditionelle Plagiatsüberprüfung von Arbeiten besteht hauptsächlich darin, die Arbeit mit einer vorhandenen Literaturdatenbank zu vergleichen. Der Plagiatsbericht zeigt Ihnen genau, welche Passagen und welche Literatur dupliziert sind.

Deshalb haben die Vorgänger bereits eine effektive "Strategie" für die traditionelle "Plagiatsreduzierung" entwickelt, wie z. B. die Umformulierung von Satzstrukturen, die Synonymersetzung, die Übersetzung in eine weniger verbreitete Sprache und die Rückübersetzung ins Chinesische... Kurz gesagt, solange man die Wiederholung mit vorhandener Literatur vermeidet, kann man die Prüfung bestehen.

Aber beim "Senken der KI-Rate" scheinen all diese vorhandenen Erfahrungen zu versagen:

Die AIGC-Prüfung ist eher wie eine Blackbox, und die Standards sind unklar. Kein Prüfverfahren kann derzeit 100 % garantieren, welche Texte von KI und welche von Menschen geschrieben wurden. Deshalb gibt das Prüfungssystem normalerweise einen AIGC-Verdachtswert an.

Obwohl dies nur ein "Verdachtsbereich" ist und das System auch erklärt, dass "das Prüfungsergebnis nicht mit der Qualität der Arbeit zusammenhängt", wird die Arbeit tatsächlich nicht bestanden, wenn der Wert einen bestimmten Schwellenwert überschreitet. Das lässt einen hilflos fühlen.

Letztes Jahr musste Dong Chenyu, ein Dozent an der School of Journalism der Renmin-Universität, sich auch in der AIGC-Prüfung "gegen die Anschuldigung" verteidigen: Eine von seiner Forschungsgruppe dreijährig lang erarbeitete und auf realen Fällen basierende Forschungsarbeit über die Live-Streaming-Branche wurde von einer Prüfplattform als "hochgradig verdächtig auf KI-Generierung" markiert.

https://www.bilibili.com/video/BV1WK7fzNEa5/?spm_id_from=333.337.search-card.all.click&vd_source=2304bb3a0ff80390775707914f5ee0ed

Also: Ist die AIGC-Prüfung wirklich eine "Blackbox"? Was ist ihr Grundprinzip?

Auf der Grundlage von zwei Patenten, die von CNKI 2023 und 2024 veröffentlicht wurden, können wir auch das zugrunde liegende Prinzip und den Ablauf der CNKI-AIGC-Prüfung zusammenfassen:

Erste Phase: Informationsmengen-Differenzprüfung (basierend auf dem Patent aus 2023)

• Den Text eingeben und nach Fachrichtung klassifizieren
• Den Text mit einem Large Language Model umformulieren und die Informationsmenge des Originaltexts und der umformulierten Version berechnen
• Kleine Differenz → möglicherweise von KI generiert; Große Differenz → möglicherweise von Menschen geschrieben

Zweite Phase: Analyse mehrerer Merkmale (basierend auf dem Patent aus 2024)

• Die Wahrscheinlichkeit der KI-Generierung mit einem Textklassifizierungsmodell berechnen
• Merkmale wie logische Abweichung, Wortverbreitung, Satzlänge, Wortverteilung usw. analysieren
• Die Wahrscheinlichkeit der KI-Generierung anhand mehrerer Merkmale beurteilen

Dritte Phase: Endgültige Beurteilung

• Die Ergebnisse der beiden Phasen zusammenfassen
• Beide Phasen deuten auf KI-Generierung hin → als von KI generiert beurteilen
• Andernfalls → als von Menschen geschrieben beurteilen

Wenn das so ist, scheint es einen Standard zu geben. Dann könnte man doch, basierend auf diesem Standard, den Text mit KI so umformulieren, dass er "menschlicher" wirkt und die "KI-Note" sinkt. Könnte man damit nicht die Magie gegen die Magie einsetzen?

KI zur Reduzierung der KI-Rate einsetzen? Ist das wirklich effektiv?

Ich habe zwei Arten von Methoden ausprobiert, die im Internet als "KI zur Reduzierung der KI-Rate einsetzen" bekannt sind:

• Einen Prompt eingeben und ein Large Language Model den Originaltext umformulieren lassen
• Spezielle "Einstufige KI-Reduzierungs"-Tools verwenden (meistens kostenpflichtige Dienste)

Ich habe meine Arbeit als Versuchskaninchen genommen und mehrere Passagen (insgesamt 972 Wörter, manuell geschrieben und von Chat GPT verbessert) in die kostenlose KI-Plagiatscheckplattform "PaperYY" hochgeladen. Das Prüfungsergebnis zeigte einen AIGC-Verdachtswert von 61,7 %.

Anschließend habe ich nacheinander die folgenden Methoden der "KI zur Reduzierung der KI