Künstliche Intelligenz durchsucht die wissenschaftlichen Arbeiten der vergangenen 100 Jahre rückwirkend, und 99,2 % der Top-Journale weisen Probleme auf.

Wer sagt noch, dass es in der Forschung keine neuen Probleme mehr gibt? Alle guten Forschungsrichtungen sind schon von früheren Forschern eingenommen??

Wenn ich sage ——

Dass die meisten der bereits veröffentlichten Top-Zeitschriftenpapiere Probleme haben?

Kürzlich haben Forscher nach der „wissenschaftlichen Fälschungsbekämpfung“ mit KI-Agenten festgestellt:

Von den 92 auf der Internationalen Konferenz für Maschinelles Lernen 2026 (ICML) vorgestellten Arbeiten lassen sich bereits 58 nicht reproduzieren.

Stimmt das?? Bedeutet das etwa, dass die Chance, massenhaft Top-Papiere zu veröffentlichen, wirklich gekommen ist?

Top-Konferenzpapiere werden kollektiv von der KI „auf den Prüfstand gestellt“

Normalerweise bedeutet die Aufnahme eines Papiers in eine Top-Konferenz, dass es bereits einem Peer-Review unterzogen wurde.

Aufgrund begrenzter Kapazitäten haben die Peer-Review-Gutachter kaum Zeit, Daten von Grund auf herunterzuladen, Modelle auszuführen oder Experimente zu reproduzieren, um jede experimentelle Schlussfolgerung im Papier zu überprüfen.

Gleichzeitig wächst die Anzahl der Arbeiten im KI-Bereich explosionsartig, die Modelle werden immer komplexer, der Umfang der Experimente wird immer größer, und die Codes, Daten und Parametereinstellungen hinter einem Papier können Hunderte von Details umfassen.

Die Überprüfbarkeit von Papieren wird damit immer wichtiger: Das Papier ist veröffentlicht, aber lassen sich die darin enthaltenen Schlussfolgerungen neu ausführen?

Derzeit senken KI-Agenten die Kosten für diese Überprüfung und Reproduktion erheblich.

Am 22. Juli führte ein US-amerikanisches Forschungsüberprüfungsunternehmen mit KI-Agenten eine systematische Auditierung der Reproduzierbarkeit der Ergebnisse aller 168 Vortragspapiere von ICML 2026 durch.

Von den 168 Arbeiten verfügen 92 über mindestens 5 überprüfbare schlussfolgernde Aussagen.

Das Endergebnis lautet: Nur 34 Arbeiten können von KI-Agenten zu mehr als 40% der Schlussfolgerungen erfolgreich reproduziert werden; und nur 8 Arbeiten können zu mehr als 80% der Schlussfolgerungen reproduziert werden.

Es ist jedoch zu beachten, dass es einen großen Unterschied zwischen „nicht reproduzierbar“ und „Forschungsfälschung“ gibt.

Die Gründe für das Scheitern der Reproduktion umfassen unter anderem fehlende Schlüsseldateien im Code, gebrochene Abhängigkeitsbibliotheksversionen, Abweichungen der Ausführungsergebnisse vom Papier, und die Modelle, auf die sich 4 Arbeiten stützen, sind bereits offline, was bedeutet, dass die experimentellen Ergebnisse dauerhaft von niemandem mehr reproduziert werden können.

Darüber hinaus gibt es einige Fälle, die besonders abwegig sind ——

Zum Beispiel stellt ein Papier das „Training von nur 0,77% der Parameter des Basismodells“ als Kernverkaufsargument dar, aber das tatsächlich quelloffene Checkpoint hat 6,31% der Parameter trainiert, was einem Unterschied von etwa dem Achtfachen entspricht.

Ein anderes Papier enthält eine Tabelle zur Zuverlässigkeit auf Basis eines Bewertungsmodells, aber sein quelloffener Code enthält dieses Bewertungsmodell überhaupt nicht, und es gibt kein Skript, das die Ergebnisse in der Tabelle erzeugen kann.

Nicht nur das: Hugging Face und AlphaXiv haben 2026 gemeinsam die „Agent Reproduction Challenge“ Wettbewerb für ICML 2026 ins Leben gerufen, um Forscher einzuladen, KI-Coding-Agenten zur automatisierten Reproduktion der von ICML 2026 akzeptierten Arbeiten zu verwenden, und das Ergebnis ist ebenfalls sehr unerfreulich.

Ein ähnlicher Trend zeigt sich bei der Erkennung von Fehlern und Lücken in Papieren noch erstaunlicher.

Ende 2025 wurde in einer Studie ein auf GPT-5 basierendes Papierprüfungssystem entwickelt, das zur Analyse von bereits in Top-KI-Konferenzen und -Zeitschriften veröffentlichten Arbeiten dient, um objektiv überprüfbare Probleme zu finden. Die Forscher erklärten ausdrücklich:

Wir betrachten nur „objektive Fehler“, wir kümmern uns nicht um die Innovativität und den Forschungswert des Papiers.

Das Endergebnis zeigte, dass durchschnittlich 4,7 objektive Fehler pro Papier erkannt wurden, und 99,2% der Papiere wurden mit mindestens einem Problem markiert.

△ Das Bild wurde von KI generiert 

Nach den Fehlertypen betragen mathematische und Formelfehler den höchsten Anteil von 54,0% (einschließlich falsch geschriebener Gleichungen, Lücken in der Ableitungslogik, falscher Annahmen in Beweisen usw.).

Etwa 30,8% der NeurIPS-Arbeiten und 23,8% der ICLR-Arbeiten enthalten mindestens einen wesentlichen Fehler, der die Interpretation der Ergebnisse beeinflussen könnte.

Besonders auffällig ist der zeitliche Trend: Die durchschnittliche Fehlerzahl pro NeurIPS-Arbeit ist von 3,8 im Jahr 2021 auf 5,9 im Jahr 2025 gestiegen, was einem Anstieg von 55,3% entspricht.

……

Vielleicht bedeutet die Veröffentlichung von Arbeiten künftig nicht mehr, dass die Forschung den „Sieg“ erklärt, sondern nur den Beginn einer neuen Runde der KI-Überprüfung.

Gute Nachricht für akademische Neulinge: Man kann Top-Papiere veröffentlichen, ohne Experimente durchzuführen

Also, Freunde, das ist für diejenigen, die sich gerade um Forschungsthemen sorgen, wahrscheinlich ein ziemlich unerwarteter „Vorteil“.

Das Überprüfen von Literatur auf Fehler und das Schreiben von Korrekturen ist bereits eine seriöse Form der Leistungserbringung im akademischen Kreis, und jetzt sieht es so aus, als wäre dies ein völlig unerschlossenes akademisches Gebiet.

Wie fängt man konkret an? Hier sind einige Tipps für akademische Neulinge, die sich um Forschungsthemen sorgen:

Erstens: Ändern Sie die Forschungsgedanken, konkurrieren Sie nicht um die Spitzenforschung, sondern um die Vergangenheit.

Wechseln Sie von „nach neuen Themen suchen“ zu „nach Anomalien in alten Papieren suchen“ und konzentrieren Sie sich auf die klassischen Papiere, die häufig zitiert werden, aber nur wenige Kontroversen auslösen. Schließlich „haben 99,2% der Papiere mindestens einen Fehler“.

Zweitens: Lassen Sie sich von der KI bei der Erstellung von Wissenskarten und Forschungsstammbäumen helfen.

Diese Wissenskarten helfen Ihnen zu verstehen —— welche Arbeiten die wirklich grundlegenden sind? Welche Forschungsansichten sind derzeit umstritten? Welche Schlussfolgerungen werden häufig zitiert, fehlen aber der Überprüfung? Wie lautet das Zitierverhältnis zwischen verschiedenen Papieren? Auf diese Weise lassen sich früher schwer zu findende Verbindungen und Anomalien entdecken.

Drittens: Stellen Sie alles in Frage.

Viele wichtige Durchbrüche in der Wissenschaftsgeschichte stammen nicht von der Aufstellung völlig neuer Probleme, sondern von der erneuten Prüfung einer seit langem akzeptierten Annahme.

Zum Beispiel: Wurde ein klassisches Experiment nach heutigen Standards überprüft? Gibt es bei einer weit verbreitet zitierten Schlussfolgerung nicht beachtete Einschränkungen?

Früher waren die Kosten für diese Fragestellung sehr hoch, und Forscher mussten viel Zeit aufwenden, um die ursprüngliche Literatur einzusehen und experimentelle Details zu vergleichen, aber heute senkt die KI diese Kosten fast auf Null.

KI könnte beginnen, die Wissenschaftsgeschichte neu zu ordnen

Kürzlich stellte Pios, ein theoretischer Chemiker am Zhejiang-Labor, bei der Verwendung von KI zur Vorhersage des Siedepunkts von Molekülen fest, dass die Ergebnisse in deutlichem Widerspruch zu einem chemischen Datenbank von vor 75 Jahren stehen.

Die erste Reaktion jedes Menschen darauf könnte lauten „Natürlich habe ich mich geirrt“.

Pios war keine Ausnahme, er überprüfte sofort sein eigenes Modell. Aber nachdem er die ursprüngliche Literatur manuell zurückverfolgt hatte, stellte er fest: Oh mein Gott, die KI war diejenige, die Recht hatte.

Pios war sehr erstaunt, danach prüfte er weiter mit KI und stellte fest, dass auch ein vor etwa einem Jahrhundert von der Wissenschaft als anerkanntes Autorität geltender Siedepunktmesswert falsch ist.

Man muss wissen, dass diese Daten seit Jahren zitiert und in die nachfolgenden Forschungen aufgenommen wurden.

Solche Probleme wurden lange Zeit nicht entdeckt, was möglicherweise direkt mit dem Umfang der wissenschaftlichen Literatur zusammenhängt.

△ Das Bild wurde von KI generiert 

Die Anzahl der modernen wissenschaftlichen Arbeiten übersteigt bei weitem die Lesegrenze jedes einzelnen Forschers: Zum Beispiel ist die jährliche Einreichungszahl allein bei der KI-Top-Konferenz ICLR von 1013 im Jahr 2018 auf 19619 im Jahr 2026 gestiegen.

In diesem Umfang wird ein Fehler, der ursprünglich in einem Papier auftritt, sobald er in nachfolgender Literatur wiederholt zitiert wird, entlang der Zitierkette weitergegeben und bildet faktisch einen akademischen Konsens.

Aufgrund des hohen Alters, der komplexen Zitierketten und der Tatsache, dass Nachprüfungen sehr zeitaufwändig sind und nur begrenzten akademischen Nutzen bringen, wurden die meisten Fehler, die bereits in das Literaturssystem eingegangen sind, nie systematisch geprüft.

Aber heute ändert sich alles: Zum ersten Mal haben die Menschen zumindest technisch die Möglichkeit, die vergangene wissenschaftliche Literatur in großem Umfang neu zu prüfen.

Allerdings hat beispielsweise das von GPT-5 angetriebene Paper Correctness Checker eine Erkennungsgenauigkeit von 83,2%, und bei jeder Prüfung werden noch etwa 40% der tatsächlichen Fehler nicht erkannt.

Man kann sagen, dass solche KI-Faktenprüfwerkzeuge selbst nicht in der Lage sind, als Richter für wissenschaftliche Literatur zu fungieren, die Ausgaben der KI-Prüfwerkzeuge müssen letztlich noch von Menschen überprüft werden.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „QbitAI“ (ID: QbitAI), Autor: Cheng Qian, veröffentlicht mit Genehmigung von 36Kr.