OpenAI-Forscher: Wir alle lesen keine wissenschaftlichen Arbeiten mehr.
Lesen die Mitarbeiter in Spitzenlabors kaum noch wissenschaftliche Arbeiten?
Ein Forscher von OpenAI kritisiert drei Top-Konferenzen mit einem Satz: Zu viele Übertreibungen und Fälschungen!
Der Auslöser der ganzen Sache ist eine ICLR-Arbeit mit unerklärlich guten Ergebnissen. Nach der Untersuchung durch Netznutzer wurde das darin enthaltene „Geheimnis“ entdeckt.
Hat sich die Veröffentlichung von Arbeiten auf Top-Konferenzen bereits zu einem solchen Zustand „entwickelt“?
Erstens prüfen, ob der Quellcode offen gelegt wird, zweitens nachsehen, ob sich in den experimentellen Methoden irgendwelche „unredlichen Tricks“ verbergen, und drittens überprüfen, ob die erzielten Ergebnisse die Kernschlussfolgerung stützen – Wie viele Arbeiten auf Top-Konferenzen können nach dieser schrittweisen Prüfung der Überprüfung standhalten?
Tatsächlich hat jemand genau das getan.
Von 105 Arbeiten sind nur 8 „qualifiziert“
Dieses Jahr im Juli veröffentlichte SAI, das gemeinsam von Tan Chenhao, außerordentlicher Professor für Informatik und Datenwissenschaft an der Universität Chicago, gegründet wurde, eine groß angelegte „experimentelle Begutachtung“.
Sie wählten alle 168 Oral-Arbeiten von ICML 2026 aus.
In diesem Jahr erhielt ICML insgesamt 23918 Einreichungen, von denen schließlich nur 168 die Oral-Qualifikation erhielten, was einem Anteil von etwa 0,7 % entspricht.
Mit anderen Worten: Die von SAI geprüften Arbeiten sind bereits die Spitzenauswahl aus mehr als 20000 Einreichungen.
Zusätzlich zum Lesen der Methoden, Versuchsdesigns und Ergebnisse der Arbeiten wie herkömmliche Gutachter lädt SAI Review auch Quellcode, Modelle und Daten herunter, konfiguriert die Umgebungen und führt die Experimente aus, um schließlich die Ausführungsergebnisse Punkt für Punkt mit dem Originaltext der Arbeiten zu vergleichen.
SAI prüfte alle 168 Oral-Arbeiten, von denen nur 104 den Quellcode offenlegten, und schließlich gelang die vollständige Reproduktion von 105 Arbeiten.
Dabei konnten nur 34 Arbeiten mehr als 40 % der Behauptungen reproduzieren; bei einem Reproduktionsanteil von über 80 % blieben nur 8 Arbeiten übrig.
Unabhängig davon, ob jede Arbeit mindestens 1, 3 oder 5 überprüfbare Behauptungen enthält, liegt der Median des Reproduktionswerts stets zwischen 28 % und 30 %, und die Gesamtverteilung ändert sich kaum.
Nach Ausschluss von Experimenten, die nicht ausgeführt werden konnten, vorzeitig abgebrochen wurden oder die Hardwarekapazitäten überstiegen, liegt der Median des Reproduktionswerts immer noch nur bei 42 % bis 50 %; wenn jede Arbeit mindestens 3 überprüfbare Behauptungen enthält, stabilisiert sich der Median bei 42 %.
Alle häufigsten Probleme bei der Reproduktion sind aufgetreten: Der Quellcode lässt sich nicht ausführen, Dateien fehlen, die Beschreibungen sind unvollständig, Abhängigkeiten sind beschädigt oder die Ergebnisse des ausgeführten Codes stimmen nicht mit denen der Arbeit überein.
Weitere 4 Arbeiten sind auf bereits eingestellte Modelle angewiesen. Selbst wenn spätere Forscher bereit sind, Geld und Zeit zu investieren, ist es unmöglich, dieselben Ergebnisse erneut zu erzielen.
SAI führte auch zwei spezifischere Beispiele auf.
Eine Arbeit stellte „nur 0,77 % der Parameter des Grundmodells trainieren“ als Hauptverkaufsargument dar, aber der tatsächlich veröffentlichte Prüfpunkt trainierte 6,31 % der Parameter, was etwa dem Achtfachen der angegebenen Zahl entspricht.
Eine andere Arbeit zeigte eine Zuverlässigkeitstabelle, die von einem Schiedsrichtermodell bewertet wurde, aber dieses Schiedsrichtermodell ist im offen gelegten Quellcode nicht zu finden, und es gibt auch kein Skript, um die Zahlen in der Tabelle zu berechnen.
Minderwertige Arbeiten: Hoher Nutzen bei geringem Risiko
Die Reproduktionsergebnisse von SAI können als recht schlecht bezeichnet werden.
Noch schlimmer ist, dass die hier gefundenen Probleme nur Probleme sind, die „unter bestimmten Bedingungen entdeckt werden können“.
Arbeiten ohne Quellcode sind direkt „unangreifbar“.
Aber selbst wenn der Quellcode vollständig offen gelegt ist, kostet die Überprüfung einer Arbeit enorme Zeit, Energie und Geld, und das Endergebnis ist trotzdem unbefriedigend – man kann sich kaum vorstellen, wie frustrierend das ist.
Nach der Schätzung von SAI auf Basis der öffentlichen Preise bei Google Cloud für die bedarfsgesteuerte Nutzung betragen die medianen Kosten für die vollständige erneute Ausführung einer ICML-Oral-Arbeit etwa 8900 US-Dollar. Von den 105 Arbeiten übersteigen 17 die Kosten von 100000 US-Dollar, und die teuerste Arbeit liegt bei fast 2,2 Millionen US-Dollar.
Je stärker eine Arbeit auf umfangreiche Rechenleistung angewiesen ist, desto schwieriger ist die unabhängige Reproduktion.
Ohne Quellcode können andere die Arbeit nicht überprüfen; selbst mit Quellcode kann sich niemand diese Kosten leisten.
Daher kann eine problematische Arbeit sehr leicht die Begutachtung bestehen, Zitationen erhalten, dann in den Lebenslauf aufgenommen werden und so zu einer Zulassung, einer wissenschaftlichen Stelle oder einer Arbeitsmöglichkeit in einem großen Labor führen.
Wenn zufällig jemand feststellt, dass die Ergebnisse nicht übereinstimmen, führen die Konferenzen selten eine erneute Prüfung durch, und die Arbeit wird kaum zurückgezogen.
Das ist genau das, was in den Kommentaren genannt wird: „Schlechte Forschung zu betreiben bringt Nutzen, hat aber fast keine Kosten“.
Man liest keine Arbeiten, aber bei der Einstellung werden Arbeiten verlangt
Im Bereich der großen Modelle tauchen tatsächlich viele wirklich wichtige Fortschritte nicht mehr in Form von wissenschaftlichen Arbeiten auf.
Als Ingenieur bei OpenAI an der Spitze der Industrie ist es nicht schwer, dieses Gefühl zu verstehen. Schließlich verfügt man über ausreichendere Rechenleistung, schnellere experimentelle Rückmeldungen und eine große Menge nicht öffentlicher interner Ergebnisse, sodass man die Selbstsicherheit hat, „keine Arbeiten zu lesen“.
Aber dies so auszusprechen, ist etwas zwiespältig.
Ein Kommentar spottet, dass die Mitarbeiter in Technologieunternehmen das tun, nämlich „die Leiter nach dem Erreichen des Ufers wegziehen“: Sie rekrutieren Forscher von Universitäten, bauen auf den öffentlich angesammelten Ergebnissen der akademischen Welt auf, holen Talente und GPUs mit höheren Gehältern ab, akzeptieren immer weniger Peer-Reviews selbst und erklären schließlich rückwärts, dass die akademische Forschung „hauptsächlich ein Betrug ist“
Das ist etwas scharf formuliert, aber es hat tatsächlich einen Wahrheitsgehalt.
Die Mitarbeiter dieser Spitzenlabors können „keine Arbeiten lesen“, aber diejenigen, die hineinkommen wollen, müssen trotzdem zuerst Arbeiten veröffentlichen.
Für Studierende und junge Forscher ohne industrielle Erfahrung sind Arbeiten auf Top-Konferenzen immer noch der direkteste Beweis für ihre Forschungsfähigkeiten.
Bei der Bewerbung um eine Doktorstelle, der Suche nach einer wissenschaftlichen Stelle oder dem Eintritt in Spitzenlabors wie OpenAI muss man auf Arbeiten setzen, um Aufmerksamkeit zu erregen.
Die Mitarbeiter in der Industrie verachten Arbeiten, nachdem sie in große Labors eingetreten sind, aber sie filtern die Menschen vor der Tür trotzdem nach der Anzahl der Arbeiten, dem Niveau der Konferenzen und den Zitationsergebnissen.
Damit geraten die Arbeiten in eine peinliche Lage: Ihre Glaubwürdigkeit bei der Wissensverbreitung wird in Frage gestellt, aber ihr Wert im Wettbewerb um Talente ist keineswegs verschwunden.
Daher klingt „Die großen Labors lesen bereits keine Arbeiten mehr“ etwas selbstgefällig und arrogant. Denn diejenigen, die wirklich berechtigt sind, keine Arbeiten zu lesen, haben diese Schwelle bereits mit Hilfe von Arbeiten überwunden.
Natürlich sind nicht alle Studierenden sorgfältig geplante akademische Schurken, die Betrug begehen.
Ein Forscher an einer Universität scherzte, dass er sich wünsche, seine Studierenden hätten bereits die Fähigkeit, eine Arbeit mit Übertreibungen oder sogar Fälschungen zu schreiben.
Einige „streben danach, akademische Betrüger zu werden“, während andere noch mit LaTeX kämpfen.
Referenzlinks:
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886