Künstliche Intelligenz hat eine Explosion von wissenschaftlichen Arbeiten ausgelöst, das Peer-Review-System steht kurz vor dem Kollaps: Auch arXiv hat die strengste Zugangsbeschränkung eingeführt.
arXiv führt offiziell die strengste neue Regel ein: Jede Person darf maximal 2 Arbeiten pro Monat einreichen, auch abgelehnte Manuskripte zählen dazu!
Ab dem 1. Oktober gilt eine Begrenzung der Einreichungshäufigkeit für das Hochladen von Arbeiten auf arXiv.
Gemäß der neuen Regel darf jedes Einreichungskonto maximal zwei Arbeiten pro Monat einreichen, gleichzeitig dürfen nicht mehr als drei Manuskripte auf die Überprüfung warten.
Von den Prüfern abgelehnte Manuskripte belegen ebenfalls das Kontingent. Andere Autoren auf der Arbeit sind nicht betroffen, das Kontingent wird nur der Person gutgeschrieben, die auf „Einreichen“ klickt.
Diese Regel wurde durch die explodierende Anzahl an Einreichungen erzwungen.
Im September dieses Jahres erhielt arXiv 40363 Einreichungen und stellte damit einen neuen Monatsrekord auf. Mitarbeiter und Prüfer bearbeiteten dafür fast 9000 Arbeitspakete.
Im September 2016 lag die monatliche Einreichungszahl von arXiv noch unter 10.000, es brauchte acht Jahre, um auf 20.000 zu steigen; von 20.000 auf 40.000 brauchte es nur zwei Jahre.
Die Kategorie für künstliche Intelligenz (cs.AI) wächst am schnellsten und hat sich innerhalb von zwei Jahren mehr als versechsfacht.
In der Ankündigung von arXiv heißt es: Früher gab es ungefähr eine Obergrenze, wie schnell eine Person eine anständige Arbeit schreiben konnte; nach der Verbreitung von KI-Tools ist diese Obergrenze nicht mehr zuverlässig einzuschätzen. Die Prüfung übernehmen aber immer noch dieselben Freiwilligen.
Dreihundert Freiwillige prüfen vierzigtausend Manuskripte
arXiv führt keine Peer-Review durch, aber jedes Manuskript muss vor der Veröffentlichung geprüft werden, um zu beurteilen, ob der Inhalt den akademischen Normen entspricht und die Kategorie angemessen ist.
Diese Aufgabe wird von etwa 300 Freiwilligen übernommen, die alle Forscher auf ihren jeweiligen Gebieten sind.
Nach Angaben von arXiv sehen die Prüfer in letzter Zeit immer mehr Arbeiten mit eng gefassten Themen und dünnem Inhalt, viele sogenannte „Wurstpapiere“, bei denen eine einzige Arbeit in mehrere Einreichungen aufgeteilt wird, sowie große Textabschnitte, die von KI generiert wurden.
Thomas Dietterich, Vorsitzender des arXiv Redaktionsbeirats und emeritierter Professor an der Oregon State University, sagte in der Ankündigung, dass das Problem hauptsächlich bei einer kleinen Anzahl von Autoren liegt, die massenhaft Arbeiten von niedriger Qualität einreichen und einen unverhältnismäßig großen Teil der Zeit der Prüfer beanspruchen, sodass Personen, die ernsthafte Forschung betreiben, stattdessen mehrere Tage oder sogar Wochen länger warten müssen.
Später ergänzte er auf X, dass die Daten zeigen, dass einige Dutzend Arbeiten von einzelnen Autoren eingereicht wurden.
https://x.com/tdietterich/status/2105751408855450078
Es fehlt nicht an Geld.
Am 23. September kündigte arXiv gerade an, eine Spende von 17,2 Millionen US-Dollar (ca. 115 Millionen Yuan) zu erhalten, die über drei bis fünf Jahre verteilt bereitgestellt wird, wobei ein Teil für die Entwicklung von Technologien zur Verwaltung von KI-generierten Inhalten verwendet wird.
Aber die Entwicklung bis zur Inbetriebnahme neuer Tools braucht Zeit, und die Zahl der freiwilligen Prüfer steigt nicht mit der Erhöhung der Finanzierung.
arXiv stuft diese Begrenzung der Einreichungsrate als vorläufige Maßnahme ein, und Dietterich äußerte die Hoffnung, dass sie in Zukunft gelockert oder sogar aufgehoben werden kann.
Es ist auch nicht das erste Mal, dass arXiv die Regeln im vergangenen Jahr verschärft.
Zuvor wurde bereits verlangt, dass Übersichts- und Positionspapiere im Informatikbereich zuerst eine Peer-Review bestehen müssen, bevor sie hochgeladen werden können, die Schwelle für die neue Autoren zur Erlangung einer Bestätigung wurde erhöht, und Autoren, deren Arbeiten KI-Halluzinationen enthalten, werden für ein Jahr gesperrt.
Das Kontingent wird nur dem Einreicher angerechnet
Die Beschränkung auf den Einreicher ergibt sich aus einer technischen Einschränkung.
Die Autorenliste von arXiv-Arbeiten wird bei der Einreichung manuell ausgefüllt, Koautoren erhalten das Passwort der Arbeit und beanspruchen die Arbeit später, damit sie mit ihrem eigenen Konto verknüpft wird.
Zum Zeitpunkt der Einreichung ist nur die Identität des Einreichers selbst von arXiv bestätigbar.
Die Regeln akademischer Konferenzen sind anders.
ICLR 2027 sieht vor, dass jeder Autor auf maximal 20 Einreichungen erscheinen darf; wenn kein Autor einer Arbeit über die Berechtigung zum Reviewen verfügt, darf eine solche Arbeit von jeder Person maximal einmal eingereicht werden.
Konferenzen können die Anzahl pro Person berechnen, weil jeder Autor im Einreichungssystem einem OpenReview-Konto zugeordnet ist.
Die Beschränkung nur auf den Einreicher zu stützen, hat offensichtliche Lücken.
Der Netznutzer Pitt wies im Kommentarbereich von Dietterichs Tweet darauf hin, dass Koautoren abwechselnd hochladen können, um die Beschränkung zu umgehen.
Am stärksten betroffen sind seriöse Forscher, die zufällig mehrere Arbeiten gleichzeitig fertiggestellt haben, während eine einzelne Person immer noch 24 qualitativ minderwertige Ein-Person-Arbeiten pro Jahr veröffentlichen kann, bei drei abwechselnden Personen sind es 72 Arbeiten.
Aber diese Berechnungsweise vermeidet auch ein altes Problem der Kontingentierung pro Kopf.
Auf Konferenzen, bei denen die Anzahl pro Autor gezählt wird, können die Arbeiten von Studierenden zusammen abgelehnt werden, wenn der Betreuer das Einreichungskontingent überschreitet; bei arXiv werden die von Studierenden selbst eingereichten Arbeiten nicht durch das Kontingent des Betreuers beeinflusst.
arXiv hat sich auch einen Spielraum gelassen: Bei Bedarf kann verlangt werden, dass einzelne Autoren ihre Einreichungsfrequenz weiter senken.
Forschungsgruppen müssen die Arbeit neu aufteilen
Für die meisten Forscher sind zwei Arbeiten pro Monat mehr als ausreichend.
Wirklich betroffen sind Forschungsgruppen, die es gewohnt sind, eine Person alle Arbeiten einheitlich hochladen zu lassen.
Angenommen, eine Forschungsgruppe hat sechs Einreichungen für ICLR 2027, die noch nicht auf arXiv hochgeladen wurden, und möchte sie nach der Bekanntgabe der Ergebnisse am 16. Dezember so schnell wie möglich veröffentlichen.
Bisher konnten der Betreuer oder ein höherklassiger Student sie innerhalb weniger Tage nacheinander hochladen; nach der neuen Regel darf ein einzelnes Konto maximal zwei Arbeiten pro Monat einreichen, und vor der Veröffentlichung der ersten Arbeiten dürfen nicht mehr als drei Manuskripte gleichzeitig in der Prüfung sein.
Um alle sechs Arbeiten im Dezember hochzuladen, sind mindestens drei Personen erforderlich, die getrennt voneinander einreichen.
Die praktischste Lösung ist, den Erstautor jeder Arbeit selbst einreichen zu lassen, vorausgesetzt, diese Studierenden verfügen über die Einreichberechtigung.
Seit Januar dieses Jahres muss ein Neuling, um automatisch eine arXiv-Bestätigung in einem bestimmten Bereich zu erhalten, sein Konto an eine institutionelle E-Mail-Adresse binden und bereits eine in diesem Bereich aufgenommene Arbeit als Autor vorweisen.
Viele Studierende, deren Namen auf Arbeiten stehen, die immer von anderen eingereicht wurden und die sie nie selbst beansprucht haben, werden möglicherweise am Ende nicht einmal über die Einreichberechtigung verfügen.
Am besten lassen Sie jetzt jedes Mitglied der Gruppe seine Schul-E-Mail-Adresse binden und die Arbeiten, auf denen es als Mitautor steht, beanspruchen, und Personen, die die Bedingungen nicht erfüllen, bitten Sie im Voraus um eine Bestätigung durch eine berechtigte Person.
Unabhängige Forscher haben diesen Spielraum nicht.
Mit Hilfe von großen Sprachmodellen ist es nicht ungewöhnlich, dass eine Person in kurzer Zeit mehrere Ergebnisse erzielt, aber sie haben keine Koautoren, die die Einreichung übernehmen können, sodass zwei Arbeiten pro Monat die harte Obergrenze darstellen.
Nachdem das Kontingent knapper geworden ist, steigt auch der Preis für eine Ablehnung.
Abgelehnte Manuskripte belegen weiterhin das Kontingent, und die Prüfrichtlinien von arXiv sehen zudem vor, dass Einreicher, deren Manuskripte abgelehnt oder verzögert wurden, bei späteren Einreichungen strenger geprüft werden und daher leichter zurückgestellt werden.
https://info.arxiv.org/help/moderation/index.html
Zurückgestellte Manuskripte belegen ständig das Kontingent für laufende Prüfungen, die Dauer reicht von einigen Tagen bis zu mehreren Wochen.
Daher sollten Sie vor der Einreichung alle potenziellen Probleme noch einmal überprüfen: Ist die Hauptkategorie angemessen, haben Übersichts- und Positionspapiere im Informatikbereich zuerst eine Peer-Review bestanden, ist eine vollständige englische Version beigefügt, wurde die Nutzung von KI wie vorgeschrieben angegeben, und insbesondere die Referenzen müssen einzeln überprüft werden.
Im Mai dieses Jahres kündigte arXiv eine einjährige Sperrung für KI-Halluzinationen an: Sobald erfundene Zitate oder verbliebene Modellanweisungen in der Arbeit auftauchen, wird der Autor für ein Jahr gesperrt und kann nach der Entsperrung möglicherweise nur noch Arbeiten einreichen, die eine Peer-Review bestanden haben.
https://cerncourier.com/arxivs-one-strike-rule-on-ai/
arXiv verlangt normalerweise, dass alle namentlich genannten Autoren gemeinsam verantwortlich sind, egal wer auf den Einreichen-Button klickt, dieses Risiko kann nicht verteilt werden.
Wenn Sie nach der Einreichung ein Problem entdecken, können Sie die Arbeit selbst löschen, bevor sie veröffentlicht wird. Dies zählt weder zum monatlichen Kontingent noch belegt es das Kontingent für laufende Prüfungen.
Sie sollten auch genügend Zeitpuffer einplanen.
arXiv veröffentlicht keine neuen Arbeiten am Freitag- und Samstagabend nach US-Ostküstenzeit, und an US-Feiertagen verschiebt sich die Veröffentlichung weiter. Wenn Sie nahe am Wochenende oder an Feiertagen einreichen, muss das Manuskript mehrere Tage länger warten.
Bei Arbeiten, die bereits auf arXiv veröffentlicht sind, sollten Sie die endgültige Fassung nach der Annahme durch Ersetzen der vorhandenen Version aktualisieren, anstatt eine neue Einreichung vorzunehmen.
Nicht jede Arbeit muss sofort auf arXiv hochgeladen werden.
Die Einreichungen für ICLR werden selbst auf OpenReview veröffentlicht, nach Abschluss der Prüfung werden alle Autoren öffentlich gemacht, sodass nachvollziehbar ist, wer das Ergebnis zuerst erzielt hat.
Wenn das Kontingent knapp ist, können Sie es vorrangig für Arbeiten reservieren, die schnell veröffentlicht werden müssen, zum Beispiel für Arbeiten, die auf Hugging Face Daily Papers erscheinen sollen.
Daily Papers basiert auf arXiv-Arbeiten und akzeptiert nur Arbeiten, die innerhalb von 14 Tagen nach der Veröffentlichung auf arXiv eingereicht wurden. Einige Autoren sind bereits auf das Problem gestoßen, dass sie das Einreichfenster wegen verzögerter Prüfung verpasst haben.
arXiv hat noch mehrere Punkte nicht klargestellt: Zählen ersetzte Versionen zum Kontingent, wie werden Einreichkonten für Konferenzbände und einheitliche Konten großer Kooperationsgruppen berechnet, und nach welcher Zeitzone richtet sich der „Kalendermonat“.
Außerdem steht auf der Hilfeseite, dass „jeder Autor“ maximal zwei Arbeiten pro Monat einreichen darf, was nicht mit der Angabe im Frage