Hören Sie auf, blind KI-Forschung zu betreiben. Meta hat das „KI-Forschungs-Präferenzmodell“ RPM vorgestellt: Probieren Sie zuerst ein kleinmaßstäbliches Pilotprojekt aus?

KI-Forschungsagenten (AI Research Agent, AIRA) sind bereits in der Lage, Experimente zum maschinellen Lernen selbstständig zu konzipieren, umzusetzen und zu bewerten, aber die Fortschritte bei bahnbrechenden Aufgaben werden ständig durch die Kosten eingeschränkt: Die Erstellung eines Kandidatenvorschlags dauert nur wenige Minuten, während die Überprüfung seiner Gültigkeit Stunden oder sogar Tage an GPU-Zeit in Anspruch nehmen kann.

Heute übersteigt die Anzahl der Kandidatenvorschläge, die Agenten konzipieren können, bei weitem die Anzahl, die sie sich leisten können umzusetzen. Dies macht die Forschungsvorliebe, wie man die Rechenleistung unter einem festen Umsetzungsbudget verteilt, zu einem Schlüsselfaktor für den Fortschritt der Forschung.

Um diese Herausforderung zu bewältigen, hat das Meta FAIR-Team und seine Kooperationspartner die sogenannten KI-Forschungsvorliebemodelle (RPMs) vorgeschlagen, ein Modell, das vorhersagen kann, welcher der mehreren Kandidatenvorschläge am meisten wert ist, um Rechenleistung für die Umsetzung einzusetzen, ohne die Kandidatenvorschläge tatsächlich auszuführen.

Link zum Papier: https://arxiv.org/pdf/2608.13940

Das Forschungsteam hat beobachtet, dass Sprachmodelle bei der Vorhersage absoluter Metriken oder Umsetzungsergebnisse nicht zuverlässig funktionieren. Daher wird RPM nicht verwendet, um zu erraten, welche Punktzahl ein Vorschlag letztendlich erreichen kann, sondern um das Problem in ein relatives Rangfolgeproblem umzuformulieren: Ordnen Sie die Kandidatenvorschläge vor dem tatsächlichen Einsatz von Rechenleistung ein, um die vielversprechendste Richtung zu finden.

Konkret haben sie zunächst zwei verschiedene Formen von RPM auf der Grundlage eines eingefrorenen vortrainierten Sprachmodells (ohne aufgabenspezifisches Training) aufgebaut: Ein Inference-Only-Modell, das auf Kandidatenplänen, Codes und zuvor umgesetzten Lösungen schlussfolgert, sowie ein Agentic-Modell, das zunächst kleine Versuche durchführt, bevor es weitere Entscheidungen trifft. Anschließend haben sie diese beiden Modelltypen in einen AIRA-dojo-Suchagenten integriert.

In der Studie zu Agentic RPMs stellte das Forschungsteam fest, dass Pilotversuchsagenten bei der Zuweisung von Zeitbudgets dazu neigen, übermäßig konservativ zu sein, was dazu führt, dass ein großer Teil des Budgets ungenutzt bleibt. Zu diesem Zweck haben sie zwei Mechanismen eingeführt: Erstens wird das verbleibende Zeitbudget in den Eingabeaufforderungen absichtlich übertrieben (der angegebene Wert ist mehrmals so hoch wie der tatsächliche), um zu verhindern, dass der Agent den Prozess vorzeitig beendet. Zweitens wird nach jeder Einreichung ein unabhängiges Feedbackmodell eingeführt, das die bereits erzielten Erkenntnisse prüft, das nächste informativste Experiment vorschlägt oder feststellt, dass die Beweise ausreichend sind, um den Zyklus zu beenden.

Die Bewertungsergebnisse auf AIRS-Bench zeigen: Die beiden Lösungen haben den durchschnittlichen normalisierten Score von 0,684 auf 0,711 bzw. 0,729 erhöht und können in etwa 15 Stunden das Niveau erreichen, das ein ungeführter Agent erst nach 24 Stunden erreicht, wobei das verwendete Umsetzungsbudget weniger als 2/3 des Letzteren beträgt. Es ist erwähnenswert, dass ihr optimales RPM-Modell auch auf zwei AIRS-Bench-Aufgaben SOTA-Ergebnisse erzielt hat.

Abbildung | Bewertungsergebnisse von RPM-verstärktem AIRA-dojo

Natürlich weist diese Studie auch bestimmte Einschränkungen auf. Zum Beispiel geht das aktuelle Experiment davon aus, dass die Schlussfolgerungskosten von LLMs vernachlässigbar sind, aber es gibt tatsächlich Verzögerungen – am Beispiel von Inference-Only RPM: Nach Abzug der Schlussfolgerungsverzögerung von 0,660 Stunden sinkt der normalisierte Score geringfügig von 0,711 auf 0,708, wobei die spezifischen Kosten je nach Hosting-Infrastruktur und Modellgröße variieren. Die Offline-Bewertungsdaten stammen aus früheren Greedy-Suchläufen mit unterschiedlichen Backbone-Modellen und unterschiedlichen Aufgabenmodalitäten, was zu Off-Policy-Daten führt, sodass die Hauptschlussfolgerung der Forschungsarbeit weiterhin auf den End-to-End-Ergebnissen basiert.

Darüber hinaus hat das Forschungsteam den Integrationsbereich von RPM nur auf die Phase der Erstellung von untergeordneten Knoten beschränkt. Vorläufige Experimente zeigen, dass aufgrund des Hidden Consistent Evaluation-Protokolls, das eine hohe Übereinstimmung zwischen Validierungs- und Testsatz gewährleistet, die Anwendung von RPM bei der Auswahl des endgültigen Knotens keine signifikante Verbesserung gegenüber der Standardstrategie „Wähle den Knoten mit dem höchsten Validierungsscore“ bietet. Die Anwendung in der Phase der Auswahl des übergeordneten Knotens bleibt zukünftigen Arbeiten vorbehalten.

Darüber hinaus wurde RPM bisher nur im AIRA-dojo-Framework mit einem einzigen Backbone-Modell und auf einem einzigen Benchmark validiert. Die Übertragbarkeit auf andere Frameworks und Backbone-Modelle muss in zukünftigen Arbeiten überprüft werden.

In der nächsten Phase wird der Wettbewerb um KI-Forschungsagenten möglicherweise nicht nur darin bestehen, ob mehr potenzielle Lösungen vorgeschlagen werden können, sondern auch darin, genauer zu bestimmen, welche Lösungen es wert sind, mit Forschungsressourcen investiert zu werden.

RPM bietet einen direkten systematischen Weg: Ersetzen Sie fragile absolute Vorhersagen durch relative Vergleiche, ergänzen Sie den Urteilskontext durch historische Verläufe und gewinnen Sie bei Bedarf mehr Beweise durch kleine Experimente. Wenn die experimentelle Bewertung viel teurer ist als die Generierung von Vorschlägen, kann der Einsatz von Berechnungen zur Testzeit für die Auswahl von Kandidaten selbst zu einem wichtigen Ansatz werden, um die Effizienz der automatisierten Forschung zu steigern.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Academic Headline“ (ID: SciTouTiao), Autor: Academic Headline, veröffentlicht mit Genehmigung von 36Kr.