Neuer Durchbruch im Bereich des Reinforcement Learning: Das Team der Tsinghua-Universität hat die Methode „Single-Rollout Asynchronous Optimization“ entwickelt, die ein stabiles Training über 1000 Schritte ermöglicht.

Bei Langstrecken-Agenten und Coding-Aufgaben ist die Verbesserung der Effizienz des Reinforcement Learning (RL) nach wie vor ein zentrales Problem der Gegenwart.

Gegenwärtig verwenden die vorhandenen LLM-RL-Pipelines meist einen synchronen, stufenweisen Ablauf, bei dem in der Regel gewartet werden muss, bis die gesamte Batch von Rollouts abgeschlossen ist, bevor eine Aktualisierung erfolgen kann, was die Effizienzsteigerung einschränkt. Obwohl asynchrones RL das Problem des synchronen Wartens mildern kann, konzentrieren sich die vorhandenen Methoden hauptsächlich auf die Erhöhung des Systemdurchsatzes und berücksichtigen selten gleichzeitig die Trainingsstabilität und die Aufgabenleistung. Darüber hinaus ist das GRPO-Verfahren abhängig von gruppiertem Sampling, was eine direkte Anpassung an das asynchrone Agent-Training erschwert.

Um dieses Problem zu lösen, hat das Forschungsteam des KEG-Labors der Tsinghua-Universität das Verfahren der Single-rollout Asynchronous Optimization (SAO) vorgeschlagen. SAO ersetzt das gruppierte Sampling von GRPO durch ein einzelnes Rollout-Sampling, d. h., für jede Eingabeaufgabe wird nur ein einziges Rollout generiert, das sofort für das Training verwendet werden kann, wodurch der Off-Policy-Einfluss reduziert und die Generalisierungsfähigkeit verbessert wird.

Link zum Papier: https://arxiv.org/abs/2607.07508

Die Forschungsergebnisse zeigen, dass SAO das Training über 1000 Schritte stabilisieren kann und bei Agent-Coding und mathematischen Schlussfolgerungs-Benchmarks GRPO und seine Varianten dauerhaft übertrifft. Gleichzeitig zeigt das Single-Rollout-RL in simulierten Online-Lernaufgaben auch Anpassungsfähigkeit an dynamische Umgebungen.

Diese Arbeit bietet einen praktikablen Ansatz für effizientes RL-Training und wurde bereits in die Agent-RL-Trainingspipeline von GLM-5.2 (750B-A40B) implementiert.

Abbildung | Leistung von SAO bei Schlussfolgerungs- und Code-Benchmarks.

Wie stabilisiert SAO das asynchrone Training?

Auf der Ebene des Gesamtframeworks verwendet SAO die Single-rollout Asynchronous Optimization: Für jede Eingabeaufgabe wird nur ein einziges Trainings-Rollout generiert, das sofort nach Abschluss in das Training einfließt. Um einen reibungslosen Ablauf zu gewährleisten, hat SAO Mechanismen für direktes zweiseitiges Wichtigkeits-Sampling, die Verstärkung des Wertmodells und die Verarbeitung von Multi-Runden-Agent-Trajektorien entwickelt und den Umfang der Vortrainingsdaten für das Wertmodell erweitert. Der detaillierte Ablauf ist wie folgt:

1. Direktes zweiseitiges Wichtigkeits-Sampling (DIS): Dient zur Reduzierung des Off-Policy-Bias im asynchronen Training. Da die Generierung von Rollouts und das Modelltraining nicht synchron ablaufen, muss SAO keine große Anzahl historischer Modelle speichern, sondern verwendet direkt die während der Rollout-Phase aufgezeichneten Token-Log-Wahrscheinlichkeiten, um das Wichtigkeits-Sampling-Verhältnis zu berechnen. Token, die außerhalb des festgelegten Intervalls liegen, nehmen nicht an der Gradientenaktualisierung teil.

2. Erhöhung der Aktualisierungsfrequenz des Wertmodells: Dient zur Verringerung der Varianz der Gradientenschätzung bei der Single-Rollout-Optimierung. Die Gradientenvarianz des Single-Rollout-Trainings ist höher, sodass zuverlässigere Wertmodellschätzungen für die Advantage-Signale erforderlich sind. SAO entkoppelt die Aktualisierungsfrequenz des Richtlinienmodells und des Wertmodells: Für jede Aktualisierung des Richtlinienmodells wird das Wertmodell zweimal aktualisiert, wodurch die Trainingsvarianz reduziert wird.

3. Fixierung der Parameter des Attention-Moduls: Verantwortlich für die Stabilisierung des Wertmodelltrainings. Das Forschungsteam stellte fest, dass die Schwankungen des Wertmodells hauptsächlich von den vollständigen Attention-Schichten ausgehen, während die Mixture-of-Experts-Schichten (MoE) relativ stabil sind. Daher fixiert SAO die Parameter des Attention-Moduls beim Training des Wertmodells und optimiert nur die MoE-Projektionsschicht, um Schwankungen beim Wertmodelltraining zu reduzieren.

4. Token-basierte GAE, die Beobachtungsinformationen überspringt: Dient zur Reduzierung des Umgebungsrückkopplungsrauschens in Multi-Runden-Agent-Trajektorien. In mehrstufigen Trajektorien wechseln Modellaktionen und Umgebungsrückkopplungen ab. Wenn Umgebungsbeobachtungsinformationen direkt in die Advantage-Berechnung einfließen, wird Rauschen eingeführt. Daher überspringt SAO die Token der Beobachtungsinformationen aus der Umgebungsrückkopplung und verbreitet die Advantage-Signale nur zwischen den vom Modell generierten Aktionen.

Abbildung | Übersicht über SAO mit Single-Rollout-Design.

Wie lauten die experimentellen Ergebnisse von SAO?

Die experimentellen Ergebnisse zeigen, dass SAO bei mathematischen Schlussfolgerungen, Coding-Aufgaben und simuliertem Online-Lernen bessere Leistungen erbringt. Bei mehreren Benchmarks übertrifft es die entsprechenden Basismodelle und die GRPO-Verfahren und kann während längerer Trainingsläufe stabil bleiben. Die detaillierten Ergebnisse lauten wie folgt:

Mathematische Schlussfolgerungen und Coding-Aufgaben

Die Bewertung von SAO deckt Szenarien wie olympiadenartige mathematische Schlussfolgerungen mit Python-Werkzeugen, komplexe mathematische Frage-Antwort-Aufgaben und echte Code-Reparaturen ab. Die Ergebnisse zeigen, dass SAO bei diesen Aufgaben die entsprechenden Basismodelle und das GRPO-Verfahren übertrifft. Bei AIME2025 erreicht SAO eine Genauigkeit von 97,3 %, was über der von GRPO (84,2 %) liegt.

Abbildung | Experimentelle Ergebnisse bei mathematischen Schlussfolgerungs-Benchmarks (Genauigkeit in %).

Bei der Coding-Aufgabe SWE-Bench Verified erreicht SAO eine Genauigkeit von 29,8 %, was ebenfalls über der des Basismodells (23,0 %) und von GRPO (mit DIS, 27,0 %) liegt.

Abbildung | Experimentelle Ergebnisse bei SWE-Bench Verified.

Trainingsstabilität

Betrachtet man die Trainingskurven, so behält SAO bei verschiedenen Benchmarks im Wesentlichen die Führung bei, und der Trainingsablauf ist stabiler. Das herkömmliche GRPO zeigt frühzeitig einen Leistungseinbruch. Nach Hinzufügen von DIS kann GRPO stabil trainiert werden, was zeigt, dass das direkte zweiseitige Wichtigkeits-Sampling Token-Aktualisierungen herausfiltern kann, die zu stark abweichen. Im Vergleich dazu verbessert SAO die Bewertungsleistung im mittleren und späten Trainingsverlauf weiter, während es die Stabilität beibehält.

Abbildung | Leistungsvergleich von SAO und GRPO (mit DIS) während des Trainings.

Trainingsdynamik

Die experimentellen Ergebnisse zeigen, dass die Stabilität von SAO mit seinem Framework-Design zusammenhängt. Häufigere Aktualisierungen des Wertmodells sorgen dafür, dass die Wertschätzung besser mit den tatsächlichen Belohnungen übereinstimmt. Nach der Fixierung der Parameter des Attention-Moduls läuft das Wertmodelltraining reibungsloser. DIS kontrolliert den Off-Policy-Einfluss, indem es Token-Aktualisierungen herausfiltert, die zu stark abweichen. Im Vergleich dazu bricht das Vergleichsverfahren VAPO, das auf dem Wertmodell basiert, ohne Verwendung von DIS nach etwa 90 Schritten das Training ab.

Abbildung | Trainingsdynamik des asynchronen Single-Rollout-Reinforcement Learning.

Ablation-Experimente

Das Forschungsteam hat die Wirkung der einzelnen Framework-Designs weiter untersucht. Sie haben die Schlüsselkomponenten von SAO angepasst: Die Anzahl der Aktualisierungen des Wertmodells reduziert, das Training des vollparametrischen Wertmodells verwendet und die Vergleichsgruppen VAPO ohne DIS sowie den gleitenden Durchschnitts-Baseline hinzugefügt. Die Ergebnisse zeigen, dass die Leistung dieser Einstellungen alle unter der des vollständigen SAO liegt. Bei BeyondAIME erreicht das vollständige SAO eine Genauigkeit von 74,8 %, während die Genauigkeit nach Entfernung der schnelleren Wertaktualisierungen auf 69,8 % sinkt.

Abbildung | Ablationsergebnisse für die Wertmodelltrainingsstrategie und die Aktualisierungsfrequenz des Critics.

Simulation des Online-Lernens

Das Forschungsteam hat die Anpassungsfähigkeit von SAO in nicht-stationären Umgebungen anhand einer simulierten Online-Schreibaufgabe getestet. Bei der Aufgabe wechseln die Belohnungspräferenzen zwischen süßlichem Stil, jugendlichem Stil und klassischem Stil. Die Ergebnisse zeigen, dass SAO nach einem Wechsel der Belohnungspräferenzen schnell auf den neuen Zielstil ausgerichtet werden kann und ein höheres Niveau bei den Trainingsbelohnungen beibehält. Im Vergleich dazu weist der gleitende Durchschnitts-Baseline eine deutliche Verzögerung bei der Anpassung auf, und sein Konvergenzniveau ist niedriger.

Abbildung | Simulation des Online-Lernens bei wechselnden Schreibstil-Präferenzen.

Einschränkungen und zukünftige Richtungen

Das Forschungsteam weist jedoch darauf hin, dass SAO trotz seiner stabilen Leistung bei verschiedenen Arten von Agent-Aufgaben noch Einschränkungen hinsichtlich des Anwendungsbereichs, der Bereitstellungsinfrastruktur und der realen Online-Anwendungen aufweist. Um auf breitere Szenarien erweitert zu werden, müssen noch die folgenden Probleme gelöst werden:

1. Überprüfung der breiteren Anwendbarkeit

Gegenwärtig konzentrieren sich die Experimente hauptsächlich auf groß angelegte Agent-Schlussfolgerungen, Coding-Aufgaben und simulierte Online-Schreibaufgaben, die auf Qwen3-30B-A3B basieren. Zukünftig muss noch überprüft werden, ob SAO auf kleinere Modelle, nicht-agentenbasierte RLHF-Szenarien sowie Aufgabenumgebungen mit dichteren Belohnungen und kürzeren Rollouts