In der Ära der Selbstevolution braucht das Reinforcement-Lernen wahrscheinlich einen neuen Satz von Algorithmen.

In dem vorherigen Artikel dieser Kolumne *Die Jeff Deans: Verlasst das Schiff vor der Ankunft des Bayes-KI* sprachen wir über Selbstevolution und erwähnten eine der größten Hürden: Der Suchraum des Modells ist sehr eng, und alle Lösungen laufen am Ende nur auf Kombinationen und Verknüpfungen hinaus.

Die Forschung zur Selbstevolution hat bereits begonnen, diese Konvergenz der Lösungen zu verhindern, allerdings werden die meisten Maßnahmen außerhalb des Modells implementiert.

Beispielsweise pflegen das Team von Sakana AI und die Darwin Gödel Machine der UBC ein sich ständig erweiterndes Agenten-Archiv. Es erzeugt Varianten aus verschiedenen Vorfahren und lässt mehrere Abstammungslinien parallel entwickeln. In Experimenten verbesserte sich die Leistung des Systems auf SWE-bench von 20,0 % auf 50,0 % und auf Polyglot von 14,2 % auf 30,7 %. Die Autoren betonen wiederholt die Rolle von stepping stones: Eine Modifikation mag vorübergehend zurückliegen, wird aber später zum Sprungbrett für den erforderlichen Durchbruch.

Varun Gumma et al. schlugen vor, dass IDEAgent die wissenschaftliche Konzeption direkt als Quality-Diversity Search definiert, um bei der Auswahl von Unterschieden nach der Suche gleichzeitig Qualität und Vielfalt anzustreben.

Die Suche selbst evolvierender Systeme durchläuft tatsächlich zwei Auswahlschritte. Der erste findet innerhalb des Modells statt: Das trainierte Modell entscheidet, welche Kandidaten es wert sind, generiert zu werden. Der zweite findet erst im äußeren Loop statt: Er bestimmt, welche der vom Modell vorgeschlagenen Kandidaten in die nächste Runde gelangen.

Alle oben genannten Erkundungen konzentrieren sich auf den zweiten Schritt, aber es wurde bisher kaum unternommen, um die explorative Vielfalt des Modells selbst zu erhöhen.

Je offener der äußere Zyklus ist, desto auffälliger wird dieser Widerspruch. Dahinter wird sorgfältig ein Evolutionsbaum gepflegt, aber das vorgelagerte RL ist nur bereit, ein und dasselbe Saatgut bereitzustellen.

Aufgaben mit langer Laufzeit verstärken die Mängel am Eingang exponentiell. Bei einer mathematischen Aufgabe führt das Fehlen eines alternativen Lösungswegs nur zum Verlust einer einzigen Lösungsmöglichkeit. Bei einer Programmoptimierungsaufgabe mit 200 Runden führt eine Datenstruktur, die in der 10. Runde nicht auftritt, dazu, dass alle Parallelisierungslösungen, die in der 50. Runde darauf aufbauen könnten, ebenfalls verschwinden.

Jede nachfolgende Runde mag sehr intelligent sein, aber sie kann nur auf einem bereits beschnittenen Baum weiterklettern.

Wie lässt sich also das erste Problem lösen?

Bisher ist die Lösung noch nicht zufriedenstellend.

01. Das Dilemma des Reinforcement Learning

Zuerst zerlegen wir das Problem, mit dem RL konfrontiert ist.

Anfang 2025 sprachen Forscher bei der Erörterung von Reinforcement Learning noch mit einer sehr optimistischen Sprache: Sie waren überzeugt, dass RL Modelle dazu bringen kann, neue Dinge zu lernen.

Am 22. Januar veröffentlichte DeepSeek den technischen Bericht zu R1. Das auffälligste davon ist das R1-Zero-Modell, das mit dem GRPO-Algorithmus nur eine Belohnung erhält, wenn die endgültige Antwort korrekt ist. Während des Trainings entwickelte es jedoch allmählich Verhaltensweisen wie längeres Nachdenken, Zurückgehen zur Überprüfung und Ausprobieren alternativer Wege.

Die Arbeit beschrieb diese Veränderungen als durch Reinforcement Learning natürlich entstehende Schlussfolgerungsfähigkeiten. Daher glaubte man allgemein, dass RL das Modell dazu gebracht habe, Schlussfolgerungsmethoden zu erlernen, die es vorher nicht beherrschte.

Einige Tage später verstärkte die Arbeit einer Forschungsgruppe um Google mit dem Titel *SFT Memorizes, RL Generalizes* diesen Eindruck weiter. Die Forscher ließen das SFT-Modell und das RL-Modell von demselben Basismodell ausgehen, verwendeten dieselben Trainingsaufgaben und testeten dann, ob sie sich an unbekannte Regeländerungen anpassen können.

Das Ergebnis zeigte, dass SFT eher dazu neigt, sich an die Musterantworten anzulehnen, während RL sich besser an Änderungen von Regeln und visuellen Bedingungen anpasst.

Dies bildete den Hauptbeweis für die These *RL erlernt Schlussfolgerungen und führt zu Generalisierung* zu Beginn des Jahres 2025.

RL ermöglicht es dem Modell nicht nur, schwierigere Aufgaben zu lösen, sondern beseitigt auch Lösungen mit niedriger Wahrscheinlichkeit

Tatsächlich gab es in der traditionellen akademischen Welt schon lange die Auffassung, dass RL kaum zu Generalisierung führen kann. In der Vergangenheit wurde RL im Bereich Computer Vision wegen schlechter Generalisierung stark angezweifelt, und selbst das leistungsstarke AlphaGo konnte nur Schach spielen.

Daher folgte unvermeidlich eine Reflexion. Im April 2025 war die Arbeit der Peking-Universität mit dem Titel *Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?* der erste Schritt in diese Richtung.

Bei der Bewertung von Schlussfolgermodellen war der gängigste Indikator pass@1: Das Modell darf nur einmal antworten, und man prüft, ob es richtig liegt. RL-Modelle übertrafen das Basismodell bei diesem Indikator deutlich, sodass man natürlich annahm, dass RL-Modelle über stärkere Schlussfolgerungsfähigkeiten verfügen.

In dieser Arbeit wurde die Anzahl der Abtastungen jedoch stetig erhöht, um die Änderung von pass@k zu beobachten. Das Ergebnis zeigte: Bei geringer Abtastanzahl ist das RL-Modell deutlich leistungsfähiger. Wenn die Abtastanzahl ausreichend groß ist, kann das Basismodell aufholen und in einigen Fällen sogar das RL-Modell übertreffen.

Die Forscher verglichen weiterhin die generierten Abläufe und stellten fest, dass die korrekten Schlussfolgerungspfade, die RL-Modelle häufig verwenden, oft auch aus dem Basismodell abgetastet werden können – nur mit viel geringerer Wahrscheinlichkeit.

Dies liefert eine weitere Erklärung für die Wirksamkeit von RL.

Angenommen, ein Basismodell erzeugt zu einer Aufgabe Dutzende von Denkansätzen. Die richtige Denkweise macht nur einen kleinen Teil davon aus, sodass die erste Antwort oft falsch ist. Das RL-Training muss nicht unbedingt neue Denkweisen erfinden. Es reicht, die Wahrscheinlichkeit der korrekten Pfade stetig zu erhöhen und die Wahrscheinlichkeit der fehlerhaften Pfade zu senken, um eine deutliche Verbesserung von pass@1 zu erzielen.

Aus Produktperspektive ist dies zweifellos eine Verbesserung der Fähigkeiten. Antworten, die früher Hunderte von Abtastungen erforderten, um aufzutauchen, erscheinen jetzt sofort. Das Modell wird zuverlässiger und kostengünstiger.

Aber wenn die Forschungsfrage lautet *Hat das Modell Fähigkeiten erworben, die das ursprüngliche Basismodell nicht hatte?*, ist die Schlussfolgerung nicht mehr so eindeutig. Es wirkt eher wie eine Verbesserung der Aufrufeffizienz bereits vorhandener Fähigkeiten.

Daraufhin stellte diese Arbeit eine einflussreiche Erklärung auf: RLVR führt hauptsächlich zu distribution reshaping, also der Neuanordnung der Wahrscheinlichkeit der bereits vorhandenen Ausgaben des Basismodells. Es verschiebt die Pfade mit hoher Belohnung in das Zentrum der Verteilung und drängt andere Pfade an den Rand. Das Modell weiß nicht einfach *mehr*, sondern *vertraut stärker auf einen Teil davon*.

Die Aussage *RL schärft hauptsächlich die Verteilung* verbreitete sich von da an.

Am 28. Mai 2025 untersuchte eine Studie eines chinesischen Teams mit dem Titel *The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models*, wie sich die Modellverteilung während des RL-Trainings verändert.

Die Autoren beobachteten, dass bei einem großen Teil des RL-Trainings die *Politikentropie* in der Frühphase schnell abnimmt. Die Ausgaben des Modells werden immer sicherer, die Explorationsfähigkeit nimmt entsprechend ab, und die Leistung tritt in dieser Phase allmählich in eine Plateauphase ein.

Die *Entropie* hier kann als die Anzahl der Auswahlmöglichkeiten verstanden werden, die das Modell in jedem Schritt behält. Hohe Entropie bedeutet, dass mehrere Tokens eine Chance haben, ausgewählt zu werden, während niedrige Entropie bedeutet, dass das Modell zunehmend von wenigen Tokens überzeugt ist.

Die Analyse der Autoren zeigt, dass die Gradientenaktualisierung der Politik eine Selbstverstärkung bewirkt: Tokens, die bereits eine hohe Wahrscheinlichkeit haben und einen positiven Vorteil erhalten, werden leichter weiter verstärkt. Je höher ihre Wahrscheinlichkeit ist, desto größer ist die Chance, in Zukunft abgetastet und verstärkt zu werden. Auswahlmöglichkeiten mit niedriger Wahrscheinlichkeit verlieren allmählich die Chance, in die Trainingsdaten aufgenommen zu werden.

Dadurch wird die Schärfung nicht mehr nur eine Vermutung auf der pass@k-Kurve, sondern erhält eine Erklärung in der Trainingsdynamik. RL tastet aus der aktuellen Politik ab und aktualisiert dann die aktuelle Politik mit diesen Stichproben. Sobald ein Pfad vorne liegt, taucht er in der nächsten Runde leichter auf und kann seinen Vorsprung einfacher weiter ausbauen.

Das Training scheint zwar noch frei zu explorieren, aber der tatsächlich verwendete Kandidatensatz wird immer enger.

In dieser Zeit stellten viele Arbeiten in Tests fest, dass Modelle nach RL möglicherweise vielfältigere Antworten erzeugen, sodass sie an der Schlussfolgerung zur Schärfung zweifelten.

Aber im Juli 2025 führte die Arbeit der Stanford-Universität mit dem Titel *The Invisible Leash: Why RLVR May or May Not Escape Its Origin* dieses Phänomen auf eine Ursache zurück.

Dass das Modell in jedem Schritt viele Tokens zur Auswahl hat, bedeutet nicht, dass es letztendlich viele unterschiedliche Lösungen erzeugt. Mehrere Schlussfolgerungsabläufe, die sich sprachlich stark unterscheiden, können am Ende auf dieselbe Lösung und dieselbe Antwort hinauslaufen. Umgekehrt kann ein seltener Pfad nur durch einen Token mit sehr niedriger Wahrscheinlichkeit in der Frühphase ausgelöst werden und in einen völlig anderen Schlussfolgerungsbereich gelangen.

Diese Arbeit stellte fest, dass nach dem RLVR-Training die Token-Ebene-Entropie manchmal sogar ansteigt, aber die Antwort-Ebene-Entropie weiterhin abnimmt. Das bedeutet, dass die Ausgabe des Modells lokal unsicherer wirkt, aber letztendlich auf weniger Antworttypen konvergiert.

Die Autoren verglichen weiterhin die empirische Unterstützungsmenge des Basismodells und des RL-Modells bei groß angelegter Abtastung und stellten fest, dass die Anzahl der neuen Antworten, die durch RL hinzugefügt werden, normalerweise geringer ist als die Anzahl der verlorenen Antworten. pass@1 verbessert sich, aber ein Teil der Ergebnisse, die das Basismodell früher gelegentlich erreichen konnte, tritt nicht mehr auf.

Aufgaben mit langer Laufzeit verstärken diesen Verlust weiter. Eine Lösung erfordert oft das aufeinanderfolgende Durchlaufen mehrerer Verzweigungen mit niedriger Wahrscheinlichkeit. Sobald die alternative Richtung im ersten Schritt unterdrückt wird, verschwinden alle nachfolgenden Suchzweige.

Eine geringfügige Schärfung bei einem einzelnen Token, die über Dutzende von Entscheidungsschritten weitergegeben wird, kann zum vollständigen Verschwinden einer ganzen Familie von Lösungen führen.

Im Oktober bewies die Arbeit des Hunyuan-Teams mit dem Titel *Low-probability Tokens Sustain Exploration in Reinforcement Learning with Verifiable Reward* genau diesen Punkt.

Die Forscher fanden heraus, dass es in vortrainierten Modellen einige Tokens mit sehr niedriger Wahrscheinlichkeit gibt, die effektive neue Schlussfolgerungen auslösen können. Sie nannten diese Tokens *Schlussfolgerungsfunken*.

Normales RLVR bestraft sie zu stark, sodass sie im Training allmählich verschwinden. Indem die Autoren diese niedrigwahrscheinlichen aber wertvollen Tokens gezielt schützten, konnte das RL-Training länger fortgesetzt werden und eine höhere endgültige Genauigkeit erzielen.

Wie kann also das geschärfte RL dennoch einen Anschein von Generalisierung zeigen?

Die Antwort lautet: Schärfung und Generalisierung treten nicht unbedingt auf derselben Ebene auf.

Die Arbeit der Nvidia-Forscher, die Ende Mai letzten Jahres veröffentlicht wurde und den Titel *ProRL* trägt, ist wahrscheinlich eine der stärksten Gegenargumente zur These, dass das Modell lediglich geschärft wird. Die Autoren begnügten sich nicht mit dem herkömmlichen kurzfristigen RL, sondern verlängerten das Training auf über 2000 Schritte und fügten gleichzeitig KL-Einschränkungen, Zurücksetzungen der Referenzpolitik und vielfältigere Trainingsaufgaben hinzu.

Das Ergebnis zeigte, dass RL nicht in allen Bereichen weiter schärft: Bei mathematischen Aufgaben verbessert sich pass@1 zwar, aber pass@128 sinkt. Bei Code- und einigen Logikaufgaben können pass@1 und die Indikatoren für hohe k-Werte gleichzeitig steigen.

Das auffälligste Beispiel ist BoxNet, eine Art Planungsaufgabe, bei der ein Agent in einem Gitter bewegt wird, Kisten transportiert werden und Aktionskonflikte vermieden werden müssen.

In den experimentellen Einstellungen der Autoren erzeugte das Basismodell bei 100 Testaufgaben 256 Abtastungen, aber keine einzige vom Prüfer akzeptierte Lösung. Die einmalige Erfolgsrate des ProRL-Modells