Das 7B-Modell von Tencent erreicht in "emotionaler Intelligenz" das Niveau von GPT-4o, durchbricht die Herausforderungen des offenen Bereichs von Reinforcement Learning und verfünffacht die Punktzahl direkt.

Das mit RLVER trainierte Qwen2.5-7B-Modell hat seine Punktzahl auf der Sentiment-Dialog-Benchmark Sentient-Benchmark von 13,3 auf 79,2 gesteigert und zeigt eine Leistung, die mit der von Top-Geschäftsmodellen wie GPT-4o und Gemini 2.5 Pro vergleichbar ist.

Das Modell ist jetzt Open Source. Der Link befindet sich am Ende des Artikels.

RLVER: Aufbau einer effektiven RL-Schleife für das offene Problem der "Emotionsintelligenz"

Herkömmliche Dialogoptimierungen basieren entweder auf statischen Daten oder auf teuren manuellen Annotationen.

RLVER bietet einen neuen Ansatz: Ein integrierter Nutzer-Simulator aus "Umgebung + Belohnung" als Kern löst geschickt die oben genannten drei Herausforderungen.

Simulator als Umgebung: Schaffung einer "lebendigen" Dialogwelt

Das RLVER-Team hat erkannt, dass echte "hohe Emotionsintelligenz" von Person zu Person unterschiedlich ist. Daher ist der von RLVER aufgebaute Nutzer-Simulator nicht einfach ein Dialogroboter.

Er verfügt über vielfältige Nutzerprofile und Nutzer-Interaktionsszenarien (verschiedene Nutzerpersönlichkeiten, Dialoghintergründe, potenzielle Bedürfnisse) und kann eine Vielzahl realer und variabler Nutzer simulieren.

Jeder Nutzer interagiert unabhängig und dynamisch mit dem Modell, aktualisiert seine Stimmungsstufe in Echtzeit basierend auf der Modellantwort und gibt eine individuelle Antwort.

Dies bietet dem Modell eine Online-Lernumgebung, die unendlich erforscht werden kann und voller Realität und Vielfalt ist, und vermeidet gleichzeitig Reward Hacking.

Simulator als Belohnung: Ein vertrauenswürdiges "Nutzererlebnis-Bewertungssystem"

Die Bewertung der "Emotionsintelligenz" basiert im Wesentlichen auf der subjektiven Erfahrung der Nutzer. Wie kann man diese subjektive Erfahrung in eine stabile, optimierbare Belohnung umwandeln?

RLVER basiert auf dem SAGE-Framework und simuliert die Stimmungsänderungen der Nutzer nach jeder Dialogrunde durch einen expliziten und reproduzierbaren Inferenzprozess.

Nach Beendigung des Dialogs wird die akkumulierte "Gesamtstimmungspunktzahl" zur Belohnungssignalisierung, die direkt den PPO/GRPO-Algorithmus ansteuert, um das Modell zu optimieren.

Dieser Entwurf macht sich von der "Black-Box-Bewertungsmaschine" los und modelliert die "Nutzerzufriedenheit" explizit als logisch kontrollierbare Belohnungsfunktion, was den Trainingsvorgang stabiler, transparenter und vertrauenswürdiger macht.

Globale Belohnungsoptimierung: Von Einzelschritt-Feedback zur Optimierung der "globalen Stimmungsverläufe"

Im Gegensatz zur satzweisen Feedback-Methode konzentriert sich RLVER auf die Stimmungsveränderungstrends des gesamten Dialogs und verwendet nur die endgültige "Gesamtstimmungspunktzahl" als Belohnung, um das Modell zur Optimierung langfristiger Strategien anzuregen.

Nur wenn das Modell die Absicht der Nutzer wirklich versteht und die Stimmung der Nutzer langfristig auf einem hohen Niveau hält, kann es eine höhere Gesamtbelohnung erhalten. Dies ermutigt das Modell, sich aus der lokalen Optimalität zu befreien und soziales Dialogverhalten mit mehr Ausdehnung und Strategie zu lernen.

Schlüssel-Ergebnisse: Ein 7B-Modell hält mit "Flaggschiffen der Giganten" gleich

Das mit RLVER trainierte Qwen2.5-7B-Modell hat seine Punktzahl auf der Sentiment-Dialog-Benchmark Sentient-Benchmark von 13,3 auf 79,2 gesteigert und zeigt eine Leistung, die mit der von Top-Geschäftsmodellen wie GPT-4o und Gemini 2.5 Pro vergleichbar ist.

Wichtiger noch: Das Modell hat seine allgemeinen Fähigkeiten in Mathematik und Code fast nicht verloren und hat so erfolgreich das "katastrophale Vergessen" vermieden.

Darüber hinaus hat RLVER auch einen signifikanten Einfluss auf den Verhaltensstil des Modells: Das Modell hat sich vom "Lösungsstil" zum "Stimmungsstil" gewandelt. Der Denkansatz ist nicht mehr "Wie löst man das Problem", sondern "Ich verstehe deine Gefühle".

Tiefgehende Einsichten: Vom Denken zur Handlung

Während des RLVER-Trainings haben das Forschungs-Team einige inspirierende Erkenntnisse gewonnen.

Einsicht 1: "Denkendes" vs. "Reaktives" Modell - Zwei Wege zum "Empathie"

RLVER hat ein explizites Think-then-Say-Hinweistemplate eingeführt, das das Modell verlangt, vor jeder Antwortrunde eine Stimmungsanalyse und Strategie-Inferenz durchzuführen und dann die endgültige Antwort zu generieren. Durch den Vergleich von Modellen mit/ohne "Denken" hat das Forschungs-Team zwei völlig verschiedene Wege zum "Empathie" beobachtet:

"Denkendes Modell": Richtung "Tiefes Verständnis"

Die explizite Denkkette zwingt das Modell, vor der Generierung zu inferieren und verbessert signifikant zwei Kernfähigkeiten:

Problemeinsicht: Erkennung der realen Ursachen und potenziellen Bedürfnisse hinter der Nutzerstimmung;

Empathische Äußerung und Verifizierung: Präzises Erfassen und Feedback von tiefen Emotionen, damit der Nutzer "verstanden fühlt".

Dieses Modell ist eher wie ein "Seelenverwandter": Es ist gut darin, still zuzuhören, genau zu antworten und eine tiefe emotionale Verbindung durch Sprache aufzubauen.

"Reaktives Modell": Richtung "Schnelle Handlung"

Im Vergleich dazu generiert das Modell ohne geführtes Denken direkt die Antwort. Obwohl es in den Dimensionen Einsicht und Empathie etwas hinterherhinkt, hat es sich selbständig eine "handlungsorientierte" Kompensationsstrategie entwickelt:

Schnelles Beurteilen der Nutzerprobleme, Bereitstellen konkreter und ausführbarer Vorschläge oder individueller Handlungsaufforderungen;

Kompenstieren des Mangels an emotionalem Verständnis durch "Praktikabilität" und Einnehmen der Rolle eines "Handlungsorientierten Partners".

Dieser Vergleich zeigt ein interessantes Phänomen beim RL-Training in offenen und komplexen Aufgaben: Wenn die Fähigkeiten des Modells begrenzt sind, sucht es selbständig nach strategischen "Kompensationswegen". Die von RLVER angebotene vielfältige und mehrstrategiekompatible Trainingsumgebung ist der Schlüsselgrund für die Entstehung dieser vielfältigen Verhaltensweisen.

Einsicht 2: PPO vs. GRPO - Stabile Steigerung oder Leistungssprung?

Beim Optimierungsalgorithmus hat das RLVER-Team auch praktische Ergebnisse erzielt:

GRPO: Tendenz zur stabileren und ausgeglicheneren Leistungssteigerung.

PPO: Kann eher die Fähigkeiten des Modells in bestimmten Dimensionen (z. B. Empathietiefe, Kern-Einsicht) auf ein höheres Niveau bringen.

Dies führt zu einer interessanten strategischen Überlegung: Bei komplexen Fähigkeiten wie der "Emotionsintelligenz", nachdem das Modell in allen Aspekten die "Mindestanforderungen" erreicht hat, sollte man weiterhin ein "Alleskönner" sein oder sich auf ein oder zwei "Killerfeatures" konzentrieren?

In den Experimenten dieses Artikels hat letzteres eine bessere Gesamtleistung gebracht.

Einsicht 3: Einfluss des Stils von Umgebung und Belohnung - Ein strenger Lehrer bringt nicht unbedingt gute Schüler hervor

Im RLVER-Framework übernimmt der Nutzer-Simulator gleichzeitig die Doppelfunktion von "Trainingsumgebung" und "Belohnungsmodell". Daher hat sein Stil - d. h. die "Nutzerakzeptanz" und die Feedback-Methode - einen direkten Einfluss auf den Lernweg des Modells.

Eine natürliche Frage ist: Trainieren strengere Nutzer ein stärkeres Modell?

Das Experiment zeigt: Es ist nicht immer besser, wenn es schwieriger ist.

Das RLVER-Team hat zwei Arten von Nutzer-Simulatoren aufgebaut:

Vanilla-Version: Offen in der Stimmung, positives Feedback, höhere Akzeptanz;

Challenging-Version: Zurückhaltend in der Stimmung, zurückhaltendes Feedback, hohe Anforderungen an die Antwortqualität.

Nach dem Training und Testen mit demselben Anfangsmodell hat das RLVER-Team festgestellt:

Eine zu schwierige Umgebung ist für das frühe Wachstum des Modells ungünstig

Obwohl der Challenging-Simulator in der Konzeption realistischer ist, ist sein Feedback eher zurückhaltend und die Fehler Toleranz niedrig, was es dem Modell im frühen Trainingsschritt schwierig macht, verschiedene Strategien auszuprobieren und zu erforschen und auch schwierig, positive Anreize zu erhalten. Dies kann dazu führen, dass das RL-Training in einen Teufelskreis von "Kein Feedback → Kein Lernen → Zusammenbruch" gerät.

Im Gegensatz dazu ist der Feedback-Mechanismus des Vanilla-Simulators eher tolerant und positiv, was dem Modell im frühen Trainingsstadium das Strategie-Experimentieren und die Fähigkeitsakkumulation erleichtert und ein stabiles empathisches Äußerungsverhalten entwickelt.

Strategische Empfehlung: Bei der Optimierung offener Aufgaben (z. B. "Emotionsintelligenz") durch Verstärkendes Lernen sollte die Trainingsumgebung nicht einfach "schwieriger" gemacht werden, sondern es sollte auf das Design der "Wachstumskurve" geachtet werden. Die Voraussetzung für "Ein strenger Lehrer bringt gute Schüler hervor" ist, dass der Schüler die Lehre verstehen kann.

Im frühen Stadium mit noch begrenzten Fähigkeiten kann ein milde und lernbarer "Trainingspartner-Nutzer" eher dazu beitragen, dass das Modell zu einem echten Empathie-Fähigen wird.