Mit Alibaba als Basisinfrastruktur hat Tencent Hunyuan "Small RSI" realisiert.

Seit der Veröffentlichung von Hy4 Preview ist die durchgängige RSI das am meisten beachtete Merkmal, und es ist auch das erste Modell von Tencent Hunyuan, an dessen Entwicklung das gesamte Team selbst von Anfang bis Ende beteiligt war. Durch die durchgängige RSI kann die Leistung des Modells erheblich verbessert werden.

Weniger als zwei Monate später veröffentlichte das Frontier-Team von Hunyuan Terminal-RSI. Diesmal ist es noch interessanter: Durch RSI kann ein Modell über sein ursprüngliches Framework hinausgehen und Fähigkeiten erlangen, die es ursprünglich nicht hatte.

Das ist so, als hätten Sie eine Mikrowelle, deren Funktion darin besteht, Lebensmittel zu erhitzen. Nach der Integration von Terminal-RSI funktioniert nicht nur die ursprüngliche Heizfunktion der Mikrowelle besser, sondern Sie können damit auch fernsehen, Musik hören und Spiele spielen.

Nehmen wir Terminal-Bench 4.0 als Beispiel, es gehört derzeit zu den strengsten praktischen Benchmark-Datensätzen für Agenten-Terminals. Das Basismodell, das in der Arbeit verwendet wird, verfügte ursprünglich nicht über die Fähigkeit, diesen Testdatensatz auszuführen, was einer Erfolgsquote von 0 % entspricht.

Durch Terminal-RSI erreicht dieses Basismodell eine Punktzahl von 19,84 % und liegt damit auf dem Niveau von GPT-5.6 Terra und Gemini 3.8 Flash.

Es gibt noch ein weiteres interessantes Detail: Das in der Arbeit verwendete Basismodell ist Qwen3.8-27B, sodass Tencent und Alibaba auf dem Gebiet der RSI eine „Zusammenarbeit“ eingegangen sind.

Die Arbeit selbst räumt ein, dass diese RSI nur auf einem 27B-Modell ausgeführt wurde, nicht an größeren Modellen validiert wurde, nur über drei Bewertungen verfügt und keine unabhängigen Trainingssamen hat. Es gibt derzeit keine Antwort darauf, wie sie sich auf ein großparametriges Modell wie Hy4 auswirkt und ob RSI damit weiterhin realisiert werden kann.

Was ist Terminal-RSI?

Mit Terminal-RSI wird ein sogenannter Terminal-Agent trainiert. Er unterscheidet sich von gewöhnlichen Agenten: Das Hunyuan-Team gibt ihm eine Sandbox und eine Aufgabenbeschreibung, und er muss wie ein Ingenieur im Befehlszeilenmodus Repositorys anzeigen, Abhängigkeiten installieren, Code ändern und Tests ausführen, bevor er prüft, ob der Status in der Sandbox die Validierung besteht.

Laut der Arbeit gibt es normalerweise zwei Schwierigkeiten bei der Implementierung von RSI.

Die erste besteht in der zu langsamen Rückmeldung. Laut der Arbeit schwankt die durchschnittliche Anzahl der Interaktionsrunden während des gesamten Trainingsprozesses zwischen 50 und 117. Man macht bereits im zweiten Schritt einen Fehler, erfährt aber erst am Ende, ob das Ergebnis korrekt ist.

Die zweite Schwierigkeit besteht darin, Richtiges und Falsches nicht detailliert unterscheiden zu können. In der Arbeit wird erwähnt, dass 9 von 11 Prüfungen im Validator bestanden werden, dieses Ergebnis sich aber nur schwer in der Terminalbewertung widerspiegeln lässt.

Das ist wie beim Spielen eines Spiels: Man gewinnt erst, wenn man den Kristall zerstört. Jeder getötete kleine Gegner bringt Geld ein, viele Leute schieben den Kristall nicht vor und farmen nur kleine Gegner, was ihnen großen Spaß macht und am Ende eine hohe Punktzahl einbringt – aber ohne den zerstörten Kristall kann man das Spiel nicht gewinnen.

Das Kernziel von Terminal-RSI besteht darin, genau diese beiden Probleme zu lösen.

Der Ablauf von Terminal-RSI sieht so aus: Base → RSR-1 → RPR-1 → RSR-2 → RPR-2, zwei Zyklen aus „Umschreiben + Verfeinern“. Als Basismodell wird das zuvor erwähnte Qwen3.8-27B verwendet, und das Endprodukt heißt Terminal-RSI-27B.

Im ersten Schritt RSR (Recursive Self-Rewrite, rekursives Selbstumschreiben) wird nur der Akteur aktualisiert, also die Strategie, die die Aufgabe tatsächlich ausführt.

Dabei geht das Modell so vor: Es probiert Aufgaben in verschiedenen Harness-Umgebungen aus und behält nur die erfolgreichen Abläufe bei, die die vollständige Validierung bestehen. Dann agiert das Modell selbst als Planer und fasst den erfolgreichen Prozess zu einer Bedienungsanleitung (Runbook) zusammen.

Zu diesem Zeitpunkt gibt es einen speziellen Prüf-Agenten, der nur die Aufgabenstellung und die Bedienungsanleitung betrachtet, um das Format, das Ergebnis und die Frage zu prüfen, ob die Antwort des Validators oder die Standardlösung durchgesickert ist.

Nach bestandener Prüfung führt das Modell die Aufgabe anhand der Bedienungsanleitung in einer brandneuen Sandbox erneut aus. Nur Abläufe, die die Validierung auch bei der Wiederholung bestehen und keine Informationslecks aufweisen, werden beibehalten.

Bei der anschließenden überwachten Feinabstimmung werden die Bedienungsanleitung und die Prüfungsdialoge vollständig entfernt, nur die Aktionssequenz bleibt erhalten.

RSR ist wie das Erkunden eines neuen Spielbereichs: Man stirbt hunderte Male, bis man es endlich einmal durchspielt. Dann exportiert man die Aufzeichnung dieses erfolgreichen Durchlaufs, schaut sie sich ständig an und prägt sich jeden Schritt so ein, dass er zur Muskelgedächtnis wird.

Wenn man das nächste Mal den Bereich betritt, bewegt sich die Hand automatisch, man hat nur die Bewegungen des erfolgreichen Durchlaufs im Kopf und muss nicht einmal nachdenken.

Das ist das Wesen von RSR: Man extrahiert den „einmaligen Erfolg“, schreibt ihn als Notiz nieder und arbeitet sich konsequent daran ab. Die Person, die die Punkte vergibt, bleibt dieselbe, der Schiedsrichter bleibt derselbe, die Regeln ändern sich nicht – die einzige Variable ist man selbst, der gerade die Aufgabe bewältigt. Man kopiert seine eigene perfekte Prüfungsarbeit.

Im zweiten Schritt RPR (Recursive Policy-Refine, rekursive Strategieverfeinerung) wird verstärktes Lernen (PPO) mit Akteur und Kritiker gemeinsam durchgeführt.

Die Arbeit betont, dass sich nach dem Umschreiben die bevorzugten Aktionen des Akteurs ändern und auch die von ihm erlebten Situationen sich verändern, sodass der ursprüngliche Kritiker nicht mehr unbedingt genau einschätzen kann. Wenn man den Kritiker direkt zurücksetzt, verliert man das bereits gelernte Wissen darüber, „welche Situationen dem Erfolg näher sind“.

Aber umgekehrt: Wenn man ihn unverändert übernimmt und nicht kalibriert, vermischen sich alte Schätzfehler in die Vorteilswerte.

Das ist so, als würde man nach einer Weile des Übens eine neue Spielweise anwenden, bei der die alten Aufzeichnungen nicht mehr funktionieren. Man muss einen Analysten (Kritiker) hinzuziehen, der einem hilft, zu analysieren, wie man als Nächstes vorgehen muss, um das Spiel zu gewinnen.

Aber da gibt es ein Problem: Die Datenbank im Kopf des Analysten basiert noch auf deiner alten Spielweise, er versteht deine neue Vorgehensweise überhaupt nicht.

Der Trick von RPR besteht darin, dass du zuerst stillstehst und der Analyst anhand deiner neuesten Leistungen 4 separate Trainingsrunden durchführt, damit er deine neue Spielweise und die neuen Regeln versteht. Sobald der Analyst das verstanden hat, spielst du gemeinsam mit ihm, verbesserst dich während des Spielens – das nennt man „gemeinsam mit dem Trainer aufwärmen“.

Wie ist das Ergebnis also?

Das kleine Modell Qwen3.8 mit nur 27B Parametern wurde nur zwei Runden lang trainiert. Seine Punktzahl bei Terminal-Bench 2.1 stieg von 51,7 % auf 86,5 %, bei Terminal-Bench 4.0 von 0 % (keine einzige Aufgabe konnte gelöst werden) auf 19,8 %, und der Durchschnittswert von vier Tests stieg von 20,7 % auf 50,6 % – also mehr als das Doppelte.

Hy Frontier kehrt zur Hauptlinie von Hunyuan zurück

Die Arbeit hat drei Erstautoren: Yang Junyao und Li Zongxia, zwei Praktikanten bei Hy Frontier, sowie Shi Yucheng, Forschungswissenschaftler bei Tencent in Seattle.

Die drei haben bereits früher zusammengearbeitet: Die Arbeit trägt den Titel „T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks“.

Diese Arbeit ist sozusagen die „Vorgeschichte“ von Terminal-RSI und beschreibt, wie man durch verstärktes Lernen ein großes Modell zu einem Agenten ausbildet, der „wirklich in einem Linux-Terminal arbeiten kann“.

Bevor Yao Shunyu zu Tencent kam, war die Hauptkraft für die Grundlagenforschung bei Tencent das 2016 gegründete AI Lab, das von Yao Xing initiiert wurde. 2017 wurde der Maschinelles Lernen-Forscher Zhang Tong als erster Leiter eingestellt.

Laut dem Bericht von „LatePost“ kam Zhang Tong mit hohen Erwartungen, weil er glaubte, dass Tencents riesige Geschäftsdaten als Forschungsressourcen dienen könnten, die die akademische Welt nicht erreichen kann. Aber nach seinem Eintritt hatte er immer noch keinen Zugriff auf die Daten, die Forschung konnte nur hinter verschlossenen Türen stattfinden, und zwei Jahre später verließ er enttäuscht das Unternehmen.

Danach wurde Zhang Zhengyou zum Leiter des AI Lab ernannt, im Juni 2024 folgte ihm Jiang Jie in dieser Position nach.

Genauso verhält es sich mit Hunyuan: Bei der Projektgründung im Jahr 2023 hatte das Projektteam nicht einmal eine GPU, am Ende wurden 2000 GPUs aus der Werbeabteilung zugeteilt, die Hälfte für das Vortraining, die andere Hälfte für das Nachtraining.

Der erste Leiter war Zhang Zhengyou, dessen Forschungsrichtung Computer Vision ist. Der zweite Leiter ist Jiang Jie, der lange Zeit für die Produkt- und Technikverwaltung der Werbeplattform von Tencent verantwortlich war, große Datenplattformen aufgebaut hat und sich auf Werbeempfehlungen spezialisiert. Fast keiner von ihnen hatte jemals mit verstärktem Lernen zu tun.

Mitte 2025 wandte sich das Team dann der Optimierung von Benchmark-Ergebnissen zu. Ein Befragter sagte gegenüber „LatePost“: „Wir arbeiten weiter wie bisher, aber alle wissen im Inneren, dass diese Vorgehensweise nicht funktioniert.“

Erst als Yao Shunyu zu Hunyuan stieß, änderte sich alles. In einem Interview im Juni erwähnte Yao Shunyu, dass die heutige KI aus drei Teilen besteht: Foundation, Produkte und Frontier. Man muss eine ausgewogene „dreieckige Organisation“ aufbauen, weil „wir heute nicht genug Pionierarbeit leisten“.

Die alten Forschungseinrichtungen sind „zu weit vom Modell entfernt“, und die Modellteams sind „nur damit beschäftigt, Benchmarks zu verfolgen“.

Die Lösung von Yao Shunyu besteht darin, die Forschung direkt in die Modellabteilung zu integrieren. Das AI Lab wurde in die Abteilung für große Sprachmodelle eingegliedert, die ehemaligen Forscher übernehmen den Frontier-Bereich und gehören zusammen mit Vortraining, Nachtraining, Bewertung und Infrastruktur zu derselben Abteilung und derselben Berichtslinie.

Früher fand die Forschung im AI Lab statt, Produkte und Modelle wurden an anderen Stellen entwickelt, beide Seiten waren auf Koordination und Kommunikation angewiesen. Heute wird das Frontier-Team im selben Bereich wie das Hauptmodellteam untergebracht, und die Hierarchie wurde auf drei Ebenen reduziert: „Yao Shunyu – Bereichsleiter – Forscher/Praktikant“.

Seitdem ist Frontier kein unabhängiges Labor mehr außerhalb von Hunyuan. Nach der Gründung der Abteilung für Grundlagenmodelle im Juli wurde es in dieselbe Abteilung integriert und berichtet alle an Yao Shunyu.

Obwohl Frontier theoretisch „keine KPIs und keine festgelegten Forschungsthemen hat“, ist diese Forschungslinie für Terminal-Agenten in Kombination mit verstärktem Lernen keine „grenzenlose“ Forschung.

Ende 2025 begann Tencent Hunyuan, den Fokus auf KI-Programmierung zu legen. Dafür baute Yao Shunyu eine gruppenweite gemeinsame Infrastruktur für verstärktes Lernen auf, sodass alle Geschäftsbereiche ihre eigenen Modelle darauf trainieren und die Daten dann an Hunyuan zurückfließen lassen können. T1 und Terminal-RSI befassen sich genau mit langfristigen Aufgaben und verstärktem Lernen im Terminal.

Da Hy 4 Preview bereits die durchgängige RSI betont, ist diese Terminal-RSI eine Ergänzung von Frontier für die Hauptproduktlinie von Hunyuan.

Forschung und Produkte von Hunyuan sind nicht mehr voneinander getrennt.

Hy4 hat eine vielversprechende Zukunft

Die durchgängige RSI von Hy4 Preview kann in vier Glieder unterteilt werden: Datenstrategie, Trainingsmethode, Bewertungssystem und untergeordnete Operatoren. Wie bereits erwähnt entsprechen RSR und RPR von Terminal-RSR der Datenstrategie bzw. der Trainingsmethode.

So stark das Hy4-Basismodell auch ist, die „vollständig erfolgreichen“ Abläufe bei langfristigen Terminalaufgaben sind nach wie vor selten. RSR kann selbst hochwertige Trainingsdaten erzeugen und gleichzeitig Benchmark-Verunreinigungen verhindern.

Daher ist seine Bedeutung für Hy4: Es festigt das „gelegentliche richtige Lösen von Aufgaben“ zu einem „stabilen zuverlässigen Lösen“, besonders bei Arbeiten wie Debuggen und Systemverwaltung, die mehrstufige Schlussfolgerungen und Tool-Aufrufe erfordern.

Der größte Vorteil liegt bei RPR: Es erfüllt fast perfekt alle Anforderungen von Hy4.

Wie bereits erwähnt, ist RPR das „gemeinsame Aufwärmen mit dem Trainer“, um sich an neue Umgebungen, neue Spielweisen und neue Regeln anzupassen. Seit Yao Shunyu zu Hunyuan gekommen ist, liegt der Fokus des Modells auf dem Kontext, was bedeutet, dass das Modell häufig mit neuen Arten von Aufgaben konfrontiert wird.

Viele große Modelle haben hohe Punktzahlen, aber bei der tatsächlichen Erledigung von Aufgaben fehlt ihnen immer noch etwas.

Denn die Kunst, hohe Punktzahlen zu erschleichen, ist selbst eine Technik. In einem Bericht von OpenAI wurde erwähnt, dass stärkere Modelle besser „schauspielern“ können. Sie können alle Zwischenschritte, Vorbedingungen und Zwischenergebnisse korrekt ausführen und viele bestandene Prüfpunkte erreichen, sodass es aussieht, als hätten sie die Aufgabe wirklich gelöst – aber am Ende stimmt das entscheidende Endergebnis nicht.

Ohne den zerstörten Kristall kann man das Spiel nicht gewinnen. Und Yao Shunyu ist jemand, der sich nicht für Benchmark-Ergebnisse interessiert, sondern nur dafür, ob das Modell Aufgaben tatsächlich lösen kann.

Im Januar 2026 bewertete Yao Shunyu DeepSeek mit den Worten: „Etwas, das DeepSeek gut macht, ist, dass sie sich wahrscheinlich nicht so sehr auf die Zahlen in den Benchmarks konzentrieren. DeepSeek legt mehr Wert darauf: Erstens, was die richtige Vorgehensweise ist; zweitens, was man selbst als gut oder schlecht empfinden kann.“

Schwache Modelle haben nicht die Fähigkeit, Punktzahlen zu erschleichen. Hy4 ist ein starkes Modell: Wenn es anfängt zu „schauspielern“, wirkt es noch echter, und die Zwischenpunktzahlen, die es erschleicht, sind noch höher. Daher ist diese Regel „Erfolg hat Priorität, Zwischenpunktzahlen können nie eine volle Punktzahl ersetzen“ genau dafür entwickelt, um dieses Problem zu beheben.

Dieser Artikel stammt von dem