Alibaba steckt die KI zur strengen „Militärausbildung“ in 100 echten Endgeräten und lässt sie mit allen möglichen Bildschirmszenarien umgehen – worin unterscheidet sich das noch von einem KI-Smartphone?
Am 20. August hat Alibaba ein grundlegendes GUI-Agent-Basismodell für die Ausführung auf digitalen Geräten vorgestellt – Qwen-UI-Agent. Dieses Modell ist hauptsächlich für Umgebungen wie Mobilgeräte, Computer, Webseiten und Tiefensuche ausgelegt und kann Geräte durch virtuelle Klicks, CLI-Ausführung und andere Methoden bedienen, um komplexe Aufgaben zu erledigen.
Bei den 6 im Projekt-Homepage angezeigten zentralen GUI-Benchmarks hat Qwen-UI-Agent in 5 davon den ersten Platz belegt und erreicht höhere Punktzahlen als Modelle wie GPT-5.6 Sol und Claude Opus 4.8, es übertrifft auch Seed 2.1 Pro, das von ByteDance im Juni dieses Jahres veröffentlicht wurde. Erwähnenswert ist, dass die Hauptversion dieses Modells nur 27B Parameter hat und auf dem Basismodell der Qwen-3.5-Serie aufbaut.
Alibaba hat mehrere Anwendungsszenarien von Qwen-UI-Agent vorgestellt. Benutzer können das Modell auffordern, auf dem Mobiltelefon durch simulierte Klicks die Kartenanwendung zu öffnen, nach Cafés in der Nähe zu suchen und auf sozialen Medienplattformen nach Bewertungen dieser Cafés zu suchen, um die Benutzer bei der Entscheidungsfindung zu unterstützen.
Bei der Ausführung von Aufgaben auf dem PC führt Qwen-UI-Agent mehr CLI-Aktionen aus und gibt mehrere Aktionen in einer einzigen Entscheidung stapelweise aus, um Aufgaben wie die standortübergreifende Untersuchung von Produkten, die Preisprüfung und die Erstellung von Preisvergleichslösungen zu erledigen.
Im Szenario der Tiefensuche können die GUI- und CLI-Fähigkeiten dieses Modells zusammenarbeiten, um Aufgaben zu erledigen: Die GUI ist für die Websuche und die Lokalisierung von Datenquellen zuständig, die CLI für den Datenabruf und die Analyse.
Darüber hinaus kann dieses Modell auch für Aufgaben wie die geräteübergreifende Ausführung zwischen Mobiltelefon und Computer sowie die Generierung von PPT-Berichten verwendet werden. Es kann auch aktiv Nachrichtenbenachrichtigungen und andere Informationen auf dem Gerät beachten und den Benutzern Empfehlungen und Lösungen anbieten.
Alibaba hat gleichzeitig den technischen Bericht und die Projekt-Homepage des Qwen-UI-Agent-Modells veröffentlicht. Im technischen Bericht gab Alibaba bekannt, dass sie zum Training dieses Modells eine echte mobile Umgebung mit mehr als 100 echten Mobiltelefonen und über 150 Anwendungen aufgebaut haben, die für die Aufgabenkonstruktion, die Trajektorienerfassung, das Modelltraining und die Bewertung verwendet wird. Neben der 27B-Version bietet das Modell auch Versionen mit 35B-A3B- und 4B-Parametern an. Sie glauben, dass GUI-Agenten voraussichtlich zu universellen Ausführungsmodulen auf vorhandenen digitalen Geräten werden.
Technischer Bericht: https://arxiv.org/abs/2607.28227
Projekt-Homepage: https://tongyi-mai.github.io/Qwen-UI-Agent
GitHub: https://github.com/Tongyi-MAI/MAI-UI
01. GUI-Agenten haben eine Sim-to-Real-Lücke, das einzigartige Ökosystem chinesischer Anwendungen bringt zusätzliche Herausforderungen
Der ideale Zustand von GUI-Agenten ist: Solange es eine Schnittstelle gibt, können sie wie ein Mensch die Inhalte verstehen, klicken und eingeben, um komplexe Aufgaben für Sie zu erledigen. Das Alibaba-Team hat jedoch festgestellt, dass die überwiegende Mehrheit der aktuellen GUI-Agenten in Simulatoren gefangen ist: Sie erzielen schöne Punktzahlen in einer sauberen Sandbox-Umgebung, aber sobald sie auf echten Mobiltelefonen eingesetzt werden, sinkt ihre Leistung bei wechselnden Schnittstellen, Popup-Werbung, abgelaufenen Anmeldungen und Netzwerkschwankungen.
Diese Lücke zwischen Simulationsumgebung und realer Umgebung (Sim-to-Real-Gap) ist im chinesischen mobilen Ökosystem besonders ausgeprägt, da die Super-Apps auf dem chinesischen Markt tiefe Funktionen, komplexe Eingänge und viele Popups haben, die in Laborumgebungen überhaupt nicht reproduziert werden können.
Gleichzeitig beschränken sich die Anforderungen echter Benutzer längst nicht mehr darauf, in einer einzelnen App ein paar Mal zu klicken. Ein vollständiger Arbeitsablauf für Büro oder Leben erfordert oft das Springen zwischen Mobiltelefon, Computer und Browser, und es wird sogar erwartet, dass der Agent aktiv wahrnimmt: Zum Beispiel erkennt er eine Benachrichtigung über die Stornierung eines Fluges, sucht automatisch nach Alternativen, prüft Terminüberschneidungen und erstellt einen Wiederherstellungsplan.
Die meisten vorhandenen Agenten arbeiten im passiven Frage-Antwort-Modus und werden erst aktiv, wenn der Benutzer eine Anweisung gibt. Sie können weder geräteübergreifend zusammenarbeiten, noch verfügen sie über Fähigkeiten zur Planung und Fehlerkorrektur für langfristige Aufgaben.
Ein tieferliegendes Problem ist die Trainingseffizienz. Die Datenerfassung herkömmlicher GUI-Modelle hängt stark von menschlicher Arbeit ab: Menschen schreiben Aufgaben, richten Umgebungen ein, markieren Ergebnisse, analysieren Fehler und so weiter. Mit der Erweiterung der Fähigkeitsgrenzen von Agenten ist dieser Arbeitsablauf nicht mehr nachhaltig.
Alibaba ist der Ansicht, dass das nächste Generation-GUI-Basismodell drei Widersprüche gleichzeitig lösen muss: den Widerspruch zwischen Simulation und Realität, den Widerspruch zwischen einzelnen Fähigkeiten und vollständigen Arbeitsabläufen sowie den Widerspruch zwischen menschlicher Steuerung und Skalierbarkeit. Das ist genau der Ausgangspunkt für die Entwicklung von Qwen-UI-Agent.
02. Aufbau einer mobilen Laufzeitumgebung mit hunderten echten Geräten, mehrstufiges RL verbessert die Erfolgsrate von Aufgaben
Um Qwen-UI-Agent zu entwickeln, hat Alibaba ein Framework entworfen, das von der unterliegenden Umgebung, dem Aktionsraum, dem Trainingsparadigma bis zum übergeordneten Harness reicht.
Zuerst die echte Gerätetrainingsumgebung. Das Forschungsteam hat eine echte mobile Laufzeitumgebung aufgebaut, die aus mehr als 100 echten Mobiltelefonen und über 150 Anwendungen besteht.
Dieses System ist mit einem Scheduler für Gesundheitserkennung ausgestattet, der den Anwendungszustand, den Anmeldezustand des Kontos und den Netzwerkstatus jedes Geräts in Echtzeit überwacht und bei Fehlern automatisch umschaltet. Es unterstützt auch die virtuelle Bildschirmtechnologie, sodass ein einzelnes Mobiltelefon mehrere Anwendungssitzungen gleichzeitig ausführen kann, was die Effizienz des gleichzeitigen Rollouts um etwa das 20-fache steigert.
Das Modell wird in der Trainingsphase direkt mit echten Anmeldezusammenhängen, dynamischen Inhalten und zufälligen Popups konfrontiert, was die Sim-to-Real-Lücke bis zu einem gewissen Grad mildert.
Zweitens der einheitliche Aktionsraum. Qwen-UI-Agent integriert GUI-Operationen, CLI-Befehle (wie Bash-Skripte) und API-Aufrufe in dasselbe Aktionssystem. Bei strukturierten Aufgaben wie Tabellenverarbeitung und Stapelverarbeitung von Dateien kann das Modell direkt Code schreiben, um diese auszuführen.
Bei Operationen, die eine visuelle Bestätigung erfordern, wie das Ausfüllen in Tabellen, die Suche in Seiten und das Zoomen von Karten, wechselt es zurück zu GUI-Klicks.
Bei einer einzelnen Inferenz kann Qwen-UI-Agent auch Stapelverarbeitungsaktionen ausgeben und mehrere zusammenhängende Operationen auf einmal abschließen, was die Anzahl der Interaktionsrunden erheblich reduziert.
Statistisch gesehen machen CLI-Aktionen bei OSWorld-Desktop-Aufgaben mehr als 40 % aus, Stapelverarbeitungsaktionen etwa 40 %.
Auf der Trainingsebene hat das Team einen „agentengesteuerten Daten-Flywheel“ entworfen. Der gesamte Ablauf wird von KI automatisch synthetisiert, die Umgebung wird automatisch aufgebaut, die Ergebnisse werden automatisch überprüft, Fehler werden automatisch diagnostiziert und die Trainingsdaten für die nächste Runde werden geplant. Menschen sind nur für die Überwachung und Korrektur zuständig.
Das Training gliedert sich in drei Phasen: Die überwachte Feinabstimmung (SFT) baut grundlegende Fähigkeiten auf; Action RL korrigiert speziell häufige Aktionsfehler wie Lokalisierungsfehler, Wiederholungsschleifen und vorzeitige Beendigungen.
Online RL optimiert die End-to-End-Erfolgsrate in langfristigen Trajektorien von mehr als 100 Schritten und steuert gleichzeitig fast zehntausend gleichzeitige Umgebungen, um das Rollout zu beschleunigen. Zum Beispiel wird das Modell nach dem RL die Ergebnisse aktiv überprüfen und Fehler beheben, anstatt direkt zu behaupten, dass die Aufgabe erfolgreich abgeschlossen ist.
Ganz oben liegt die Harness-Schicht, die für aktive Dienste und geräteübergreifende Zusammenarbeit zuständig ist. Sie kann Benachrichtigungen auf Mobiltelefonen lesen, Ereignisse wie Flugstornierungen aktiv erkennen und Ausführungspläne erstellen.
Sie kann auch geräteübergreifende Aufgaben zu Arbeitsabläufen verknüpfen, sodass Informationen vom Mobiltelefon an den Computer übergeben werden, um dort weiterverarbeitet zu werden.
In Bezug auf die Sicherheit führt Qwen-UI-Agent bei rechtswidrigen oder hochriskanten Anforderungen keine Schnittstellenoperationen aus, lehnt die Anfrage direkt ab und beendet die Aufgabe. Bei sensiblen Szenarien wie Zahlungen, Datenlöschung und Datenschutzautorisierung stoppt es automatisch in kritischen Schritten, erläutert die Situation dem Benutzer und fährt erst fort, wenn eine ausdrückliche Best