Das Doubao-Smartphone geht morgen in den Verkauf – kann KI dir bereits bei der Bedienung von Apps helfen?

Text | Li Zhaofeng

Redaktion | Zhang Yuxin

Gestern hat der Doubao Handy-Assistent die Verbraucherversion veröffentlicht. Dieser KI-Assistent, der auf der Doubao-App basiert und auf Betriebssystemebene mit Handyherstellern zusammenarbeitet, wird erstmals auf dem nubia NaviX Ultra von ZTE eingesetzt. Das Handy wird am 16. September offiziell zum Verkauf angeboten.

Ende letzten Jahres wurde die technische Vorschauversion des Doubao Handy-Assistenten auf dem Prototyp nubia M153 eingesetzt, um vor allem zu demonstrieren, wie KI Anwendungen übergreifend „das Handy bedienen“ kann. In weniger als einem Jahr legt die neu eingeführte Verbraucherversion mehr Wert auf die alltägliche Nutzbarkeit: Neben Bildschirmabfragen, lokaler Speicherung und Suche ist die Funktion „Handy bedienen“ in einer Beta-Version zugänglich. Gleichzeitig hat Doubao das SAEP (Screen Automation Execution Protocol) eingeführt und eine 30-tägige Offenlegungsfrist festgelegt.

Gemäß dem Protokoll können Drittanbieteranwendungen selbstständig erklären, ob sie dem KI-Assistenten die Ausführung von Bildschirmautomatisierungen erlauben, oder einzelne Vorgänge einschränken. Während der 30-tägigen Offenlegungsfrist werden Drittanbieteranwendungen, die der Integration nicht ausdrücklich zugestimmt haben, standardmäßig nicht bedient. Die Verbraucherversion des Doubao Handy-Assistenten fügt zusätzlich eine Wahlmöglichkeit auf Anwendungsseite hinzu: Drittanbieteranwendungen können die GUI insgesamt ablehnen oder einzelne Vorgänge wie Veröffentlichung, Löschung und Einlösung von Vorteilen separat einschränken.

Personen, die sich mit der Forschung zu GUI-(Graphical User Interface-)Agenten befassen, sind der Ansicht: „Zukünftig muss es in jedem Handy einen nativen KI-Assistenten geben. Dies muss nicht unbedingt vom Handyhersteller selbst umgesetzt werden, aber am Ende muss es auf Systemebene erreicht werden.“ Mit dem Markteintritt des NaviX Ultra und einer Reihe von systemweiten Handy-Assistenten in den Verbrauchermarkt gelangen systemweite KI-Assistenten zunehmend in die alltäglichen Nutzungsszenarien der normalen Nutzer.

01 Aus dem Dialogfeld heraustreten: Handy-KI beginnt, Aufgaben anwendungsübergreifend zu erledigen

Im Juli dieses Jahres erklärte Ni Fei, Senior Vice President von ZTE und Präsident von nubia, in einem Medieninterview: „Was Nutzer wirklich wollen, ist „Sorgenfreiheit“. Aber je mehr Funktionen heutige Handys haben, desto komplizierter werden die Bedienvorgänge. Dieser Widerspruch hat sich bis zu einem gewissen Grad aufgebaut, und es braucht eine neue Produktform, um darauf zu reagieren.“

Das ist genau das Problem, das der Doubao Handy-Assistent zu lösen versucht: Er ist in das Handysystem eingebettet, kann nach Nutzerautorisierung Informationen auf dem aktuellen Bildschirm und im Gerät durchsuchen, Systemtools wie den Kalender aufrufen oder andere Anwendungen öffnen, um Vorgänge darin auszuführen. Nutzer können Aufgaben über die KI-Taste starten, und mehrere Aufgaben können in eine Warteschlange gestellt oder vorübergehend vorgezogen werden.

Zum Beispiel kann der Nutzer in der offiziellen Demonstration des Doubao Handy-Assistenten nach dem Fotografieren des Stundenplans für das neue Semester den Assistenten bitten, den Stundenplan zum persönlichen Kalender hinzuzufügen. Er kann ihn auch bitten, ein Taxi zur auf dem Bildschirm angezeigten Adresse zu bestellen, das Yindu-Gebäude als Zwischenstopp hinzuzufügen, und nach dem Einsteigen das Autokennzeichen an den Kollegen von Feishu zu senden, um ihn daran zu erinnern, 10 Minuten später nach unten zu gehen.

Diese Nutzungsform hatte bereits im letzten Jahr in der technischen Vorschauversion auf dem nubia M153 ihre Vorläufer. In einer öffentlichen Demonstration bat der Nutzer Doubao, anhand eines Fotos eines Blutdruckmessers im Album „ein billigeres Exemplar desselben Modells auf Taobao auszuwählen“ und „den Link an Zhang San zu senden“. Doubao erkannte das Produkt und dass „Zhang San“ ein QQ-Freund ist, und führte nacheinander die Vorgänge zwischen Album, E-Commerce und sozialer Anwendung aus.

Wie bekannt ist, hat das M153 das systemweite Recht INJECT_EVENTS von Android aufgerufen. Nach Erhalt der Nutzerautorisierung kann Doubao Tippen, Wischen und Eingaben simulieren, auch wenn Drittanbieteranwendungen keine Schnittstelle für KI bereitstellen. Bei sensiblen Schritten wie Passworteingabe oder Gesichtserkennung wird das Handy wieder an den Nutzer übergeben.

Aber im tatsächlichen Einsatz können anwendungsübergreifende Vorgänge, die Anmeldeüberprüfungen und Plattformrisikokontrollen betreffen, dennoch unterbrochen werden. Daraufhin hat Doubao selbst risikoreiche Szenarien wie Finanzzahlungen und Belohnungsvorgänge eingeschränkt.

Im Februar dieses Jahres testete Google die mehrstufigen Aufgaben von Gemini auf der Galaxy S26-Serie und einigen Modellen der Pixel 10: Es kann Fahrgemeinschaften mit mehreren Zwischenstopps für Kollegen arrangieren. Nachdem die Aufgabe in den Hintergrund gewechselt ist, können Nutzer den Fortschritt weiterhin über Benachrichtigungen einsehen, jederzeit übernehmen und vor dem Kauf bestätigen. Matthew McCullough, Vice President für Produktmanagement von Android-Entwicklern bei Google, schrieb im offiziellen Blog: „Der Maßstab für den Erfolg einer Anwendung verschiebt sich von „den Nutzer dazu zu bringen, die App zu öffnen“ hin zu „die Aufgabe des Nutzers wirklich zu erledigen“.“

Seit 2026 ist eine Reihe von systemweiten Handy-KI-Assistenten in Massen entstanden.

In der im Juni veröffentlichten Entwickler-Beta von HarmonyOS 7 hat Huawei Xiaoyi Zugriff auf über 200 systemweite Wahrnehmungsdaten. Es kann Zeit, Ort und Hinweise aus Einladungen zu Vorstellungsgesprächen erkennen und in das Notizbuch schreiben. Es kann auch auf dem Handy verlangen, dass Xiaoyi eine Datei auf dem Computer sucht und sie dann an das Handy sendet.

Auf der Weltkonferenz für Künstliche Intelligenz (WAIC) 2026 im Juli wurden das nubia NaviX Ultra, das STEX Neo von StepX und das Honor Robot Phone gemeinsam vorgestellt. Das mit dem Amoo-Assistenten ausgestattete STEX Neo liest nach der Anweisung „Erledige bitte die Dinge für meine Präsentation morgen“ den Feishu-Kalender und die Gruppenmeldungen, zerlegt die Aufgabe, generiert eine PPT (Präsentation) und sendet die Datei zurück an Feishu. Vor dem Ändern von Dokumenten wird eine Berechtigung angefordert, und bei Zahlungen muss der Nutzer bestätigen.

Fast zur gleichen Zeit verändert sich auch die Beziehung zwischen Super-Apps und Handy-KI-Assistenten.

Im Juni dieses Jahres bestätigte WeChat die Zusammenarbeit mit Huawei, Honor, Xiaomi, OPPO und vivo bei der A2A-(Agent-to-Agent-)Kommunikationsfähigkeit. Handy-Assistenten können Anweisungen zum Senden von Nachrichten oder Audio- und Videoanrufen übermitteln, die von WeChat ausgeführt werden und das Ergebnis zurückgeben, wobei der gesamte Prozess eine doppelte Autorisierung verwendet. Im August arbeitete das vivo Blueheart XiaoV mit dem Alipay-Serviceagenten „Abao“ zusammen. Wenn der Nutzer sagt „Bestelle mir bitte ein Taxi zum Bahnhof“ oder „Stelle mir bitte eine Rechnung für die Taxifahrt aus“, können die entsprechenden Dienste im Dialog ausgeführt werden.

Man kann erkennen, dass 2026 die Handy-KI-Assistenten in eine Phase der dichten Veröffentlichung eingetreten sind. Neben nubia mit dem Doubao Handy-Assistenten haben Google, Huawei, StepX und Honor nacheinander Agenten auf die Systemebene von Handys gebracht, und Super-Apps wie WeChat und Alipay beginnen ebenfalls, Anweisungen von Systemassistenten zu empfangen.

02 KI bedient den Bildschirm für dich: Wie kann man Grenzen nicht überschreiten?

Da Handy-KI-Assistenten mit GUI-Lösung immer verbreiteter werden, müssen sie dringend drei Berechtigungsprobleme lösen: Hat der Nutzer autorisiert, lässt die Anwendung es zu, und wer bestätigt vor dem Senden, der Bestellung und der Zahlung. Aus dem von Doubao eingeführten SAEP (Screen Automation Execution Protocol) lassen sich möglicherweise Sicherheitsmaßnahmen zu dieser Berechtigungsgrenze ableiten.

Gegenwärtig hat CUA (Computer-User-Agent) die GUI-Technologie als Mainstream-Lösung angenommen. Das Problem, das es löst, ist: Wie kann KI Software direkt bedienen und wie kann der Zugriffsbereich eingeschränkt werden? Ein Forscher beschreibt CUA als „einen sehr vielseitigen Programmierer für deinen Computer, der alles versteht, Code schreiben kann und sich gleichzeitig mit Cybersicherheit auskennt“.

Die derzeitige Bedienweise lautet: Bei Aufgaben, die strukturiert verarbeitet werden können, greift das Handy vorrangig auf Code, Befehle und Tools zu. Nur bei Software ohne Schnittstelle wird die Erkennung von Bildschirmen und das Klicken von Schaltflächen ausgeführt. Die GUI ist eher eine Ausweichfähigkeit, mit der Agenten weiterhin Software bedienen können, die noch nicht für KI geöffnet ist. Da die Anzahl der Handy-Apps sehr groß ist und sich verschiedene temporäre Seiten ständig ändern, ist es unmöglich, alle mit Schnittstellen auszustatten. Die GUI muss die nicht integrierten Teile abdecken.

Ein GUI-Forscher sagte zu „Intelligent Emergence“: „Man kann nicht erwarten, dass alle App-Entwickler die Anpassung für KI abschließen. Die GUI ist definitiv eine notwendige Ergänzung.“ Ein anderer Praktiker fügte hinzu: „Kurzfristig wird es auf dem Markt noch viele Software geben, die keine KI-Funktionen haben. Insbesondere bei großer Software sind die Schnittstellen selbst sehr komplex, und es wird möglicherweise nicht möglich sein, sie in kurzer Zeit vollständig zu integrieren.“

Handy-Agenten sind stärker von dem Anwendungsökosystem abhängig als Computer-Agenten. Auf Computern kann das Betriebssystem direkt festlegen, welche Software sich mit Agenten verbinden darf. Auf der Handyseite verfügt das Betriebssystem jedoch nicht über solche Rechte. Nicht nur alle Dienste sind in ihren jeweiligen Anwendungen gekapselt, sondern Berechtigungen wie Standort, Kamera und Adressbuch werden gemeinsam von System und Anwendung gesteuert. Wenn Drittanbieteranwendungen weder Schnittstellen öffnen noch der KI erlauben, die Oberfläche zu bedienen, kann der Handy-Assistent die Aufgabe nicht weiter ausführen.

Gegenwärtig zeigt die GUI jeden Bedienungsschritt auf dem Bildschirm an. Ein Forscher sagte: „Jeder kann verstehen, was dieser KI-Assistent gerade tut.“ Nutzer können danach beurteilen, ob sie den Vorgang anhalten oder übernehmen wollen.

Aber „sichtbar“ bedeutet nicht „gut gemacht“. Das Forschungsteam der Carnegie Mellon University hat in diesem Jahr den Handy-Agenten-Benchmark iOSWorld eingeführt, der 26 selbst entwickelte iOS-Anwendungen verwendet, um das digitale Leben eines Nutzers zu simulieren, und 133 Aufgaben entworfen hat. Selbst das Modell mit der besten Leistung hat bei anwendungsübergreifenden Aufgaben nur eine Erfolgsquote von 37 %. In echten Verbraucherszenarien gibt es zusätzlich ständig wechselnde Seiten, Identitätsüberprüfungen und Plattformrisikokontrollen.

Im Vergleich zu App-Szenarien aggregiert die Systemebene des Handys auch persönliche Nutzerinformationen wie Album, Adressbuch, Standort und Kalender. Je vollständiger die Informationen sind, die der Handy-KI-Assistent beherrscht, desto mehr Aufgaben kann er erledigen. Daher werden zwei Fähigkeiten im Vordergrund stehen: Erstens „wie man mehr und bessere Daten erzeugt“, und zweitens „wie man die Zusammenarbeit zwischen verschiedenen Schritten und verschiedenen Agenten organisiert“.

Gleichzeitig bedeuten mehr Fähigkeiten aber auch höhere Anforderungen an das Ökosystem.

Aus diesem Grund hat der Doubao Handy-Assistent das SAEP (Screen Automation Execution Protocol) eingeführt, das Drittanbieteranwendungen erlaubt, vor der Ausführung durch den GUI-Agenten zu erklären, ob sie den Vorgang erlauben und welche Vorgänge nicht ausgeführt werden dürfen.

„SAEP ähnelt dem Robots-Protokoll (Zugriffsregeln für Webcrawler) im KI-Zeitalter. Websites teilen durch dieses Protokoll automatischen Programmen wie Suchmaschinen mit, welche Seiten durchsucht werden dürfen und welche nicht. SAEP lässt Anwendungen erklären, ob der Agent die Anwendung betreten darf und bei welchen Vorgängen er anhalten muss“, erklärte ein Forscher.

Nach der Integration von SAEP können Drittanbieteranwendungen entweder alle Bildschirmautomatisierungen ablehnen oder einzelne Vorgänge wie Inhaltsveröffentlichung, Löschung, Anmelde-Gewinnspiele und Einlösung von Vorteilen einschränken. Die Ablehnungserklärung wird sofort wirksam. Während der 30-tägigen Offenlegungsfrist werden mit Ausnahme der systemeigenen Anwendungen, der Anwendungen von ByteDance und den Drittanbieteranwendungen, die der Integration ausdrücklich zugestimmt haben, die übrigen Anwendungen standardmäßig nicht bedient. Nach Ablauf der Offenlegungsfrist werden Anwendungen, die keine Stellung genommen haben, schrittweise nach Risikostufe geöffnet, und Anwendungen, die ausdrücklich ablehnen, werden nie bedient.

Anwendungen geben ihren Willen durch SAEP an, das Handysystem liest die Erklärung aus, schränkt die GUI-Berechtigungen ein und gibt das Gerät bei sensiblen Schritten an den Nutzer zurück. Dies erfordert die gemeinsame Umsetzung durch Modellanbieter und Endgerätehersteller.

Zuvor hat Ni Fei, Präsident von nubia, die Zusammenarbeit zwischen Doubao und nubia zusammengefasst: „Modellanbieter lösen das Problem, ob die KI die Aufgabe ausführen kann. Endgerätehersteller lösen das Problem, ob Nutzer sie wirklich nutzen können.“ Gemäß der von Ni Fei offengelegten Arbeitsteilung ist Doubao für die Fähigkeiten des großen Modells und des Agenten verantwortlich, während nubia für System, Hardware, Produktingenieurwesen, Qualität, Vertrieb und Nutzerdienste zuständig ist. Der Kooperationsbereich erstreckt sich auf Modell, Betriebssystem und gesamte Geräteentwicklung.

In dieser Arbeitsteilung werden Berechtigungen und Vertrauen letztendlich vom Betriebssystem übernommen. Das bedeutet, dass die Beziehung zwischen Handy-Betriebssystemen und Agenten zunehmend integrierter wird.

Auf der Alipay-KI-Ökosystem-Partnerkonferenz, die im August dieses Jahres in Hangzhou stattfand, erklärte Zhou Wei, Vice President von vivo und Dekan des Globalen KI-Forschungsinstituts: „Die Hardwareform wird nicht verschwinden, aber das Betriebssystem wird neu strukturiert – von der Verwaltung von Anwendungen hin zur Verwaltung von Agenten, Berechtigungen und Vertrauen.“

Schon im Juli hat das Staatliche Internetinformationsbüro erstmals separat die Registrierung von 7 generativen KI-Diensten auf Handyseite veröffentlicht, darunter Apple Intelligence, Huawei Xiaoyi KI-Großmodell, OPPO AndesGPT-Großmodell, vivo Blueheart-Endgeräte-Großmodell, Xiaomi HyperAI, Samsung Galaxy AI und das nubia Doubao Handy-Großmodell. Systemweite Handy-KI-Assistenten treten in eine Phase des branchenweiten explosionsartigen Wachstums ein.

Ein GUI-Forscher sagte zu „Intelligent Emergence“: Im Vergleich zu eigenständigen KI-Anwendungen haben Handys eine stabilere Beziehung zu den Nutzern: „Wenn man nur KI-Software entwickelt, nutzen Nutzer möglicherweise das, was kostenlos ist. Aber bei Handys ist das anders: Ein Handy wird oft mehrere Jahre lang verwendet und begleitet den Nutzer sehr lange.“

Am 16. September wird das NaviX Ultra offiziell in den Verkauf gehen. Zu diesem Zeitpunkt wird der Doubao Handy-Assistent offiziell in den