Der Wettbewerb um Personal Agent breitet sich nun auf den Hardware-Bereich aus.

KI-Brillen, Kopfhörer und Aufnahmegeräte werden zu Einstiegspunkten, über die Personal Agents in die reale Welt gelangen.

Am 13. Oktober veröffentlichte Qwen KI-Brillen und KI-Ohrclip-Kopfhörer, mit dem Ziel, dass derselbe Personal Agent über verschiedene Geräte den Nutzer versteht und Aufgaben fortsetzt. Gleichzeitig versuchen Hardware-Hersteller, mithilfe von Kopfhörern und Aufnahmegeräten die Kommunikation in der realen Welt in Kontext umzuwandeln, auf den Agent zugreifen kann.

Das Mobiltelefon verfügt bereits über Aufzeichnungs-, Wahrnehmungs- und KI-Verarbeitungsfunktionen. Warum müssen Nutzer trotzdem separat ein eigenes Hardware-Set kaufen?

Eines der Merkmale unabhängiger Hardware ist der schnelle Start. In effizienzorientierten Szenarien ist der Prozess, das Handy zu entsperren, die App zu öffnen und die Aufnahmetaste zu drücken, etwas langwierig. Außerdem lenkt das Einschalten des Handys während einer Besprechung, um den Aufnahmestatus zu überprüfen, die Aufmerksamkeit ab. Im Vergleich dazu ist das Drücken der Taste am Aufnahmegerät und das Sehen der aufleuchtenden Anzeige einfacher und direkter, was das Nutzererlebnis angenehmer macht.

Die Hardware-Verkaufszahlen spiegeln die Kaufbereitschaft der Nutzer wider, während die Nutzerbindung anhand von Abonnementumwandlungen, fortgesetzter Nutzung und Verlängerungsraten beurteilt werden muss.

Obwohl Modellinferenz und Aufgabenausführungsfähigkeiten von externen Plattformen bereitgestellt werden können, können Hardware-Hersteller auch am Kontextmanagement teilnehmen.

Qwen integriert Modelle, Apps und Hardware. Shokz bietet Dienste mithilfe externer KI-Funktionen an. Die Marke viaim von Future Intelligence versucht, andere Agents über einen eigenen Personal Agent zu steuern. Bee unter Amazon greift auf vorhandene Assistenten und Einkaufsdienste zu. Verschiedene Unternehmen erkunden derzeit ihre eigene Position.

Hardware fungiert als Sinnesorgan des Personal Agent, das Kontext aus der realen Welt aufnimmt. Der Wettbewerb zwischen verschiedenen Herstellern entfaltet sich um die langfristige Verwaltung dieser Informationen, Aufgabenaufrufe und Dienstleistungsgebühren.

Eins

Am Ohr, vor den Augen – derselbe Agent

Ein einziger Personal Agent hat eine gesamte Hardware-Präsentation verbunden.

Am 13. Oktober veröffentlichte Qwen unter Alibaba die KI-Brillen N1 und N1 Pro sowie KI-Ohrclip-Kopfhörer. Alle drei Produkte wurden am selben Tag sofort zum Verkauf angeboten. Nach Einbeziehung staatlicher Subventionen und zeitlich begrenzter Rabatte beginnen die Preise der Brillen bei 2218 Yuan, die der Kopfhörer bei 1099 Yuan.

Song Gang, Vizepräsident der Qwen-Abteilung der Alibaba-Gruppe, erklärte auf der Präsentation:

„Das Ziel von Qwen ist, der Personal Agent eines jeden Menschen zu werden. Wir sind der Ansicht, dass KI-Traggeräte die Erweiterung von Qwen in die physische Welt und ein wichtiger Bestandteil des Personal Agent sind. Egal wo Sie Ihre Anfrage stellen, dahinter steht immer dasselbe Qwen, dass dieselbe Person versteht und dasselbe Ziel fortsetzt.“

Vor dieser Präsentation hat Alibaba bereits um Qwen herum KI-Anwendungen, gruppeninterne Dienste und Hardware-Endgeräte aufgebaut.

Brillen, Kopfhörer und Aufnahmekarten richten sich jeweils an Szenarien wie visuelle Wahrnehmung, tragbare Sprachinteraktion und Büroaufzeichnungen. Der „Fähigkeitenplatz“ der offenen Plattform von Qwen beginnt, Dienste von Drittanbietern einzuführen, sodass Nutzer über Sprachbefehle auf mehr Funktionen zugreifen können.

Im August brachte Shokz den OpenFit 2 AI-Kopfhörer auf den Markt. Im September kündigte Meta auf der Connect-Konferenz an, den persönlichen intelligenten Agenten Muse in die Produktlinie der KI-Brillen zu integrieren, die Inbetriebnahme wird voraussichtlich in einigen Monaten erfolgen.

Die Geschichte der KI-Nativität wurde bereits vor zwei Jahren von Humane AI Pin und Rabbit R1 erzählt, aber das Produkterlebnis hat nicht so weit gereicht, und die Frische aus den Werbevideos konnte nicht umgesetzt werden. Die neue Generation von KI-Hardware spricht meist nicht mehr davon, das Mobiltelefon zu ersetzen. Kopfhörer, Brillen und Aufnahmegeräte sollen mehr Wahrnehmungs- und Interaktionsaufgaben übernehmen.

Es ist nicht unbedingt die sinnvollste Wahl, dass ein einziges Hardware-Gerät alle Lebensszenarien des Nutzers abdeckt.

Hardware wie Kopfhörer, Brillen und Aufnahmegeräte hat ein begrenztes Volumen und muss nah am Körper getragen oder ständig mitgeführt werden. Wenn es um Funktionsintegration und Hardware-Konfiguration geht, kann es kaum mit Smartphones mithalten.

Der Schlüssel liegt darin, die jeweilige Nische zu finden, zusammenzuarbeiten, verschiedene Nutzungsszenarien und Nutzerbedürfnisse abzudecken und schließlich den vollständigen Arbeitsablauf des Agents zu bedienen.

Bei mehreren Hardware-Geräten, die an denselben Agent angeschlossen sind, bleiben Leistung und Parameter wichtig und sind Teil des langfristigen Nutzererlebnisses. Unter dieser Voraussetzung muss die Hardware ständig Szenarieninformationen erfassen, die für den Agent nützlich sind.

Zwei

Klares Hören ist nur die Voraussetzung

Um den Agent zu nutzen, um nachfolgende Aufgaben mit realen Gesprächen zu erledigen, benötigt man zunächst eine klare und vollständige Aufnahme. Wenn die erhaltene Aufnahme von Anfang an unvollständig ist, kann das nachfolgende Modell die fehlenden Inhalte kaum genau wiederherstellen.

Der Kontext, der während der Verarbeitung durch den Agent benötigt wird, beschränkt sich nicht auf Textinhalte. Historische Aufnahmen, Transkriptionen, Dokumente, Personen, Projekthintergründe und nicht abgeschlossene Aufgaben können alle Kontext sein, der für die Erledigung der nächsten Aufgabe benötigt wird.

Yan Gengzhen, Direktor für die China-Region des Akustiktechnikunternehmens Soundskrit, erklärte gegenüber Allwetter-Technologie, dass verschiedene Formen von KI-Hardware unterschiedliche Anforderungen an Mikrofone und Sprachverarbeitungsalgorithmen stellen.

Brillen müssen zuerst die Stimme des Trägers extrahieren und Umgebungsgeräusche in lauten Umgebungen beseitigen. Wenn sie für die direkte Übersetzung von Angesicht zu Angesicht verwendet werden, müssen sie auch die Sprache des Gesprächspartners klar verstehen. Aufnahmekarten legen mehr Wert auf die Tonaufnahme aus großer Entfernung, komplexe Konferenzraumszenarien und die Unterscheidung verschiedener Sprecher.

Als Allwetter-Technologie fragte, aus welcher Art von Unternehmen die neuen akustischen Anforderungen hauptsächlich stammen, antwortete Yan Gengzhen:

„Beides trifft zu. Einige traditionelle Unternehmen, die Audio-Hardware herstellen, erwägen, neue Anwendungsformen der Kombination von Akustik und KI hinzuzufügen, z. B. die Verkleinerung des Mikrofonarrays und die gleichzeitige Verringerung der Bitfehlerrate bei der Texttranskription in lauten Umgebungen;

Einige Unternehmen mit KI-Hintergrund erwägen, Anwendungsszenarien im Zusammenhang mit der Implementierung großer Modelle neu zu definieren und neue akustische Technologien und Anwendungen einzusetzen.“

Die Position des Aufnahmegeräts beeinflusst ebenfalls den Kontext.

Kopfhörer, die am Ohr anliegen, sind näher am Träger, sodass es in lauten öffentlichen Szenarien leichter ist, die klare Aufnahme der Stimme des Nutzers vorrangig zu gewährleisten. Wenn man sich aber im Büro zu einer Besprechung trifft, legt man die Aufnahmekarte oft auf den Tisch, um sicherzustellen, dass die Stimme jeder Person aufgenommen werden kann.

Einige Produkte versuchen, dass sowohl der Kopfhörer als auch die Ladebox aufnehmen können. Ma Xiao, Gründer von Future Intelligence, stellte vor, dass der KI-Intelligentagent-Kopfhörer viaim Rise, der im September auf der IFA in Berlin vorgestellt wurde, verschiedene Modi wie Online-Aufnahme, Direktaufnahme und Audio-Video-Aufnahme zu einer einzigen Aufnahmetaste zusammenfasst.

Die Taste auf der Ladebox kann auch die Aufnahme starten, wenn die Handy-App geschlossen ist. Die Aufnahmefunktion hängt nicht vollständig vom Tragezustand des Kopfhörers und der Handy-App ab.

„Wir haben viel Energie in diese Box gesteckt. Vielleicht gab es anfangs viele Einwände, aber wir haben es mutig weiter vorangetrieben, denn die Hardware des Agents muss zwangsläufig einige neue Elemente enthalten.“

Ma Xiao ist nicht der Ansicht, dass diese Welle der Begeisterung für Personal Agent eine wesentliche Veränderung der Hardware-Technologie gebracht hat. Seiner Meinung nach hat sich die Perspektive der Menschen auf Hardware geändert.

Der Agent verbindet Geräte mit Kontext, sodass eine einzelne Aufnahme zum Ausgangspunkt nachfolgender Aufgaben wird. Ma Xiao ist der Ansicht, dass wenn der Agent den Abschluss von Besprechungsangelegenheiten zu einem geschlossenen Zyklus fördern kann, sich die Nutzungsszenarien und der kommerzielle Wert der Hardware entsprechend ändern werden.

Nachdem der Ton aufgenommen wurde, muss er entsprechender Signalverarbeitung und Modellanalyse unterzogen werden, um zu Informationen zu werden, auf die der Agent zugreifen kann. Was die Aufgabenteilung zwischen Geräteseite und Cloud betrifft, unterscheiden sich die Produkte voneinander.

Die Qwen-Büroaufnahmekarte QwenNote A2 verfügt über eine integrierte 4G-IoT-Karte, die Ton ohne Abhängigkeit vom Mobiltelefon in die Cloud übertragen kann, um Echtzeit-Transkription und Protokollverarbeitung durchzuführen. Das ursprüngliche Audio wird nach Abschluss der Transkription gelöscht, nur Text und Protokolle werden beibehalten.

viaim legt Wert darauf, mehrere Aufnahmen, Dokumente und historische Diskussionen in dasselbe Projekt zu organisieren, sodass der Agent sie in nachfolgenden Aufgaben aufrufen kann. Die Geräteseite übernimmt hauptsächlich Aufgaben wie Tonaufnahme, Rauschunterdrückung und Übertragung. Wenn das Netzwerksignal schlecht ist, wird die Aufnahme zuerst lokal zwischengespeichert und nach Wiederherstellung der Verbindung hochgeladen.

Gegenwärtig wird das ursprüngliche Audio zur Verarbeitung in die Cloud hochgeladen, Transkription und nachfolgende Analyse durch den Agent werden hauptsächlich in der Cloud abgeschlossen. Nutzer können das ursprüngliche Audio und den transkribierten Text exportieren.

Drei

Vom Zuhören zum Erinnern

Aufnahme, Transkription, Kontextmanagement und nachfolgende Agent-Dienste können von verschiedenen Unternehmen bereitgestellt werden.

Am Beispiel des Shokz OpenFit 2 AI-Kopfhörers: Shokz beherrscht die Einstiegsstelle für Hardware und Nutzerinteraktion, die Aufnahmetranskription und Generierung von Protokollen werden Qwen überlassen, und Guangfan unterstützt die relativ unabhängige Funktion des „KI-Labors“.

Shokz antwortete Allwetter-Technologie, dass nach dem Drücken der Aufnahmetaste durch den Nutzer das Audio zuerst im integrierten Chip des Kopfhörers gespeichert wird. Jeder der beiden Ohrhörer unterstützt 4 Stunden Aufnahmezeit. Nach Abschluss der Aufnahme und Verbindung mit dem Mobiltelefon wird das Audio automatisch auf die Shokz App hochgeladen, und dann ruft der Shokz-Server das große Modell von Qwen auf, um Transkription und Protokollgenerierung durchzuführen.

Auf dem Yunqi-Kongress im September hat Shokz gemeinsam mit Guangfan Technology das „KI-Labor“ auf dem OpenFit 2 AI eingeführt.

Laut der Antwort von Shokz bietet Guangfan technische Unterstützung für Funktionen wie intelligente Konversation, Tagesplanverwaltung, spontane Notizen und Nachrichtenassistent im KI-Labor der Shokz App. Der Aufnahmeprotokolldienst und der KI-Labor-Dienst sind voneinander unabhängig, die Daten überkreuzen sich nicht.

Shokz erklärte außerdem, dass das Informationssicherheitsmanagementsystem von Shokz die Zertifizierungen der Netzwerksicherheitsstufe 3 und SOC 2 Type 1 bestanden hat, und dass Verschlüsselungsmaßnahmen für den Prozess von Aufnahme, Transkription bis zur Dateiarchivierung ergriffen wurden.

Qwen verfolgt einen integrierten Weg, bringt Brillen, Kopfhörer und Aufnahmekarten auf den Markt und betreibt gleichzeitig Apps, Modellfähigkeiten und ein Ökosystem von Drittanbieterfähigkeiten, um mehrere Einstiegsstellen in dasselbe Dienstsystem zu integrieren. Wenn dasselbe Qwen den Nutzer verstehen, historischen Kontext abrufen und mit Alibaba-Diensten verbinden kann, hat Alibaba die Chance, vom Einstiegspunkt bis zur Aufgabenausführung und Dienstnutzung zu agieren.

Der kommerzielle Wert dieses Weges liegt im geschlossenen Zyklus, die Herausforderung besteht darin, dass Nutzer möglicherweise nicht bereit sind, alle täglichen Aufgaben derselben Ökologie zu überlassen.

Plaud unterstützt Nutzer bei der Auswahl verschiedener Modelle. Nutzer können Aufgaben über externe KI-Tools wie ChatGPT und Claude initiieren und über Verbindungswege wie MCP auf die von Plaud gespeicherten Besprechungsunterlagen zugreifen.

Die Integration mehrerer externer KI-Tools gibt den Nutzern mehr Freiheit, der nächste Schritt ist die Berücksichtigung der Nutzerbindung. In einer Nische, die möglicherweise ersetzt werden kann, müssen Hersteller differenzierten Wert bieten.

viaim hofft, dass ein eigener Agent einen Teil des Kontextmanagements und der Aufgabenverteilung übernimmt. „Wir haben einen Agent entwickelt, der andere Agents steuert.“ erklärte Ma Xiao, Gründer von Future Intelligence, gegenüber Allwetter-Technologie.

Ma Xiao stellte zwei Kooperationsweisen zwischen viaim und Tencent WorkBuddy vor. Die eine besteht darin, dass die Hostseite steuert, der eigene Personal Agent die von Nutzern angesammelten Informationen analysiert, Anforderungen erkennt und die Aufgaben zur Ausführung an WorkBuddy übergibt. Die andere ist die Freigabe von CLI: Nutzer initiieren Aufgaben in WorkBuddy und rufen Aufnahmeaufzeichnungen über viaim CLI ab.

Die beiden Modi können dieselben Aufnahmen verwenden, der Unterschied liegt darin, wo die Aufgabe initiiert wird.

Am 15. Ortszeit veröffentlichte Bee unter Amazon das Bee Frontier-Armband und das magnetische Karten-Zubehör Bee Eclipse.

Die beiden Hardware-Geräte können Informationen aus den Gesprächen der Nutzer und verbundenen Anwendungen extrahieren, Zusammenfassungen und Aufgaben erstellen. Der kostenpflichtige Abonnementdienst Bee Pro unterstützt die Integration von Drittanbieteranwendungen sowie Alexa+ und Amazon.com.

Aus den veröffentlichten Funktionen geht hervor, dass Amazon versucht, die von der