Von natürlichen Bewegungen zu Bedienbefehlen: MythLink erkundet die Fingerspitzeninteraktion | Xinglian Portfolio-News

Um verschiedene intelligente Endgeräte zu bedienen, lernen die Menschen ständig, Tastaturen, Mäuse und Touchscreens zu verwenden. Da sich die Geräteform ständig verändert, taucht eine Frage auf: Können Geräte besser an Menschen angepasst werden, sodass Benutzer ihre Bedienungsabsichten durch vertraute natürliche Bewegungen ausdrücken können?

Die neue Produktpräsentation der Rokid Jungle 2026 Rokid AI-Brille, die am 27. Oktober in Hangzhou stattfand, liefert ein konkretes Beispiel für diese Vorstellung. Als Partner lieferte MythLink (Beijing) Technology Co., Ltd. (im Folgenden als MythLink bezeichnet) Interaktions- und Gesundheitsüberwachungslösungen für die auf der Konferenz vorgestellte Rokid Ring, die versucht, feine Bewegungen der Fingerspitzen in von der Brille verständliche Bedienbefehle umzuwandeln, sodass die Interaktion zwischen Mensch und intelligentem Gerät in natürliche Bewegungen integriert wird.

 Prompterstellung, Navigation und Übersetzung sind häufige Anwendungen intelligenter Brillen. Wenn Fotos, Videos, Webseiten und Dokumente in das Sichtfeld der Brille gelangen, müssen Benutzer komplexere Vorgänge ausführen: Sie müssen nicht nur Inhalte in der Liste suchen, sondern auch kontinuierlich scrollen, Optionen wechseln und an der richtigen Stelle bestätigen.

Die Touch-Bedienung am Brillenbügel und die Sprachsteuerung haben jeweils ihre eigenen Anwendungsbereiche, aber erstere erfordert das Heben der Hand zur Bedienung, während letztere Einschränkungen hat, wenn das Sprechen unbequem ist oder eine kontinuierliche, feine Steuerung erforderlich ist. Die Gesteninteraktion versucht, einen Teil der Bedienungen auf die Finger zu übertragen, sodass Benutzer Eingaben durch Bewegungen mit geringer Amplitude abschließen können.

Die auf dieser Präsentation vorgestellte Tastenfunktion für die Richtungsauswahl unterstützt Benutzer, durch Gleiten an der Innenseite des Fingers, der den Ring trägt, die Richtungsauswahl und den Optionenwechsel abzuschließen. Im Gegensatz zur direkten Berührung der Ringoberfläche erweitert diese Methode den bedienbaren Bereich auf den Finger. Mikrogesten werden zum Auslösen von Schnellbedienungen verwendet. Beispielsweise kann der Benutzer durch eine Schnappbewegung der Finger die Fotoaufnahme auslösen, durch Drehen des Fingers kann durch Inhalte geblättert werden, was eine weitere Bedienungsmethode für lange Dokumente, Fotolisten und andere Inhalte bietet.

Auf der Präsentationsstelle wurde auch ein zukunftsweisender Forschungsbereich demonstriert: Die flache Toucheingabe kann Oberflächen von Objekten wie Tischen und Armlehnen sowie Körperoberflächen wie Handrücken und Oberschenkel als Eingabebereiche nutzen; gleichzeitig wurde die Fähigkeit eines einzelnen Rings zur Erkennung des Scrollens mit zwei Fingern gezeigt, sodass einige Bedienvorgänge des Computer-Touchpads in neuer Form realisiert werden können. 

 Das Kernforschungs- und Entwicklungsteam von MythLink stammt aus dem Schlüssellabor des Ministeriums für Bildung für Ubiquitous Computing der Tsinghua-Universität. Das Team hat bereits in der Laborphase früh Forschungen zur Interaktion in Ringform durchgeführt und bereits in der Anfangsphase der Forschung AR-Brillen als Anwendungsrichtung festgelegt, um zu erforschen, wie Eingabe und Steuerung durch Handbewegungen realisiert werden können.

Damit ein leichtes Tippen oder ein Fingerschnappen zu einem Bedienbefehl wird, müssen feine Bewegungsänderungen erfasst und gleichzeitig aktive Bedienungen von unbeabsichtigten Bewegungen im täglichen Leben unterschieden werden. Dazu muss die Forschung Algorithmusdesign, Erfassung von Verhaltensdaten und praktische Tragetests abdecken, um zu prüfen, ob Bewegungen unter verschiedenen Bedingungen genau erkannt werden können.

Bei der technischen Umsetzung kombiniert MythLink multimodale Wahrnehmung mit Bewegungsrecognitionsalgorithmen, beurteilt umfassend Merkmale wie Rhythmus, Amplitude und Bahn von Bewegungen und analysiert die kontinuierlichen Veränderungen vor und nach dem Auftreten von Bewegungen durch Verständnis zeitlicher Verhaltensabläufe. Informationen aus mehreren Dimensionen ergänzen sich gegenseitig und liefern die Grundlage für die Erkennung von Bedienvorgängen.

Durch die Anhäufung von Verhaltensstichproben, Tragetests und personalisiertem Lernen passt das Team die Gestenerkennungsmethode kontinuierlich an, um zu erforschen, wie Unterschiede angepasst werden können und die Notwendigkeit verringert wird, dass Benutzer ihre Bewegungen bewusst anpassen, um eine Antwort zu erhalten. Wenn verschiedene Benutzer die Bedienung auf eine Weise abschließen können, die ihren eigenen Gewohnheiten nahe kommt, hat die Anpassung des Geräts an den Menschen wirklich Bedeutung.

In dem im Zukunfts-Erlebnisbereich auf der Präsentationsstelle für die neue Rokid AI-Brille eingerichteten Bereich können Besucher und Medien das flache Touchpad erleben. Wenn die vertraute Touch-Bedienung in der unmittelbaren Umgebung stattfindet, hat die Eingabe am Endgerät die Chance, sich von den Einschränkungen der eigenen Tasten und Bildschirme des Geräts zu befreien. Wenn Benutzer mit verschiedenen Geräten konfrontiert sind, können sie vertraute Bewegungen zur Bedienung verwenden, um den Aufwand für die Suche nach Bedienungseingängen und die Anpassung an verschiedene Schnittstellen zu reduzieren, was neuen Raum für Nutzungsszenarien wie Büroarbeit und kreative Arbeit eröffnet.

Damit erstreckt sich der Wert der Interaktion von der Absolvierung eines einzelnen Bedienvorgangs bis zur Zusammenarbeit zwischen verschiedenen Geräten. Wenn Benutzer das Endgerät wechseln und in verschiedene Szenarien eintreten, haben ihr Verhalten, ihre Absicht und der Bedienkontext die Chance, fortzufahren, sodass intelligente Dienste in Kombination mit dem aktuellen Zustand und den Bedürfnissen des Benutzers ein kohärenteres Erlebnis bieten können.

Von der Erkennung einer Geste bis zum Verständnis der Anforderung hinter einem Bedienvorgang gibt es bei der nächsten Generation der Interaktion noch viele Probleme, die im tatsächlichen Einsatz beantwortet werden müssen. MythLink hofft, gemeinsam mit mehr Partnern den Aufbau des Interaktionsökosystems voranzutreiben, sodass die entsprechenden Fähigkeiten in mehr Geräten und Anwendungen validiert werden und die Verbindung zwischen Mensch und intelligenter Welt mit einer natürlichen Bewegung beginnt.