Ist die Zukunft der Maus ein Armband? Meta's High-Tech, das Muskelsignale dekodiert, erscheint in Nature.

Man kann im Leeren mit den Fingern tippen, Spiele spielen oder sogar Autos steuern. Viele heutige Geräte sind für die Mensch - Maschine - Interaktion entwickelt worden. Das nicht-invasive neuromuskuläre Interaktionssystem von Meta bietet eine sofort einsatzbereite Lösung für die Mensch - Maschine - Interaktion.

Die Oberflächen-elektromyographie (sEMG) des Handgelenks kann die Muskelaktivierung mit einem invasiven Handgelenksgerät erfassen und interpretieren und als Computer-Eingabe in Form einer Mensch - Maschine - Schnittstelle fungieren.

Diese Technologie wird von Meta als revolutionäre Technologie für die nächste Generation der Mensch - Maschine - Interaktion angesehen.

Meta hat im Jahr 2024 eine Reihe von Studien zu Myoelektrischen Signalen und einen quelloffenen Datensatz von Myoelektrischen Signalen geteilt und eine technische Weißbuch veröffentlicht. Jetzt hat diese Technologie am 24. Juli in der Zeitschrift Nature erschienen.

Abbildung 1: Hardware- und Softwareplattform für die Hochdurchsatzaufzeichnung und Echtzeitdekodierung von Handgelenks-Myosignalen zur Gestenerkennung und Tippen

In dieser Studie müssen die Probanden nur ein Gerät wie einen Smartwatch-Armband tragen, um die Muskelelektrischen Signale zu lesen. Anschließend können sie mit der Maschine über Gesten interagieren oder tippen.

Die revolutionäre Technologie sEMG, die die Mensch - Maschine - Interaktion verändert

Im Gegensatz zu Brain - Computer - Interfaces verbindet die Oberflächen-elektromyographie (sEMG) nicht mit dem Gehirn, sondern registriert und verstärkt die Nervensignale in den Muskeln, bietet ein hohes Signal-Rausch-Verhältnis und ermöglicht so die Echtzeitdekodierung von Einzelfall-Gesten.

In solchen Experimenten, wenn nur wenige Probanden beteiligt sind, lernt das Modell leicht die spezifischen Muskelfunktionen dieser Person.

Bei diesem Experiment von Meta wurden die Daten von Hunderten von Teilnehmern gesammelt. Nach dem Training des Modells wurden die Forscher in drei Aufgaben - kontinuierliche Gestensteuerung, diskrete Gestensteuerung und Tippen - bewertet.

In der ersten Aufgabe der kontinuierlichen Gestensteuerung musste der Proband eine Kugel durch die Bewegung des Handgelenks in ein Gitter bewegen. Der Proband musste die Amplitude der Handbewegung feinsteuern, und die sEMG konnte diese winzigen Bewegungen aufzeichnen und in Echtzeit auf dem Bildschirm darstellen.

Die meisten Teilnehmer berichteten subjektiv, dass der Cursor in > 80 % der Zeit in die gewünschte Richtung bewegt wurde.

Durchschnittlich konnten die Probanden 0,66 Mal pro Sekunde interagieren, was einer Bedienung alle weniger als 2 Sekunden entspricht.

Das kann zwar nicht mit der Handgeschwindigkeit von professionellen E-Sportspielern von 200 - 300 Mal pro Minute konkurrieren, aber es ermöglicht viele praktische Operationen, wie z. B. die ferngesteuerte Roboterhand.

In der zweiten Aufgabe der diskreten Gestensteuerung bedienten die Teilnehmer ein Pac - Man - ähnliches Spiel, indem sie mit Schiebebewegungen navigierten und bei Bedarf die Gesten (Daumenklick, Daumen - Zeigefinger - Klemmen, Daumen - Mittelfinger - Klemmen) aktivierten, um Befehle auszuführen.

Diese Gesten erfordern die Zusammenarbeit mehrerer Finger.

Die Verzögerung zwischen der Ausführung der Geste durch den Probanden und der Anzeige der entsprechenden Aktion auf dem Bildschirm betrug nur 500 Millisekunden. Die Erkennungsgenauigkeit einiger Gesten lag zwischen 89 - 95 % (siehe Abbildung 2), und durchschnittlich konnten 0,88 Gesten pro Sekunde erkannt werden. Diese Bedienflüssigkeit ist auch sehr reibungslos.

Im Vergleich dazu zeigte der Nintendo Joy - Con - Spielcontroller eine Geste - Ausführungsrate von 1,45 Mal pro Sekunde, und die bestehenden Kameras oder Joysticks können die Gesten normalerweise nicht so reibungslos beobachten.

Abbildung 2: Konfusionsmatrix für die fehlerhafte Erkennung verschiedener Gesten

In der Tippaufgabe konnten die Teilnehmer die eingegebenen Hinweise schreiben. Die Tippgeschwindigkeit betrug durchschnittlich 20,9 Wörter pro Minute, was höher als die Handschreibgeschwindigkeit, aber niedriger als die Tippgeschwindigkeit auf dem Handy und weit hinter der Tippgeschwindigkeit von 40 - 60 Wörtern pro Minute mit einer Tastatur liegt.

Das oben genannte ist nur das Ergebnis der Verwendung eines allgemeinen Modells. Ein solches Modell kann auch gemäß den individuellen Gewohnheiten des Benutzers optimiert werden, wie in Abbildung 3 gezeigt.

Die schwarze Linie in der Abbildung zeigt das Ergebnis des Trainings mit Modellen unterschiedlicher Größe im ursprünglichen Zustand. Nur durch eine 20 - minütige individuelle Nutzungserfassung zur Feinabstimmung des Modells konnte die mittlere Leistung der Erkennung um 16 % verbessert werden.

Abbildung 3: Verbesserung der Erkennungsleistung bei der Tippaufgabe durch die Verwendung von individuellen Daten

Wie funktioniert die sEMG?

Um zu beurteilen, ob die sEMG der Störer in der nächsten Generation der Mensch - Maschine - Interaktion werden kann, muss man nicht nur die aktuelle Leistung der sEMG betrachten, sondern auch, wie die sEMG realisiert wird, einschließlich der Hardware - und Softwareebene.

Das sEMG - Gerät besteht aus zwei Hauptkomponenten: einer digitalen Rechenkapsel und einem analogen Handgelenksband (Abbildung 4).

Die digitale Rechenkapsel umfasst eine Batterie, eine Bluetooth - Kommunikationsantenne und eine Leiterplatte mit Mikrocontroller, Analog - Digital - Wandler und Inertialmesseinheit.

Das analoge Handgelenksband besteht aus mehreren unabhängigen Verbindungen. Jede Verbindung enthält eine mehrlagige starre Leiterplatte, die eine rauscharme analoge Frontend - Schaltung und vergoldete Elektroden enthält.

Abbildung 4: Schematische Darstellung und anatomische Schnittstelle des sEMG - Forschungsgeräts

Ohne diese technischen Details zu berücksichtigen, ist das aktuelle sEMG - Gerät bequem zu tragen und kann in wenigen Sekunden angebracht werden. Es ist auch relativ komfortabel in der Verwendung.

Allerdings ist es noch nicht so leicht wie ein Smartwatch-Armband, sondern enthält viele Geräte.

In Zukunft muss das Problem der Miniaturisierung der Erfassungsgeräte gelöst werden. Wenn das Gerät weniger Teile enthält, wird es auch zuverlässiger.

Bei der Modellarchitektur werden die Merkmale durch die Faltungsschicht extrahiert, und dann werden die zeitlichen Daten durch zwei rekurrente neuronale Netze (LSTM) verarbeitet. Schließlich wird eine Wahrscheinlichkeitsvorhersage für die eingegebene Geste oder das eingegebene Zeichen erhalten.

Diese traditionelle Architektur macht die Kosten für das Training und die Inferenz des Modells klein genug, so dass die Inferenz und sogar die Feinabstimmung des Modells auf der Grundlage individueller Nutzungsdaten auf der lokalen Seite durchgeführt werden kann.

Aus der gegenwärtigen Leistung der sEMG ist zu sehen, dass es noch viel Raum für Verbesserungen gibt, damit die Mensch - Maschine - Interaktion durch die Bewegung des Handgelenks aus dem Labor heraus und zur Hauptform der Mensch - Maschine - Interaktion wird, sei es in Bezug auf die Flüssigkeit, die Effizienz oder die Genauigkeit der Interaktion.

Da in diesem Ansatz nur die lokalen Muskeln des Handgelenks erfasst werden müssen und die Interaktion nur minimale Muskelaktivität statt spezifischer Bewegungen erfordert, können Menschen mit eingeschränkter Beweglichkeit, Muskelschwäche oder vollständiger fehlender Effektorfunktion eine praktikable Interaktionslösung erhalten.

Deshalb eignet sich die sEMG derzeit für Personen mit Amyotropher Lateralsklerose (solange das Handgelenk noch beweglich ist) oder Muskelschwäche für die Interaktion und hilft auch bei der Entwicklung eines effektiven geschlossenen Kreises der neurorehabilitativen Paradigmen.

Da die sEMG elektrische Signale erfasst, können die verwendeten Algorithmen und die gesammelten Datensätze dazu beitragen, das Problem des Mangels an Trainingsdaten für Brain - Computer - Interfaces zu beheben.

Man kann zunächst das Modell des Brain - Computer - Interfaces mit den Massendaten der sEMG trainieren und dann die Transfer - und Merkmalsextraktionsfähigkeit des trainierten Modells nutzen, um das Modell mit echten Gehirnelektrischen Daten fein abzustimmen.

In Zukunft könnte man vielleicht eine Mensch - Maschine - Interaktionsmethode sehen, die aus einem Gehirnelektrischen Erkennungs-Haube und einem Smartwatch-Armband besteht.

Quellenangaben:

https://www.meta.com/blog/reality-labs-surface-emg-research-nature-publication-ar-glasses-orion/?srsltid=AfmBOoopXbgDDnGbNoUOmJV6o9mVPDsW3TtckqzEzSqkPUTU_8a7mRib

https://www.nature.com/articles/s41586-025-09255-w

Dieser Artikel stammt aus dem WeChat - Account "New Intelligence Yuan", Autor: New Intelligence Yuan, veröffentlicht von 36Kr mit Genehmigung.