Meta hat ein Armband für die "Kontrolle durch Gedanken" vorgestellt. Die Forschung wurde in der Zeitschrift "Nature" veröffentlicht. Will Meta Musk's Geschäft übernehmen?

Nachrichten von Zhidongxi vom 25. Juli: Am 23. Juli veröffentlichte das Meta Reality Labs (Reality Labs) in der Zeitschrift Nature eine neue Studie mit dem Titel „A generic non-invasive neuromotor interface for human-computer interaction“ (Ein allgemeiner nicht-invasiver neuromotorischer Schnittstelle für die Mensch-Computer-Interaktion). 

Diese Innovation hat hauptsächlich eine allgemeine nicht-invasive neuromotorische Schnittstelle auf der Grundlage der Oberflächen-elektromyographie (sEMG) vorgestellt. Diese Schnittstelle ist in Form eines Handgelenkbands gestaltet. Ohne invasive Operationen kann es die Nervensignale am Handgelenk präzise erfassen und verschiedene Gestenabsichten wie Klicken, Swipen und Knipsen erkennen. Selbst wenn die Hände natürlich herabhängen, kann es versteckt bedient werden. 

Im Gegensatz zu herkömmlichen Eingabegeräten wie Tastaturen, Mäusen und Touchscreens ist es unabhängig von Zwischengeräten. Im Vergleich zu Gestensystemen auf der Grundlage von Kameras oder Inertialsensoren wird es nicht durch Bewegungsabschattungen beeinträchtigt. Und im Vergleich zu invasiven Hirn-Computer-Schnittstellen benötigt es keine maßgeschneiderten Decoder und kann bei verschiedenen Personen allgemein angewandt werden. 

Auf der Grundlage von über 100 Stunden EMG-Daten von mehr als 300 Probanden hat das Forschungsunternehmen auch ein hochempfindliches maschinelles Lernmodell entwickelt. Das bemerkenswerteste Merkmal dieses Modells ist, dass es ohne individuelle Kalibrierung eine hochpräzise Gestenerkennung ermöglichen kann. Mit nur wenigen individuellen Daten kann die Genauigkeit der Handschrifterkennung um 16 % verbessert werden. 

Meta hat im Jahr 2023 die frühe technische Validierung dieses Ergebnisses mit dem Prototypen der Orion AR-Brillen abgeschlossen. 

Hochempfindliches Handgelenkband + allgemeines Decodierungsmodell

Um diesen Durchbruch zu erzielen, hat das Forschungsunternehmen sowohl auf der Hardware- als auch auf der Modellseite begonnen. 

Hardware: Das Unternehmen hat ein hochempfindliches und einfach zu tragendes sEMG-Handgelenkband (sEMG-RD) entwickelt. 

Dieses Handgelenkband verwendet trockene Elektroden und ein mehrkanaliges Aufzeichnungskonzept. Die Abtastrate beträgt 2 kHz, das Rauschen ist auf 2,46 μVrms reduziert, die Akkulaufzeit beträgt über 4 Stunden und es gibt vier Größen, um verschiedenen Handgelenkumfängen gerecht zu werden. Die Elektrodenanordnung ist optimiert, um die elektrischen Signale der Muskeln am Handgelenk, an der Hand und am Unterarm präzise zu erfassen. Es kann sogar einzelne Aktionspotentiale motorischer Einheiten (MUAPs) erfassen. 

Während der Entwicklung hat das Unternehmen mehrere Materialtests und Strukturoptimierungen durchgeführt, bevor es das endgültige Design des Handgelenkbands festgelegt hat, um ein Gleichgewicht zwischen Tragkomfort und Signalerfassungsstabilität zu gewährleisten. 

Datengewinnung und Modelltraining: Das Unternehmen hat eine erweiterbare Infrastruktur für die Datensammlung aufgebaut, um Trainingsdaten von Tausenden von Teilnehmern zu erhalten. 

Auf der Grundlage dieser Daten hat das Unternehmen ein allgemeines sEMG-Decodierungsmodell entwickelt. Das Modell verwendet verschiedene Deep-Learning-Architekturen, wie Langzeit- und Kurzzeitgedächtnis (LSTM)-Schichten für Handgelenkaufgaben, 1D-Konvolutionalschichten plus LSTM-Schichten für diskrete Gestenaufgaben und die Conformer-Architektur für Handschriftaufgaben, um den Anforderungen verschiedener Interaktionsszenarien gerecht zu werden. 

Während der Modelltrainingsphase haben die Forscher auch fortschrittliche Techniken wie Transferlernen eingesetzt, um die Konvergenz des Modells zu beschleunigen und die Generalisierungsfähigkeit und Genauigkeit des Modells zu verbessern, indem sie die Hyperparameter ständig angepasst haben. 

0,88 Gestenerkennungen pro Sekunde, Handschrifteingabe von 20,9 Wörtern pro Minute

Bei kontinuierlichen Navigationsaufgaben beträgt die mittlere Leistung der geschlossenen Schleife der Gestendecodierung von sEMG 0,66 Mal pro Sekunde. Dies bedeutet, dass Benutzer, wenn sie kontinuierliche Gesten ausführen, um ein Objekt wie einen Cursor auf dem Bildschirm zu navigieren, durchschnittlich 0,66 Mal pro Sekunde ein präzises Ziel erreichen können, was die Bedienungseffizienz erheblich verbessert. 

Bei diskreten Gestenaufgaben erreicht die Gestenerkennungsrate 0,88 Mal pro Sekunde. Das heißt, wenn Benutzer diskrete spezifische Gesten wie Faustschluss oder Fingerausstreckung ausführen, kann das System diese mit einer Geschwindigkeit von 0,88 Mal pro Sekunde schnell erkennen und darauf reagieren. 

Tester, die das sEMG-Handgelenkband tragen, können eine Handschrifteingabegeschwindigkeit von 20,9 Wörtern pro Minute erreichen. Durch die individuelle Anpassung des sEMG-Decodierungsmodells kann die Decodierungsleistung des Handschriftmodells um 16 % verbessert werden. 

Es ist erwähnenswert, dass diese Modelle auch ohne individuelles Training oder Kalibrierung bei verschiedenen Personen gut funktionieren. In der Offline-Bewertung erreichen sie bei Teilnehmern, die nicht am Training teilgenommen haben, eine Klassifikationsgenauigkeit von über 90 % bei Handschrift und Gestenerkennung und einen Decodierungsfehler der Handgelenkwinkelgeschwindigkeit von weniger als 13°s⁻¹.

Das Forschungsunternehmen hat umfassende Tests an Freiwilligen unterschiedlicher Alter, Geschlechter und körperlicher Zustände durchgeführt und immer wieder stabile und ausgezeichnete Ergebnisse erzielt. Dies bestätigt die Allgemeingültigkeit und Zuverlässigkeit dieser neuromotorischen Schnittstelle. 

Zukünftige Anwendungen: Weite Potenziale und vielversprechende Aussichten

Diese Technologie hat weite Anwendungsmöglichkeiten in verschiedenen Bereichen. 

Alltaginteraktion: Sie kann in mobilen Geräten wie Smartphones, Smartwatches und Smartbrillen eingesetzt werden, um eine nahtlose Eingabe zu ermöglichen. Insbesondere eignet sie sich für mobile Szenarien und löst die Einschränkungen herkömmlicher Eingabemethoden in solchen Szenarien. 

Beispielsweise müssen Benutzer beim Gehen oder Fahren nicht mehr auf das Berühren des Bildschirms oder die Tastatureingabe angewiesen sein. Mit einfachen Bewegungen der Handmuskeln können sie Text eingeben und Befehle geben, was die Informationsinteraktion bequemer und effizienter macht. 

Hilfstechnologie: Sie bietet eine neue Interaktionsmöglichkeit für Menschen mit Behinderungen, wie beispielsweise für Personen, die aufgrund von Muskelschwäche oder Gliedmaßenverlust Schwierigkeiten haben, herkömmliche Geräte zu bedienen. Mit leichten Muskeltätigkeiten können sie mit dem Computer interagieren. 

Für Menschen mit Behinderungen können sie mit dieser Schnittstelle ihre Rollstühle, Prothesen und andere Hilfsmittel mit ihren eigenen Muskeltätigkeiten steuern und so eine höhere Lebensautonomie erreichen. 

Medizinische Rehabilitation: Sie kann in der klinischen Diagnose und Rehabilitationstherapie eingesetzt werden, wie beispielsweise bei der Überwachung der Muskeltätigkeit von Patienten, der Unterstützung bei der Erstellung individueller Rehabilitationspläne oder als Teil eines geschlossenen Schleifen-Rehabilitationsparadigmas. 

Ärzte können durch die Analyse der elektrischen Muskelsignaldaten von Patienten, die diese Schnittstelle verwenden, genauer die Muskelerholungszustände der Patienten verstehen und die Rehabilitationsübungen zeitnah anpassen, um die Rehabilitationsergebnisse zu verbessern. 

Erforschung neuer Steuerungsmethoden: Es besteht die Möglichkeit, die Kraft von intendierten Gesten direkt zu erfassen, eine mehrdimensionale kombinierte Steuerung zu entwickeln und eine Steuerungsmethode mit geringem Energieverbrauch zu realisieren. Es könnte sogar neue Interaktionsformen auf der Grundlage des neuromotorischen Signalsraums entstehen. 

Beispielsweise kann in der industriellen Steuerung Arbeitnehmer diese Schnittstelle tragen, um komplexe Geräte auf natürliche Weise ferngesteuert zu bedienen, was die Bedienungsfehler reduziert und die Produktivität erhöht. 

Darüber hinaus bietet diese Technologie auch Anregungen für verwandte Bereiche wie die Hirn-Computer-Schnittstelle. Ihre Methoden zur Datensammlung und Modelltraining auf großen Skalen könnten einen Ansatz zur Lösung der Kalibrierungsprobleme anderer Schnittstellen bieten. 

Fazit: Das nächste Paradigma der Mensch-Computer-Interaktion könnte neu definiert werden

Meta hat im Jahr 2023 die frühe technische Validierung dieses Ergebnisses mit dem Prototypen der Orion AR-Brillen abgeschlossen. Im Jahr 2025 wurde das Kernforschungsresultat offiziell in der renommierten Fachzeitschrift Nature veröffentlicht. 

Diese Technologie hat das Potenzial, sich von professionellen AR-Geräten zu einem Standard für die Interaktion von allgemeinen elektronischen Geräten zu entwickeln und schließlich das technologische Ziel „Computer verstehen menschliche Gesten“ zu erreichen. 

Dieser auf den Menschen ausgerichtete Interaktionsansatz könnte das nächste Paradigma der Mensch-Computer-Interaktion neu definieren. 

Dieser Artikel stammt aus dem WeChat-Account „Zhidongxi“ (ID: zhidxcom), Autor: Wang Han. Veröffentlicht von 36Kr mit Genehmigung.