Mit dem Drücken der Finger gegeneinander wird die zukünftige Interaktion hauptsächlich realisiert werden.

Haben Sie schon die Funktion „Doppelklicken mit Daumen und Zeigefinger“ auf der Apple Watch genutzt?

Mit zwei leichten Tipps des Zeigefingers und des Daumens in der Luft können Sie die Apple Watch am Handgelenk bedienen, um Anrufe zu entgegennehmen oder die Musik zu wechseln. Das klingt erst einmal etwas fiktiv und abstrakt. Anfangs dachte ich, dass dies nur eine Funktion ist, mit der Apple seine Stärken zeigt.

Allerdings, nachdem ich eine Apple Watch S9 anlegte und einmal beim Kochen versucht habe, einen Anruf mit diesem Doppelklick-Gest zu entgegennehmen, bin ich ein fester Anhänger dieser Interaktion geworden. Der Doppelklick hat sich sogar in eine Muskelgedächtnisreaktion meiner linken Hand gewandelt.

Als ich dann ein weiteres Apple-Produkt, die Vision Pro, anlegte, machte ich eine noch erstaunlichere Entdeckung: Apples Ambition reicht offenbar weit über das kleine Display auf dem Handgelenk hinaus.

Bildquelle: MacRumors

Ist die Apple Watch die Anleitung für XR?

Wenn Sie einem Kind, das noch nie mit einem intelligenten Gerät in Kontakt war, ein iPad geben, werden Sie feststellen, dass es innerhalb von weniger als einer halben Stunde problemlos damit umgehen kann.

Der Grund ist einfach: Der Touchscreen ist eine sehr intuitive Art der Darstellung und Interaktion. Im Wesentlichen klicken Sie einfach auf das, was leuchtet.

Das ist auch der Grund, warum generative KI auf Basis von großen Sprachmodellen heutzutage so beliebt ist: Natürliche Sprache ist ebenfalls eine Interaktionsweise mit sehr niedrigem Eintrittshürde. Solange man sprechen kann, auch wenn es nicht perfekt ist, kann man Maschinen gut bedienen. Bei komplexen Interaktionen kann sprechen manchmal sogar effizienter sein als der traditionelle Touchscreen.

Im Gegensatz dazu ist die Situation bei XR (Mixed Reality), der als zukünftige Interaktionsweise hoch angesehen wird, völlig anders. Man muss sich eine neue Reihe von Gesten für berührungslose Bedienung aneignen, und diese Gesten sind eher abstrakt und korrespondieren nicht immer direkt mit den Bedienungen auf dem Bildschirm.

Trotzdem hatte ich, als ich die Vision Pro anlegte, ein merkwürdiges Gefühl der Vertrautheit: Das Anwählen von Inhalten durch das Tippen des Zeigefingers und des Daumens ist fast identisch mit dem auf der Apple Watch.

Dies ist keine willkürliche Parallele. Tatsächlich gibt es in den Einstellungen der Doppelklick-Funktion der Apple Watch einen Schalter namens „Ignorieren, wenn Apple Vision Pro verwendet wird“, um Fehlbedienungen zu vermeiden, wenn beide Geräte gleichzeitig benutzt werden.

Neben der Apple Watch hat Apple in den letzten Jahren auch bei anderen Produkten vermehrt Bewegungserkennung und Interaktion eingeführt.

Beispielsweise können die AirPods auf Kopfschüttel- und Kopfnickbewegungen reagieren, und das iPhone verfügt über eine Augenverfolgungstechnologie. Beide Technologien wären auch gut für intelligente Brillen geeignet.

Umgekehrt ist es auch möglich, dass diese neuen Funktionen von der Vision Pro stammen und nach unten abwärts in andere Geräte integriert wurden. Die Augenverfolgung auf dem iPhone wird beispielsweise eher als Hilfsfunktion eingesetzt.

Aber das Ergebnis ist, dass immer mehr Technologien und Funktionen von der Vision Pro in die populäreren Apple-Geräte fließen. Dies beeinflusst die Gewohnheiten der Benutzer und senkt die Lernkurve für zukünftige Raumrechengeräte.

Außerdem haben auch die Konkurrenten von Apple bereits die Idee verfolgt, Smartwatches oder Armbänder als Navigationsmittel für XR-Geräte zu nutzen.

Das XR-Unternehmen Meta forscht seit langem an der Möglichkeit, Armbänder zur Bedienung von Computern, Smartphones und sogar AR-Brillen zu verwenden. Beispielsweise hat Meta beim Vorstellen des zukünftigen Brillenprojekts Orion letztes Jahr ein passendes intelligentes Armband gezeigt.

Aber die Gestensteuerung ist nicht das Ziel von Meta. Sie haben in der Zeitschrift „Nature“ eine Studie veröffentlicht, in der die Möglichkeit beschrieben wird, mit einem Armband Gedanken zu lesen: Wenn der Benutzer das Armband trägt, muss er keine Bewegung ausführen, sondern nur an eine bestimmte Bewegung denken, und das Armband kann diese Gedanken lesen und die entsprechende Aktion ausführen.

Bildquelle: The New York Times

Dies klingt erst einmal fiktiv, aber es ist eine relativ alte Technologie: Die Elektromyographie (EMG), die die elektrischen Signale der Nervenzellen in den Vorderarmmuskeln misst. Diese Technologie existiert bereits seit Jahrzehnten und wurde beispielsweise früher eingesetzt, um Prothesen von Amputierten zu steuern.

Wenn die Muskeln im Vorderarm aktiv werden, erzeugen die Nervenzellen im Rückenmark elektrische Signale. Diese Nervenzellen sind direkt mit den Muskelfasern verbunden, daher sind die elektrischen Signale sehr stark und können direkt von außen durch die Haut gemessen werden. Die Übertragungsgeschwindigkeit dieser Signale ist sogar schneller als die tatsächliche Muskelbewegung – somit kann das Meta-Armband sogar vorhersagen, welche Bewegung der Benutzer als nächstes ausführen will.

Zur gleichen Zeit wie das Armband wurde auch ein intelligentes Meta-Uhrentprojekt bekannt. Ähnlich wie den Meta-Brillen ist auch dieser Prototyp mit einer Kamera ausgestattet, aber es ist noch unklar, ob es EMG-Fähigkeiten hat.

Die Technologie hinter der Gestenerkennung der Apple Watch unterscheidet sich etwas von der EMG: Sie verwendet einen Beschleunigungssensor, einen Gyroskop und einen optischen Herzfrequenzsensor, um kleine Fingerbewegungen und Veränderungen im Blutfluss zu messen und so die echten Eingabeabsichten des Benutzers zu verstehen.

Im Januar dieses Jahres wurde auch ein Apple-Patent für die EMG-Technologie veröffentlicht, das vorsieht, Sensoren in eine kleine Apple Watch zu integrieren. Das Patent zeigt auch die Möglichkeit auf, wie eine EMG-Uhr mit Headern, Kopfhörern, Brillen, Tablets und Smartphones zusammenarbeiten kann.

Im Vergleich zu Meta hat Apple einen großen Vorteil:

Die Benutzer sind möglicherweise nicht bereit, ein unschönes Armband nur zur Bedienung von AR-Brillen zu tragen, aber sie sind gerne bereit, eine Apple Watch zu tragen.

Selbst die Form der Apple Watch bereitet den Weg für die Verbreitung von intelligenten Brillen.

In einem Interview mit dem Apple-Manager Kurt Knight hat er betont, dass die Apple Watch wie ein Mini-Computer fungiert.

Von dieser Perspektive aus sind wir bereits daran gewöhnt, einen „Computer“ ständig an unserem Körper zu tragen. Der nächste Schritt ist dann die intelligente Brille.

Praktisches und machbares getrenntes AR

Das aktuelle AR-Brillen-Modell Meta Orion besteht aus drei Komponenten:

• Eine Brille, die auf dem Kopf getragen wird und als Anzeigebildschirm dient.
• Ein Armband, das am Handgelenk getragen wird und für Bewegungserkennung und Interaktion sorgt.
• Ein Rechenzentrum, das wie ein Fernsehfernbediengerät aussieht und die Rechenleistung bereitstellt.

Im Vergleich zur großen und vollständigen Vision Pro verteilt Meta Orion die Funktionen auf verschiedene Komponenten. Dadurch ist die Brille leichter und kann länger getragen werden.

Wenn man diese drei Komponenten mit Apples Ökosystem in Verbindung bringt, kann man feststellen, dass die Apple Watch als Armband für Bewegungserkennung dienen kann und das iPhone bereits ein Rechenzentrum mit eigenem Betriebssystem und hoher Leistung ist.

– Von dieser Perspektive aus fehlt Apple nur noch eine Brille für die Anzeige, um ein Meta Orion zu haben.

Tatsächlich gibt es bereits genug AR-Brillen auf dem Markt. Unternehmen wie Thunderbird und XREAL haben in diesem Bereich lange gearbeitet und bereits sehr gute Produkte entwickelt.

XREAL One Pro

XREAL hat auch mit Google zusammengearbeitet und dieses Jahr das Projekt Aura vorgestellt, eine AR-Brille, die mit einem Rechenmodul zusammenarbeitet und als Referenz für die Android XR-Szene dient.

Das bedeutet, dass die Entfernung zu einer echten AR-Brille nicht so groß ist wie man denkt – vielleicht ist die Technologie sogar bereits fast bereit.

Laut Bloomberg sucht Apple tatsächlich nach Möglichkeiten, eine AR-Brille zu entwickeln, die mit dem iPhone oder Mac zusammenarbeitet und nur für die Anzeige dient. Diese Brille könnte bereits nächstes Jahr auf den Markt kommen.

Es gibt auch eine andere Meldung, die zunächst unwichtig scheint, aber im Kontext viel Bedeutung hat:

Apple entwickelt für das iPhone ein „Desktop-Modus“. Über die USB-C-Schnittstelle kann man ein externes Display anschließen und erhält eine ähnliche Oberfläche wie das Stage Manager auf dem Mac. Dies ist ideal für Präsentationen und Anzeigen.

Samsung DeX-Modus, Bildquelle: The Verge

Dieser Modus ist nicht neu, und die Reaktionen auf die bestehenden Produkte waren eher mäßig. Deshalb war es verwirrend, als man hörte, dass das iPhone diesen Modus testet.

Aber wenn man es anders sieht: Was, wenn dieser Modus nicht für externe Displays, sondern für AR-Brillen entwickelt wird?

Ein Kollege von ifanr hat sein Samsung-Smartphone an eine AR-Brille angeschlossen und berichtet, dass die Erfahrung wie ein tragbarer Computer war.

Bei Apple könnte der Benutzer das iPhone als Trackpad nutzen oder über die Apple Watch die vollständige XR-Gestenbedienung nutzen. Die Brille könnte auch mit einer Kamera ausgestattet sein, um die Augenverfolgung zu ermöglichen.