In nur 16 Stunden und mit einem Kostenaufwand von weniger als 7 Yuan verwandeln sie einen Mac in ein "Touchscreen-Gerät". Ohne KI und ohne Hardware-Modifikationen lösen sie alles mit einem Spiegel.

In der Windows-PC-Szene ist der Touchscreen längst kein Novum, aber Apple hat sich bisher immer weigert, ihn einzuführen. Selbst wenn iPad und iPhone die Touch-Erfahrung bereits aufs äußerste gebracht haben, bleibt der MacBook bei der Interaktionsweise „Tastatur + Trackpad“.

Im Jahr 2010 stellte Steve Jobs auf der MacBook Pro-Presskonferenz fest, dass die Installation eines Touchscreens auf einem Laptop „nicht ergonomisch“ sei und „absolut nicht funktionieren“ würde. 2012 verspottete Tim Cook, der gerade als neuer Apple-CEO angetreten war, auch das Microsoft Surface, indem er es als „Kombination aus Toaster und Kühlschrank“ beschrieb.

Dennoch haben ein Entwickler namens Anish Athalye und einige seiner Kollegen etwas sehr „abwegiges“ getan:

Ohne das System oder die Hardwarestruktur zu verändern, haben sie mit nur 1 US-Dollar (etwa 6,9 Yuan) und einem kleinen Spiegel einen MacBook in einen „Touchscreen-Computer“ verwandelt – und das sogar in nur 16 Stunden, in denen sie einen funktionsfähigen Prototypen entwickelten.

Anish Athalye nannte dieses Projekt „Project Sistine“ (Sistinen-Projekt). Dieser Name ist nicht willkürlich gewählt: „Sistine“ bezieht sich auf die berühmten Fresken in der Sistinenkapelle – auf das berühmte Bild von Michelangelos „Schöpfung“ mit der fast berührten Hände von Gott und Adam.

Der Kern dieses Projekts dreht sich um die Erkennung, ob der Finger den Bildschirm berührt.

Die Beobachtung eines Mittelstufenschülers legte den Grundstein für dieses Projekt

Die Inspiration für dieses Projekt kam nicht aus dem Nichts.

Bereits als Teammitglied Kevin in der Mittelschule war, bemerkte er ein alltägliches, aber leicht zu übersehendes Phänomen: Wenn man den Bildschirm aus einem schrägen Winkel betrachtet, reflektiert er wie ein Spiegel. Wenn man den Finger dem Bildschirm nähert, kann man sowohl den Finger selbst als auch seine „Reflexion“ auf dem Bildschirm sehen.

So stellte sich eine entscheidende Frage: Wenn wir feststellen können, ob der Finger seine Reflexion berührt, können wir ja auch feststellen, ob er den Bildschirm berührt?

Damals gründete Kevin auf dieser Idee ein Projekt namens ShinyTouch – ein Touch-System, das fast keine Konfiguration erforderte und über eine externe Kamera funktionierte. Diesmal will das Team um Anish Athalye es noch weiter treiben:

Das gesamte System soll in den MacBook integriert werden, ohne auf externe Geräte angewiesen zu sein.

1-Dollar-Hardware: Ein Spiegel löst alle Probleme

Im Grunde lässt sich ihr Designkonzept in einem Satz zusammenfassen: Der eingebaute Kamera des MacBooks soll den Bildschirm „sehen“.

Das Problem ist jedoch, dass die Kamera eines Laptops normalerweise auf den Benutzer gerichtet ist, nicht auf den Bildschirm. Deshalb wählten sie eine äußerst einfache, aber geniale Lösung: Vor der Kamera wird ein kleiner Spiegel angebracht, der das Kamerabild auf den Bildschirm reflektiert. So kann die Kamera den Bildschirm von oben betrachten und sowohl den Finger als auch seine Reflexion erfassen, ohne dass eine zusätzliche Kamera erforderlich ist.

Die gesamte Hardwarestruktur ist erstaunlich einfach: Ein kleiner Spiegel, Karton, Türscharniere und Heißkleber. Die Kosten sind nahezu vernachlässigbar.

Nach einigen Anpassungen entwickelten sie ein kleines Gerät, das in wenigen Minuten zusammengebaut werden kann: Eine mikroskopische Reflexionsstruktur, die an der Kamera befestigt wird – dies ist die gesamte Hardwarebasis des Systems.

Ohne KI, nur klassische CV: Erkennung von „Finger + Reflexion“

Im Vergleich zur einfachen Hardware liegt der eigentliche Kern dieses Projekts in der Software. Sie haben kein Deep-Learning-Modell verwendet, sondern sich vollständig auf traditionelle Computervision (Computer Vision) gestützt, um einen klaren Verarbeitungsablauf zu erstellen.

Zunächst verarbeitet das System das Kamerabild. Durch Hautfarbenfilterung und Binarisierung werden die möglichen Fingerbereiche extrahiert. Dann werden in der Bilddatei die Konturen gesucht, um zwei wichtige Informationen zu filtern: Der Finger selbst und seine Reflexion auf dem Bildschirm.

Als nächstes trifft das System eine sehr wichtige Entscheidung: Überlappen sich diese beiden Konturen in horizontaler Richtung und haben sie die Form „oben klein, unten groß“ – oben der Finger, unten seine Reflexion.

Sobald diese beiden Konturen gefunden werden, kann die Kontaktpunktposition berechnet werden: Der Mittelpunkt der Linie zwischen der „Fingerunterseite“ und der „Reflexionsoberseite“ wird als Berührungspunkt genommen. Theoretisch kann anhand des vertikalen Abstands zwischen den beiden Konturen zwischen zwei Zuständen unterschieden werden:

● Wenn der Abstand klein ist → Der Finger hat den Bildschirm berührt

● Wenn der Abstand groß ist → Der Finger schwebt nur darüber

Das Ergebnis der Verarbeitung sieht wie folgt aus: Grün: Finger + Reflexionskontur; Rot: Begrenzungsrahmen; Lila: Berührungspunkt.

Koordinatenabbildung: Von der Kamera auf den Bildschirm

Nach der Erkennung des Berührungspunkts bleibt noch ein letztes wichtiges Problem: Wie kann dieser Punkt auf die Bildschirmkoordinaten abgebildet werden?

Die Kamera sieht ja einen schrägen Blickwinkel, der völlig unterschiedlich ist von dem des Bildschirms. Um dieses Problem zu lösen, haben sie eine klassische Methode der Computervision eingeführt – die Homographie-Transformation. Einfach ausgedrückt, ist dies eine Projektionsmatrix, die die Punkte aus der Kameraperspektive auf das Bildschirmkoordinatensystem abbilden kann.

Um diese Transformationsmatrix zu berechnen, haben Anish Athalye und seine Kollegen einen interaktiven Kalibrierungsablauf entwickelt:

(1) Auf dem Bildschirm erscheint ein bewegender grüner Punkt, den der Benutzer mit dem Finger anklicken muss;

(2) Das System protokolliert die vom Kamerasystem erfasste Berührungspunktposition sowie die tatsächliche Position auf dem Bildschirm.

Nachdem genügend Daten gesammelt wurden, kann mit dem RANSAC-Algorithmus eine robuste Schätzung durchgeführt werden, um eine stabile Abbildungsbeziehung zu erhalten. Nach Abschluss der Kalibrierung – kann jeder Berührungspunkt in der Kamera genau auf die Bildschirmkoordinaten abgebildet werden.

Das obige Video zeigt den Kalibrierungsprozess: Der Benutzer muss den Finger entlang des grünen Punkts auf dem Bildschirm bewegen. Das Bild überlagert das Echtzeitvideo der Kamera und die Debug-Informationen. Die Berührungspunkte im Kamerakoordinatensystem werden in rot angezeigt. Nach Abschluss der Kalibrierung wird die Projektionsmatrix mit einer roten Linie visualisiert. Die Software wechselt dann in den Betriebsmodus, und die geschätzten Berührungspunkte werden als blaue Punkte angezeigt.

Darüber hinaus wandelt das Team um Anish Athalye in der aktuellen Version des Prototyps direkt die „Berührung / Schweben“ in Mausereignisse um – das heißt, alle bestehenden Softwareprogramme müssen nicht angepasst werden und können sofort zu „Touch-Anwendungen“ werden. Anish Athalye fügt hinzu, dass bei der weiteren Entwicklung spezieller Touch-Anwendungen auch weitere Daten genutzt werden können, wie z. B. die Schwebehöhe, die Gestenbahn und die Mehrpunktinteraktion.

(Präsentation des Projekts)

Ein Spielzeug oder ein neuer Ansatz?

Strikt genommen ist Project Sistine derzeit nur ein Proof-of-Concept (PoC).

Laut Anish Athalye gibt es noch einige Einschränkungen:

● Die Auflösung der Kamera ist relativ niedrig (nur 480p);

● Der Sichtbereich ist begrenzt und deckt nicht den gesamten Bildschirm ab;

● Es besteht möglicherweise auch eine gewisse Abhängigkeit von Licht und Hautfarbe.

Dennoch hat es zumindest gezeigt, dass es möglich ist: Mit nur 1 Dollar an Hardware kann ein Laptop in einen Touchscreen-Computer verwandelt werden – als Prototyp hat es bereits eine bemerkenswerte Leistung erbracht. Wenn die Auflösung der Kamera verbessert oder ein Krümmerspiegel verwendet wird, um den Sichtbereich zu erweitern, könnte Project Sistine durchaus zu einer praktischen, kostengünstigen Lösung für die Umrüstung eines Touchscreens werden.

Wenn man jedoch eine bessere Touchscreen-Erfahrung auf einem Mac möchte, kann man vielleicht auch warten: Laut Berichten von bekannten Analysten wie Ming-Chi Kuo und der Bloomberg wird Apple möglicherweise dieses Jahr die seit Jobs’ Zeit 16 Jahre andauernde Idee aufgeben, dass Laptops keinen Touchscreen benötigen – es gibt Gerüchte, dass Apple Ende 2026 das erste MacBook Pro-Modell mit Touchscreen auf den Markt bringen wird.

Schließlich ist Project Sistine open source und unter der MIT-Lizenz veröffentlicht. Interessierte Entwickler können es unter https://github.com/bijection/sistine einsehen.

Quelle: https://anishathalye.com/macbook-touchscreen/

Dieser Artikel stammt aus dem WeChat-Account „CSDN“. Zusammenfassung: Zheng Liyuan. Veröffentlicht von 36Kr mit Genehmigung.