Warum ist die 1-Megapixel-Kamera das wichtigste Bauteil von Apple AI?

Vor einigen Tagen hat MacRumors direkt aus macOS Tahoe 26.7 RC das von Apple erstellte Werbevideo ausgegraben: Man trägt AirPods, nimmt ein Buch zur Hand, Visual Intelligence erkennt den Buchtitel und lässt Siri ihn anschließend speichern.

Der Produktcode im Video lautet B790. Laut Mark Gurman befand es sich bereits auf Apples Produkt-Roadmap für 2026, die serienmäßige Massenproduktionsversion B798 wird erst 2027 erwartet.

Der kürzlich ausgegrabene Systemcode lässt uns nun erstmals klar erkennen, wie genau diese Kopfhörer „sehen“. Das Interessanteste daran ist ein etwas bescheiden wirkender Parameter:

Die Kamera auf den AirPods hat nur 1 Megapixel.

Bild | WIRED

In einer Zeit, in der in Smartphones bereits über 200 Megapixel und 8K-Videos diskutiert werden, erfasst die Kamera, die Apple für zukünftige KI-Hardware vorbereitet, tatsächlich Bilder mit einer Auflösung von möglicherweise nur 320×320.

Sie ist offensichtlich nicht dafür gedacht, Fotos aufzunehmen.

Warum hat die Kamera auf den AirPods nur 1 Megapixel?

Nach den bisher ausgegrabenen Codes verfügt diese Kamera über mindestens zwei Betriebsmodi.

Im aktiven Modus kann die Kamera Bilder mit 640×640 aufnehmen und nach der Verarbeitung maximal 1024×1024 ausgeben; im passiven Modus werden Bilder mit 320×320 aufgenommen und als 320×320 oder 512×512 ausgegeben.

Der Code zeigt, dass die linken und rechten AirPods synchron RGB-Standbilder erfassen können, die beiden Perspektiven über dieselbe Frame-ID ausrichten und anschließend mit einer bestimmten Frequenz kontinuierlich aufnehmen, um sie an Visual Intelligence zur Verarbeitung weiterzugeben.

Das System verarbeitet gleichzeitig Umgebungsgeräusche, Änderungen der Umgebungsgeräusche, Haltungs- und Kopfrotationsinformationen; die beiden Kameras müssen kalibriert werden, ebenso die Kamera und die Bewegungssensoren. Wenn die Kopfbewegung zu stark ist oder das Objektiv verdeckt wird, wird das entsprechende Bild direkt verworfen.

In AccessorySensorManager taucht sogar Code im Zusammenhang mit „peripheral inference“ auf, der auf Geräteebene beurteilen kann, ob sich eine Person im Bild befindet.

All dies sind hervorragende Daten für die KI.

Für KI werden in den meisten Fällen überhaupt keine Fotos mit 48 Megapixeln benötigt. Das Modell muss nur wissen, dass auf dem Tisch ein Buch liegt, vorne ein Restaurant ist, in der Hand ein Getränk gehalten wird und was auf dem Straßenschild steht.

Eine Auflösung von 320×320 Pixel reicht vollkommen aus.

Mit sinkender Auflösung verringert sich das Datenvolumen, wodurch auch die Belastung für Bildverarbeitung und Übertragung abnimmt. Bei Geräten, die eine Batterie in Kopfhörergröße haben und über lange Zeit getragen werden müssen, sind Stromverbrauch und Akkulaufzeit wichtigere Kriterien als die Bildschärfe.

Bild | iFIXIT

In den letzten zwei Jahrzehnten dienten Kameras in der Unterhaltungselektronik hauptsächlich den Menschen. Megapixel, Sensorgröße, Dynamikbereich und Farbwiedergabe zielen alle auf dasselbe ab: schöne Fotos zu erhalten.

Aber KI-Kameras dienen in erster Linie der Maschine.

Die Fotos müssen nicht einmal gespeichert werden. Sobald die Maschine sie verstanden hat, können sie gelöscht werden.

Apple ist nicht das erste Unternehmen, das Produkte nach diesem Konzept entwickelt. Die dieses Jahr auf den Markt gekommene Light Sail AI Full-Sense-Kopfhörer ist ein direktes Referenzprodukt. Er verfügt ebenfalls über Kameras in den linken und rechten Ohrhörern, verwendet zwei 2-Megapixel-Festbrennweitenkameras und dient nicht hauptsächlich der Fotografie, sondern der KI-gestützten Szenenerkennung.

Die reale Welt wird zunächst von der Kamera in visuelle Daten umgewandelt und anschließend dem Modell zum Verständnis übergeben. Light Sail hat sogar 4G eSIM und GPS in die Ladebox der Kopfhörer eingebaut, um die Abhängigkeit des Geräts vom Smartphone zu verringern.

Ob 2 oder 1 Megapixel, das spielt hier keine so große Rolle. Das technische Problem lautet nun: Kann die KI etwas klar erkennen, wie lange dauert die Verarbeitung, wie viele Daten müssen übertragen werden und wie viel Strom wird verbraucht?

Der frühere Humane AI Pin hat ebenfalls einen ähnlichen Ansatz verfolgt, um der KI mit einer Kamera die Sehfähigkeit zu ergänzen.

Aber Humane musste die Menschen davon überzeugen, dass sie für die KI ein zusätzliches Gerät an der Brust tragen.

Apple hat dieses Problem nicht.

Viele Menschen tragen bereits täglich AirPods. Das Unternehmen muss keine KI-Hardware neu erfinden, sondern nur der bereits vorhandenen Hardware neue Sinne verleihen.

AirPods im KI-Zeitalter sind keine Kopfhörer, sondern Sensoren

Tatsächlich bilden die beiden AirPods bereits eine Sensorenkombination:

Die Kamera beobachtet, was vor einem liegt, das Gyroskop zeichnet die Blickrichtung des Kopfes auf, das Mikrofon sammelt Umgebungsgeräusche, und Positions- sowie Bewegungssensoren ergänzen Informationen darüber, wo man sich befindet und was man gerade tut.

Zum Beispiel geht man in eine Buchhandlung, nimmt ein Buch zur Hand und fragt dann Siri: „Lohnt es sich, dieses zu kaufen?“

Wenn man diesen Satz alleine dem heutigen großen Sprachmodell übergibt, weiß es tatsächlich nichts darüber.

Welches „dieses“ ist gemeint?

Aber wenn die AirPods gerade das Cover des Buches gesehen haben, wissen, dass der Kopf auf dieses Buch gerichtet ist, und gleichzeitig das iPhone erfasst, dass man sich in einer Buchhandlung befindet, versteht Siri erst wirklich, was mit „diesem“ gemeint ist.

Wenn das System außerdem weiß, dass man in der Vergangenheit zwei Bücher desselben Autors gelesen hat, von denen eines vollständig und das andere nur zu einem Drittel durchgelesen wurde, kann es sogar Antworten geben, die nur für einen selbst relevant sind.

Die Veränderung, die hier stattfindet, ist sehr subtil.

Wenn wir heute mit KI kommunizieren, erklären wir ihr ständig uns selbst: Wer wir sind, wo wir sind, was wir gerade gesehen haben, was wir in der Hand halten und warum wir diese Frage plötzlich stellen.

Viele Prompts dienen im Wesentlichen dazu, den fehlenden Kontext der Maschine manuell zu ergänzen.

Was Kameras, Mikrofone sowie Positions- und Bewegungssensoren tun, ist genau diese Erklärungen nach und nach überflüssig zu machen.

Große Modelle wissen bereits viel über die Welt, aber sie wissen immer noch sehr wenig über „dich“.

Die tragbare KI sollte auch nicht jedes Mal, wenn sie aktiviert wird, so tun, als würde sie dich zum ersten Mal treffen. Was die AirPods mit Kamera ergänzen, ist genau eine Art von „persönlichem Kontext“.

Bild | Apple Insider

Das Fotografieren mit dem Smartphone ist eine sehr klare Handlung: Man nimmt das Telefon zur Hand, öffnet die Kamera und zielt auf das Motiv.

Bei Kopfhörern ist das anders. Sie werden ständig am Kopf getragen, daher ist die Interaktion mit der Umgebung besonders wichtig.

In dem kürzlich ausgegrabenen Systemcode gibt es noch ein kleines Detail:

Jedes AirPod kann anscheinend die Hardware-Anzeigeleuchte steuern, einschließlich Ein-/Ausschalten und Helligkeitseinstellung.

Wenn dies dem Betriebszustand der Kamera entspricht, könnten Personen in der Umgebung durch das Aufleuchten der Lampe darauf aufmerksam werden, dass die AirPods gerade Umgebungsbilder erfassen – was genau Apples üblicher Strategie zum Schutz der Privatsphäre entspricht.

Wenn die Kamera nur gelegentlich ein Foto aufnimmt, reicht das Aufleuchten der Lampe möglicherweise aus; aber wenn sie die Umgebung kontinuierlich mit niedriger Frequenz verstehen soll, wird das Problem komplexer.

Denn was die KI braucht, ist nicht ein einzelnes Foto, sondern Kontext, daher müssen alle Sinne kontinuierlich aktiviert werden – in diesem Fall ist eine angemessene Benachrichtigung sehr wichtig.

Aus dieser Perspektive hat sich auch die Positionierung der AirPods subtil verändert: Sie sind nicht mehr nur einfache Kopfhörer, sondern eine neue Form von KI-Hardware.

Was wäre, wenn solche Veränderungen nicht nur auf AirPods beschränkt wären, sondern auch auf mehr Apple-Produkte übertragen würden?

Ich denke, das ist Apples wichtigste Strategie im KI-Zeitalter. Und der wichtigste Zeitpunkt dafür ist das Jahr 2027.

2027 könnte das erste Jahr von Apple KI sein

2027 ist für Apple ohnehin ein besonderes Jahr – das zwanzigste Jubiläum der Veröffentlichung des iPhone.

Laut aktuellen Leaks bereitet Apple das zwanzigjährige Jubiläums-iPhone mit einem stark veränderten Design vor, und die AirPods mit Kamera könnten im gleichen Zeitraum auf den Markt kommen.

Gleichzeitig arbeitet Apple an mehreren weiteren Produktlinien für KI-Hardware.

Neben den AirPods mit Kamera gibt es noch intelligente Brillen sowie KI-Anhänger, die an der Kleidung befestigt oder als Halskette getragen werden können.

In zuvor veröffentlichten Produktplanungen tauchte auch eine mit Kamera ausgestattete Apple Watch auf, die der Uhr die Fähigkeit verleiht, die Umgebung zu beobachten.