Wenn quadratische Sensoren zum allgemeinen Konsens werden, lotet DJI Osmo 360 II erneut die Obergrenze der Panoramafunktionalität aus.
Am Abend des 13. August veröffentlichte DJI die zweite Generation der Panoramakamera Osmo 360 II.
Vor einem Jahr kam die erste Generation Osmo 360 mit dem branchenweit ersten quadratischen Sensor auf den Markt und brachte Panoramavideos erstmals zu nativem 8K. Ein Jahr später hat die Osmo 360 II diese grundlegenden Fähigkeiten einen großen Schritt vorangebracht: eine brandneue Bildplattform, die für 8K/60fps entwickelt wurde, eine vollständig verbesserte Bildverarbeitungskette und eine ganze Reihe intelligenter Funktionen, mit denen man „nach der Aufnahme direkt fertige Clips erhalten kann“.
Dies ist keine reguläre Parameteraktualisierung. Wenn die erste Generation die Frage beantwortet hat, „ob DJI eine Flaggschiff-Panoramakamera herstellen kann“, dann stellt sich mit der zunehmenden Verbreitung quadratischer Sensoren bei immer mehr Herstellern, die zum neuen Standard dieser Produktkategorie geworden sind, die Osmo 360 II einer schwierigeren Frage: Wie hoch kann ein Unternehmen mit einem vollständigen Stack an Bildverarbeitungstechnologien diese langjährig kleine Nische der Panoramatechnologie heben?
Ein quadratischer Sensor, der den Standard einer gesamten Nische neu definiert
Der Reiz von Panoramakameras ist leicht zu verstehen: Normale Kameras können nur den Bereich vor dem Objektiv aufzeichnen, während Panoramakameras die gesamte Welt um Sie herum einfangen können. Lange Zeit blieb sie jedoch eine Nischenkategorie – viele Leute kauften sie, nutzten sie ein paar Mal und legten sie dann beiseite, weil sie „nicht benutzerfreundlich“ waren.
Vor der Projektplanung führte DJI zahlreiche Nutzerinterviews durch, deren Ergebnisse sich auf zwei Punkte konzentrierten: Erstens waren die aufgenommenen Bilder unscharf, insbesondere nach der nachträglichen Neukomposition war nichts mehr klar zu erkennen. Zweitens war die Nachbearbeitung zu kompliziert: Die Aufnahme machte Spaß, aber zu Hause musste man die Perspektive Frame für Frame anpassen, was so langsam war, dass man die Geduld verlor.
„Unschärfe“ und „Schwierigkeit“ haben die Panoramatechnologie vom Mainstream ferngehalten.
Die Wurzel der Unschärfe liegt in den grundlegenden Komponenten. Der Leiter des Bereichs für tragbare Bildverarbeitung bei DJI erklärte, dass die überwiegende Mehrheit der Panoramakameras auf dem Markt 4:3-rechteckige Sensoren verwenden, die für Smartphones und Kameras entwickelt wurden. Bei der Panoramabildverarbeitung wird jedoch nur der kreisförmige Bereich in der Mitte verwendet, während fast ein Viertel der Fläche an beiden Seiten nicht an der Bildgebung teilnimmt und unnötig Volumen, Stromverbrauch und Kosten verursacht. Auch die Chips stammen aus Smartphone-Lösungen, deren maximale Spezifikation etwa 4K/120fps beträgt, was auf den Durchsatz von Panoramabildern genau 8K/30fps umgerechnet wird.
Um diesen begrenzten Durchsatz voll auszunutzen, hat die Branche die seltsame Auflösung von 5,7K/60fps entwickelt – das ist nicht die Schuld von jemandem, sondern das Ergebnis der langjährigen „Anpassung“ der gesamten Produktkategorie an die allgemeine Lieferkette, das jahrelang nicht korrigiert wurde. Für die meisten Hersteller ist dies fast die einzige wirtschaftliche Wahl: Die spezielle Anpassung von Komponenten für eine noch kleine Nische bedeutet mehrfache Kosten für Entwicklungszyklen, Personal und Kapital und birgt Risiken, für die es kaum Vorbilder gibt. In einem Hardware-Markt, der von schnellen Iterationen geprägt ist, ist diese Rechnung kaum aufzugehen.
Der Ansatz von DJI kehrt zur physikalischen Natur der Bildgebung zurück: Da für die Panoramabildverarbeitung ein Kreis verwendet wird, braucht man nicht ein Rechteck mit ungenutzten Rändern an beiden Seiten zu akzeptieren. Vor drei Jahren hat DJI branchenweit erstmals einen quadratischen Sensor mit äquivalenter 1-Zoll-Panoramabildgröße entwickelt, die verschwendeten Seiten entfernt und das kreisförmige Bildfeld vollständig einbeschrieben, wodurch die effektive Ausnutzungsrate des Sensors um etwa ein Viertel gesteigert wurde. Außerdem wurden die Pixel neu zugeordnet, die Höhe von 3K auf 4K angepasst, sodass schließlich native 4K+4K=8K für zwei Objektive ohne Hochskalierung erreicht wurde, während gleichzeitig große Pixel von 2,4μm erhalten blieben. Die erste Generation der Osmo 360 hat damit die Panoramatechnologie von „vollständiger Aufnahme“ zu „scharfer Aufnahme“ weiterentwickelt.
Eine noch bemerkenswertere Veränderung ereignete sich danach: Dieser damals „aufwändige, aber wenig lohnende“ quadratische Sensor wurde von der gesamten Branche übernommen.
Auf die Frage, wie er die Übernahme desselben Konzepts durch Wettbewerber sieht, hat der Leiter des Bereichs für tragbare Bildverarbeitung bei DJI dies nicht als einen Sieg oder eine Niederlage dargestellt. Er spricht lieber über etwas anderes: In einem noch kleinen Markt ist die Bedeutung des Kampfes um Marktanteile begrenzt. Was wirklich entscheidet, ob diese Produktkategorie wachsen kann, ist, ob jemand die beiden grundlegenden Probleme „Unschärfe“ und „Schwierigkeit“ lösen kann.
„Wenn niemand auftritt, um diese grundlegenden Probleme anzugehen, sondern nur äußere Bauteile und emotionale Produkte entwickelt und sich ständig im bestehenden Rahmen bewegt, wird das keine Förderung für den gesamten Markt bringen.“
Dies beantwortet auch eine häufig falsch verstandene Frage: Wird das Anheben der Obergrenze von Bildqualität und Leistung nur dazu verwendet, um die Bedürfnisse einiger weniger Enthusiasten zu befriedigen, oder um mehr Menschen ein komfortableres Nutzungserlebnis zu ermöglichen? Nach Ansicht von DJI ist die Antwort genau die letztere. Der Grund, warum die Panoramatechnologie nicht zu den Massen gelangt, liegt genau in „Unschärfe“ und „Schwierigkeit“. Damit das Bild nach der nachträglichen Neukomposition immer noch scharf ist, braucht es eine höhere native Auflösung als Grundlage. Damit die Nutzer nach der Aufnahme nicht eine Stunde lang schneiden müssen, braucht es ausreichende Rechenleistung, um intelligente Bildausschnittwahl und automatische Clip-Erstellung zu unterstützen.
Ohne Anhebung der Obergrenze ist die Popularisierung unmöglich – „Bei unserem Design stehen Produkte und Parameter nicht an erster Stelle“, sagte er. Ihm ist mehr an einer Lösung gelegen, die das Nutzererlebnis wirklich verändert, als an einer schöneren Zahl bei einzelnen Parametern.
Das Selbstvertrauen des Spitzenreiters stammt aus einem zwölfjährigen Weg
Dass DJI in einer Produktkategorie, in der es „spät eingestiegen“ ist, schnell die Standards anführen kann, ist kein Zufall. Wenn man den Zeitraum verlängert, stellt man fest, dass die Panoramatechnologie nur das neueste Ergebnis der zwölfjährigen Akkumulation von Bildverarbeitungstechnologien ist.
Seit der Einführung von Osmo geht die tragbare Bildverarbeitung von DJI zwei parallele Wege. Der eine Weg konzentriert sich auf den professionellen Bereich: Von der ersten Generation Ronin über Ronin 2, das professionelle Kinokameras stabil tragen kann, bis hin zu Ronin-S und DJI RS, die kinotaugliche Stabilisierung auf spiegellose Kameras übertragen, und schließlich zur hochintegrierten Ronin 4D – mit dieser Linie ist DJI erstmals von einem „Anbieter von Werkzeugen“ zu einem „Spitzenreiter des Arbeitsablaufs“ geworden. Die Bedeutung dieser Stabilisierungstechnologie wird durch zwei Auszeichnungen aus der Spitze der Branche bestätigt: Die Ronin-Serie gewann 2024 den Emmy Award und 2025 den Oscar für Wissenschaft und Technik.
Der andere Weg richtet sich an die breite Masse: 2015 begründete Osmo die Kategorie der integrierten tragbaren Gimbal-Kameras, Osmo Pocket brachte Flaggschiff-Bildqualität in die Tasche, Osmo Action führte erstmals das vordere Display bei Action-Kameras ein, was Selfies und Bildüberwachung sehr bequem machte.
Diese Errungenschaften blieben nicht in den jeweiligen Produktlinien stecken. Als DJI beschloss, Panoramakameras zu entwickeln, konnte es direkt auf eine ganze Reihe bereits wiederholt validierter Bildverarbeitungsfähigkeiten zurückgreifen.
Konkret für die Panoramatechnologie begann der Weg von DJI nicht von Null. „Die Erforschung von Panoramabildverarbeitung bei DJI ist eine zusammenhängende technische Akkumulation“, fasste der Sprecher von DJI zusammen – von der Mosaikalgorithmus auf Drohnen über die erste Generation des quadratischen CMOS bis zur Validierung der Stabilität der Mosaikverarbeitung mit Avata 360, jeder Schritt legte das Fundament für die heutige Osmo 360 II.
Die frühesten Panoramamosaikalgorithmen wurden tatsächlich auf Drohnen entwickelt. Panoramafotos, die von Drohnen aufgenommen werden, müssen unter Bedingungen wie großer Höhe, starkem Wind und ständiger Bewegung des Fluggeräts mehrere Frames zu einem vollständigen Bild von Himmel und Erde zusammenfügen, was sehr hohe Anforderungen an die Stabilität des Algorithmus stellt – das echte Fundament der Panoramatechnologie wurde in der Luft gelegt.
Anschließend wurde diese Fähigkeit auf die tragbare Form übertragen und zusammen mit dem quadratischen Sensor zur ersten Generation der Osmo 360 gemacht.
Mit dem Erscheinen der Panoramadrohne Avata 360 wurde der Algorithmus wieder in die Luft gebracht, um eine Extremprüfung durchzuführen: In Bildern von FPV-Drohnen, die durch Löcher, Wände und Fenster fliegen, sind Fehler bei der Mosaikverarbeitung von nahen und fernen Szenen leicht zu erkennen. Die Überwindung all dieser Probleme unter Flugbedingungen hat Lösungen für Hochgeschwindigkeitsszenen am Boden im Voraus vorbereitet.
Noch wichtiger ist, dass sie verschiedene Bewegungszustände zwischen niedriger, mittlerer und hoher Geschwindigkeit realistisch wiedergeben kann und dem Algorithmus vollständige Proben liefert, die in Bodenszenen schwer abzudecken sind.
Rechnet man das zusammen, ist die Osmo 360 II zwar die zweite Generation der Osmo 360-Serie, aber sie trägt bereits die dritte Generation der Panoramabildverarbeitungstechnologie in sich – zuerst das Fundament des Algorithmus auf Drohnen, dann zwei Runden der Optimierung mit der ersten Generation Osmo 360 und der Panoramadrohne Avata 360. Die drei Linien von Sensorbildqualität, Mosaikalgorithmus und intelligenter Erfahrung wurden in dieser Generation erstmals vollständig ausgenutzt.
Die Aktualisierung der Osmo 360 II: Von höheren Parametern zu einer qualitativen Veränderung des Erlebnisses
Wenn DJI mit der ersten Generation der Panoramakamera die Standards festgelegt hat, soll die Osmo 360 II beweisen, wie weit das Potenzial dieser Standards ausgeschöpft werden kann.
Die Aktualisierung beginnt mit der Bildplattform. Die Osmo 360 II ist mit einer neuen Generation von Bildplattform ausgestattet, die speziell für Panoramatechnologie entwickelt wurde und von Anfang an auf 8K/60fps abzielt. In der Branche gibt es auch Methoden, die Rechenleistung durch Kombination mehrerer Chips zu erhöhen, aber das geschieht meist, weil die Rechenleistung eines einzelnen Chips nicht ausreicht und man sich nur behelfen kann. Dieser Chip hingegen berücksichtigt von Anfang an alle Anforderungen der Panoramatechnologie und vermeidet die Probleme der Koordination und Ressourcenkonflikte zwischen mehreren Chips.
Warum muss man unbedingt 8K/60fps erreichen? Ein praktischer Grund ist: Das ist ein Weg, den andere nicht motiviert sind zu gehen.
„Für verbraucherorientierte Bildgeräte ist die Fähigkeit, 4K/120fps aufzunehmen, bereits sehr hoch. Um zusätzlich 8K/60fps zu erreichen, muss man einen großen Preis in Bezug auf Chipfläche zahlen, was ein schlechtes Kosten-Nutzen-Verhältnis hat“, sagte der Leiter des Bereichs für tragbare Bildverarbeitung bei DJI. „Aber wenn DJI das nicht tut, gibt es kaum andere Hersteller in der Branche, die in diese Richtung gehen werden.“
Und 60fps gegenüber 50fps ist weit mehr als nur 10 zusätzliche Frames – heutzutage sind die meisten Smartphones, Tablets und Computer mit 60Hz oder 120Hz-Hochbildschirmen ausgestattet. Bei der Wiedergabe von 50fps-Material muss das System alle 5 Frames ein Frame ergänzen, was zu einem leichten Ruckeln im Bild führt. Augen, die an Hochbildfrequenzen gewöhnt sind, sind dafür besonders empfindlich.
Mit 8K/60fps läuft die Panoramabildverarbeitung erstmals auf gängigen Bildschirmen „flüssig“. Nachdem die Rechenleistung gesteigert wurde, verbessern sich eine Reihe von Fähigkeiten automatisch: Die Zeitlupe wird von 4K/100fps der vorherigen Generation auf 240fps angehoben, die statische Zeitrafferaufnahme erreicht von 8K bis 16K, und die Effekte von „Einfrieren von Zeit und Raum“ sowie HDR-Fotos werden durch die überschüssige Rechenleistung noch reibungsloser.
Ein weiterer Punkt, der sorgfältig abgewogen werden musste, war die Entscheidung für einen Dynamikbereich von 14,5 Blendenstufen. Die Obergrenze des DCG des Sensors selbst liegt bei etwa 13,5 Blendenstufen. Dass die Osmo 360 II den Panorama-HDR auf 14,5 Stufen bringen kann, liegt daran, dass die beiden vorderen und hinteren Objektive unabhängig belichtet werden – wenn der Aufnehmer einen Selfie-Stab hält, muss einerseits die Belichtung seines Gesichts sichergestellt werden, andererseits kann er in Richtung eines hellen Himmels blicken. Nur wenn beide Seiten eine geeignete Belichtung erhalten, können die Schichten des Bildes gleichzeitig erhalten bleiben. Die Schwierigkeit liegt darin: Sobald der Belichtungsunterschied zu groß wird, ist es leicht, dass Helligkeit und Farbe des überlappenden Bereichs bei der nachträglichen Mosaikverarbeitung „nicht zusammenpassen“.
„Die Zahl 14,5 wurde nicht willkürlich festgelegt – es ist nicht 15, 16 oder 17, sondern der Gleichgewichtspunkt, den wir nach wiederholter Abwägung zwischen Dynamikbereich und Fähigkeit zur nahtlosen Mosaikverarbeitung gefunden haben“, erinnerte er sich. Bis einen Monat vor der Veröffentlichung testete das Team noch wiederholt verschiedene Belichtungskombinationen, um den kritischen Punkt zu finden, an dem der Dynamikbereich erweitert werden kann, ohne dass das Bild nicht sauber zusammengefügt wird. Das ist eine sehr zurückhaltende Entscheidung: Keine schöne Zahl auf Kosten der wichtigeren Sache, dass das Bild sauber zusammengefügt wird, zu opfern.
Auch bei den Details gibt es viele Verbesserungen. Die zweite Generation der superharten Diamantbeschichtung auf der Außenseite des Objektivs kann 2000 Mal Reibung mit Stahlwolle standhalten. Und ab dieser Generation können die Nutzer die Objektivscheibe selbst austauschen, ohne das Gerät zur Werkstatt