Apple entwickelt eigenes Bildsensor? Ein Patent fällt auf!

Apple könnte derzeit still und leise an einem der größten Fortschritte auf dem Gebiet der Bildsensorentwicklung arbeiten – ein Fortschritt, der alles von den iPhones bis hin zu professionellen Kinosystemen verändern könnte.

Kürzlich hat Apple ein neues Patent namens "Geschichteter Pixel-Bildsensor mit hohem Dynamikumfang und geringem Rauschen" angemeldet. Diese Entdeckung könnte auf einen Durchbruch hinweisen, der das mobile und professionelle Bildaufnahmegebiet neu gestalten könnte. Apple behauptet, dass seine gestapelte Sensorarchitektur einen Dynamikumfang von bis zu 20 EV haben würde und sich möglicherweise auf den Wettlauf mit den Großkonzernen auf dem Gebiet der Filmkameratechnologie vorbereitet, ja sogar im Stande sein könnte, sie zu übertreffen.

Leistung übertrifft die besten Sensoren

Das von Apple neu angemeldete Patent "Geschichteter Pixel-Bildsensor mit hohem Dynamikumfang und geringem Rauschen" offenbart einen bedeutenden Fortschritt in der Bildaufnahmetechnologie. Obwohl Apple für seine maßgeschneiderten Chips und Kamera-Software bekannt ist, deutet dieses Patent auf ein ambitionierteres Ziel hin: einen vollkommen eigenentwickelten Bildsensor, dessen Dynamikumfang möglicherweise mit den führenden Filmkameras mithalten kann oder sogar diese übertrifft. Und dies ist nicht nur Theorie – die Sensorarchitektur beansprucht einen Dynamikumfang von 120 dB, was einem Dynamikumfang von fast 20 EV entspricht. Dies ist weit höher als bei den derzeitigen Marktführern, wie beispielsweise der ARRI ALEXA 35.

So wie Apple in der Patentbeschreibung schreibt:

"Die hier beschriebenen Ausführungsformen der Erfindung bieten einen Bildsensor mit neuartig gestalteten 3T-Pixeln, der einen hohen Dynamikumfang, geringes Rauschen ermöglicht und keine Artefakte aufweist, wie sie in herkömmlichen 4T-Pixel-Arrays auftreten können. Der Bildsensor umfasst einen Sensorchip, der auf einem Logikchip aufgebracht ist. Jeder 3T-Pixel enthält auf dem Sensorchip eine Sensorschaltung, die eine Photodiode und eine laterale Überlauf-Integrationskapazitäts-Schaltung (LOFIC: lateral overflow integration capacitor) umfasst, um unter verschiedenen Beleuchtungsbedingungen, von der Innenbeleuchtung bis zur hellen Sonne, zu sensieren, ohne dass eine automatische Belichtungskontrolle erforderlich ist. Darüber hinaus enthält jeder Pixel auf dem Logikchip eine Pixel-Schaltung, die eine Stromspeicherschaltung umfasst. Diese Stromspeicherschaltung dient dazu, das Rauscheniveau in den Detektorelementen zu messen. Das von der Stromspeicherschaltung ausgegebene Signal kann zur Unterdrückung von thermischem Rauschen (kTC) mittels CDS genutzt werden."

Was ist der Inhalt des Apple-Patents?

Das Patent beschreibt einen gestapelten Sensor, der aus zwei Schichten besteht: einem Sensorchip (mit Photodioden und analoger Schaltung)

und einem Logikchip (zur Verarbeitung der Auslese, Rauschunterdrückung und Steuerung)

Dieser gestapelte Ansatz ähnelt dem von Sony und ermöglicht es Apple, fortschrittliche Schaltungen in dünnere Sensormodule zu integrieren, was sich hervorragend für Smartphones und AR/VR-Geräte wie den Vision Pro eignet. Die eigentliche Innovation liegt jedoch in der Pixel-Architektur, die folgende Merkmale aufweist:

1. LOFIC (laterale Überlauf-Integrationskapazität)

Dieser Mechanismus ermöglicht es dem Sensor, das Lichtüberschuss in drei Ladungsspeicherstufen zu verarbeiten und sich automatisch an extreme Helligkeits- oder Dunkelheitssituationen anzupassen – alles auf einmal. Dies ist der Grund, warum ein Dynamikumfang von 20 EV möglich ist.

2. Integrierte Rauschmesseinrichtung

Die Stromspeicherschaltung in jedem Pixel kann in Echtzeit das thermische Rauschen erfassen und eliminieren. Dies bedeutet, dass selbst unter schwacher Beleuchtung die endgültigen Bilder klarer sind – ohne nachträgliche Bearbeitung oder künstliche Intelligenz-Tricks.

3. 3T-Pixel-Design (statt 4T)

Überraschenderweise hat Apple ein 3-Transistor-Design gewählt, das normalerweise als einfacher, aber rauschärmer angesehen wird. Dank der oben genannten Innovationen hat dieses Design jedoch weniger Rauschen als ein Standard-4T-Sensor und bietet somit mit weniger Komponenten und höherer Effizienz eine bessere Leistung.

So wie Apple sagt:

"In diesem Beispiel umfasst die LOFIC-Schaltung 44 zwei Ladungsspeicherkondensatoren 50 und 52 sowie zwei in Reihe geschaltete LOFIC-Transistoren (LOFIC1 und LOFIC2) 54 und 56, die an den Floating-Diffusions-Knoten 42 angeschlossen sind. Der erste LOFIC-Transistor (LOFIC1) 54 verbindet den Floating-Diffusions-Knoten mit dem Ladungseingang des ersten Ladungsspeicherkondensators 50, der eine geringe Kapazität von etwa 20 fF hat. Der zweite LOFIC-Transistor 56 verbindet den Ladungseingang des ersten Ladungsspeicherkondensators 50 mit dem Ladungseingang des zweiten Ladungsspeicherkondensators 52, der eine größere Kapazität von etwa 500 fF hat. In dieser Konfiguration wird der Floating-Diffusions-Knoten 42 selbst zur Speicherung und Auslese der Lichtladung unter schwachen Lichtbedingungen verwendet; der Ladungsspeicherkondensator 50 wird zur Speicherung und Auslese der Lichtladung unter mittleren Beleuchtungsbedingungen verwendet; der Ladungsspeicherkondensator 52 wird zur Speicherung und Auslese der Lichtladung unter starken Beleuchtungsbedingungen verwendet. Diese LOFIC-Struktur ermöglicht es dem Detektorelement 26, Licht in einem Dynamikumfang von etwa 120 dB zu erfassen. Alternativ können auch andere LOFIC-Strukturen mit weniger oder mehr Kondensatoren und Transistoren verwendet werden."

Was bedeutet dieses Produkt?

Wenn diese Technologie umgesetzt wird (vielleicht in einem zukünftigen iPhone 17 Pro oder Apple Vision Pro 2), könnte dies Folgendes zur Folge haben:

• Filmqualität HDR auf mobilen Geräten
• Geräuschfreie Videokameras in Echtzeit
• Ultra-dünne Bauweise mit professioneller Bildqualität und einem extrem hohen Dynamikumfang (20 EV)

Apple könnte sich darauf vorbereiten, sich von der Abhängigkeit von hochwertigen Kamerasensoren von Sony zu lösen und als Konkurrent statt als Kunde auf dem Bildsensor-Markt aufzutreten. Dies deutet auch darauf hin, dass der nächste Sprung von Apple in der Computervideografie möglicherweise auf innovationsorientierten Bildsensoren basiert, nicht auf Software oder Künstlicher Intelligenz.

Dynamikumfang und Rauschen sind die beiden Hauptbeschränkungen in der digitalen Bildaufnahme. Ein mobil- oder kompakter Sensor, der einen Dynamikumfang von 20 EV und fortschrittliche on-chip Rauschunterdrückung bietet, ist nicht nur eine Verbesserung, sondern ein Durchbruch.

Dies könnte Auswirkungen haben auf:

• Mobile Filmproduktion
• HDR-Streaming-Inhalte
• AR/VR-Bildqualität
• Selbst in professionellen Filmproduktionssuiten müssen Kompaktheit und Qualität zusammenpassen

Da es sich um ein Apple-Produkt handelt, ist es nicht schwer vorstellbar, dass das Unternehmen den Sensor eng mit der Neural Engine verknüpfen wird, um ihn auch unter extremen Bedingungen noch leistungsfähiger zu machen.

Nach unserer Meinung mag dieses Patent derzeit nicht besonders auffällig sein, aber seine Auswirkungen sind weitreichend. Apple redifiniert nicht nur die Kamera-Software, sondern auch die Bildsensoren auf Chip-Ebene. Wenn diese Technologie in die Produktion geht, könnten wir einen neuen Goldstandard in der digitalen Bildaufnahme sehen – nicht nur im Smartphone-Bereich, sondern auch im Filmbereich.

Gestapelte Pixel-Bildsensoren mit hohem Dynamikumfang und geringem Rauschen

Die meisten derzeit verwendeten Bildsensoren sind CMOS (Complementary Metal Oxide Semiconductor) aktive Pixel-Sensoren (APS) in einer monolithischen Anordnung mit 4T-Pixeln. In diesen Bauelementen enthält jedes Detektorelement (ein sogenanntes "Pixel") eine Photodiode, eine Floating-Diffusions-Zone und vier CMOS-Transistoren, darunter ein Transfergate, ein Resetgate, ein Auswahlgate und ein Source-Follower-Auslesetransistor. Das Transfergate steuert die Ladungstransfer von der Photodiode zur Floating-Diffusions-Zone und ermöglicht die Rauschunterdrückung durch korrelierte Doppelsampling (CDS). Bildsensoren mit 3T-Pixeln (ohne Transfergate) sind einfacher herzustellen und weniger anfällig für Artefakte, haben aber normalerweise ein höheres Rauschen.

Zusammenfassung

Die unten beschriebenen Ausführungsformen der Erfindung bieten verbesserte Bildsensoren sowie Verfahren zur Herstellung und Steuerung solcher Bildsensoren.

Somit wird gemäß einer Ausführungsform der Erfindung ein Bildsensor bereitgestellt, der einen Logikchip umfasst, der eine Spaltenausleseschaltung und an die Spaltenausleseschaltung angeschlossene Bitleitungen enthält, sowie einen Sensorchip, der auf dem Logikchip aufgebracht ist. Der Bildsensor umfasst eine Anordnung von Detektorelementen, wobei jedes Detektorelement eine auf dem Sensorchip angeordnete Sensorschaltung und eine auf dem Logikchip angeordnete Pixel-Schaltung umfasst. Die Sensorschaltung umfasst eine Photodiode mit einer Kathode und einer Anode, einen an eines der Anschlüsse der Photodiode angeschlossenen Floating-Diffusions-Knoten, einen zwischen dem Floating-Diffusions-Knoten und einer Resetspannung geschalteten Resettransistor sowie einen Source-Follower-Transistor mit einem an den Floating-Diffusions-Knoten angeschlossenen Eingang und einem Ausgang. Die Pixel-Schaltung umfasst einen Auswahltransistor mit einem an den Ausgang des Source-Followers angeschlossenen Eingang und einem an eine der Bitleitungen angeschlossenen Ausgang sowie eine Stromspeicherschaltung, die an den Eingang des Auswahltransistors angeschlossen ist und dazu konfiguriert ist, ein Signal zu erfassen und auszugeben, das das Rauscheniveau in dem Detektorelement anzeigt.

In einigen Ausführungsformen umfasst jede Sensorschaltung eine laterale Überlauf-Integrationskapazitäts-Schaltung (LOFIC), die eine oder mehrere Ladungsspeicherkapazitäten sowie einen oder mehrere LOFIC-Transistoren umfasst, die zwischen dem Floating-Diffusions-Knoten und den Ladungsspeicherkapazitäten geschaltet sind, wobei der Resettransistor zwischen der LOFIC-Schaltung und der Resetspannung geschaltet ist. In einer offenbarten Ausführungsform umfasst die LOFIC-Schaltung: eine erste Ladungsspeicherkapazität mit einer ersten Kapazität; eine zweite Ladungsspeicherkapazität mit einer zweiten Kapazität, die größer als die erste Kapazität ist; einen ersten LOFIC-Transistor, der zwischen dem Floating-Diffusions-Knoten und dem ersten Ladungseingang der ersten Ladungsspeicherkapazität geschaltet ist; und einen zweiten LOFIC-Transistor, der zwischen dem ersten Ladungseingang der ersten Ladungsspeicherkapazität und dem zweiten Ladungseingang der zweiten Ladungsspeicherkapazität geschaltet ist. In einer Ausführungsform ist der Resettransistor zwischen dem zweiten Ladungseingang der zweiten Ladungsspeicherkapazität und der Resetspannung geschaltet. Zusätzlich oder alternativ werden während der Auslese des Detektorelements auf die Bitleitung der erste und der zweite LOFIC-Transistor nacheinander leitend geschaltet, während der Auswahltransistor leitend ist.

In einigen Ausführungsformen wird in jedem Bildrahmen der Resettransistor in einer ersten Resetperiode leitend geschaltet, um den Floating-Diffusions-Knoten vor der Belichtungsperiode des Rahmens zurückzusetzen; der Auswahltransistor wird in einer ersten Ausleseperiode nach der Belichtungsperiode leitend geschaltet, um die Lichtladung von dem Floating-Diffusions-Knoten auszulesen. Dann wird der Resettransistor in einer zweiten Resetperiode nach der ersten Auswahlperiode leitend geschaltet, um den Floating-Diffusions-Knoten zurückzusetzen; der Auswahltransistor wird in einer zweiten Ausleseperiode nach der zweiten Resetperiode leitend geschaltet, um das in dem Detektorelement akkumulierte Rauschen auszulesen.

In einigen Ausführungsformen umfasst die Stromspeicherschaltung mindestens einen Sampling-Kondensator und mindestens einen Sampling-Transistor, die zwischen dem Eingang des Auswahltransistors und dem mindestens einen Sampling-Kondensator geschaltet sind, wobei der mindestens eine Sampling-Transistor in der ersten und der zweiten Resetperiode dem Resettransistor folgt und leitend geschaltet wird, so dass der mindestens eine Sampling-Kondensator das