Apple entwickelt selbst einen wichtigen Chip.

In einem früheren Artikel mit dem Titel "Selbstentwickelte Bildsensoren von Apple? Ein Patent fällt auf" haben wir berichtet, dass Apple ein neues Patent namens "Geschichtetes Pixel-Bildsensor mit hohem Dynamikumfang und geringem Rauschen" veröffentlicht hat.

Neueste Meldungen deuten darauf hin, dass Apple die Grundlage für eine Mobiltelefonkamera legt, die ganze Szenen sofort einfrieren kann. Dies ist der globale Shutter. Ein neues Patent bestätigt dies. Dies bedeutet schärfere Bewegungsaufnahmen, weniger Blinkstreifen und professionellere Videowiedergabe. Hier ist eine einfache Version, die jeder leicht bedienen kann.

Stellen Sie sich vor, ein Schiedsrichter ruft "Halt". Alle halten gleichzeitig an. Dann nimmt die Kamera alles auf, was sie sieht. Da alle gleichzeitig anhalten, bleiben die Linien gerade. Die Wirkung von LED-Wänden und Bühnenbeleuchtung ist besser. "Blitze" können leichter Rennen aufnehmen. Hier sind einige Grundsätze:

1. Der Rolladen-Shutter liest das Bild zeilenweise ein. Schnelle Bewegungen lassen gerade Objekte verbiegen und verursachen Vibrationen.

2. Der globale Shutter erfasst jedes Pixel zur gleichen Zeit und liest es dann ruhig aus.

3. Apples Patent zeigt, dass jedes Pixel eine winzige "Warteraum" enthält, sodass das Mobiltelefon das gesamte Bild auf einmal einfrieren kann. Dies ist eine großartige Idee. Basierend auf dieser Anwendung können Sie die folgenden Lösungen erkunden:

Als Nächstes werden wir Apples Patent in einfacher englischer Sprache erklären.

Zunächst stellen wir uns jedes Pixel als einen dreistöckigen Stapel vor. Der Erdgeschoss ist der Lichteinfangbereich, der erste Stock ist ein kleiner Warteraum und der dritte Stock ist ein Mikromesser, der Licht in digitale Signale umwandelt.

Das genaue Funktionsprinzip ist wie folgt: Beim Belichten füllt sich die erste Schicht mit Licht. Im Moment des Einfrierens bewegt jedes Pixel gleichzeitig das Licht von der ersten in die zweite Schicht. So wird das gesamte Bild eingefroren. Dann bewegt das Mobiltelefon das gespeicherte Licht zeilenweise von der zweiten in die dritte Schicht, um ein Foto zu erstellen. Die mittlere Schicht ist das Geheimnis. Sie bietet jedem Pixel einen eigenen "Haltepunkt", um das eingefrorene Bild zu speichern.

Was macht Apple in diesem Ansatz anders?

Wie in der Abbildung gezeigt, baut Apple aufwärts, nicht seitwärts. Viele aktuelle Designs auf dem Markt platzieren den "Warteraum" neben der Leuchtdiode. Dies nimmt Platz und Licht in Anspruch. Apple stapelt die Kanäle vertikal, um mehr Lichteinfangraum zu sparen.

Dabei übernimmt ein Teil zwei Aufgaben - die mittlere Schicht speichert das Bild und hilft bei der Bildverschiebung, was die Pixel kompakt und leicht für das Mobiltelefon zu bedienen macht. Es gibt weniger Streulicht im eingefrorenen Bild. Das Patent beschreibt Schutzhauben und Rillen, die den "Warteraum" schützen, wenn der Shutter "geschlossen" ist. Schärfere eingefrorene Bilder, schärfere Abbildungen. Wie unten gezeigt, enthalten die Zeichnungen Rückseitenbeleuchtung und geteilte Pixel für die Autofokussierung. Dies sind Werkzeuge für dichte Smartphone-Sensoren, nicht sperrige Laborteile.

Apples eigene Aussage über dieses Patent

Wie Apple sagt, kann der Bildsensor mehrere Pixel enthalten, wobei jedes Pixel eine Photodiode enthalten kann, die einen Ladungssammelbereich ("PD"), einen Floating-Diffusionsbereich ("FD") und einen vertikal zwischen PD und FD liegenden Ladungstransferbereich aufweist. Der vertikale Ladungstransferbereich kann einen ersten Ladungsmodulationsbereich ("P1"), einen zweiten Ladungsmodulationsbereich ("P2") und einen dritten Ladungsmodulationsbereich ("P3") umfassen. Der Bildsensor kann im globalen Shutter-Modus arbeiten, wobei P2 als ladungsspeichernder Bereich innerhalb des Pixels dienen kann, um Ladungen vorübergehend zu speichern, während die Ladungen von PD über P1, P2 und P3 zu FD übertragen werden.

Dieses Patent betrifft insgesamt einen Bildsensor, genauer gesagt einen Bildsensorpixel mit vertikal integrierter Mehrphasen-Ladungstransfertechnik für die Bildaufnahme im globalen Shutter-Modus.

Apple weist darauf hin, dass Bildaufnahmegeräte (z. B. Kameras) in verschiedenen elektronischen Geräten weit verbreitet sind, wie z. B. Mobilgeräten (z. B. Smartphones, Tablets, Laptops usw.), Robotergeräten oder Sicherheitsüberwachungsgeräten. Ein Bildaufnahmegerät kann einen Bildsensor mit mehreren lichtfangenden Pixeln enthalten. Jedes Pixel kann eine Photodiode umfassen. Das Bildaufnahmegerät kann Umgebungslicht aufnehmen und es an den Bildsensor weiterleiten. Wenn ein Pixel Licht ausgesetzt wird, kann die Photodiode des Pixels Ladungen sammeln. Beim Auslesen können eine oder mehrere Transistoren verwendet werden, um die Ladungen der Photodiode auszulesen und ein analoges Bildsignal zu erzeugen. Das analoge Bildsignal kann in ein digitales Signal umgewandelt und weiter verarbeitet werden, um ein Bild zu erzeugen.

Wie Apple sagt, kann der Bildsensor in einigen Ausführungsformen mehrere lichtfangende Pixel enthalten, z. B. sind diese Pixel in einem Pixelarray mit einer oder mehreren Pixelzeilen und einer oder mehreren Pixelspalten angeordnet. In einigen Ausführungsformen kann der Bildsensor ein CMOS-(komplementärer Metalloxid-Halbleiter-)Bildsensor, ein CCD-(Ladungsgekoppelte-Schaltung-)Bildsensor usw. sein. In einigen Ausführungsformen kann der Bildsensor Teil eines Bildaufnahmegeräts (z. B. einer Kamera) sein, das wiederum Teil eines elektronischen Geräts (z. B. eines Mobilgeräts (z. B. Smartphone, Tablet, Laptop usw.), eines Robotergeräts oder eines Sicherheitsüberwachungsgeräts usw.) sein kann. In einigen Ausführungsformen kann jedes Pixel des Bildsensors mindestens eine Photodiode umfassen, die einen Ladungssammelbereich (im Folgenden "PD"), einen Floating-Diffusionsbereich (im Folgenden "FD") und einen vertikal zwischen PD und FD liegenden Ladungstransferbereich aufweist.

"Wenn jedes Pixel Licht ausgesetzt wird, kann PD Ladungen oder Lichtladungsträger sammeln. Beim Auslesen kann zumindest ein Teil der Ladungen von PD zu FD übertragen werden, wodurch auf FD ein analoges Bildsignal (z. B. eine analoge Spannung) erzeugt wird, das über eine Pixelausgangsleitung außerhalb des Pixels weiter zugänglich gemacht werden kann. In bestimmten Ausführungsformen kann das über die Pixelausgangsleitung zugängliche analoge Bildsignal weiter verarbeitet werden, z. B. durch eine Analog-Digital-Wandlung mit einem Analog-Digital-Umsetzer und anschließende digitale Verarbeitung durch einen Bildsignalprozessor (ISP), um ein oder mehrere Bilder zu erzeugen." betont Apple.

Apple weist weiter darauf hin, dass ein gegebenes Bildaufnahmegerät normalerweise im Rolladen-Shutter-Modus oder im globalen Shutter-Modus betrieben werden kann. Im Rolladen-Shutter-Modus können verschiedene Zeilen des Pixelarrays des Bildsensors des Bildaufnahmegeräts zu verschiedenen Zeiten belichtet werden, wenn die "Welle" des Auslesens über den Bildsensor streicht. Beispielsweise können die Pixel des Pixelarrays belichtet werden und die Bildsignale der Pixel können nacheinander ausgelesen werden, z. B. zeilenweise von oben nach unten im Pixelarray. Beispielsweise können die Pixel einer Zeile gleichzeitig ausgelesen werden, während die Pixel einer Spalte, aber in verschiedenen Zeilen, einzeln nacheinander ausgelesen werden. Somit kann der Bildsensor im Rolladen-Shutter-Modus das Bild zeilenweise nacheinander aufzeichnen, anstatt das gesamte Bild auf einmal aufzunehmen.

Im Gegensatz dazu haben alle Pixel im globalen Shutter-Modus die gleiche Belichtungszeit, was bedeutet, dass jedes Pixel im Bildsensor gleichzeitig mit der Belichtung beginnen und enden kann. Somit kann das gesamte Bild auf einmal aufgezeichnet werden. Da verschiedene "Linien" des Bilds zu verschiedenen Zeiten aufgezeichnet werden, kann der Rolladen-Shutter Farb- und/oder Tonwertänderungen im aufgenommenen Bild verursachen. In bestimmten Anwendungen, wie z. B. Hochgeschwindigkeitsfotografie oder -aufzeichnung, kann dies zu erheblichen Störungen führen und die Qualität des aufgenommenen Bilds stark beeinträchtigen.

Daher kann der globale Shutter in bestimmten Ausführungsformen bevorzugt werden. In bestimmten Ausführungsformen können jedoch die Bildsignale der Pixel des Bildsensors, auch wenn sie gleichzeitig die Belichtung beenden, immer noch wie beim Rolladen-Shutter nacheinander ausgelesen werden, z. B. zeilenweise. Daher kann der Bildsensor "Speicher" benötigen, um die (a) Ladungen (z. B. im Ladungsbereich) und/oder (b) analogen oder digitalen Bildsignale (z. B. im Spannungsbereich) der Pixel am Ende der Belichtung vorübergehend zu speichern, bis die einzelnen Pixel ausgelesen werden.

Um dieses Problem zu lösen, kann jedes Pixel des hier offenbarten Bildsensors in einigen Ausführungsformen einen ladungsspeichernden Bereich innerhalb des Pixels enthalten. Am Ende der Belichtung können die Ladungen von der Pixel-Detektionseinheit (PD) in den ladungsspeichernden Bereich innerhalb des Pixels übertragen werden. Die Ladungen können dort vorübergehend gespeichert werden, bis das Pixel ausgelesen wird. Beim Auslesen können die Ladungen aus dem ladungsspeichernden Bereich innerhalb des Pixels in den Fluoreszenzdetektor (FD) übertragen werden, und dann kann die analoge Bildinformation über die Pixelausgangsleitung vom Fluoreszenzdetektor (FD) weiter zugänglich gemacht werden.

"Fachleute auf diesem Gebiet sollten verstehen, dass der hier offenbarte Bildsensor zahlreiche Vorteile bieten kann." sagt Apple.

Zunächst kann er jedem Pixel einen ladungsspeichernden Bereich innerhalb des Pixels bieten, um die Ladungen des Pixels vorübergehend zu speichern, wodurch der Bildsensor im globalen Shutter-Modus arbeiten kann. Darüber hinaus ist der "Speicher" als Teil des Pixels integriert, um die Ladungen innerhalb des Pixels zu speichern, wodurch andere zusätzliche Speicherkomponenten (z. B. Speicherchips auf dem Bildsensor usw.) eliminiert oder zumindest reduziert werden. Somit kann dies die Anzahl der Komponenten des Bildsensors reduzieren, den Platzbedarf des Bildsensors verringern und/oder die Pixel-Dichte des Sensors erhöhen.

Apple betont, dass das hier beschriebene Verfahren in verschiedenen Ausführungsformen in Form von Software, Hardware oder einer Kombination davon implementiert werden kann. Darüber hinaus kann die Reihenfolge der Verfahrensschritte geändert werden, und verschiedene Elemente können hinzugefügt, neu angeordnet, kombiniert, weggelassen, modifiziert usw. werden. Fachleute auf diesem Gebiet können nach Kenntnisnahme des hier offenbarten Inhalts verschiedene Modifikationen und Änderungen vornehmen. Die verschiedenen hier beschriebenen Ausführungsformen dienen nur der Veranschaulichung, nicht der Einschränkung. Es können zahlreiche Änderungen, Modifikationen, Hinzufügungen und Verbesserungen vorgenommen werden. Somit können mehreren hier beschriebenen Komponenten mehrere Instanzen zugewiesen werden, mit Ausnahme einer einzelnen Instanz. Die Grenzen zwischen verschiedenen Komponenten, Vorgängen und Datenspeichern sind in gewissem Maße willkürlich, und bestimmte Vorgänge werden im Kontext einer bestimmten erläuternden Konfiguration beschrieben. Andere Funktionszuweisungen können in Betracht gezogen werden, und diese Zuweisungen können in den Geltungsbereich nachfolgender Ansprüche fallen.

Schließlich können Strukturen und Funktionen, die in einer beispielhaften Konfiguration in Form diskreter Komponenten dargestellt sind, als kombinierte Strukturen oder Komponenten implementiert werden. Diese und andere Änderungen, Modifikationen, Hinzufügungen und Verbesserungen können in den Geltungsbereich der nachfolgend definierten Ausführungsformen fallen.

Dieser Artikel stammt aus dem WeChat-Account "Semiconductor Industry Observation" (ID: icbank), Verfasser: Redaktion. 36Kr hat die Veröffentlichung mit Genehmigung durchgeführt.