Microsoft nutzt "Licht", um KI auszuführen, und erscheint in Nature. Mit 100-facher Energieeffizienz wird die GPU übertroffen. Ein chinesischer Chef-Forscher spielt die Hauptrolle.
In den letzten Jahrzehnten haben sich die großen Unternehmen heimlich um die Chips herum bekämpft: Preiserhöhungen für Chips, Mangel an GPUs, Sorgen um die Rechenleistung für KI...
Während alle auf die Iteration und Verbesserung der Chips starren, macht Microsoft still und leise etwas anderes: Es definiert das Rechnen neu mit Licht.
Sie haben vier Jahre Zeit investiert und mit einer Handy-Kamera, Micro-LEDs und Linsen einen analogen optischen Computer (AOC) zusammengebaut.
Heute hat dieses Experiment in der Zeitschrift Nature veröffentlicht und eröffnet eine Vision für die Zukunft, die die GPU revolutionieren könnte.
Der Auftritt der Photonen: Das Geheimnis der Fixpunkt-Suche
Seit Jahrzehnten wird die Geschichte der Rechenleistung fast ausschließlich auf Siliziumchips geschrieben: Die Beschleunigung des Moore'schen Gesetzes, das Stapeln von GPUs, die Sorgen um den Energieverbrauch.
Aber in Cambridge, England, hat ein kleines Team der Microsoft Research einen völlig anderen Weg eingeschlagen – es lässt Licht rechnen.
Sie haben einen analogen optischen Computer (AOC) zusammengebaut, und die Materialien sind gar nicht sonderlich selten: Micro-LEDs, optische Linsen und ein Kamerasensor aus einem Handy.
Auf den ersten Blick sieht es eher wie ein Labor-„Bastlercomputer“ aus, aber es eröffnet eine andere Möglichkeit für die Rechenleistung.
Detailliertes Bild des analogen optischen Computers im Microsoft Research-Labor in Cambridge, England. Er wurde aus handelsüblichen Teilen hergestellt, wie z. B. Micro-LED-Lampen und Sensoren aus Smartphone-Kameras.
Tatsächlich wurde die Vorstellung von optischer Rechnung bereits in den 1960er Jahren aufgestellt, aber damals war sie aufgrund der begrenzten Technologie auf die Theorie beschränkt.
Heute hat das Microsoft-Team es tatsächlich umgesetzt.
Das wahre Geheimnis des AOC liegt nicht in diesen Teilen, sondern in seiner Arbeitsweise – der Fixpunkt-Suche.
Es integriert die Optik und analoge elektronische Schaltkreise in einen geschlossenen Kreis: Der optische Teil führt die Matrix-Vektor-Multiplikation durch, der elektronische Teil behandelt die Nichtlinearität, die Addition und Subtraktion sowie den Annealing-Prozess.
Jede Iteration dauert nur etwa 20 Nanosekunden. Das Signal wird im Kreis immer wieder iteriert, bis es zu einem stabilen „Fixpunkt“ konvergiert.
Und dieser Fixpunkt ist die Lösung des Problems.
Die innere Struktur des Microsoft-analogen optischen Computers: Links oben ist die Gesamtansicht, rechts unten ist die Kette der alternierenden Berechnungen zwischen Photonen und Elektronen.
Diese Methode löst zwei langjährige Probleme der optischen Rechnung:
Erstens wird die teure Digital-Analog-Umwandlung in der hybriden Architektur vermieden, was den Energieverbrauch erheblich reduziert;
Zweitens hat es von Natur aus den Vorteil, unempfindlich gegen Rauschen zu sein.
Während des Iterationsprozesses wirkt der Fixpunkt wie ein Magnet und hält die Lösung fest, so dass sie nicht leicht abweicht.
Genau deshalb kann der AOC sowohl Optimierungsprobleme behandeln als auch KI-Inferenz durchführen auf derselben Plattform.
Vier Jahre ago war dies noch ein riskanter Versuch im Labor.
Heute hat es in der Zeitschrift Nature veröffentlicht und zum ersten Mal gemacht, dass die optische Rechnung nicht mehr nur ein Papierkonzept ist, sondern tatsächlich in die Öffentlichkeit getreten ist.
Der Microsoft-Chef Satya Nadella hat die AOC-Forschung auf X geteilt und sie als „neue Methode zur effizienteren Lösung komplexer realer Probleme“ bezeichnet und betont, dass das Ergebnis in der Zeitschrift Nature veröffentlicht wurde.
Von der Bank zum Krankenhaus: Der erste praktische Einsatz des AOC
Was das Microsoft-Team den Menschen am meisten zeigen möchte, ist nicht ein technisches Kunststück, sondern die Tatsache, dass diese Technologie tatsächlich in der realen Welt eingesetzt werden kann.
Deshalb hat das Microsoft-Team zwei repräsentative Szenarien ausgewählt – Finanzwesen und Medizin – um dies zu überprüfen.
Im Finanzsektor haben sie mit der Barclays Bank zusammengearbeitet und das tägliche „Delivery versus Payment“-Settlement-Problem, das die Clearinghäuser zu lösen haben, auf den AOC übertragen.
Eine herkömmliche Clearinghaus muss in Hunderttausenden von Transaktionen die effizienteste Settlement-Methode finden. Hier hat das Team zunächst eine verkleinerte Version erstellt:
46 Transaktionen, 37 Parteien, was in ein Optimierungsproblem mit 41 Variablen umgesetzt wurde.
Die Ergebnisse zeigen, dass der AOC die optimale Lösung bereits nach 7 Iterationen gefunden hat.
Wie die Transaktionen zwischen mehreren Finanzinstitutionen über den AOC die optimale Lösung finden.
Der Senior-Engineer der Barclays, Shrirang Khedekar, war ebenfalls an der Publikation beteiligt. Er sagte:
„Wir glauben, dass es hier ein riesiges Potenzial zu erkunden gibt. Auch in der Finanzbranche gibt es andere Optimierungsprobleme, und wir glauben, dass die AOC-Technologie möglicherweise eine Rolle bei der Lösung dieser Probleme spielen könnte.“
Hitesh Ballani leitet die Forschung für die zukünftige KI-Infrastruktur im Microsoft Research-Labor in Cambridge, England.
Auch im medizinischen Bereich hat es bahnbrechende Ergebnisse gezeigt.
Das Team hat die MRI-Kompressed Sensing-Bildgebung in ein Optimierungsproblem umgewandelt, das der AOC lösen kann. Auf der Hardware wurde zunächst ein 32×32-Shepp–Logan-Phantom-Hirnschnittbild getestet, und mit 64 Variablen wurde das ursprüngliche Bild erfolgreich rekonstruiert.
Darüber hinaus haben sie mit der Digitalen Zwillingstechnologie (AOC-DT) einen echten MRI-Datensatz eines menschlichen Gehirns mit 200.000 Variablen rekonstruiert.
MRI-Bildrekonstruktion: Der Rekonstruktionsprozess des Shepp–Logan-Phantoms und die Rekonstruktion eines großen MRI-Datensatzes eines menschlichen Gehirns mit AOC-DT.
Michael Hansen, der Leiter der biomedizinischen Signalverarbeitung bei Microsoft Health Futures, sagte direkt:
„Zur Transparenz: Wir können es derzeit nicht klinisch einsetzen. Dies ist nur ein kleiner Versuch, aber es hat das Gefühl, dass, wenn es wirklich im großen Stil umgesetzt wird, die Auswirkungen unvorstellbar wären.“
Er stellte sich auch vor, dass in Zukunft die Rohdaten der MRI direkt an den AOC auf Azure übertragen werden könnten und dann die Ergebnisse in Echtzeit an das Krankenhaus zurückgesendet werden könnten.
Das würde bedeuten, dass die Scanzeit möglicherweise von 30 Minuten auf 5 Minuten verkürzt werden könnte, was nicht nur die Effizienz erheblich verbessern würde, sondern auch die Patienten weniger leiden lassen würde.
„Wir müssen einen Weg finden, um die Rohdaten zu erhalten und sie an den Ort zu übertragen, wo der Computer steht.“
Von der Finanzbranche bis zur Medizin geben diese beiden Beispiele ein sehr klares Signal: Der AOC ist nicht mehr nur ein konzeptioneller Versuch im Labor, sondern tatsächlich auf dem Weg, die reale Welt zu verändern.
Ein neuer Weg für KI: Möglichkeiten außerhalb der GPU
Der eigentliche Durchbruch, der das Forschungs-Team am meisten begeistert, liegt nicht im Finanz- oder medizinischen Bereich, sondern in der Künstlichen Intelligenz.
Ein Lunch-Gespräch im Labor hat den Wendepunkt gebracht.
Der Forscher Jannes Gladrow hat festgestellt, dass der „Fixpunkt-Such“-Mechanismus des AOC von Natur aus geeignet ist für jene Gleichgewichtsmodelle, die wiederholte Iterationen erfordern und schließlich zu einem Gleichgewichtszustand konvergieren (z. B. Deep Equilibrium Network (DEQ), moderne Hopfield-Netzwerke).
Drei äquivalente Darstellungen des Deep Equilibrium Network (DEQ, Gleichgewichtsmodel).
Auf einer GPU verbrauchen diese Modelle enorme Rechenleistung, während sie auf dem AOC fast „für die Photonen gemacht“ sind.
Deshalb hat das Team versucht, einige einfache KI-Aufgaben auf den AOC zu übertragen. Die Ergebnisse waren schnell sichtbar:
Bei den MNIST- und Fashion-MNIST-Klassifizierungsaufgaben stimmten die Ergebnisse des AOC und des Digitalen Zwillings (AOC-DT) zu fast 99 % überein;
Bei nichtlinearen Regressionsaufgaben (z. B. Anpassung an eine Gaußsche Kurve, Sinuskurve) zeigte der AOC ebenfalls eine stabile Leistung, und die Kurve stimmte fast mit den Simulationsergebnissen überein;
Durch die Zeitmultiplex-Technik haben die Forscher die Hardware auch auf eine äquivalente Größe von 4096 Gewichten erweitert, was beweist, dass er nicht nur für „Kleinigkeiten“ geeignet ist, sondern auch das Potenzial für eine weitere Skalierung hat.
Experimentelle Ergebnisse des AOC bei der MNIST-Klassifizierung und nichtlinearen Regression (Gaußsche Kurve, Sinuskurve).
Diese Experimente zeigen einen neuen Weg außerhalb der GPU.
Die Microsoft-Forscher glauben, dass der zukünftige Großsprachenmodell-Inferenz-Prozess, der am anstrengendsten ist – der Zustandsverfolgung – möglicherweise genau an den AOC übergeben werden könnte.
Stellen Sie sich vor, wenn der komplexe Inferenz-Prozess nicht mehr von der energiehungrigen GPU abhängt, sondern von einem optischen Computer durchgeführt wird, könnte der erforderliche Energieverbrauch um zwei Größenordnungen gesenkt werden.
In einer Zeit, in der man sich Sorgen um die Rechenleistung und den Energieverbrauch macht, entzündet ein solches Ergebnis zweifellos die Phantasie der Branche.
Ein Marathon und eine Vision: Ein anderer Wettlauf für die Rechenleistung
Das Microsoft-Forschungs-Team ist sich bewusst, dass der aktuelle AOC noch nur ein Prototyp ist und es noch einen langen Weg bis zur tatsächlichen kommerziellen Nutzung gibt.
Derzeit kann er nur mit einer Gewichtsgröße im Bereich von einigen Hundert umgehen, aber die Forscher haben bereits einen Ausbaupfad geplant:
In Zukunft kann jeder Modul durch die modulare Erweiterung etwa 4 Millionen Gewichte unterstützen.
Wenn man Dutzende bis Tausende von Modulen zusammenfügt, kann die Gesamtgröße auf 0,1–2 Milliarden Gewichte gesteigert werden.
Noch beeindruckender ist der Vergleich der Energieeffizienz.
Das Team schätzt, dass die fertige Version des AOC möglicherweise 500 TOPS/W erreichen kann (etwa