Das erste große generative Modell, das Physik als Berechnungsgrundlage nutzt, Un-0, ist da – könnte es den Energieverbrauch von KI um das 1000-fache senken?

In den letzten zehn Jahren hat die digitale Berechnung mit der GPU als Kern das Gebiet der Künstlichen Intelligenz dominiert. Größere Cluster, höhere Bandbreite, stärkere GPUs und dichtere Rechenzentren scheinen der Hauptweg in die nächste Generation der KI zu sein.

Mit der Steigerung der Modellparameter auf die Billionengrenze wird in der Branche zunehmend das Thema „Energieverbrauch“ erwähnt. Sogar ein noch grundlegendes Problem tritt auf: Wenn die KI weiterhin so expandiert wie bisher, woher kommt der Strom?

Zweifellos hat sich die „Stromrechnung der KI“ und der Energieverbrauch allmählich von Betriebskosten zu einem „strukturellen Engpass“ entwickelt, der die Entwicklung der gesamten Branche hemmt.

Angesichts dieser drohenden Energiekrise tritt der ehemalige Leiter der KI bei Databricks und legendäre Silicon Valley - Unternehmer Naveen Rao mit seinem neuen Hard - Tech - Start - up Unconventional AI in den Fokus.

Heute hat Unconventional AI die Veröffentlichung seines ersten Modells Un - 0, eines Bildgenerierungsmodells, das von einem „simulierten gekoppelten Oszillatorsystem“ angetrieben wird, offiziell bekannt gegeben. Es kann als Beispiel für eine neue physikalische Rechenbasis betrachtet werden. Auf ImageNet 64×64 erreicht Un - 0 einen FID - Wert von 6,74, was der Qualität einiger etablierter traditioneller Bildgenerierungsmethoden bei ihrer Veröffentlichung nahekommt.

Naveen Rao bezeichnet es als „erstes großskaliges Generierungsmodell, das auf Physik als Rechenprimitivum aufbaut“.

„Dies markiert einen ‚Hello World‘ - Moment für physikbasierte Modelle. Wir nutzen das natürliche zeitabhängige Verhalten von physikalischen Systemen, um die Berechnungen für uns zu erledigen. Das Ergebnis ist eine völlig neue Art, Rechenarchitekturen zu bauen, und es besteht die Hoffnung, dass sich die Energieeffizienz erheblich verbessern lässt.“

Sogar in einem Medieninterview hat Naveen Rao ein noch kühneres „Kleinziel“ genannt: In Zukunft könnte der Energieverbrauch bei der KI - Inferenz auf ein Tausendstel des heutigen Systems gesenkt werden.

Beispiel für die zeitliche Entwicklung des Generierungsprozesses von Un - 0. Die Farbe jeder Linie entspricht einem nahezu gleichfarbigen Kasten. Im Kasten ist die Kategorie angegeben, und es wird gezeigt, wie das Bild dieser Kategorie im Laufe der Zeit schrittweise generiert wird.

Die Offizielle Seite hat einen Blogbeitrag veröffentlicht, um Un - 0 vorzustellen. Lassen Sie uns uns nun genauer damit befassen.

Der Ausgangspunkt von Un - 0: Die KI - Berechnung mit physikalischen Systemen neu gestalten

Unconventional AI gibt an, dass ihr Ziel darin besteht, einen neuen Typ von Computer zu bauen, der physikalische Gesetze zur Berechnung nutzt. Sie hoffen, dass die moderne KI in Zukunft mit einem viel geringeren Energieverbrauch als heute funktionieren kann, etwa mit einem um das 1000 - fache reduzierten Energieverbrauch.

Daher haben sie sich die Frage gestellt: Kann man ein physikalisches dynamisches System trainieren, um Bilder in skalierbaren Aufgaben zu generieren?

Heutzutage sind die stärksten KI - Modelle in der Regel traditionelle Tiefe Netzwerke, insbesondere Modelle mit Transformer als Rückgrat. Aber neben der Hauptrichtung gibt es seit langem viele Forschungen, die versuchen, das dynamische Verhalten von physikalischen Systemen zur Verbesserung der Energieeffizienz zu nutzen, wie z. B. Rauschen, zeitliche Veränderungen, Spannung und Strom in analogen Schaltungen. Diese Methoden berechnen nicht mit traditionellen digitalen Werten, sondern nutzen den eigenen Evolutionsprozess des physikalischen Systems.

Beispiele sind die neuromorphe Berechnung, Hopfield - Netzwerke und Reservoir - Computing sowie in den letzten Jahren entwickelte Hamiltonian - Netzwerke, Liquid - Netzwerke, Neural Wave Machines, Thermodynamic Computing und Kuramoto - Oszillatoren.

Un - 0 ist ein neuer Versuch auf diesen nicht - traditionellen Rechenwegen. Der Kern der Schwierigkeit besteht darin, dass die KI - Aufgaben effektiv auf den dynamischen Prozess des physikalischen Systems abgebildet werden müssen, um diese alternativen Rechenmethoden nutzen zu können. Un - 0 möchte überprüfen, ob moderne KI - Workloads auf einer physikalischen Basis ausgeführt werden können und am Ende effizienter als die heutige Hardware sind.

Das Arbeitsprinzip von Un - 0

Die Offizielle Seite gibt an, man könne sich zwei Metronome nebeneinander vorstellen, die taktend ticken, wie in der folgenden Abbildung gezeigt.

Jedes Metronom hat zu jedem Zeitpunkt eine „Phase“, d. h. die aktuelle Position des Schwingarms im Schwingzyklus. Wenn zwei Metronome auf demselben Tisch stehen, beeinflussen sie sich über den Tisch gegenseitig. Je nach Stärke der Wechselwirkung, d. h. der Kopplungsstärke, können sie sich allmählich synchronisieren oder in eine synchrone Phase mit entgegengesetzter Richtung gelangen.

Dies ist das Grundkonzept des Oszillators: Jeder Oszillator hat seine eigene Phase und tendiert dazu, mit seiner eigenen Frequenz zu rotieren, wird aber gleichzeitig von benachbarten Oszillatoren beeinflusst.

Wenn man von zwei Oszillatoren auf Tausende von Oszillatoren erweitert, wird das gesamte System noch interessanter. Zwischen einer großen Anzahl von Oszillatoren gibt es Kopplungsbeziehungen unterschiedlicher Stärke. Sie organisieren sich durch die gegenseitige Wechselwirkung zu einem bestimmten Muster, wie in der folgenden Abbildung gezeigt.

Der Rechenmotor von Un - 0 ist ein solcher großskaliger Oszillatorverbund. Die Kopplungsstärke zwischen den Oszillatoren ist der wichtigste lernbare Parameter des Modells.

Diese gekoppelten Oszillatoren werden normalerweise als „Kuramoto - Oszillatoren“ modelliert.

Genauer gesagt folgt die Bewegung jedes Oszillators einer einfachen Regel, die kontinuierlich mit der Zeit gilt: Einerseits rotiert er mit seiner natürlichen Frequenz, andererseits wird er von allen anderen Oszillatoren gezogen und verlagert.

Die folgende gewöhnliche Differentialgleichung (ODE) beschreibt den Zeitverlauf der Entwicklung dieser Oszillatoren:

Jeder Oszillator i hat eine Phase

∈[0,2π), wobei

seine natürliche Frequenz angibt. Die Matrix

gibt die Kopplungsstärke an, um zu bestimmen, wie stark der Oszillator j den Oszillator i in die Synchronphase zieht oder von ihr wegdrückt.

Was Un - 0 lernen muss, sind die Kopplungsmatrix K und die natürliche Frequenz ω. Diese Parameter definieren zusammen das physikalische System selbst.

Unconventional AI gibt zwei Gründe für die Wahl der Oszillatoren an:

• Der erste Grund stammt aus dem Gehirn: Im Gehirn gibt es weit verbreitete rhythmische Aktivitäten und Synchronisierungsphänomene. Seit langem wird angenommen, dass diese Phänomene möglicherweise am Berechnungsprozess beteiligt sind, wie z. B. die Bindung von verstreuten Merkmalen zu einem kohärenten Wahrnehmungsergebnis, die Steuerung der Informationsaustausche zwischen Gehirnregionen und die Organisation der zeitlichen Struktur von Nervenimpulsen. Koppelte Oszillatoren sind eines der einfachsten mathematischen Modelle, um solches Verhalten zu beschreiben, und eignen sich daher natürlich als Basiseinheit für neuroneninspirierte Rechenmodelle.
• Der zweite Grund ist eher engineering - orientiert: Oszillatoren können als physikalische Schaltungsprimitive implementiert werden. Unconventional AI ist der Meinung, dass ein gekoppeltes Oszillatorsystem direkt auf einer CMOS - oder anderen physikalischen Basis implementiert werden kann, sodass das physikalische Verhalten des Systems selbst die dynamische Entwicklung berechnet.

Das Risiko hinter Un - 0 besteht darin, dass wenn physikalische Gesetze direkt die KI - Workloads berechnen können, könnte die zukünftige Ausführungsbasis sehr unterschiedlich von der heutigen GPU sein.

Die Modellarchitektur von Un - 0

Die Generierung eines Bildes mit Un - 0 erfolgt in etwa in fünf Schritten:

• Zufällige Initialisierung: Die Phasen aller Oszillatoren werden auf einen zufälligen Winkel gesetzt (ähnlich wie das zufällige Rauschen in Diffusionsmodellen);
• Eingabe der Kategorie als Führung: Mit einer kleineren Gruppe von „Bedingungsoszillatoren“ wird die Kategorielabel (z. B. „Vulkan“, „Gänseblümchen“) eingegeben, um den Hauptoszillatorverbund in eine bestimmte Richtung zu lenken;
• Lassen Sie die Physik natürlich ablaufen: Das System wird freigegeben, und die Oszillatoren ziehen sich unter der Wirkung der physikalischen Dynamik gegenseitig an, entwickeln sich und stabilisieren sich schließlich;
• Schnappschuss aufnehmen: Zu einem bestimmten Zeitpunkt T werden die Phasen aller Oszillatoren aufgezeichnet, um ein latentes digitales Gitter zu bilden;
• Pixel rendern: Über einen traditionellen Decoder, der weniger als 13 % der Modellparameter ausmacht, wird das Phasengitter in die endgültigen Bildpixel umgewandelt.

Entwicklung der gekoppelten Oszillatoren im Laufe der Zeit unter der Wirkung der trainierten Kopplungsbeziehungen. Zwischen den Bedingungsoszillatoren und dem Hauptoszillatorpool gibt es eine einseitige Rang - niedrige Kategoriebedingungsmatrix, um die Kategorieninformationen einzupflegen. Zum Zeitpunkt T liest das System den Zustand der Oszillatoren über einen Decoder und generiert ein Bild. Durch mehrfaches Sampling unterschiedlicher Anfangsbedingungen kann die entsprechende Bildverteilung generiert werden.

Während des Trainings lernt das Modell hauptsächlich drei Arten von Parametern: Wie die Oszillatoren miteinander gekoppelt sind, d. h. die Matrix K; die natürliche Frequenz jedes Oszillators

; und die Gewichte des Decoders. Insgesamt übernimmt das Oszillatorsystem die Berechnungen, die normalerweise von traditionellen neuronalen Netzwerkschichten durchgeführt würden.

Unconventional AI erklärt, dass die Wahl dieser Architektur darin besteht, dem dynamischen System die maximale Freiheit zur Berechnung zu geben.

Bei der Vorwärtsverarbeitung des Trainings muss das Modell nur die Kopplungsmatrix, die Oszillatorfrequenz und die Anfangsphase einstellen, dann lässt man das dynamische System evolvieren und liest schließlich die latenten Bildvariablen aus.

Dies unterscheidet sich von dynamischen Generierungsmethoden wie Diffusionsmodellen und Flow