Der ehemalige KI-Direktor von NVIDIA revolutioniert Transformer: Eine physische KI mit 5 Billionen Kontext, die das gesamte Universum simulieren kann

Das ist absolut beeindruckend!

Die KI beginnt, das gesamte Universum vorherzusagen —

LLMs erzeugen sprachliche Beschreibungen der Welt, Video-Weltmodelle sagen (dynamische) Bilder voraus, und diesmal wird direkt der physikalische Zustand des vierdimensionalen Raums und der Zeit vorhergesagt.

Am beeindruckendsten ist, dass es eine völlig neue Architektur namens „Neural Operators“ verwendet, anstatt des allseits beliebten Transformers.

Es gibt in einem einzigen Inferenzschritt die vollständige vierdimensionale Trajektorie aus, wobei die Zeitdimension vollständig mit einbezogen wird.

Die dafür erforderliche Länge des langen Kontexts ist zweifellos enorm, und das Startup Accelerated Understanding hat den Kontextumfang während des Trainings auf die Billionen-Ebene (1T) angehoben, der bei der Inferenz sogar über 5 Billionen beträgt!

Was bedeutet 5 Billionen? Das ist das 5-Millionen-fache des Kontextumfangs der derzeit führenden LLMs! Es ist so, als ließe man die KI „Krieg und Frieden“ 5 Millionen Mal am Stück lesen – und sie merkt sich alles.

Denken Sie einmal darüber nach, ganz genau.

Die Zeit ist kein grundlegendes Element, sondern vielmehr eine Erscheinung, die sich aus einer tieferliegenden Informationsstruktur ergibt – ist das nicht interessant? Wenn man diesen Gedanken bis zum Äußersten treibt, entspricht das der Erzeugung des gesamten physikalischen Universums.

Noch überraschender ist, dass die beiden Gründer dieses Startups gerade das lukrative Angebot des ehemaligen reichsten Menschen der Welt Jeff Bezos abgelehnt haben, das 35 % der Unternehmensanteile, ein Jahresgehalt von 2 Millionen US-Dollar und eine Finanzierungszusage von über 2 Milliarden US-Dollar umfasste.

Und der „geistige Aktionär“ und mögliche heimliche Förderer hinter ihnen ist vielleicht genau der Mann in der Lederjacke – Jensen Huang, CEO von NVIDIA.

5 Billionen Kontext sind nicht Ilyas „Sichere Superintelligenz“

Gestern äußerten sich die Investment-Größen im Silicon Valley vage, aber das gesamte Internet geriet in Aufregung: Alle spekulierten, dass Ilyas SSI diesmal einen großen Coup landen könnte.

Jetzt scheint das Rätsel gelöst zu sein: Es ist nicht Ilya, nicht einmal ein Sprachmodell, sondern ein echter „Universumsgenerator“.

Die erschreckenden Daten von Accelerated Understanding verbreiten sich viral:

• Modellparameterumfang: Das vortrainierte Modell hat bereits einen Umfang von bis zu 1 Billion Parametern erreicht.
• Extreme Skalierbarkeit: Die Größe der Skalierungsexperimente ist bereits auf 35 Billionen Parameter angestiegen.
• Kontextumfang während des Trainings: 1 Billion.
• Kontextumfang während der Inferenz: Über 5 Billionen.

Unterstützt von diesem riesigen Kontextumfang zeigt das Modell erschreckende Fähigkeiten:

Bei der Durchführung physikalischer Simulationen ist keine Unterabtastung (No sub-sampling) und keine blockweise Verarbeitung (No chunking) erforderlich.

Selbst bei extrem komplexen physikalischen Systemen im 4D-Raum kann es mit „One-shot“ die vollständige Bewegungsbahn des gesamten Raum-Zeit-Kontinuums erzeugen!

Darüber hinaus kann das gleiche Modell aufgrund der einheitlichen zugrundeliegenden Logik gleichzeitig physikalische Probleme völlig unterschiedlicher Bereiche verarbeiten!

Das war früher undenkbar.

Früher nutzten Meteorologen Wettermodelle und Materialwissenschaftler Materialmodelle. Jetzt zeigt Accelerated Understanding der Welt: Die physikalischen Gesetze sind auf der untersten Ebene miteinander verwandt, ein allgemeines großes physikalisches KI-Modell reicht aus, um alle Bereiche abzudecken.

Das revolutionärste Kernfeature von Accelerated Understanding besteht darin, dass es einen perfekten geschlossenen Kreislauf aus „Simulation → Verbesserung → Simulation“ aufbaut. Es ist nicht nur ein „Generator“, sondern ein echter „Reality Validator“.

Und diese gezielte Rückkopplung trifft auch Ilyas Trainingsverfahren während der Inferenz.

„Transformer ist tot?“ Das Erwachen der physikalischen KI

Wenn Sie heute jeden KI-Experten fragen: „Was ist die derzeit beliebteste KI-Architektur?“, lautet die Antwort zu 100 %: Transformer.

Von ChatGPT bis zu verschiedenen Videogenerierungsmodellen dominiert diese von Google erfundene Architektur die KI-Branche der letzten Jahre (es ist genau das „T“ in ChatGPT).

Aus Sicht von Anima ist der Weg des Transformers fehlgeleitet.

„Die sprachzentrierte Sicht auf Intelligenz ist „menschenzentriert““, betonte Anima in einem exklusiven Interview vor der Produktpräsentation pointiert, „während die Physik in den Mittelpunkt zu stellen eine „naturnzentrierte“ Sichtweise ist.“

Wie funktionieren die heutigen LLMs und Video-Weltmodelle? Im Wesentlichen spielen sie ein „Wahrscheinlichkeitsspiel“.

ChatGPT sagt das nächste am wahrscheinlichsten erscheinende Wort voraus.

Und die beeindruckenden KI-Modelle zur Videogenerierung nutzen im Grunde genommen visuelle Abkürzungen (Visual Shortcuts) – sie lassen die generierten Bilder nur „anscheinend“ den physikalischen Gesetzen entsprechen, aber wenn Sie die darin enthaltene Gravitation, Strömungsdynamik und Materialspannung genau untersuchen, werden Sie feststellen, dass sie alle falsch sind.

Sie verstehen Physik überhaupt nicht, sie sind nur hochstufige „Pixel-Wiederholungsmaschinen“.

Text hat nur eine Dimension, Video hat nur drei Dimensionen, aber die reale Raumzeit besteht aus 3 Dimensionen des Raums plus 1 Dimension der Zeit.

Darüber hinaus verwenden viele Modelle autoregressive Verfahren – sie sagen Bild für Bild voraus, wobei sich Fehler schrittweise anhäufen.

Daher lehnt Accelerated Understanding den Transformer vollständig ab und verzichtet auch auf visuelle Abkürzungen.

Ihr ultimatives Waffe ist eine revolutionäre Technologie, an der Anima vor Jahren mitgewirkt hat: Neural Operators.

Im Gegensatz zur Textverarbeitung sind Neural Operators speziell für die Verarbeitung komplexer, unsichtbarer physikalischer Daten entwickelt worden. Sie müssen die physische Welt nicht zwangsweise auf Text oder Pixel reduzieren, sondern verstehen mehrere physikalische Phänomene direkt im vollständigen 4D-Raum (3D-Raum + Zeitdimension).

Unsichtbare Luftströmungen, Plasmaturbulenzen in Kernfusionsreaktoren, mikroskopische thermische Verteilungen in Chips … diese physikalischen Prozesse, die das menschliche Auge nicht sehen kann und die herkömmliche KI nicht anhand von „visuellen Erfahrungen“ erraten kann, werden unter dieser neuen Architektur klar sichtbar und berechenbar.

Jensen Huang war schockiert, Bezos wurde abgelehnt

Nachdem Sie das gelesen haben, fragen Sie sich vielleicht: Wie viel Rechenleistung wird benötigt, um ein so erschreckendes Modell zu trainieren? Woher kommt das Geld?

Obwohl die Mitbegründer keine Details zur aktuellen Finanzierung preisgeben wollen, deuten sie vage an, dass „sie eine Zusammenarbeit mit Rechenleistungsanbietern abgeschlossen haben, die Hardwarecluster zur Entwicklung und zum Betrieb der KI bereitstellen“.

Aber alle Hinweise weisen auf ihren ehemaligen Arbeitgeber NVIDIA und Jensen Huang hin, der immer wieder betont, dass „KI die Zukunft ist“.

Zurück ins Jahr 2018: Anima wurde von NVIDIA als KI-Forschungsdirektorin eingestellt.

In fünf Jahren leitete sie ein Team von Spitzenwissenschaftlern, um zu erforschen, wie die GPU-Rechenleistung von NVIDIA in bahnbrechenden KI-Bereichen eingesetzt werden kann.

Damals realisierte das Team ein frühes beeindruckendes Projekt: Die Beschleunigung der Wettervorhersage durch KI. Die Ergebnisse zeigten, dass die KI-Vorhersagegenauigkeit genauso hoch war wie die der extrem komplexen herkömmlichen numerischen Strömungsmodellen von Meteorologen, aber die Geschwindigkeit um mehrere Größenordnungen höher lag.

Dieses Ergebnis hat Jensen Huang direkt „umgehauen“.

Auf der NVIDIA GTC-Konferenz 2021 stand Jensen Huang persönlich auf der Bühne und zeigte der Welt die Forschungsergebnisse des Anima-Teams zu „Neural Operators“. „Er war damals sehr aufgeregt“, erinnert sich Jensen Huang.

Als Anima halb scherzend zu Huang sagte: „Die KI könnte den theoretischen Physikern ihr Brot wegnehmen“.

Damals strahlte Huang und antwortete selbstbewusst: „Ich will, dass sie ihnen das gesamte Brot wegnimmt!“

Laut Anima war es Jensen Huang, der sie ursprünglich ermutigt hat, diese verrückte Idee der „physikalischen KI“ zu verfolgen und umzusetzen.

Obwohl NVIDIA heute noch keine Stellungnahme zu der Anfrage von Reuters abgegeben hat, ob das Unternehmen in dieses Startup investiert hat, ist es in der KI-Branche allen klar: Ohne die heimliche Unterstützung von Spitzen-Rechenleistung ist es unmöglich, ein riesiges Modell mit 5 Billionen Kontextumfang zu entwickeln.

Jensen Huangs großer Plan ist endlich umgesetzt worden.

Aber um zu verstehen, wie stark dieses „große physikalische KI-Modell“ ist, müssen wir zurück nach Ende 2024 nach Los Angeles gehen.

In einem gehobenen Restaurant fand ein geheimes Abendessen statt, das das heutige KI-Ökosystem verändern könnte.

Einer der Hauptgäste des Abendessens war der Investor und Biotech-Unternehmer Vik Bajaj (er gründete später gemeinsam mit Bezos Project Prometheus, dessen Bewertung über 10 Milliarden US-Dollar liegt).

Ihm gegenüber saß ein Paar mit erstklassigem KI-Hintergrund: Anima Anandkumar, Professorin für Rechner- und Mathematikwissenschaften am California Institute of Technology und ehemalige KI-Forschungsdirektorin bei NVIDIA, und ihr Ehemann Benedikt Jenik, ein erstklassiger KI-Infrastrukturingenieur.

Bajaj kam gut vorbereitet mit einem Angebot namens „Project Prometheus“. Die von Bezos stark unterstützte Vereinbarung bot unglaublich vorteilhafte Bedingungen:

Anima wird als Gesicht der Firma, Mitglied des Vorstands und Gestalter der wissenschaftlichen Vision eingeladen;

Das Ehepaar erhält bis zu 35 % der Unternehmensanteile;

Das Grundjahresgehalt beträgt