Chinas erstes selbstentwickeltes großangelegtes Gehirnmodell, "Lu Xi Technology", hat die Zulassung für den "Generative Artificial Intelligence Services Record" erhalten | Frühphasenprojekt

Autor｜Huang Nan

Redakteur｜Yuan Silai

Die Suche nach dem Ursprung großer Modelle begann mit dem 2017 veröffentlichten Papier von Google „Attention Is All You Need“. Dieses stellte kreativ die Transformer-Architektur (im Folgenden: T-Architektur) vor, die in der Lage ist, sowohl lokale als auch langreichweitige Abhängigkeiten zu verarbeiten und optimal für die parallele Datenverarbeitung auf GPUs geeignet ist. Damit wurde die Geburtsstunde von GPT eingeläutet.

Unter seinem Ruhm wurden jedoch auch zwei Hauptmängel der T-Architektur übersehen: Zum einen ist der Berechnungsmechanismus übermäßig von „Matrixmultiplikation“ abhängig, was zu einem hohen Rechenleistungsbedarf führt; zum anderen erfordert jede Berechnung den Abruf aller Verarbeitungseinheiten, was erhebliche Rechen- und Speicherressourcen beansprucht.

Das bedeutet, dass die T-Architektur bei großen Datensätzen und langen Eingabesequenzen sowohl im Training als auch bei der Inferenz zahllose Male die bereits im Speicher (die „Gewichte“ des Modells) vorhandenen Informationen durchsuchen und den relativen Abstand der neuen Daten zu den bestehenden Informationen einzeln vergleichen muss. Dieser Prozess des „Seite für Seite Umblättern von Büchern, vom Deckblatt zum hinteren Einband“ ermöglicht zwar die „präzise Erfassung langreichweitiger Abhängigkeiten“, führt aber auch zu enormen Rechen- und Speicherkosten.

Vor dem Hintergrund einer schleichenden Veralterung der Leistung der T-Architektur haben einige Unternehmen großer AI-Modelle begonnen, nicht-T-Architekturen zu erforschen und dabei technologische, industrielle, anwendungs- und regelkonforme Durchbrüche erzielt. HardCore kam kürzlich in Kontakt mit „LuXi Technology“, einem Unternehmen, das sich auf den Aufbau selbstentwickelter neuroinspirierter Architekturen großer Modelle spezialisiert hat.

Zhou Peng, CTO von „LuXi Technology“, erklärte gegenüber HardCore, dass neuroinspirierte Modelle den „neuro-inspirierten Algorithmus“-Ansatz verfolgen, der die Struktur und Funktion des menschlichen Gehirns imitiert und auch als "brain-inspired" Algorithmusweg bezeichnet wird. Im Vergleich zur Transformer-Architektur und allgemeinen GPT-Modellen ist die Effizienz der Berechnungs- und Speichersysteme des menschlichen Gehirns deutlich höher.

Bei Berechnungen nutzt das menschliche Gehirn das „sparse computing“-Prinzip, bei dem nur die direkt für die aktuelle Berechnung relevanten Neuronen aktiviert werden, während die übrigen inaktiv bleiben. Bei der Speicherung muss das Gehirn nicht wiederholt „Ein Buch umblättern“; es ruft bei Vergleichen von neuen mit alten Daten nur den hochkomprimierten Speicher ab, wobei die Informationen selbst in einem „verborgenen Zustand“ bleiben.

„Anschaulich ausgedrückt würde ein von der T-Architektur betriebenes großes Modell enorm viel Rechenleistung beanspruchen, die hunderte oder sogar tausende Quadratmeter eines Rechenzentrums füllen könnte und von mehreren Wasserkraftwerken gemeinsam betrieben werden müsste. Im Gegensatz dazu benötigt das menschliche Gehirn für eine Berechnung mit derselben Komplexität nur die Energie, die wir täglich aus Reis, Brötchen, Gemüse, und Fleisch zu uns nehmen,“ erklärte Zhou Peng.

Basierend auf dieser Überlegung hat „LuXi Technology“ die „NEURARK neuroinspirierte Architektur“ vorgeschlagen, die die hochfidele, leichte, energiearme und latenzfreie Rechen- und Speichermechanismen des menschlichen Gehirns nachahmt. Dabei wird eine Vereinfachung der grundsätzlichen Rechenmechanismen durchgesetzt, indem sparsame Berechnungen wie „Punktprodukt + Addition“ anstelle des energieintensiven „Matrixmultiplikation“-Modus eingesetzt werden.

Zugleich hat „LuXi Technology“ einen Speichermechanismus entwickelt, der dem Speicherstil des menschlichen Gehirns ähnelt: das „Management des verborgenen Zustands“. Dadurch wird es ermöglicht, dass während der Inferenz großer Modelle nur der Speicher, ohne den Abruf der bereits vorhandenen Datensätze, genutzt wird, was den Speicherplatzbedarf erheblich reduziert.

Derzeit hat „LuXi Technology“ bereits eine Kooperationsvereinbarung mit zentralen und lokalen Staatsunternehmen in der Informationsindustrie unterzeichnet, um beim gemeinsamen Aufbau und der Einführung von Produkten in Bereichen wie allgemeinen medizinischen Großmodellen und speziellen Modellen für Krankheiten wie Diabetes + Schilddrüse/Krebs zu arbeiten. Das neuroinspirierte medizinische Modell wurde in mehreren Provinzen mit 3. Stufe-Krankenhäusern, Netzwerkkrankenhäusern und bedeutenden Abteilungen vorangestellt.

Darüber hinaus hat das Unternehmen auch mit Regierungseinheiten, nationalen und zentralen Staatsunternehmen und führenden Unternehmen in den Bereichen Finanzen, Bildung, Meteorologie, Wasserwirtschaft, Regierungsangelegenheiten, Netzsicherheit und anderen Infrastrukturbranchen Kooperationsabsichten vereinbart, von denen einige bereits vertraglich unterzeichnet sind. Mehrere intelligente Gerätehersteller und Chip-Hersteller sind aktiv mit „LuXi Technology“ im Gespräch, um die neuroinspirierte Architektur und die großen neuroinspirierten Modelle in Bereichen wie Modell-Chip-Anpassung, Geräte-seitige intelligente Betriebssystementwicklung und personalisiertes Design von intelligenten Geräten zu nutzen.

HardCore hat erfahren, dass das von „LuXi Technology“ selbst entwickelte neuroinspirierte große Modell im August dieses Jahres die staatliche Registrierung für „generative AI-Dienste“ erhalten hat. Es ist das erste selbstentwickelte große Modell in China, das diese Registrierung erhalten hat, das erste nicht auf der Transformer-Architektur basierende große Modell und das erste Modell, das die „brain-inspired“ Algorithmusmethode nutzt. Das nicht-T-Architektur-Modell wird bald offiziell online gehen.