Von Nvidia bis Pika: Warum nutzen die Giganten aus dem Silicon Valley die „umgekehrte Hebelwirkung“ bei diesem chinesischen eigenentwickelten Modell?

Es wird kaum jemanden überraschen, dass ein chinesisches KI-Unternehmen mit GPUs von Nvidia und technischen Ansätzen, die sich an Silicon Valley orientieren, sein eigenes großes Videomodell trainiert.

Aber was passiert, wenn es umgekehrt ist?

Das Forschungsteam des weltweit führenden GPU-Giganten Nvidia hat selten ein quelloffenes multimodales Modell eines chinesischen Unternehmens ausgewählt, um mit eingesetztem Personal und Zeit ein Videogenerierungsmodell zu entwickeln. Das ist durchaus interessant.

Vom Startup zu Nvidia – warum wurde H3 ausgewählt?

Im August dieses Jahres hat MiniMax die Gewichte des multimodalen Modells H3 freigegeben. Dieses Modell kann verschiedene Arten von Materialien wie Text, Bilder, Audio und Video einheitlich verstehen und berücksichtigt gleichzeitig Generierungsqualität, Geschwindigkeit und Kosten. Aus Sicht des technischen Ökosystems ermöglicht die Freigabe der Modellgewichte externen Teams, direkt an Nachschulung, Destillation und Inferenzoptimierung teilzunehmen, wodurch ihre Möglichkeiten zur Beteiligung an der Modellentwicklung erweitert werden. Innerhalb eines Monats nach der Open-Source-Veröffentlichung wurde H3 über 24 Millionen Mal heruntergeladen, und es gibt mehr als 300 öffentliche abgeleitete Modelle, die darauf basieren.

Die ersten, die davon angezogen wurden, sind Videogenerierungsunternehmen. Die meisten ihrer Kunden verwenden Videogenerierungsmodelle, um Werbe- und Marketingmaterialien zu erstellen, und legen Wert auf Generierungsgeschwindigkeit sowie die Konsistenz von Produkten und Charakteren. So brillant die technischen Demonstrationen auch sein mögen, im kommerziellen Produktionsprozess interessieren sich Kunden oft für praktischere Fragen: Verformt sich der Text auf der Produktverpackung? Kann derselbe Charakter nach einem Szenenwechsel sein ursprüngliches Aussehen behalten? Muss das gesamte Video neu generiert werden, um einen Werbespot zu bearbeiten? Können Zeit und Kosten bewältigt werden, wenn Tausende von Kurzvideos in Massenproduktion hergestellt werden? Diese Fragen bestimmen, ob KI-Video eine beeindruckende Technologie oder ein wirklich skalierbares Geschäft ist.

Der Branchenwettbewerb ist hart, und diese Videogenerierungsunternehmen haben den Anreiz, das Modell gezielter an die Anforderungen der Kunden anzupassen.

fal, ein Unternehmen für generative Medieninfrastruktur, geht von diesen Anforderungen aus, trainiert H3 Max auf Basis von MiniMax H3 und optimiert das Inferenzsystem rund um das Modell, mit dem Ziel, eine schnellere Generierungsgeschwindigkeit zu erreichen. Das Videogenerierungsunternehmen Pika möchte die Anforderungen professioneller Ersteller auf seiner Plattform besser erfüllen. Am 29. Oktober veröffentlichte es H3 Flex, das auf der Nachschulung von H3 basiert und die Generierungsschritte komprimiert.

Es ist etwas überraschend, dass Nvidia, im Gegensatz zu diesen Unternehmen in vertikalen Branchen, ein Videogenerierungsmodell auf Basis von H3 weiterentwickelt. Ende Oktober veröffentlichte das relevante Forschungsteam von Nvidia Open-H3-Regenerate-2K auf Basis von H3: Zuerst erzeugt H3 einen Entwurf mit niedriger Auflösung, dann wird ein hochauflösendes Video durch ein zusätzlich trainiertes Verfeinerungsmodul und dreistufiges Rauschentfernen neu generiert. Das Projekt behält die ursprünglichen Gewichte von H3 bei.

Nvidia investiert selten so viele Ressourcen in multimodale Modelle, hat H3 jedoch systematisch weiterentwickelt.

Zuvor haben sie das Streaming-Video-Rendering-Programm StreamRender-H3 und einen schnellen Videodecoder eingeführt, um die interaktive Generierung bzw. die Beschleunigung der Decodierung zu erforschen; das Inferenzoptimierungsprojekt verbessert den Generierungsprozess, während die Gewichte des H3-Modells, die Prompt-Wörter und die Generierungskonfiguration unverändert bleiben.

Videogenerierungsunternehmen und globale Giganten wie Nvidia haben unterschiedliche Anwendungsszenarien für Modelle, aber ihre Kriterien für die Auswahl des Basismodells sind sehr hoch: Es muss in der Lage sein, komplexe multimodale Eingaben und Videogenerierungsaufgaben zu verarbeiten, die Gewichte freigeben und Forschern erlauben, das Modell lokal auszuführen, Verfeinerungsmodule hinzuzufügen oder den Inferenzprozess umzugestalten. Selbst wenn ein Modell vollständig quelloffen ist, ist es schwierig, die Grundlage für weitere Forschung und Entwicklung zu werden, wenn die Generierungsqualität nicht ausreicht, die Architektur schwer zu erweitern ist oder es sich nicht an neue Trainingsaufgaben anpassen kann.

Es gibt nicht viele multimodale Modelle, die diese Kriterien erfüllen. Die Leistung und Erweiterbarkeit von H3 haben dazu geführt, dass es immer wieder ausgewählt wird. Im September dieses Jahres belegte H3 mit 1495 Punkten den ersten Platz in der Arena-Bild-zu-Video-Rangliste und erhielt insgesamt mehr als 57.000 Bewertungsstimmen.

Aber Nvidias Ziel könnte darüber hinausgehen. Es ist gut darin und traut sich, in der Anfangsphase neuer Technologien zu investieren und das Ökosystem zu fördern. Ein Beispiel dafür ist CUDA: Durch Ressourcenverlagerung und geschäftliche Maßnahmen lassen Entwickler Anwendungen rund um Nvidia-GPUs erstellen, wodurch ein Software-Ökosystem mit hohen Barrieren entstanden ist.

Der Bereich der multimodalen Modelle könnte die nächste Chance der CUDA-Klasse sein: Durch die Durchführung von Inferenzbeschleunigung und Generierungsanwendungen rund um H3 lassen sich mehr Videomodelle und Entwickler in den NVIDIA-Technologie-Stack einbinden. Nvidia setzt nicht nur auf den Videogenerierungsmarkt, sondern auch auf das dahinter stehende Ökosystem und die Nachfrage nach Rechenleistung.

In dem quelloffenen Ökosystem sind Partner auch „Knoten“, die den Zugang zu größeren Märkten ermöglichen

Wenn führende Unternehmen Videomodelle in ihre Produktionsprozesse integrieren, haben sie unterschiedliche Anforderungen, und dasselbe Unternehmen stellt im Laufe der Geschäftsentwicklung auch neue Anforderungen. Wenn Modellanbieter diese Anforderungen einzeln erfüllen und sie kontinuierlich warten und aktualisieren, steigen die Kosten stetig an.

Eine Untersuchung der Videogenerierungsplattform Runway ergab, dass einige Unternehmenskunden die Modellgewichte direkt besitzen, das Modell in ihrer eigenen Umgebung bereitstellen und dann mit eigenen Daten feinabstimmen möchten. In Interviews von der Risikokapitalgesellschaft a16z mit KI-Verantwortlichen von Unternehmen wurde ebenfalls erwähnt, dass Kontrolle und Anpassung an spezifische Geschäftsvorgänge wichtige Gründe sind, warum Unternehmen offene Modelle wählen. In ihrem Bericht wird auch darauf hingewiesen, dass Unternehmen offene Modelle zunehmend schätzen, nicht nur wegen des Preises, sondern auch weil sie sie anhand ihrer eigenen Daten feinabstimmen können.

Modelle mit freigegebenen Gewichten bieten eine neue Lösung. Die Freigabe der Gewichte ermöglicht es führenden Unternehmen, das Modell in ihre eigenen Produktionssysteme zu integrieren. Sie können das Modell an die Anforderungen bestehender Kunden anpassen und die Fähigkeiten dann über ihre eigenen Plattformen, Produkte und Dienstleistungen bereitstellen.

Dies weist auf einen weiten Markt hin, der von einem einzigen Unternehmen nicht bedient werden kann. Diese Partner sind jeweils mit Kunden, Plattformen und Arbeitsabläufen verbunden. Für Modell- und Produkthersteller wie MiniMax können Partner zu Knoten werden, die den Zugang zu mehr Branchen ermöglichen. Wenn H3 mit den Produkten der Partner in mehr Kunden und Szenarien gelangt, kann MiniMax auch seine eigenen Branchenanwendungen kontinuierlich erweitern, sodass mehr technische Teams, die mit vertikalen Szenarien vertraut sind, teilnehmen und auf Basis der vorhandenen Fähigkeiten von H3 gezielte Optimierungen durchführen, um gemeinsam die Umsetzung der Videogenerierungstechnologie in verschiedenen Bereichen voranzutreiben.

Dies ist auch eine im quelloffenen Ökosystem einzigartige Art der Kommerzialisierung. MiniMax kann diese wichtigen Unternehmen als „Knoten“ nutzen, um seine Einnahmequellen durch Lizenzierung, Bereitstellungsunterstützung oder gemeinsame Entwicklung zu erweitern.

Dies ist ein Geschäftspfad, der bereits in mehreren Branchen validiert wurde. Horizon Robotics, ein Unternehmen für Chips und Algorithmen für autonomes Fahren, gibt die BPU-Chip-IP und die Wahrnehmungsalgorithmus-Lizenz frei und bietet Chips, Toolchains, Lösungen sowie gemeinsame Entwicklung an. Automobilhersteller und Partner können darauf aufbauend differenzierte Produkte erstellen, was nicht nur den „Freundeskreis“ und den Einfluss dieses Unternehmens erweitert, sondern auch seine Kommerzialisierung direkt unterstützt.

Gemäß der „MiniMax H3 Community License Agreement“ wird im anwendbaren Gebiet eine gebührenfreie begrenzte Lizenz gewährt, die es Benutzern erlaubt, das Modell gemäß den Bestimmungen zu verwenden, zu modifizieren und abgeleitete Modelle zu entwickeln; wenn das jährliche Einkommen aus kommerziellen Produkten oder Dienstleistungen, die H3 verwenden, 20 Millionen US-Dollar übersteigt, muss vorher die schriftliche Genehmigung von MiniMax eingeholt werden.

Mit der weiteren Belebung des Ökosystems entwickelt sich die Kommerzialisierung von MiniMax H3 ebenfalls rasant.

Wenn die Videogenerierung von einem gelegentlich genutzten Kreativwerkzeug zu einem neuen Glied in der Produktionskette von Unternehmen wird, werden sich in direkt verwandten Branchen wie Werbung, E-Commerce, Film und Fernsehen, Spielen und Bildung sowie in breiteren Bereichen jeweils neue Werkzeuge und Dienstleistungen entwickeln. Die Freigabe der Gewichte macht H3 zu einer gemeinsamen Basis, die von diesen Teams umgestaltet wird, und gibt MiniMax die Möglichkeit, entlang der Produkte seiner Partner in mehr Branchen einzudringen.

Dies entspricht dem Leitgedanken, den MiniMax immer vertritt: „Intelligence with Everyone“. Die Entwicklung der KI besteht nicht nur darin, dass wenige Modellunternehmen kontinuierlich stärkere Versionen auf den Markt bringen, sondern mehr Entwickler und mehr Unternehmen werden ebenfalls Knoten in dieser Welle technologischer Innovationen sein, und jeder ist sowohl Nutzer neuer Technologien als auch Förderer der Welle.

Für ein kommerzielles Unternehmen ist es wichtiger, dass der Markt den kommerziellen Wert eines quelloffenen Modells neu bewerten könnte: Abgesehen von API-Einnahmen ist das kommerzielle Potenzial eines Modells möglicherweise größer als erwartet, wenn es zur Basis für Unternehmensanpassung, Bereitstellung und Produktentwicklung wird, in die Arbeitsabläufe mehrerer Branchen eindringt und Einnahmen aus Lizenzierung, technischen Dienstleistungen und gemeinsamer Entwicklung generiert.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „AI-Front“ (ID: ai-front), Autor: Dong Mei, veröffentlicht mit Genehmigung von 36Kr.