Die großen Tech-Giganten im Silicon Valley nutzen es einer nach dem anderen als ihre Basisinfrastruktur – womit macht dieses chinesische Open-Source-Modell das überhaupt möglich?

Der derzeit heißeste Trend ist zweifellos das KI-Video.

Am 3. November gab fal, das sich auf die Inferenz generativer Medien spezialisiert hat, den Abschluss seiner neuesten Finanzierungsrunde bekannt. Die Bewertung erreichte 16 Milliarden US-Dollar, was sich gegenüber dem April dieses Jahres verdoppelte. Die Runde wurde von dem Top-VC Bessemer angeführt, und NVIDIA beteiligte sich als strategischer Investor. In den öffentlichen Mitteilungen von Bessemer tauchte der Name eines chinesischen Open-Source-Modells auf.

Das auf dem chinesischen Open-Source-Modell MiniMax H3 basierende H3 Max von fal erreichte nach seiner Veröffentlichung schnell die Spitzenposition auf allen wichtigen Ranglisten und Wettbewerbsplattformen. Es ist das erste markante Produkt von fal, das den Übergang von der Inferenzdienstebene zur Modellentwicklungsebene vollzieht. H3 Max ist nur eine der branchenweiten Maßnahmen rund um MiniMax H3. Um dieses chinesische Videomodell, das erst im August dieses Jahres veröffentlicht und quelloffen gemacht wurde, hat sich im Silicon Valley schnell eine dichte Zusammenarbeit im Geschäftsleben entwickelt – fal ist kein Einzelfall.

Ende Oktober veröffentlichte das Forschungsteam von NVIDIA in Zusammenarbeit mit dem Massachusetts Institute of Technology (MIT) auf Basis von H3 ein Open-Source-Schema zur Verbesserung von 2K/4K-HD-Videos. Unmittelbar danach hat Pika, ein berühmtes Video-Startup im Silicon Valley, das von Institutionen wie Lightspeed Venture Partners investiert wurde und insgesamt 135 Millionen US-Dollar an Finanzmitteln erhalten hat, auch ein neues Modell auf seiner Grundlage erstellt. Wie „Intelligente Emergenz“ erfahren hat, haben NVIDIA und MiniMax bereits eine separate Lizenzvereinbarung für die entsprechende Forschungszusammenarbeit geschlossen.

In China wächst die Begeisterung der C-End-Nutzer gleichzeitig. Eine kurze Serie über Undercover-Ultraman, die von einem UP-Hersteller auf Bilibili erstellt wurde, hat bereits mehr als 6 Millionen Aufrufe pro Folge erreicht. Viele unabhängige Kreative teilen in ihren Videos, dass sie nur mit einer Consumer-Grafikkarte zu Hause Storyboards, Synchronisation und Schnitt lokal durchführen können. Hinter diesen Abläufen verweist fast alles ebenfalls auf MiniMax H3.

In der Vergangenheit ging das chinesische KI-Geschäft in der Regel mit fertiger Software ins Ausland, um Nutzer zu finden. Jetzt hat sich die Richtung geändert: Ein offenes Modell beginnt gleichzeitig in die Arbeitsabläufe von Kreativen, die technische Optimierung von Chipherstellern und die Produktentwicklung von ausländischen Unternehmen einzugehen. Damit eröffnet sich für das chinesische KI-Geschäft ein neuer Weg zur Bereitstellung grundlegender Basismodelle.

Aber warum gerade H3?

01

H3 überschreitet zuerst die Schwelle für industrielle Anwendungen

Ob ein offenes Modell in die kommerzielle Produktion einfließen kann, hängt von drei Dingen ab: Bildqualität, Stabilität und Steuerbarkeit. Viele Open-Source-Videomodelle in der Vergangenheit eigneten sich zum Generieren kurzer Clips, konnten aber die Anforderungen von Szenen wie Film und Werbung nicht erfüllen, die fortlaufende Aufnahmen und Synchronisation von Ton und Bild erfordern. Der Unterschied von H3 liegt darin, dass Ton und Bild nativ gleichzeitig erzeugt werden und es multimodale Referenzsteuerung unterstützt.

Es generiert Bilder, Dialoge und Umgebungsgeräusche in ein und demselben Modell. Es kann maximal 15 Sekunden lange Videos mit Ton auf einmal ausgeben und unterstützt 11 Sprachen. Gleichzeitig unterstützt es die Steuerung von Anfangs- und Endbildern und akzeptiert bis zu 12 Referenzdateien, sodass das Image und die Stimme der Figur zwischen verschiedenen Aufnahmen konsistent bleiben.

Auf dem blinden Bewertungsranking für Text-zu-Video des unabhängigen Bewertungsinstituts Artificial Analysis belegt H3 mit 1162 Punkten den dritten Platz weltweit. Unter allen Videomodellen mit offenen Gewichten steht H3 fest an erster Stelle, mit einem Vorsprung von ganzen 216 Punkten vor dem Zweitplatzierten LTX-2.5 Fast mit 946 Punkten. Ein Branchenkenner, der mit mehreren Open-Source-Videomodellen in Berührung gekommen ist, sagte gegenüber „Intelligente Emergenz“, dass H3 eines der wenigen Basismodelle im Bereich offener Gewichte ist, das direkt in kommerzielle Pipelines eingefügt und ohne größere Änderungen verwendet werden kann.

Das Engagement von NVIDIA erfolgte genau an diesem Punkt.

Zuvor hat NVIDIA bereits die erste Tag-Inferenzanpassung für die Sprachmodelle der M-Serie von MiniMax bereitgestellt. Am Tag der Veröffentlichung von H3 hat das gemeinsame Team von NVIDIA und MIT die erste Runde der technischen Optimierung innerhalb von 4,5 Stunden abgeschlossen und eine 3,95-fache Beschleunigung der Inferenz auf einem Cluster von 8 GB200-Grafikkarten erreicht. Später hat das Team schrittweise Hardware wie RTX 5090 und DGX Spark angepasst und die produktionsreife Inferenzframework Sol-H3 sowie den schnellen Decoder Sol-H3-VAE eingeführt. Das neu veröffentlichte Open-H3-Regenerate-2K hat die Generierungszeit eines 5-Sekunden-2K-Videos auf einer einzelnen B200-Grafikkarte von 87 Sekunden auf 22 Sekunden reduziert.

Wie „Intelligente Emergenz“ erfahren hat, gibt es zwei harte Schwellenwerte für den technischen Aufwand bei der Entwicklung auf Basis von Basis-Videomodellen: Erstens muss das Generierungsergebnis des Basismodells komplexe Aufgaben bewältigen, zweitens müssen die Gewichte vollständig offen sein, sodass Ingenieure in die Inferenz-, Decodierungs- und Bildqualitätsstufen eingreifen können, um weitere Optimierungen durchzuführen. Für NVIDIA ist ein solches hochbelastetes Videomodell selbst ein geeignetes Objekt, um die Fähigkeit von GPU und Software-Stack zur Verarbeitung von Videoaufgaben zu testen. H3 erfüllt beide Bedingungen gleichzeitig.

02

Die Arbeitsteilung hinter 300 abgeleiteten Modellen

Die ausreichende Modellfähigkeit ist nur der erste Schritt.

Öffentlichen Daten zufolge hat die Gesamtzahl der Downloads nach der Öffnung der Gewichte von H3 24 Millionen überschritten, und die Anzahl der abgeleiteten Modelle übersteigt 300. Für MiniMax bedeutet die Entwicklung von Produkten externer Teams auf Basis von H3 nicht unbedingt, dass Nutzer abgezogen werden. Die Videoproduktion umfasst verschiedene Segmente wie Aufnahmesteuerung, digitale Personenübertragung, Bildqualitätsverbesserung und Inferenzbereitstellung. Es ist für ein einziges Modellunternehmen schwierig, alle diese spezialisierten Anforderungen alleine zu erfüllen.

Der Arbeitsteilungspfad der nachgelagerten Teams ist bereits weitgehend klar. Das Filmmodell Utopai X und die digitale Personenplattform HeyGen Video 1 basieren beide auf H3 als Grundstein und führen Nachschulungen und Produktisierung rund um ihre jeweiligen Nutzer und Szenarien durch. Pika hat eine Optimierung auf Basis von H3 vorgenommen und Pika H3 Flex aus zwei leichten Adaptern mit einer Größe von jeweils etwa 2,8 GB zusammengesetzt. Die gemeinsame Wahl verschiedener nachgelagerter Teams ist es, die allgemeinen grundlegenden Fähigkeiten an H3 zu übergeben und ihre eigenen Entwicklungsressourcen auf Segmente zu konzentrieren, die näher am Produkt liegen, wie Aufnahmesteuerung, Referenzgenerierung und Videobearbeitung.

Für nachgelagerte Unternehmen senkt dieser Weg die Kosten für die vollständige Vortraining von Grund auf. Für MiniMax kann jedes reife abgeleitete Produkt das Basismodell in neue Geschäftsszenarien bringen.

Die Zusammenarbeit rund um H3 erstreckt sich auch auf die Inferenzeffizienz. FastVideo hat die Rauschunterdrückungsberechnung auf 4 Schritte reduziert. H3Max, das von MiniMax in Zusammenarbeit mit der Inferenzplattform fal entwickelt wurde, verkürzt die Generierungszeit von 5-Sekunden-Audio-Videos auf unter 3 Sekunden. HyperFlow von Video Rebirth reduziert die Rauschunterdrückungsschritte auf 8. Verschiedene Teams optimieren rund um dasselbe Basismodell in Bezug auf Geschwindigkeit, Kosten und Bereitstellungsmethode.

Im Hinblick auf die Anpassung an inländische Rechenressourcen hat das Chengdu Supercomputing Center in Zusammenarbeit mit Partnern H3 an den Ascend 910A angepasst und es für die Produktion des Mangas „Fremdfressende Domäne“ verwendet. Umgerechnet nach den Punkten der Plattform betragen die Produktionskosten etwa 40 Yuan pro Minute, was unter dem Preisbereich von 90 bis 200 Yuan pro Minute für hochwertige KI-Serien auf dem Markt liegt. H3 ist also nicht nur in die Entwicklungsabläufe ausländischer Unternehmen eingetreten, sondern wird auch für die inländische Inhaltsproduktion und die Bereitstellung in verschiedenen Hardwareumgebungen verwendet.

Von der Nachschulierung auf Anwendungsebene über die Inferenzbeschleunigung und Bildqualitätsverbesserung bis hin zu Kreativwerkzeugen und der Anpassung an inländische Hardware ergänzen externe Teams jeweils ihre spezialisierten Segmente. Endprodukte müssen um Nutzer konkurrieren, aber der Wert des Basismodells liegt genau darin, mehr Teams zu ermöglichen, Produkte darauf zu entwickeln. Je mehr nachgelagerte Akteure tätig sind, desto breiter sind die Märkte und Szenarien, in die H3 eindringen kann.

03

Gestaffelte Lizenzierung behält den kommerziellen Raum für offene Modelle

Offene Gewichte bedeuten nicht, dass alle kommerziellen Nutzungen uneingeschränkt sind. Tatsächlich müssen Open Source und Kommerzialisierung nicht miteinander in Konflikt geraten.

In der Community-Lizenzvereinbarung für H3 zieht MiniMax die Grenze zwischen kostenloser kommerzieller Nutzung und separater Lizenzierung bei einem Jahresumsatz von 20 Millionen US-Dollar: Wenn der Jahresumsatz kommerzieller Produkte oder Dienstleistungen unter 20 Millionen US-Dollar liegt und MiniMax H3 deutlich auf der Produktoberfläche gekennzeichnet ist, ist die kommerzielle Nutzung kostenlos. Wenn diese Grenze überschritten wird oder die Bereitstellung in eingeschränkten Märkten wie den Vereinigten Staaten, Europa, Großbritannien und Südkorea geplant ist, muss zuvor die schriftliche Lizenz von MiniMax eingeholt werden.

Diese Regeln bieten unterschiedliche Zugänge für Nutzer unterschiedlicher Größe. Einzelentwickler und kleine und mittlere Teams können das Modell zunächst verwenden, um ihr Produkt zu validieren. Wenn das Geschäft wächst oder die Expansion in eingeschränkte Märkte geplant ist, müssen sie die kommerzielle Lizenz mit MiniMax weiter bestätigen. Für große Unternehmen werden Aspekte wie die Einhaltung von Vorschriften, Anpassungsfähigkeit und Dienstleistungsstabilität zu einem Teil der Kaufentscheidung, sobald das Modell in Kernprodukte und Produktionsabläufe integriert wird.

„Intelligente Emergenz“ hat festgestellt, dass MiniMax im tatsächlichen Geschäftsbetrieb bereits mehrere verschiedene Arten von Lizenzkooperationen ausgebildet hat.

Zum Beispiel wurde Comfy Ende August ein autorisierter Händler und bietet eine kommerzielle Lizenz für die Professional-Version ab 5000 US-Dollar pro Monat an.

Institutionen wie Nuva Lab sind berechtigt, kommerzielle Hosting-Dienste für H3 anzubieten und Dienstleistungen für Branchenkunden und Dienstleistungsintegratoren bereitzustellen.

Das Forschungsteam von NVIDIA arbeitet mit MiniMax im Rahmen einer separaten Lizenzvereinbarung zusammen.

Verschiedene Kunden wählen unterschiedliche Kooperationsmethoden, was Unterschiede im Nutzungsumfang des Modells, den Bereitstellungsregionen und den Lieferanforderungen entspricht.

Betrachtet man die gesamte Inhaltsbranche, so hat Black Forest Labs mehrere Lizenzprogramme festgelegt, und Lightricks definiert die Nutzungsgrenzen ebenfalls nach dem Umsatzvolumen. Offene Gewichte helfen Modellanbietern, das Entwickler-Ökosystem zu erweitern, während kostenpflichtige Dienste und kommerzielle Lizenzen den höheren Nutzungsanforderungen gerecht werden. Dieses Vorgehen bildet sich allmählich in der Branche heraus.

04

Schlussfolgerung

Von den Erstellern von Kurzserien auf Bilibili über das technische Team von NVIDIA bis hin zu ausländischen Videounternehmen wie Pika beobachten wir, dass H3 bereits in die Arbeitsabläufe verschiedener Arten von Teams eingetreten ist. Sie verwenden dasselbe Basismodell, investieren aber weiterhin in Anwendungsentwicklung, Inferenzoptimierung, Bildqualitätsverbesserung und kommerzielle Produkte.

Der Wettbewerb um Videomodelle wird sich weiter in Richtung höherer Generierungsqualität und komplexerer Steuerungsfähigkeit entwickeln. Für Basismodellanbieter bestimmt jedoch auch, ob das Modell von mehr Teams übernommen, angepasst und in tatsächlichen Geschäftsabläufen eingesetzt werden kann, seine Position in der Branche.

Durch die Öffnung von H3, um externe Teams zur Teilnahme an der Entwicklung zu gewinnen, und die anschließende Bereitstellung gestaffelter Lizenzen zur Abdeckung des skalierten kommerziellen Bedarfs versucht MiniMax, einen Weg von der Modellfähigkeit über die branchenweite Zusammenarbeit bis hin zur kommerziellen Verwertung zu beschreiten. Wie weit dieser Weg letztendlich gehen kann, hängt sowohl von der kontinuierlichen Iteration der Modellfähigkeiten selbst als auch von der Differenzierungsgeschwindigkeit der Videomärkte in China und den USA im nächsten Jahr ab.