Von DeepSeek über Kimi bis zur „Jensen Huang-Allianz“: Was ist eigentlich das „Offene“ bei quelloffenen KI-Modellen?

In den frühen Morgenstunden des 13. August wurde DeepSeek V4 Pro offiziell vorgestellt, was das Ökosystem der Open-Source-Modelle weiter stark befeuert. Von Kimi K3 über MiniMax H3 bis hin zu DeepSeek V4 flash und DeepSeek V4 Pro können die US-KI-Unternehmen unter dem starken Vorstoß chinesischer Open-Source-Modelle diesmal wirklich nicht mehr stillsitzen.

Jensen Huang hat persönlich seinen ersten Tweet in seinem Leben veröffentlicht und die gesamte Branche aufgerufen, gemeinsam die Entwicklung des US-amerikanischen Open-Source-Ökosystems voranzutreiben. Derzeit gehören zu diesem Bündnis fast alle wichtigen Akteure der US-KI-Branche mit Ausnahme von Anthropic. Auch Leiter von Closed-Source-Modellen wie Sam Altman und Sundar Pichai haben selten öffentliche Beiträge veröffentlicht, um ihre Unterstützung zum Ausdruck zu bringen.

Warum stehen diese Unternehmen, die sich normalerweise am heftigsten bekämpfen, diesmal selten auf derselben Seite? Und was ist der Grund dafür, dass Anthropic sich weigert, beizutreten?

Um diese Frage zu beantworten, müssen wir zuerst eine grundlegendere Sache klären: Was bedeutet eigentlich das „Open-Source-Modell“, von dem in der heutigen KI-Branche die Rede ist? Und was bedeutet es für Modellanbieter und die gesamte Branche, wenn ein Modell Open Source wird?

01

Was wird bei Open-Source-Modellen eigentlich geöffnet?

Viele Menschen glauben, dass ein KI-Modell nur ein Satz von Code ist und dass „Open Source“ bedeutet, den Code zu veröffentlichen – aber das stimmt nicht. Um zu verstehen, was bei einem Modell tatsächlich freigegeben wird, müssen wir zuerst den vollständigen Ablauf eines großen Sprachmodells von der Schulung bis zur endgültigen Veröffentlichung durchgehen.

Dieser Prozess lässt sich grob in sieben Teile unterteilen.

Erstens: Trainingsdaten. Das Entwicklungsteam muss zuerst entscheiden, mit welchen Daten das Modell trainiert werden soll, z. B. Webseiten, Bücher, Code und wie die Anteile verschiedener Datentypen verteilt werden, bevor die Daten bereinigt und gefiltert werden. Dieser Schritt bestimmt, ob die „Grundlage“ des Modells gut ist.

Zweitens: Modellarchitektur und Parameterumfang. In dieser Phase wird das Modell hauptsächlich geplant und entworfen, einschließlich der verwendeten Modellarchitektur, des Umfangs der Parameter und verschiedener Trainingskonfigurationen. Diese Entwürfe bestimmen die Obergrenze der Fähigkeiten des Modells und die Effizienz des Trainings.

Es ist zu beachten, dass der Parameterumfang nicht der Größe der Trainingsdaten entspricht. Das Training eines Modells besteht im Wesentlichen aus ständigen „Anpassungen“, und der Parameterumfang gibt an, „wie viele Stellen insgesamt angepasst werden müssen“. Je größer der Parameterumfang ist, desto komplexer sind die Details und Muster, die das Modell erfassen und verarbeiten kann.

Drittens: Trainingsinfrastruktur. Nachdem das Modell entworfen wurde, ist eine enorme Rechenleistung für das Training erforderlich, einschließlich GPU-Cluster, Hochgeschwindigkeitsnetzwerke, Speichersysteme und verschiedener Trainingsframeworks. Die effiziente Organisation dieser Rechenleistung ist genau der derzeit beliebteste Bereich KI-Infrastruktur (AI Infra). DeepGEMM von DeepSeek, FlashKDA und MoonEP von Kimi K3 gehören alle zu den Innovationen auf dieser Ebene.

Nachdem Daten, Architektur und Infrastruktur vorbereitet sind, beginnt die eigentliche Trainingsphase.

Viertens: Trainingsablauf und Checkpoint. In dieser Phase wird das Modell vortrainiert, feinabgestimmt und mit Verstärkungslernen optimiert. Während des Trainings wird ständig „gespeichert“, um das Training, Tests oder Rollbacks zu erleichtern.

Fünftens: „Modellgewichte“. Nach langem Training werden Milliarden oder sogar Billionen von Parametern im Inneren des Modells schrittweise auf geeignete Werte eingestellt. Die endgültige Sammlung dieser Parameter sind die „Modellgewichte“ – das Kernstück des gesamten Modells, das das Wissen und die Fähigkeiten aufzeichnet, die das Modell während des Trainings erlernt hat.

Sechstens: Modellbereitstellung. Nach Abschluss des Trainings müssen die Gewichte auf Servern bereitgestellt werden, um sie Entwicklern und Unternehmen über APIs oder lokale Bereitstellung tatsächlich nutzbar zu machen.

Zuletzt: „Technischer Bericht“. Nach Abschluss dieser Prozesse erstellen Modellanbieter normalerweise einen „Technischen Bericht“. Darin werden die Ideen für die Gestaltung der Modellarchitektur, die ungefähre Zusammensetzung der Daten, Probleme während des Trainings und die endgültigen Bewertungsergebnisse vorgestellt, damit die Außenwelt versteht, wie das Modell entwickelt wurde. Ein technischer Bericht ist jedoch keine Schritt-für-Schritt-Anleitung zum Nachbauen, sondern beschreibt hauptsächlich eine Methodik.

Nachdem der Trainingsablauf klar ist, welche Gliederungspunkte sind dann bei „Open Source“ konkret gemeint? Nach dem Grad der Offenlegung von Modellen gibt es heute hauptsächlich drei Typen: Closed Source, Open Weight und vollständig Open Source. Wir beginnen mit den beiden Extremen.

Closed-Source-Modelle sind leicht verständlich: Keiner der oben genannten Schritte wird der Öffentlichkeit zugänglich gemacht. Kunden können die Fähigkeiten des Modells nur auf Ebene der Modellbereitstellung über APIs oder konkrete Produkte nutzen. Die meisten aktuellen Modelle von Anthropic, OpenAI und Google haben diese Form.

Vollständig Open-Source-Modelle heißen „Open Source“, was bedeutet, dass Trainingsdaten, Trainingscode, zwischenzeitliche Speicherstände und technische Berichte vollständig offengelegt werden. Die OLMo-Serie, die von Ai2 (Allen Institute for Artificial Intelligence) entwickelt wurde, ist ein Vertreter dieses Typs.

Aber die meisten heute genannten Open-Source-Modelle sind eigentlich keine echten „Open Source“, sondern befinden sich im Zwischenbereich zwischen Open Source und Closed Source: „Open Weight“ (offene Gewichte). Das entspricht der Freigabe des Endergebnisses des Modelltrainings – Nutzer können es direkt verwenden und auf seiner Grundlage Feinabstimmungen und Verbesserungen vornehmen.

Aber zwischen verschiedenen Open-Weight-Modellen gibt es große Unterschiede im Grad der Offenlegung. Wir erläutern dies anhand mehrerer repräsentativer Modelle.

Zuerst sind „Modellgewichte“ streng genommen nur eine riesige Datei aus Zahlen, die allein nicht direkt ausgeführt werden können. Wenn Sie die Gewichte von Kimi K3 direkt von Hugging Face herunterladen, erhalten Sie etwa 2,8 Billionen Gleitkommazahlen, die in der durch die Modellarchitektur festgelegten Reihenfolge sauber angeordnet sind.

Daher veröffentlichen Anbieter neben den Gewichten normalerweise auch einen Inferenzcode, der den Benutzern erklärt, wie die Gewichtsdatei gelesen wird, in welcher Reihenfolge Berechnungen ausgeführt werden und wie das Endergebnis zu einer Antwort für den Nutzer wird.

Die grundlegendste Form von „Open Weight“ besteht darin, die Modellgewichte und diesen ausführbaren, feinabstimmbaren Inferenzcode zu veröffentlichen, sodass jeder das Modell auf seinen eigenen Servern ausführen kann. Das repräsentativste Beispiel dafür ist die Llama-Serie von Meta.

Aber die genauere Zusammensetzung der Trainingsdaten, die Strategien zur ständigen Anpassung während des Trainings und die interne Werkzeugkette, die das gesamte Modelltraining unterstützt – diese Kernbereiche hat Meta nie freigegeben.

Früher, von Llama 1 bis Llama 3, veröffentlichte Meta noch detailliertere technische Berichte, um Modellentwürfe und Ingenieurserfahrungen zu teilen. Bei Llama 4 im letzten Jahr veröffentlichte Meta jedoch nur einen kurzen Blogbeitrag, keinen vollständigen technischen Bericht mehr – der Grad der Offenlegung wurde konservativer.

Einer der wichtigen Gründe, warum DeepSeek die gesamte Branche schockiert hat, ist, dass es nicht nur die Methoden detailliert erläutert, sondern sogar die interne Ingenieurswerkzeugkette selbst Open Source gestellt hat – es kann als die Plus-Version von „Open Weights“ bezeichnet werden.

Vorher ähnelten die technischen Berichte der meisten Modellanbieter eher PR-Artikeln: Sie teilten normalerweise mit, wie viele Parameter das Modell hat und welche Ergebnisse bei welchen Benchmarks erzielt wurden, erklärten aber selten, wie diese Ergebnisse erreicht wurden.

Aber DeepSeek V3 und DeepSeek-R1 haben früher selten offengelegte Entwicklungsdetails fast ohne Vorbehalte beschrieben. Zum Beispiel wird detailliert erläutert, wie das MoE-Modell (Mixture of Experts) entworfen wurde, warum Multi-head Latent Attention (MLA) verwendet wird, um den Speicherbedarf von KV Cache zu senken, wie FP8-Training stabil implementiert wird und warum man sich für die aktuelle Gestaltung entschieden und andere Wege aufgegeben hat.

Neben technischen Berichten hat DeepSeek nach und nach Komponenten für Trainings- und Inferenzinfrastruktur wie DeepEP und FlashMLA Open Source gestellt und viele Ingenieurserfahrungen, die früher nur internen Teams gehörten, zu Werkzeugen gemacht, die die gesamte Branche nutzen kann.

Man kann sagen, dass DeepSeek eine neue Form der Modellfreigabe eingeleitet hat, und Kimi K3 hat diesen Ansatz fortgesetzt.

Neben der Veröffentlichung sehr detaillierter technischer Berichte zur Erläuterung von Modellarchitektur, Trainingsmethoden und zahlreichen Ingenieurdetails hat Kimi K3 diesmal gleichzeitig drei selbst entwickelte zugrundeliegende Infrastrukturen freigegeben: MoonEP zur Verbesserung der Kommunikationseffizienz zwischen Hunderten von „Experten“ in MoE-Modellen, FlashKDA zur Beschleunigung der Aufmerksamkeitsberechnung und AgentEnv zur Erstellung einer ausführbaren Umgebung für das Training von Agenten.

Diese drei Punkte entsprechen den drei Engpässen beim Training großer Modelle: Kommunikation, Berechnung und Trainingsumfeld – sie helfen allen, besser zu verstehen, wie das Kimi-Team dieses Modell effizient trainiert hat.

Allerdings ist bei den meisten Open-Weight-Modellen im gesamten Trainingsablauf derzeit eigentlich nur die Modellgewichte, der Inferenzcode sowie ein Teil der technischen Berichte und Infrastrukturwerkzeuge öffentlich. Trainingsdaten und der vollständige Trainingsablauf bleiben nach wie vor die wichtigsten Geschäftsgeheimnisse der jeweiligen Unternehmen.

Außerdem bedeutet Open Weight nicht, dass es keinerlei Einschränkungen gibt. Was tatsächlich bestimmt, ob Entwickler das Modell kommerziell nutzen, modifizieren und neu veröffentlichen dürfen, ist die dem Modell beigefügte Lizenz.

02

Wie verdienen Open-Weight-Modelle Geld?

Im vergangenen Jahr gab es einen deutlichen Trend: Die Lizenzen der meisten chinesischen Modellanbieter werden immer offener.

Zum Beispiel verwendete DeepSeek bei der ersten Veröffentlichung seiner Modelle ein selbst definiertes Abkommen, das noch einige Einschränkungen für Nutzungsszenarien enthielt. Bei DeepSeek-V3 und R1 wurde jedoch vollständig auf die MIT-Lizenz umgestellt. Das bedeutet, dass Entwickler fast frei herunterladen, modifizieren und kommerziell nutzen können, solange der Urheberrechtsvermerk beibehalten wird – die Einschränkungen sind sehr gering.

Qwen von Alibaba hat einen ähnlichen Weg eingeschlagen: Von der anfänglichen selbst definierten Lizenz von Alibaba wurde später auf die international weit verbreitete Apache 2.0-Lizenz umgestellt, was die Hürden für die kommerzielle Nutzung stark senkte. Es ist erwähnenswert, dass die Flaggschiff-Max-Serie von Qwen bisher immer Closed Source war und nur über APIs genutzt werden konnte – aber Anfang dieses Monats kündigte Alibaba an, erstmals die Gewichte des Flaggschiffmodells Qwen3.8-Max Open Source zu stellen.

Genauso verhält es sich mit GLM von Zhipu AI: Seit GLM-4-0414 im Jahr 2025 wird die MIT-Lizenz verwendet, die bis heute beibehalten wird – die Einschränkungen für die kommerzielle Nutzung sind sehr locker.

Natürlich wählen nicht alle Unternehmen die „völlige Freigabe“. Die vorherige K2-Serie von Kimi verwendete eine Lizenz namens Modified MIT. Bei K3 wurde jedoch ein völlig neues Ab