Nach der Open-Source-Freigabe von Kimi K3 eröffnet sich die Möglichkeit, Spitzen-KI-Modelle ebenfalls quelloffen zu veröffentlichen.

Nach der Veröffentlichung von Kimi K3 als Open-Source-Modell hat die Branche das erste vollständig gewichtsoffene Modell der 3T-Klasse erhalten, das derzeit weltweit größte Open-Source-Modell hinsichtlich des Parameterumfangs.

In den vergangenen drei Jahren vollzog sich im globalen Bereich der großen KI-Modelle ein wichtiger Wandel: Chinesische Modellanbieter besitzen einen größeren Vorteil im Ökosystem der Open-Source-Community als ihre US-amerikanischen Konkurrenten.

K3 verstärkt diesen Effekt weiter. Laut der offiziellen Vorstellung von Kimi liegt die Gesamtleistung von K3 zwar noch hinter den stärksten geschlossenen Modellen Claude Fable 5 und GPT-5.6 Sol zurück, es weist jedoch in der gesamten Bewertung Fähigkeiten auf Spitzenniveau auf und übertrifft stabil alle anderen Modelle.

Im Vergleich zu Kimi K3 stieg die Gesamtzahl der Parameter von K3 um 167 %, die Anzahl der aktivierten Parameter um 220 % und die Kontextlänge wurde von 128K auf 1M erweitert, was einer achtfachen Steigerung entspricht. Theoretisch steigt seine Rechenkomplexität im quadratischen Maßstab an.

Dass K3 die Parameterzahl auf 2,8 Billionen anheben und eine 2,5-fache Erweiterungseffizienz (höhere Modellkapazität bei gleichem Rechenaufwand) erzielen kann, liegt im Kern in zwei grundlegenden Optimierungen der herkömmlichen Transformer-Architektur: KDA (Kimi Delta Attention / gemischter linearer Aufmerksamkeitsmechanismus) und Attention Residuals (Aufmerksamkeitsresiduen).

Ersteres kann die stetig wachsende KV-Cache (Cache) in einen Zustand mit fester Matrixgröße komprimieren, während Letzteres die Probleme des Informationsabfalls und des Verschwindens von Gradienten im Modelltraining wirksam verringern und den reibungslosen Fluss des Informationsstroms aufrechterhalten kann.

Gleichzeitig optimiert K3 durch Technologien wie Stable LatentMoE (stabiles latentes Mixed-Expert-System), MoonEP (grundlegende Kommunikationsbibliothek) und FlashKDA (Hochleistungs-Rechenoperator) die Inferenz-Rechenkosten, die Kommunikationsfähigkeit und die Recheneffizienz erheblich.

Nach der Veröffentlichung auf Hugging Face erreichte K3 innerhalb von 30 Minuten mit über 4000 Likes die Spitzenposition der Trendliste. Der CEO von Hugging Face, Clem Delangue, veröffentlichte eine Erklärung, wonach dies die bislang schnellste Wachstumsrate bei einer Veröffentlichung ist.

Greg Brockman, Präsident von OpenAI, äußerte sich kürzlich in einem Interview zu K3 und bezeichnete es als zweifellos wettbewerbsfähiges neues KI-Modell. Er gab gemäß entsprechenden Bewertungen an, dass der Abstand Chinas zu den USA in der Modellentwicklung nur noch etwa 4 Monate betragen könnte.

Darüber hinaus lobte Elon Musk öffentlich die Forschungsarbeit zum Paper *Attention Residuals*, die der K3-Architektur zugrunde liegt, als „impressive“ (beeindruckend).

01

Neben dem Einfluss, der sich aus der Open-Source-Veröffentlichung selbst ergibt, sagte ein Entwickler großer KI-Modelle gegenüber dem Reporter von *Jiemian News*, dass die direktere Auswirkung der Open-Source-Veröffentlichung von K3 auf der kommerziellen Ebene liegt. In Kombination mit niedrigeren Preisen und dem sich allmählich verkleinernden Abstand zwischen den Modellen beeinflussen chinesische Open-Source-Modelle grundlegend die Dominanz von Anbietern geschlossener Modelle wie OpenAI und Anthropic über die Preisgestaltungsbefugnis von APIs, hinter der eine große Menge potenzieller kommerzieller Interessen steht.

Vor dem Erscheinen von K3 war ein weiteres aufsehenerregendes geschlossenes Modell das Fable 5 von Anthropic. Für dieses Modell gibt es keine offiziell veröffentlichte genaue Angabe zu den Parametern, aber die Branche geht allgemein davon aus, dass es sich um ein Modell im Bereich von 5T bis 10T handelt.

Der durchschlagende Erfolg von Fable 5 und K3 beseitigt ausnahmslos in unterschiedlichem Maße die lang bestehenden Zweifel der Branche, ob es noch sinnvoll ist, die Modellparameter weiter zu erhöhen.

Der vorgenannte Entwickler sagte gegenüber dem Reporter von *Jiemian News*, dass Modellanbieter kaum eine andere Wahl haben, als weiter zu „Scaling Up“ (die Größenordnung zu erweitern), um im Wettbewerb zu bleiben. „Zumindest derzeit dienen Nachverarbeitungstechniken wie das RL (Reinforcement Learning) hauptsächlich der „Feinschliffung“: Je besser das Grundmodell ist, desto höher ist der Ausgangspunkt für die Nachverarbeitung.“

Chinesische Modellanbieter haben bereits nacheinander die Entwicklung von Modellen mit mehr als 2T-Parametern vorangetrieben. Alibaba veröffentlichte am 19. Juli die Vorschauversion von Qwen3.8 Max, ein multimodales Modell mit einem Parameterumfang von bis zu 2,4 Billionen; Anfang Juli gab es Berichte, dass MiniMax an einem neuen großen Sprachmodell mit 2,7 Billionen Parametern arbeitet, das intern als „M3 Pro“ bezeichnet wird.

02

Beide Modelle werden Berichten zufolge sofort nach ihrer Veröffentlichung als Open-Source-Modelle bereitgestellt. Tatsächlich ist dies bereits ein wichtiger Weg für chinesische Modellanbieter, ihren technologischen Einfluss zu vergrößern.

Das im Januar dieses Jahres von Baidu offiziell veröffentlichte Modell Wenxin 5.0 ist laut offizieller Vorstellung ein Modell mit 2,4T-Parametern und möglicherweise der erste Anbieter im Inland, der diese Größenordnung erreicht hat. Dieses Modell hat jedoch im In- und Ausland keine große Resonanz ausgelöst.

Einerseits verwendet dieses Modell eine ultradünne Mixed-Expert-Architektur mit einem Anteil aktivierter Parameter von weniger als 3 %, also etwa 70B. Im Vergleich dazu beträgt die Anzahl der aktivierten Parameter von K3 etwa 104B. In gewissem Maße beeinflusst die Größe der aktivierten Parameter auch die Leistung des Modells.

Andererseits ist Wenxin 5.0 trotz der Tatsache, dass Wenxin 4.5 im vergangenen September in das Open-Source-Ökosystem aufgenommen wurde, immer noch ein geschlossenes Modell. Einige Branchenvertreter weisen darauf hin, dass dies ein kooperativer Ansatz ist, bei dem Grundmodelle als Open-Source-Modelle und Flaggschiff-Modelle als geschlossene Modelle bereitgestellt werden. Es zielt möglicherweise darauf ab, ein Gleichgewicht zwischen technologischer Allgemeinwohlförderung und kommerziellen Interessen herzustellen, bei dem Erstere Nutzer anzieht und Letztere diese zu zahlenden Kunden umwandelt.

Aber das Open-Source-Ökosystem für chinesische Modelle wird allmählich stärker. Die Tatsache, dass Wenxin 5.0 ein geschlossenes Modell ist, bedeutet, dass eine große Anzahl von Entwicklern es nicht selbst bereitstellen und keine tiefergehenden technischen Analysen durch Beobachtung und Untersuchung seiner internen Struktur durchführen kann. In gewissem Maße verliert es damit die Unterstützung durch die Gemeinschaft von Technikbegeisterten, was für den aktuellen Einfluss von Modellen immer wichtiger wird.

Bei der Verfolgung von Modellen mit größerem Parameterumfang steht den Anbietern neben einer Reihe umfassender Herausforderungen auf Software- und Hardwareebene ein noch unmittelbareres Problem gegenüber: der Mangel an Rechenkapazität.

Analysen von Branchenvertretern zufolge erfordert allein die Bereitstellung von K3 einen Server mit 8 B300-Grafikkarten. Für das Training ist sogar ein Cluster mit zehntausend hochkarätigen KI-Grafikkarten erforderlich. Bereits am zweiten Tag nach der Veröffentlichung veröffentlichte Kimi dringend eine Warnung über den Mangel an Rechenkapazität und setzte die Öffnung für zahlende Mitglieder aus.

In diesem Punkt zeigen Startups gegenüber großen Konzernen erneut Nachteile auf. Ein Mitarbeiter eines intelligenten Rechenzentrums gab an, dass der größte Teil seiner Rechenkapazität derzeit von Großkunden wie führenden Technologiekonzernen gebunden ist. Für Startups, die von Kimi repräsentiert werden, bedeutet dies, dass ihre Kaufkraft hinterherhinkt, und selbst bei einem sprunghaften Anstieg der Nachfrage wie bei K3 können sie die fehlende Kapazität nicht rechtzeitig ergänzen.

Ein Mitarbeiter eines anderen Cloud-Anbieters enthüllte die Zusammensetzung seiner Kunden: Die beiden größten Kunden sind jeweils ein führender Hardwarehersteller und ein großer Internetkonzern. Der monatliche Gesamtumsatzanteil aller anderen Modellanbieter zusammen ist geringer als der eines der beiden. Aufgrund der Knappheit hochkarätiger Grafikkarten stehen Cloud-Anbieter zudem vor dem Problem verzögerter Lieferungen von Kundenbestellungen: Von der Bestellung über tausend Einheiten des größten Kunden wurde im ersten Halbjahr nur 10 % geliefert.

03

Trotzdem ist das Ziel der Modellanbieter, bessere Modelle zu entwickeln und sie als Open-Source-Modelle zu veröffentlichen, in gewissem Maße dringend.

In fast derselben Woche, in der Kimi K3 als Open-Source-Modell veröffentlicht wurde, veröffentlichten Jensen Huang zusammen mit 25 Technologiegiganten wie Microsoft, Meta, IBM und Intel einen offenen Brief zur Unterstützung des Open-Source-Ökosystems, dem sich OpenAI und Google unmittelbar danach anschlossen.

Möglicherweise aufgrund des doppelten Drucks aus der öffentlichen Meinung und der Wirtschaft hat Dario Amodei, CEO von Anthropic, der bisher stets für eine restriktive Haltung bei technologischen Blockaden eingetreten ist, kürzlich öffentlich eine Erklärung abgegeben, wonach Anthropic nie dafür eingetreten ist, die Veröffentlichung von Modellen mit offenen Gewichten zu verbieten.

Unter dem Einfluss weiterer gewichtiger Aufrufe wird die weltweite Entwicklung zur Open-Source-Veröffentlichung von Modellen zunehmend unaufhaltsam. Aus der Perspektive der technologischen Allgemeinwohlförderung ist dies zweifellos positiv. Für Unternehmen hingegen macht die allgemeine Open-Source-Veröffentlichung sie von der Technologie bis zu den Kosten gegenüber den Nutzern noch transparenter. Zu diesem Zeitpunkt werden Durchbrüche und das Überleben im Wettbewerb nicht einfacher sein als heute.

Dieser Artikel stammt aus „Jiemian News“, der Reporter ist WU Yangyu, der Redakteur ist WEN Shuqi. Er wird mit Genehmigung von 36Kr veröffentlicht.