Kimi K3 hat offiziell das Fenjue vorgestellt – ist es damit jetzt wirklich zu einem lebenden Bodhisattva geworden?

Ich erkläre hiermit, dass Kimi offiziell mit DeepSeek auf einer Stufe steht und zum wahren Wohltäter der Open-Source-Gemeinde geworden ist.

Denn gestern Abend (am 27. Juli) wurde Kimi K3 offiziell auf Hugging Face als Open-Source-Modell veröffentlicht.

Innerhalb einer halben Stunde erhielt es auf Hugging Face 4000 Likes. Es kann als das am meisten beachtete Open-Source-Modell aller Zeiten bezeichnet werden, und es ist zu vermuten, dass viele ausländische Nutzer genau wie der Autor von „Cha Ping“ pünktlich auf die Veröffentlichung gewartet haben.

Außerdem ist das, was Kimi dieses Mal veröffentlicht hat, keineswegs trivial: Neben den Gewichtsdateien des Modells selbst liegt auch ein detaillierter technischer Bericht bei, und zahlreiche Tools für das Training des Modells wurden gleich mit herausgegeben.

Jetzt hat es genau wie DeepSeek das wahre „Fen-Jue“ (eine mächtige Kultivierungstechnik) für die Community vollständig offengelegt.

Zu verschiedenen Benchmark-Tests brauchen wir nicht viel zu sagen: Im Grunde liegen die Werte aller Benchmarks nur unter denen von Fable 5 und GPT-5.6 Sol.

Man kann sagen, dass das aktuelle K3 das drittbeste Modell der Welt ist und das einzige Modell unter den Top 3, das Sie auf Ihr lokales Gerät herunterladen, selbst ausführen und feinabstimmen können.

Zusätzlich verfügt es standardmäßig über Multimodal-Funktionen und hat kaum Schwachstellen.

Die Parameter des Modells sind zudem noch größer als je zuvor: Die Gesamtparameterzahl von K3 erreicht direkt 2,8 Billionen, womit es zum größten Open-Source-Modell der Welt wird.

Nicht nur die Gesamtparameterzahl ist riesig, sondern auch die Anzahl der aktivierten Parameter ist unglaublich hoch,

Bei der praktischen Arbeit kann Kimi direkt 104,2 Milliarden Parameter aktivieren. Diese Zahl ist dreimal so hoch wie die des Vorgängermodells und doppelt so hoch wie die von DeepSeek V4 Pro – sie übersteigt sogar die Gesamtparameterzahl vieler vollständiger Open-Source-Modelle.

Um diese riesige Datenmenge zu bewältigen, hat K3 viele architektonische Innovationen erhalten. Natürlich hat das Team keine Geheimnisse daraus gemacht und alle Details offen in der Dokumentation festgehalten.

Zuerst geht es um den weithin beachteten Bereich der Aufmerksamkeitsmechanik: Wie alle wissen, muss das traditionelle Aufmerksamkeitsmechanismus bei jedem neuen Wort, das das Modell liest, dieses Wort mit allen vorherigen Tokens verrechnen. Wenn sich die Menge der verarbeiteten Inhalte verdoppelt, vervierfacht sich der Rechenaufwand direkt.

Um den Rechenaufwand zu senken, hat Kimi dieses Mal eine Methode namens gemischte Aufmerksamkeit eingeführt: Eingehende Informationen durchlaufen zuerst eine Schicht namens KDA (Kimi Delta Attention). KDA liest den Text und schreibt gleichzeitig wichtige Informationen in einen ständig aktualisierten Status.

Wenn neue Inhalte eintreffen, beurteilt das Modell außerdem, welche alten Informationen behalten werden müssen und welche allmählich vergessen werden können.

Gleichzeitig hat Kimi, um zu verhindern, dass KDA wichtige Informationen übersieht, nach drei KDA-Schichten ein Gated MLA platziert. Das entspricht dem Prinzip, dass das Modell nach dem Erfassen von Informationen auf einigen Seiten noch einmal den Originaltext prüft.

Durch diese kombinierte Maßnahme senkt K3 die Berechnungskosten für extrem lange Kontexte erheblich.

Darüber hinaus hat Kimi auch Attention Residuals (Aufmerksamkeits-Residualverbindungen) entwickelt, um den Informationsverlust bei der Übertragung zu reduzieren.

Zusätzlich wurde Stable LatentMoE entworfen: Dabei werden die ursprünglich 7168-dimensionalen Informationen zuerst auf 3584 Dimensionen komprimiert und dann gleichzeitig an 16 Experten zur Verarbeitung verteilt.

Für diese Experten wurden zudem Mechanismen zur Flussbegrenzung und Schichtarbeit eingerichtet, um anormale Aktivierungswerte zu unterdrücken und Aufgaben vernünftig zu verteilen.

So wird verhindert, dass einige ständig überlastet sind, während andere keine Arbeit zu erledigen haben.

Durch die gemeinsame Verbesserung von Architektur, Daten und Trainingsmethoden hat sich die Trainingseffizienz von K3 trotz der gestiegenen Gesamtparameterzahl im Vergleich zum Vorgängermodell K2 um das 2,5-fache verbessert.

Die Veröffentlichung und Open-Source-Stellung von Kimi K3 ist längst keine Selbstverwirklichung mehr in einem kleinen Technikkreis.

Es wirkt wie ein Auslöser, der alle Akteure – Gute wie Böse – auf den Plan ruft.

Zum Beispiel haben US-Politiker behauptet, K3 sei durch die Destillation großer US-Modelle entstanden.

Die Mitarbeiter von Kimi konterten scharf: Fable sei erst vor kurzem veröffentlicht worden. Wenn Kimi innerhalb weniger Dutzend Tage ein Modell durch Destillation erzeugt hätte, könnte man das gleich ins Guinness-Buch der Rekorde eintragen. Haben die Chinesen etwa übermenschliche Fähigkeiten und schon das Modell destilliert, das Anthropic erst in der Zukunft veröffentlichen will?

Ich verstehe schon: Kimi hat eine Zeitmaschine erfunden, ist in die Vergangenheit gereist und hat Fable destilliert. Wie böse ist Kimi eigentlich…

Darüber hinaus hat die US-Regierung vor kurzem geplant, chinesische KI-Unternehmen mit Sanktionen zu belegen und zu untersuchen.

Das chinesische Handelsministerium hat daraufhin perfekt zurückgeschlagen.

Auf der anderen Seite hat Jensen Huang, bekannt für seine hohe emotionale Intelligenz, einen Account auf X registriert und einen offenen Brief veröffentlicht, in dem er die Bedeutung von Open Source erläutert. Er hat fast 100 Technologiegiganten wie Microsoft, Google und OpenAI dazu gebracht, gemeinsam zu unterzeichnen.

Sie wenden sich öffentlich gegen das Verbot chinesischer Open-Source-Modelle.

Unter diesem Druck hat Anthropic, der überzeugte Verfechter des Closed-Source-Prinzips, wieder einen langen Text veröffentlicht: „Wir lehnen Open Source nicht ab, wir fürchten nur, dass leistungsstarke Modelle in die Hände von Bösewichten geraten.“

Ehrlich gesagt ist es ziemlich überraschend, dass Open-Source-Modelle so schnell an diese weltbesten Closed-Source-Modelle heranreichen…

Der Autor von „Cha Ping“ erinnert sich noch gut an den ersten Anblick von Mythos und Fable: Obwohl Anthropic nicht immer gute Dinge tut, sind ihre Modelle wirklich erstklassig.

Zu dieser Zeit glaubte man allgemein, dass die Kluft zwischen Open-Source- und Closed-Source-Modellen immer größer werden würde.

Denn diese beiden Arten von Modellen nehmen an einem völlig ungleichen Wettlauf teil.

Closed-Source-Modelle können die Technologien von Open-Source-Modellen uneingeschränkt übernehmen. Zum Beispiel hat DeepSeek einst der ganzen Community beigebracht, wie man Modelle dazu bringt, logisch zu denken.

Umgekehrt können Open-Source-Modelle aber keine Technologien von Closed-Source-Modellen lernen.

Glücklicherweise gibt es zwischen Open-Source-Modellen viele Möglichkeiten, voneinander zu lernen und sich gegenseitig zu unterstützen.

Wenn man das Papier von Kimi K3 durchblättert, merkt man, dass es überall Spuren von DeepSeek gibt.

Viele Technologien – von dem Multi-Head-Aufmerksamkeitsmechanismus MLA, dem Mixture-of-Experts-Modell MoE bis zur Verbesserung der Trainingsstabilität und Inferenz-Effizienz – basieren auf den Errungenschaften der Open-Source-Community der letzten Jahre.

Aber Kimi hat sie nicht einfach kopiert, sondern auf dieser Grundlage neue Technologien wie KDA, Gated MLA, AttnRes und Stable LatentMoE entwickelt.

Diese Kultur des gegenseitigen Lernens und der gegenseitigen Anerkennung in der Open-Source-Community ist das Wertvollste an Open-Source-Modellen.

Die Erfahrungen des Vorgängermodells werden direkt zum Ausgangspunkt des nächsten Modells.

Diese Open-Source-Modelle stützen sich gegenseitig, bauen Schicht für Schicht aufeinander auf und holen so zu den Closed-Source-Giganten auf, die über mehr Rechenleistung, mehr Kapital und mehr Daten verfügen.

Dank der unermüdlichen Anstrengungen dieser Open-Source-Modelle wird seit der Veröffentlichung von K3 niemand mehr die absurde Behauptung aufstellen, dass Open-Source-Modelle immer weiter zurückfallen werden.

Die Entwicklung der KI ist längst nicht mehr nur ein Konflikt zwischen Unternehmen oder zwischen Open Source und Closed Source. Sie hängt nicht nur mit der Technologiegleichberechtigung zusammen, sondern auch mit nationaler Sicherheit, Geopolitik und vielen