Gerade wurde Kimi K3 als Open-Source-Projekt veröffentlicht, seine 2,8 Billionen Parameter sorgen weltweit für Aufsehen, und die Tech-Giganten im Silicon Valley sind völlig fassungslos.

Bericht von Zhidx am 28. Juli: Gerade hat Moonshot AI die Modellgewichte und den technischen Bericht von Kimi K3 veröffentlicht und die entscheidenden Infra-Technologien für das Training des Kimi K3-Modells quelloffen gemacht: MoonEP, FlashKDA und AgentEnv.

Clem Delangue, CEO von Hugging Face, veröffentlichte einen Beitrag, in dem er feststellte, dass Kimi K3 innerhalb von 30 Minuten mit mehr als 4000 Likes die Spitze der Trendliste erreichte. Es ist die bisher schnellste Wachstumsgeschwindigkeit nach einer Veröffentlichung!

Bereits am 17. Juli veröffentlichte Moonshot AI das Kimi K3-Modell mit 2,8 Billionen Parametern, das aufgrund seiner hervorragenden Benchmark-Ergebnisse und praktischen Nutzungserfahrungen von vielen Internetnutzern sofort als „Chinas Fable 5-Moment“ bezeichnet wurde.

Nach der Quelloffenlegung von Kimi K3 veröffentlichte Ahmad, Gründer und CEO des nordamerikanischen KI-Infrastruktur-Startups OsmanticAI, einen Beitrag, in dem er Kimi K3 als „lokale Version von Fable 5“ bezeichnet und „allen dringend empfiehlt, es herunterzuladen und auszuprobieren“, damit „sie mir mein Fable 5 niemals wegnehmen können“.

Cognition, das bekannte US-amerikanische KI-Startup, das den digitalen Mitarbeiter Devin entwickelt hat, gab bekannt, dass Kimi K3 nun in den Devin-Desktop-Client und das Befehlszeilentool (CLI) integriert wurde, und erklärte: „Im Benchmark FrontierCode 1.1 ist Kimi K3 das erste von uns getestete quelloffene Modell, dessen Leistung sich dem Spitzenniveau nähert.“

Ausländische KI-Infrastrukturanbieter wie Nebius, Baseten und Fireworks gaben sofort bekannt, dass Kimi K3 bereits am ersten Tag der Veröffentlichung (Day 0) unterstützt wird. Nebius erklärte: „Kimi K3 ist das erste Open-Gewicht-Modell, das das Spitzenniveau der Leistung erreicht, und stellt einen großen Fortschritt in der Entwicklung von offenen Modellen dar.“

Huawei Ascend CANN gab bekannt, dass es die native Unterstützung für die MXFP4-Quantisierung des Modells ab dem ersten Tag der Veröffentlichung realisiert und Praxishandbücher für die Bereitstellung in Clustern der Serien Ascend 950PR/DT und Atlas A3 anbietet. Gleichzeitig gab Qujing Technology bekannt, dass es die Day-0-Anpassung von Kimi K3 auf den Huawei Ascend 910C-Superknoten auf Basis des quelloffenen Inferenz-Engines für große Modelle SGLang abgeschlossen und die entsprechenden Anpassungsergebnisse gleichzeitig quelloffen gemacht hat.

Die Diskussionen der Internetnutzer vor der Veröffentlichung von Kimi K3 waren ebenfalls sehr lebhaft. Ein Nutzer veröffentlichte einen scherzhaften Beitrag, in dem er sagte, dass Hugging Face sogar eine Vorankündigungs-Webseite für Kimi K3 erstellt habe.

Bis eine halbe Stunde vor der Veröffentlichung von Kimi K3 warteten fast 3700 Entwickler auf den Start. 10 Minuten vor dem Start zeigte die Veröffentlichungsseite von Kimi K3 kurzzeitig einen 404-Fehler an.

Adresse der Modellgewichte: https://huggingface.co/moonshotai/Kimi-K3

01 Vollständige Freigabe der Modellgewichte mit 2,8 Billionen Parametern, Quelloffenlegung von drei entscheidenden Infra-Technologien

Kimi K3 ist ein Modell für gemischte Experten (MoE) mit 2,8 Billionen Parametern, das über native Fähigkeiten zum visuellen Verstehen verfügt und ein Kontextfenster von 1 Million Token unterstützt.

Nun kann jeder das Kimi K3-Modell herunterladen und bereitstellen. Es kann frei verwendet werden, sowohl für interne Forschungs- und Entwicklungsarbeiten als auch zur Einbettung in Produkte, die für Endnutzer bestimmt sind.

Bei dieser Veröffentlichung hat Kimi K3 zudem gleichzeitig das Trainingssystem quelloffen gemacht, also drei Infra-Technologien der Infrastrukturebene: MoonEP, FlashKDA und AgentEnv.

Unter den drei quelloffenen Infra-Technologien ist MoonEP eine Hochleistungs-Kommunikationsbibliothek, die für extrem feingranulare MoE-Modelle entwickelt wurde und dafür sorgt, dass die parallele Kommunikation von Experten auch bei ungleichmäßigen Lastverhältnissen maximale Effizienz beibehält.

FlashKDA ist ein Hochleistungsoperator für Kimi Delta Attention, dessen Prefill-Geschwindigkeit auf NVIDIA H20 im Vergleich zur Baseline von flash-linear-attention um das 1,72- bis 2,22-fache gesteigert wird und der direkt als Ersatz-Backend verwendet werden kann.

AgentEnv ist ein Sandbox-System, das in Zusammenarbeit mit KVCache.ai entwickelt wurde. Es stellt eine hochgradig zuverlässige und stark isolierte Laufumgebung für das Training von großangelegten Agenten bereit, unterstützt schnelle Schnappschüsse, Wiederherstellungen und Abzweigungen und kann großangelegte parallele Arbeitsabläufe von Agenten bewältigen. FlashKDA war bereits zuvor quelloffen, während MoonEP und AgentEnv mit dieser Veröffentlichung offiziell quelloffen gemacht wurden.

In Bezug auf die Modellarchitektur mischt KDA+AttnRes KDA und Gated MLA im Verhältnis 3:1, verstärkt den Informationsfluss zwischen den Schichten durch blockweise Aufmerksamkeits-Residuen und realisiert so effiziente Modellierung langer Kontexte.

Stable LatentMoE sorgt dafür, dass jeder Token 16 von 896 Routing-Experten aktiviert, und behält die Stabilität des Trainings bei extrem hoher Sparsamkeit durch SiTU-GLU und Quantile-Balancierung bei.

Der visuelle Encoder MoonViT-V2 wird von Grund auf mit der Vorhersage des nächsten Tokens trainiert, ohne dass ein kontrastives Vortraining erforderlich ist. Er erreicht die Wirkung der Baseline und erzielt gleichzeitig einen stabileren Optimierungsprozess.

In Bezug auf das Nachtraining wurde das Modell mit großangelegten Aufgaben in drei Bereichen synthetisiert: allgemeines Schlussfolgern, allgemeine Agenten und Programmier-Agenten. Zusammen mit der Infrastruktur für verstärktes Lernen mit einem Kontext von einer Million Token wurde eine vollständige Bewertung von fast 20 internen Evaluationsdatensätzen abgeschlossen.

02 Mehrdimensionale Bewertung zur Bestätigung der umfassenden Verbesserung der Fähigkeiten in Programmierung, Agenten und visueller Verarbeitung

In den offiziell veröffentlichten Bewertungsergebnissen zeigt Kimi K3 starke Fähigkeiten in mehreren Bereichen wie Programmierung, Agentenaufgaben und visuelles Verstehen.

In Bezug auf die Programmierfähigkeiten zeigt Kimi K3 herausragende Leistungen in Tests wie SWE Marathon für fortlaufende Entwicklung in sehr langen Zeitreihen, Program Bench für Software-Rückwärtsentwicklung und Terminal Bench 2.1 für Terminal-Betrieb.

Dabei erzielte es sowohl bei SWE Marathon als auch bei Program Bench den ersten Platz und erreichte bei Terminal Bench 2.1 eine Punktzahl von 88,3, die nahe an GPT-5.6 Sol liegt; bei der anspruchsvollen Software-Engineering-Aufgabe FrontierSWE belegte Kimi K3 mit 81,2 Punkten den zweiten Platz, direkt hinter Claude Fable 5.

In Szenarien für Agenten und Wissensarbeit zeigt Kimi K3 ebenfalls starke Fähigkeiten zur Aufgabenerfüllung. Es erzielte Spitzenleistungen in Tests wie BrowseComp für tiefgehende Recherchen im Web, Automation Bench für Büroautomatisierung und SpreadsheetBench 2 für finanzielle Modellierung in Excel. Dabei erreichte BrowseComp 91,2 Punkte, und sowohl Automation Bench als auch SpreadsheetBench 2 belegten den ersten Platz.

Dennoch ist Kimi K3 in Bewertungen wie GDPval-AA v2 für umfassende Büroaufgaben und APEX-Agents, die näher an echten Büroabläufen liegen, immer noch schwächer als führende geschlossene Modelle wie Claude Fable 5.

In Bezug auf die visuellen Fähigkeiten zeigt Kimi K3 starke Leistungen bei Aufgaben wie CharXiv für das Verstehen von Diagrammen und OmniDocBench für die Dokumentenanalyse. Dabei erreichte OmniDocBench 91,1 Punkte und übertraf viele der zum Vergleich herangezogenen Modelle; bei einigen Aufgaben zum visuellen Schlussfolgern weist Kimi K3 jedoch noch Lücken auf, beispielsweise liegt es bei der Null-Shot-Aufgabe für visuelle Tools Zerobench unter dem Niveau von Claude Fable 5.

Im internen Test von Kimi wurde auch die Ingenieurfähigkeit von Kimi K3 geprüft. Beim Test zur Optimierung von GPU-Kerneln musste Kimi K3 die Code-Analyse, die Neufassung des Kernels und die Leistungsüberprüfung selbstständig durchführen, wobei GPU-Berechnungsaufgaben wie AttnRes, KDA und MLA abgedeckt wurden. Die Ergebnisse zeigten, dass Kimi K3 bei höchster Inferenzintensität eine Leistung nahe an Claude Fable 5 (einschließlich Fallback-Mechanismus) erreicht und Claude Opus 4.8, GPT-5.6 Sol sowie GPT-5.5 übertrifft.

In Bezug auf die Wissensarbeit zeigte der interne Test von Kimi mit dem Internal Knowledge Work Bench, dass Kimi K3 bei einheitlich aktiviertem Modus für höchstes tiefes Denken seine Leistung in drei Aufgabentypen – allgemeines Schlussfolgern, tiefe Dokumentenanalyse und spezielle Finanzaufgaben – über GPT-5.5