Kann Kimi K3 auch mit 8GB Arbeitsspeicher ausgeführt werden? Vollständiger Konfigurationsleitfaden für lokal bereitgestellte große Modelle 2026

Eine CPU mit 8,24 GB Arbeitsspeicher und ein großes Modell mit 2,78 Billionen Parametern – ohne Grafikkarte läuft Kimi K3 ganz einfach und reibungslos.

Die vollwertige Version von DeepSeek V4 Flash lässt sich ebenfalls nur mit einem DGX Spark von Jensen Huang oder einem Mac mit 128 GB Arbeitsspeicher betreiben.

Das Anfang 2025 erschienene DeepSeek R1 hat eine große Welle der lokalen Bereitstellung ausgelöst. Zahlreiche detaillierte Anleitungen zeigen, wie man die Meldung „Server überlastet, versuchen Sie es später erneut“ von DeepSeek umgeht und mit dem eigenen Computer ein uneingeschränktes DeepSeek R1 selbst einrichtet.

In diesem Jahr liegen die Parameter großer Modelle fast nicht mehr im Bereich von Hunderten Milliarden, sondern von Billionen. Das 671B-Modell R1 wirkt im Vergleich zum heutigen 2,78T-Kimi K3 und 2,4T-Qwen3.8-Max völlig fremd und nicht mehr zeitgemäß.

Die Schnellantwort-Version von DeepSeek V4 Flash kommt auf 284B, während die Vorschauversion von V4 Pro insgesamt 1,6 Billionen Parameter erreicht.

Die Veränderungen bei der Hardware sind ähnlich: Vor dem Hintergrund des starken Preisanstiegs für Arbeitsspeicher und der explosionsartigen Verbreitung lokaler Agent-Tools sind Produkte wie der Mac Mini direkt ausverkauft, und Apple hat die Einstiegspreise für Produktlinien wie den Mac angehoben. Der DGX Spark, der Jensen Huang Ende letzten Jahres vorgestellt hat, ist von der empfohlenen UVP von 3999 US-Dollar auf einen Startpreis von 4699 US-Dollar gestiegen.

Ein Tag in der KI-Entwicklung entspricht einem Jahr in der realen Welt. Die damaligen Anleitungen für die lokale Bereitstellung weisen bei den heutigen Modellen mit Billionen von Parametern bereits neue Merkmale auf.

Wie stellt man im Jahr 2026 ein lokales großes Modell bereit? Welche Konfiguration wird benötigt? Welcher Workflow eignet sich für die selbstständige Bereitstellung eines großen Modells? Welches Modell soll man wählen? In diesem Artikel erklären wir Ihnen alles ausführlich.

Zusammenfassung für Leser, die keine Zeit für Details haben

8 GB reichen für Kimi K3, aber Sie benötigen eine 1,7 TB große SSD, und die Generierung eines Tokens dauert eine halbe Minute.

Bei der lokalen Bereitstellung achten Sie zuerst auf die VRAM-Kapazität, dann auf die Arbeitsspeicherbandbreite.

8 GB VRAM eignen sich für Modelle mit 4B—7B Parametern; 16 GB reichen für 9B—14B; 24 GB ermöglichen den Betrieb von 24B—27B; Modelle mit 120B Parametern erfordern normalerweise mehr als 80 GB VRAM oder einen großen einheitlichen Arbeitsspeicher.

DeepSeek V4 Flash bringt modernste Modelle direkt auf den persönlichen Desktop.

Wie Kimi K3 zum Laufen gebracht wird

Geben Sie „The capital of France is“ ein, und das Programm gibt „Paris“ aus.

Das GitHub-Projekt namens kimi-k3-in-c führt die CPU-Inferenz von Kimi K3 mit weniger als 200 KB großem C-Code durch. Ohne PyTorch und ohne CUDA hängt das gesamte Programm nur vom Compiler, OpenMP und der mathematischen Systembibliothek ab.

Aber die 2,78 Billionen Parameter sind nicht in diesen 8 GB Arbeitsspeicher geladen. Die vollständigen Gewichte belegen nach wie vor etwa 1,56 TB Speicherplatz auf der Festplatte. Das Projekt komprimiert tatsächlich nur den Teil des Modells, der zu jedem Zeitpunkt im Arbeitsspeicher verbleiben muss.

Einfach ausgedrückt: Der Entwickler hat alle anderen Gewichte des Modells auf eine SSD gelegt. Laut der offiziellen Modellkarte von Kimi K3 hat das Modell insgesamt 2,8 Billionen Parameter, aber bei der Verarbeitung jedes einzelnen Tokens werden nur etwa 104 Milliarden Parameter aktiviert, was 3,7 % der Gesamtmenge entspricht.

Kimi K3 hat insgesamt 93 Schichten, von denen 92 das MoE-Prinzip verwenden. Jede Schicht verfügt über 896 verschiedene Experten, und der Router wählt je nach Inhalt des aktuellen Tokens 16 davon für die Berechnung aus.

Die verbleibenden 880 Experten werden in dieser Runde überhaupt nicht benötigt.

Da jede Schicht nur 16 Experten verwendet, muss das Programm nur diese 16 Experten von der Festplatte lesen, je nach Ergebnis des Routers. Aber nachdem die Expertengewichte auf der Festplatte verbleiben, gibt es noch 113,49 GB an nicht umgehbaren dichten Gewichten im Modell.

Dazu gehören Aufmerksamkeitsschichten, Router, Normalisierung, gemeinsam genutzte Experten, Embedding und Ausgabeschicht. Sie sind fast an der Berechnung bei jedem generierten Token beteiligt, und gewöhnliche MoE-Entladungslösungen legen diesen Teil normalerweise vollständig im Arbeitsspeicher ab.

Das Projekt kimi-k3-in-c führt eine weitere Stromverarbeitung durch: Die ursprünglichen Gewichte von Kimi K3 werden in 96 Modellgewichtdateien aufgeteilt, und die Gewichte in derselben Schicht sind in großen Segments verteilt. Das Projekt führt zuerst ein Skript zum Packen aus, um die dichten Gewichte von 93 Schichten in eine zusammenhängende Datei von etwa 109 GB neu zu ordnen, wobei jede Schicht einer festen Position auf der Festplatte entspricht.

Nach Beginn der Inferenz fixiert das Programm nach Möglichkeit einen Teil der Schichten je nach Arbeitsspeicherbudget. Der Teil, der nicht hineinpasst, wird schichtweise über einen Umlaufpuffer gelesen: Die aktuelle Schicht wird geladen, die Berechnung abgeschlossen, der Puffer freigegeben, und die nächste Schicht übersetzt den Puffer weiter.

Letztendlich reduziert sich der gesamte Prozess der Arbeitsspeicherverkleinerung auf vier Zahlen:

• 5,56 TB: Theoretisches Volumen bei BF16-Kodierung für alle Parameter;
• 1,56 TB: Offiziell veröffentlichte MXFP4-Gewichte;
• 113,49 GB: Der Teil, der nach dem Verbleib der Expertengewichte auf der Festplatte ständig an der Berechnung teilnehmen muss;
• 8,24 GB: Der tatsächlich gemessene Spitzenarbeitsspeicher, nachdem auch der dichte Hauptteil schichtweise zum Lesen umgestellt wurde.

Die 69 KDA-Schichten von Kimi K3 haben ebenfalls sehr geholfen. KDA muss keine vollständige KV-Cache für jeden historischen Token speichern, sondern pflegt nur einen rekursiven Zustand mit fester Größe; die anderen 24 MLA-Schichten komprimieren den Aufmerksamkeitspuffer durch niedrigdimensionale Darstellung.

Kimi K3-Framework, KDA steht für Kimi Delta Attention, ein Mechanismus für Aufmerksamkeit

In Kombination mit inkrementeller Dekodierung wird in der ersten Runde zuerst die vollständige Eingabeaufforderung verarbeitet, danach muss in jeder Runde nur der neu erzeugte Token verarbeitet werden. Der Arbeitsspeicher gerät nicht außer Kontrolle mit zunehmender Generierungslänge, sodass das Programm mehr Platz für die Planung der Gewichte lassen kann.

Der Preis für 8 GB: Ein halbe Wartezeit pro Token

8 Token haben insgesamt 261,5 Sekunden gedauert, die Arbeitsspeicherauslastung ist auf 8,24 GB gesunken, und die tatsächlichen Kosten sind auf die Festplatte und die Zeit verlagert worden.

Bei der niedrigsten Arbeitsspeicherkonfiguration muss Kimi K3 etwa 25,83 GB an Expertengewichten lesen, um einen Token zu generieren. Da kein Platz zum Fixieren der dichten Schichten vorhanden ist, werden etwa 108,81 GB an Hauptgewichten ebenfalls neu durchsucht.

Das bedeutet, dass hinter einem Token die Übertragung von mehr als 130 GB an Festplattendaten stehen kann.

Der Autor hat gemessen, dass die 8GB-Stufe durchschnittlich 32,69 Sekunden für die Generierung eines Tokens benötigt, mit einer Geschwindigkeit von etwa 0,03 Token pro Sekunde. Auf „The capital of France is“ folgten 8 Token, die insgesamt mehr als vier Minuten gewartet haben.

In einer weiteren Testreihe mit gleichbleibenden Bedingungen für die Arbeitsspeicherstufen, bei der der Arbeitsspeicher von 8 GB auf 224 GB erhöht wurde, hat sich der Arbeitsspeicher um das 28-fache vergrößert, aber die Geschwindigkeit hat sich nur um etwa das 1,7-fache erhöht. Während des gesamten Betriebs verbringen etwa 40 % bis 60 % der Zeit mit dem Warten auf die Festplatte.

Deshalb hat sich die wichtigste Hardware dieser Lösung von der GPU zur NVMe-SSD verlagert. Gewöhnliche Festplatten mit mechanischen Teilen können solche zufälligen Lesevorgänge kaum bewältigen, und Netzwerkspeicher verlangsamen die Geschwindigkeit deutlich. Das Projekt erfordert mindestens etwa 1,7 TB Speicherplatz, um die 1,56 TB großen ursprünglichen Gewichte und die neu sortierte 109 GB große Hauptdatei abzulegen.

Wenn die Festplatte pro Sekunde nur stabil 1 GB lesen kann, dauert die Datenübertragung allein für die Generierung eines Tokens möglicherweise mehr als zwei Minuten.

Die auffälligste Beschreibung des gesamten Projekts lautet auf der Startseite „One CPU, 8GB RAM“. Wenn Sie aber die Testumgebung weiter prüfen, werden Sie feststellen, dass diese Aussage noch einige Bedingungen ergänzt werden muss.

Alle Daten des Autors stammen von einer Dual-Server-Workstation mit AMD EPYC 7763, die insgesamt 124 CPU-Kerne, 228 GB Arbeitsspeicher und eine 3,2 TB große NVMe-SSD hat. Auf dem Rechner sind zudem vier NVIDIA L40 installiert, aber während des gesamten Tests wurde keine GPU verwendet.

Das sogenannte 8 GB bedeutet, dass der Autor den Prozess mit Linux cgroup (einem Mechanismus zur Ressourcenverwaltung unter Linux) auf 8 GB Arbeitsspeicher beschränkt und dann einen Spitzen-RSS-Wert (Abkürzung für Resident Set Size, der die Größe des physischen Arbeitsspeichers angibt, der tatsächlich vom Prozess belegt ist) von 8,24 GB gemessen hat.