Ohne zwei Rolls-Royce Phantom brauchst du gar nicht erst daran zu denken, ein Open-Source-Großmodell zu deployen.

Seit der Veröffentlichung des quelloffenen Kimi K3 ist die „Bereitstellung großer Modelle“ plötzlich zu einem heiß diskutierten Thema im Internet geworden.

Mit der drittbesten Leistung weltweit und kostenlos zum Download – wer könnte da nicht neugierig werden?

Doch laut der am weitesten verbreiteten Aussage im Internet braucht man etwa 30 Millionen Renminbi für Geräte, um K3 selbst zum Laufen zu bringen. Schließlich hat K3 insgesamt 2,8 Billionen Parameter, allein die Gewichtsdateien belegen 1,4 TB bis 1,5 TB, und der tatsächlich benötigte Videospeicher übersteigt sogar 2 TB.

Daher empfiehlt das offizielle Kimi-Team, dass man mindestens einen Superknoten mit 64 Beschleunigungskarten braucht, um Kimi K3 selbst bereitzustellen. Bei dem aktuellen Hauptmodell B200 kostet eine Karte etwa 400.000 Renminbi, 64 Grafikkarten summieren sich schon auf 25,6 Millionen. Die Böden normaler Wohngebäude können solch schwere Geräte nicht tragen, man muss auch einen speziellen Computerraum bauen, hinzu kommen die Stromkosten für den Gerätebetrieb und die dazugehörige Flüssigkühlung. Anders ausgedrückt: Wenn du wirklich entschlossen bist, Kimi K3 selbst zum Laufen zu bringen, beträgt die Anfangsinvestition mindestens den Wert von zwei Rolls-Royce Phantom.

Doch selbst wenn du über außergewöhnliche Verbindungen verfügst und alle Geräte beschaffen kannst, ist die eigenständige Bereitstellung von Kimi K3 keineswegs einfach – denn danach warten noch Stromkosten, Wärmeabfuhr, Modelloptimierung, Betrieb und Wartung und mehr, alles Punkte mit hohen Ausgaben.

Zudem gibt es neben K3 noch viele weitere quelloffene große Modelle aus China, wie DeepSeek V4-Pro, GLM-5.2, Qwen 3.8 – allesamt Vertreter mit Parametern im Hunderten Milliarden- oder sogar Billionenbereich. Wie hoch sind also ihre Bereitstellungskosten?

Wie groß sind quelloffene große Modelle eigentlich?

Dass „normale Menschen große Modelle selbst betreiben wollen“, ist kein neues Phänomen, es wurde nur durch den riesigen Erfolg von K3 erneut auf allen Medienplattformen aufgegriffen.

Schon bei der Veröffentlichung von DeepSeek V3 diskutierten viele Menschen, wie normale Nutzer große Modelle selbst bereitstellen können.

Ende 2024 wurde DeepSeek V3 mit einer MoE-Architektur mit 671 Milliarden Gesamtparametern und 37 Milliarden Aktivierungsparametern quelloffen veröffentlicht. Die Trainingskosten beliefen sich nur auf 5,57 Millionen US-Dollar, während die Leistung mit Claude 3.5 Sonnet mithalten kann.

Plötzlich überschwemmten unzählige Anleitungen auf Zhihu, Bilibili und WeChat-Offiziellen Konten das Netz, die Schritt für Schritt zeigten, wie man DeepSeek V3 lokal bereitstellt.

Manche nutzten eine RTX 4090, um das Modell zum Laufen zu bringen, andere lösten damit den Sicherungsautomaten ihres Haushaltsstromkreises aus, selbst technisch unerfahrene Verwandte fragten: „Was ist DeepSeek und wie benutzt man es?“

Die Szene erinnerte stark an den Anfang des Bitcoin-Booms, als jeder darüber redete, wie man mit einem Laptop Mining betreibt.

Doch so lebhaft es auch war: Um V3 vollständig zum Laufen zu bringen, wird eine Konfiguration mit 8 H100- oder A100-Karten empfohlen. Der offizielle Preis einer einzelnen H100 beträgt 36.500 US-Dollar, umgerechnet etwa 260.000 Renminbi. Die A100 ist günstiger, eine einzelne Karte kostet etwa 108.000 Renminbi, ein komplettes System mit 8 Karten liegt über 800.000 Renminbi. Zum Vergleich: Hochausgestattete BMW X5, Mercedes GLE oder Audi Q7 kosten bei der Auslieferung nur etwas über 700.000 Renminbi.

Außerdem laufen die sogenannten „lokalen Bereitstellungsanleitungen für RTX 4090“ im Netz nur auf einer stark beschnittenen 4-Bit-quantisierten Version des Modells. Die ausgegebenen Antworten sind nicht nur von niedriger Qualität, sondern auch streng in der Wortzahl beschränkt – sobald ein paar hundert Wörter überschritten werden, stürzt das Modell sofort ab.

Die Distanz zwischen normalen Nutzern und Modellen mit Hunderten Milliarden Parametern ist viel größer als die in Anleitungen beschriebene „5-Minuten-Lösung“.

Im Jahr 2026 ist die Situation noch extremer geworden.

DeepSeek V4-Pro, veröffentlicht am 24. April 2026, hat insgesamt 1,6 Billionen Parameter, ist unter MIT-Lizenz quelloffen und die Gewichtsdateien stehen kostenlos zum Download auf Hugging Face zur Verfügung.

Selbst bei Quantisierung in FP8-Genauigkeit benötigen die Gewichtsdateien mindestens 1,6 TB Speicher. Um sie vollständig in den Videospeicher zu laden, braucht man mindestens 16 H200-Karten. Eine einzelne H200 verfügt über 141 GB Videospeicher, 16 Karten summieren sich auf 2,2 TB – nach Abzug von KV-Cache und Systemaufwand reicht das gerade aus.

Der offizielle Preis einer Nvidia H200 beträgt 27.000 US-Dollar pro Karte, umgerechnet etwa 190.000 Renminbi, aber der Inlandspreis liegt bei 235.000 Renminbi. Ein 8-Karten-System kostet 1,88 Millionen Renminbi, 16 Karten summieren sich auf 3,76 Millionen.

Schauen wir uns GLM-5.2 an, das im Juni 2026 von Zhipu AI quelloffen veröffentlicht wurde: Es hat etwa 753 Milliarden Gesamtparameter mit noch kleineren Aktivierungsparametern, und läuft ebenfalls problemlos mit 8 H200-Karten.

Zuletzt Qwen 3.8: Alibaba veröffentlichte die Vorschauversion am 19. Juli 2026, mit insgesamt 2,4 Billionen Parametern und der Zusage, die Gewichtsdateien bald freizugeben.

Um 2,4 Billionen Parameter vollständig unterzubringen, reichen die 141 GB Videospeicher der H200 nicht mehr aus – man muss auf die B200 mit 192 GB Videospeicher pro Karte setzen, 64 B200-Karten summieren sich auf 12,3 TB, um diese Größenordnung zu bewältigen. Mit anderen Worten: Um Qwen 3.8 bereitzustellen, braucht man genau wie beim zuvor erwähnten K3 eine Investition von 30 Millionen Renminbi.

Doch damit ist die Sache noch nicht abgeschlossen, es hat gerade erst begonnen: Die Grafikkarten sind nur die erste Rechnung. Als Nächstes kommen die Stromkosten.

Nehmen wir das Beispiel von 64 B200-Karten für Qwen 3.8. Die TDP einer einzelnen B200 beträgt 1000 W, bei der Flüssigkühlungsversion kann sie auf 1200 W ansteigen. 64 Karten unter Volllast verbrauchen 64 bis 77 kW, hinzu kommen der Stromverbrauch von CPU, Netzwerkswitches, Kühlpumpen und weiteren Komponenten – der gesamte Schrank übersteigt leicht 80 kW.

Ein 1,5-PS-Haushaltsklimagerät hat eine Heizleistung von etwa 1200 W, eine einzelne B200 erreicht fast den Verbrauch eines solchen Geräts. 64 B200-Karten im Volllastbetrieb entsprechen dem gleichzeitigen Betrieb von über 50 Klimaanlagen, so viel Strom verbraucht fast ein halbes Wohngebäude.

Berechnet mit 0,8 Renminbi pro kWh Industriestrom: Bei 80 kW Volllastbetrieb betragen die täglichen Stromkosten 1536 Renminbi, im Jahr 560.000 Renminbi. Das gilt für den Dauerbetrieb: Sobald ein großer Modell-Inferenzserver in Betrieb genommen wird, läuft er praktisch 24/7, es gibt keine Option, „den Rechner auszuschalten, um Strom zu sparen“.

Nach dem Stromproblem folgt direkt das Wärmeproblem.

Der Stromverbrauch von 1000 W pro B200 bedeutet, dass herkömmliche Luftkühlung die Wärme gar nicht abführen kann.

Nvidia gibt an, dass die SXM-Version der B200 von Anfang an für Flüssigkühlung ausgelegt ist: Die Obergrenze der Leistung bei Luftkühlung liegt nur bei 18 PFLOPS, während die Flüssigkühlungsversion 20 PFLOPS erreicht.

Flüssigkühlungsanlagen gibt es in zwei Varianten: Die erste ist von Nvidia zertifiziert und kostet pro Schrank etwa 150.000 bis 200.000 Renminbi, die zweite ist nicht von Nvidia zertifiziert und kostet etwa 80.000 bis 150.000 Renminbi pro Schrank.

Auch der Platzbedarf ist ein Problem. Ein standardmäßiger 8-Karten-HGX-Server hat eine Höhe von 6U bis 8U, wobei U die Einheit für Rackhöhe ist: 1U entspricht 44,45 mm, also beträgt die Höhe etwa 0,267 m bis 0,356 m.

Das leere Gerät wiegt üblicherweise 75–120 kg, voll ausgestattet mit Schienen, Kabeln und PDU wiegt es meist über 90 kg. Die Grundfläche eines Schranks ist aber sehr klein, normalerweise 0,36 Quadratmeter. Die gleichmäßige Nutzlast normaler Wohnhäuser beträgt 200 kg pro Quadratmeter – das bedeutet, der lokale Druck eines Schranks liegt weit über den üblichen Werten für Wohngebäude, sodass man ihn nicht in einer normalen Wohnung aufstellen kann.

Zudem stellen solche Geräte strenge Anforderungen an Umgebungstemperatur, Luftfeuchtigkeit und Staubgehalt. Ohne strikte Kontrolle gibt es Risiken wie das Auslaufen von Kühlflüssigkeit.

Zuletzt kommt der Punkt Betrieb und Wartung. Die Bereitstellung großer Modelle ist nicht so einfach wie „eine Software zu installieren“.

Das Laden der Modellgewichte, die Optimierung des Inferenz-Frameworks, die Konfiguration der KV-Cache-Strategie, Überwachung und Warnungen, Fehlerdiagnose und -wiederherstellung – jeder Schritt erfordert spezialisierte Ingenieure. Man braucht mindestens ein kleines Team von 3 bis 5 Personen. Nach aktuellen Maßstäben verdient ein qualifizierter Ingenieur für KI-Infrastruktur mindestens 300.000 Renminbi pro Jahr, die Personalkosten für ein kleines Team übersteigen also im Jahr eine Million Renminbi.

Geld löst nicht alle Probleme

Der Preis ist nur ein Aspekt – die folgenden Punkte machen die Sache erst richtig schwierig.

Dass Nvidias High-End-Karten Ausfuhrbeschränkungen für China unterliegen, ist keine Neuigkeit.

Das US-Industriesicherheitsamt (BIS) hat ausdrücklich festgelegt, dass B200, B300 auf Basis der Blackwell-Architektur und die nächste Generation der Rubin-Chips mindestens 18 bis 24 Monate nach ihrer Veröffentlichung streng vom Export nach China ausgeschlossen sind.

Glücklicherweise brauchen wir die Modelle nur zum Ausführen, nicht zum Trainieren, also reicht es, wenn die GPU über gute Inferenzleistung verfügt. Für diese Aufgabe können auch in China hergestellte KI-Chips verwendet werden.

Aber um ehrlich zu sein: Dass sie laufen, ist eine Sache, ob sie gut funktionieren, eine ganz andere. Nvidias CUDA-Ökosystem hat sich über mehr als ein Jahrzehnt entwickelt, es gibt Millionen von Entwicklern weltweit, und auf Stack Overflow findet man unzählige Lösungen für alle möglichen Probleme.

Auf der Seite der chinesischen KI-Chips hat DeepSeek V4 zwar das vollständig inländische Training realisiert, die 8 großen chinesischen Chiphersteller haben alle eine Day-0-Anpassung vorgenommen, und Kimi hat angekündigt, dass ihre Modelle zukünftig auch auf chinesischen Karten laufen können – aber das ist die Ingenieurskapazität der offiziellen Teams von DeepSeek und Kimi.

Als privater Nutzer bekommst du eine inländische Grafikkarte, und eine Aufgabe, die auf CUDA an einem Tag zum Laufen zu bringen ist, erfordert bei der inländischen Karte lange Wartezeiten bis zur passenden Anpassung. Wenn ein Fehler auftritt, findest du keine Lösung auf Stack Overflow.

Der Rückstand im Software-Ökosystem ist noch entmutigender als der Rückstand in der Hardware-Leistung. Wenn die Hardware langsam ist, kannst du warten – wenn die Software nicht läuft, hast du nicht einmal die Möglichkeit zu warten.

Nehmen wir mal an, du hast sehr gute Verbindungen, bekommst die Karten, realisierst die Flüssigkühlung, trägst die Stromkosten, beschäftigst das Team und bringst das Modell zum Laufen – was dann?

Wenn du dein eigenes System mit der offiziellen API vergleichst, wirst du feststellen: Für 99 % der Unternehmen lohnt sich die selbst aufgebaute Bereitstellung nie.

Rechnen wir mit der Mindestkonfiguration von DeepSeek V4-Pro:

Die API-Preise von DeepSeek V4-Pro betragen 3 Renminbi pro Million Token für die Eingabe (nur 0,025 Renminbi bei Cache-Treffern) und 6 Renminbi pro Million Token für die Ausgabe. Außerdem wurde erstmals ein „Spitzen- und Nebentarif“ eingeführt, der die Rechenkosten in Nebenzeiten um 60 % senkt.

Ohne Berücksichtigung des Preisunterschieds zwischen Spitzen- und Nebenzeiten nehmen wir an, dein Team ruft täglich 50 Millionen Token auf, davon 35 Millionen Eingabe und 15 Millionen Ausgabe – das ist schon eine sehr hohe Nutzungsfrequenz.

Die Eingabekosten betragen 35 × 3 = 105 Renminbi pro Tag, die Ausgabekosten 15 × 6 = 90 Renminbi pro Tag. Zusammen sind das weniger als 200 Renminbi pro Tag, im Jahr etwa 70.000 Renminbi.

Wie zuvor erwähnt kosten allein 16 H200-Karten 3,76 Millionen Renminbi, hinzu kommen 300.000 Renminbi für die Flüssigkühlungsumrüstung und 300.000 Renminbi für die Stromerweiterung und Standortanpassung – die Hardware-Investition im ersten Jahr beträgt etwa 4,36 Millionen Renminbi.

Rechnen wir noch die Betriebskosten ein: Das kleine Team kostet eine Million Renminbi pro Jahr. Bei 16 H200-Karten mit etwa 11,2 kW Volllast und 24-Stunden-Betrieb, plus Stromverbrauch von CPU, Arbeitsspeicher, Festplatten und Lüftung, sowie dem PUE-Wert des Rechenzentrums liegt der tatsächliche Stromverbrauch bei etwa 15–20 kW. Bei Industriestrom von 1 Renminbi pro kWh betragen die jährlichen Stromkosten 130.000 bis 180.000 Renminbi.