Gewöhnliche Nutzer können K3 nicht betreiben, Kimi wird quelloffen, Anthropic gibt eine subtile Erklärung ab: Wir haben nie dafür eingetreten, Open-Weight-Modelle zu verbieten.
Am Abend des 27. Juli nach Peking-Zeit hat Moonshot AI Kimi offiziell die Modellgewichte, den technischen Bericht und die wichtigen Infrastrukturtechnologien von K3 freigegeben.
Fast gleichzeitig veröffentlichte Dario Amodei, Mitbegründer und Geschäftsführer von Anthropic, einen Artikel als Antwort auf die jüngsten Diskussionen um Modelle mit offenen Gewichten. Amodei stellte klar: „Anthropic hat nie dafür plädiert, Modelle mit offenen Gewichten zu verbieten.“
„Modelle mit offenen Gewichten ohne gefährliche Fähigkeiten sind ein öffentliches Gut: Abgesehen von den Rechenkosten für den Betrieb des Modells fallen keine weiteren Kosten an, und sie können gleichzeitig Mehrwert für Unternehmen, Entwickler und Forscher schaffen“, sagte Amodei.
Der Hintergrund dieser Erklärung ist, dass seit der Veröffentlichung von Kimi K3 im Ausland Diskussionen über Nutzungsbeschränkungen für Modelle mit offenen Gewichten bestimmter Herkunft aufgekommen sind. Gleichzeitig haben mehrere Technologieunternehmen öffentlich ihre Unterstützung für das Ökosystem offener Gewichte zum Ausdruck gebracht. Es gibt auch die Ansicht, dass einige Unternehmen für quellengeschlossene Modelle wie Anthropic die Umsetzung entsprechender Beschränkungsmaßnahmen aus Gründen des geschäftlichen Wettbewerbs vorantreiben könnten.
Zusammengenommen zeigen die Open-Source-Veröffentlichung von Kimi K3 und die Erklärung von Amodei, dass der Wettbewerb zwischen quelloffenen und geschlossenen Modellen mit zunehmender Leistungsfähigkeit der Modelle immer intensiver wird, und der Trend zu Open Source kaum aufzuhalten ist.
Eine Antwort unter dem Druck der öffentlichen Meinung – die Kernforderungen bleiben unverändert
In seiner Antwort betonte Amodei nach wie vor seine Bedenken im Hinblick auf die Sicherheit.
Seine größte Sorge ist, dass andere Länder KI-Modelle entwickeln könnten, die leistungsfähiger sind als die der USA, und diese Modelle nutzen, um einen dauerhaften militärischen Vorteil zu erlangen oder eine äußerst strenge Unterdrückung der eigenen Bevölkerung durchzuführen. Er erklärte, dass diese Sorge innerhalb der US-Regierung weit verbreitet ist. In diesem Fall ist es unwichtig, ob Modelle in Form offener Gewichte veröffentlicht werden, und natürlich auch unwichtig, ob sie von US-Unternehmen verwendet werden.
Zweitens befürchtet er, dass leistungsstarke KI-Modelle missbraucht werden könnten, um Cyberangriffe oder biologische Angriffe durchzuführen, und dass es auch schwerwiegende Probleme bei der Ausrichtung an Sicherheitsstandards geben könnte. „Modelle mit offenen Gewichten bergen tatsächlich ein höheres Risiko als quellengeschlossene Modelle, da es schwierig ist, wirksame Sicherheitsbarrieren für sie einzurichten und ihre Nutzung zu überwachen; und sobald die Modellgewichte veröffentlicht sind, lassen sie sich nicht mehr zurückziehen“, ergänzte Amodei. „Aber das Verbot der Nutzung dieser Modelle durch US-Unternehmen löst dieses Risiko nicht, da böswillige Akteure ohnehin kaum seriös wirtschaftende US-Unternehmen sein werden. Ein solches Verbot könnte zwar US-KI-Unternehmen vor Wettbewerb schützen, aber das war nie mein Ziel.“
Anschließend nannte Amodei drei Maßnahmen, für die er sich bereits wiederholt ausgesprochen hat:
Erstens: Keine Hochleistungs-Chips oder Chip-Herstellungsanlagen an China verkaufen und gleichzeitig Maßnahmen ergreifen, um den Erwerb dieser Chips durch andere Umgehungsmethoden zu unterbinden. Amodeis wörtliche Aussage lautet: „Die Kapazität für die Herstellung fortschrittlicher Chips in China ist begrenzt. Daher kann China unter der Wirkung der Skalierungsgesetze keine Modelle trainieren, die leistungsfähiger sind als die der USA, wenn es keinen Zugang zu US-Chips hat.“
Zweitens: Maßnahmen gegen Destillationsverfahren im industriellen Maßstab ergreifen. „Diese Verfahren ermöglichen es China, mit begrenzten Chip-Ressourcen Modelle zu trainieren, die weit über das übliche Niveau hinausgehen und so das Verbot teilweise umgehen“, betonte Amodei. „Wir sollten durch politische Eingriffe gegen dieses Vorgehen vorgehen. Ein umfassendes Verbot von Modellen mit offenen Gewichten ist weder die richtige Lösung noch eine Maßnahme, für die wir uns je ausgesprochen haben.“
Drittens: Alle Modelle mit ausreichend hoher Leistungsfähigkeit, egal ob offen oder geschlossen, müssen sich obligatorischen Sicherheitstests unterziehen. Er betonte, dass Sicherheitstests nur dann wirklich wirksam sind, wenn sie weltweit durchgesetzt werden.
Die Zielrichtung seiner Aussagen hat sich im Grunde nicht geändert, er hat nur die „Angriffe“ auf quelloffene Modelle mehrfach abgeschwächt. Ein weiterer Grund für diese offizielle Antwort von Amodei ist der Druck der öffentlichen Meinung im Ausland, der durch den offenen Brief „Open Weights and American AI Leadership“ ausgelöst wurde, den Jensen Huang vor einigen Tagen weiterverbreitet hat.
Am 24. Juli veröffentlichte Jensen Huang seinen ersten Beitrag auf X und leitete diesen offenen Brief weiter, in dem er die US-Regierung aufforderte, keine Beschränkungen für herunterladbare KI-Modelle zu erlassen. In dem Brief heißt es, dass offene Gewichte das Risiko einer Abhängigkeit von einzelnen Anbietern verringern und die Kontrolle der Unternehmen über Modelle, Daten und Infrastruktur stärken. Der offene Brief wurde ursprünglich von 25 Unternehmen unterzeichnet, die Zahl stieg schnell auf 50 an, darunter weitere Unterzeichner wie OpenAI, Google, AMD, Cisco, Cloudflare, GitHub, Block und Ollama. Bis zum Zeitpunkt der Veröffentlichung haben bereits 77 Unternehmen den Brief unterzeichnet.
Die Tatsache, dass die Zahl der Unterzeichner innerhalb eines Tages verdoppelt wurde, zeigt, dass offene Gewichte schnell zu einem Kernpunkt der Diskussion über die US-KI-Politik werden.
Bemerkenswert ist, dass Anthropic und Amazon noch nicht in der Liste der Unterzeichner erscheinen. Amazon ist einer der größten Investoren von Anthropic, und Anthropic nutzt auch die Amazon-Trainium-Chips zum Trainieren und Bereitstellen von Modellen. Die beiden Unternehmen haben bisher keine Erklärung für ihre Abwesenheit abgegeben.
Amodei erklärte, dass er vielen Inhalten des offenen Briefs zustimmt: „Offene Gewichte erweitern die Möglichkeiten der Menschen, an der KI-Wirtschaft teilzunehmen, stärken den Wettbewerb zumindest in einigen Anwendungsbereichen und geben den Kunden mehr Kontrolle. Bedenken hinsichtlich der Destillation sollten durch gezielte rechtliche und geschäftliche Rahmenbedingungen ausgeräumt werden, also durch die Maßnahmen, die ich oben genannt habe.“
Aber er sagte auch, dass er einigen anderen Aussagen des offenen Briefs nicht zustimmt, zum Beispiel der Behauptung, dass Modelle mit offenen Gewichten zwangsläufig günstiger für die Entwicklung von Sicherheitsmaßnahmen sind, oder dass eine breite Freigabe von Modellfähigkeiten den Verteidigern zwangsläufig größere Vorteile bringt als den Angreifern. „Meiner Meinung nach ist das gegenteilige Ergebnis mindestens ebenso wahrscheinlich.“
Das sind alles sehr vertraute Formulierungen. Mit dieser Antwort will Amodei vor allem die öffentliche Stimmung in den USA beruhigen.
Bemerkenswert ist, dass die in dem offenen Brief erwähnte „Offenheit“ sich hauptsächlich auf die Modellebene bezieht. Das Unternehmen NVIDIA, das den offenen Brief organisiert hat, beherrscht nach wie vor das proprietäre CUDA-Software-Ökosystem, Microsoft verkauft quellengeschlossene Modelle auf Azure, und die von den meisten Unterzeichnern befürwortete „Offenheit“ berührt nicht ihre eigenen zentralen Wettbewerbsvorteile.
Für Unternehmen bedeutet offenes Gewicht zunächst einmal, dass sie Modelle herunterladen, prüfen und neu trainieren können, und Daten in der eigenen Infrastruktur behalten dürfen. Ob das Modell aber tatsächlich betrieben werden kann, hängt nach wie vor von der Chip-Versorgung, den Rechenkosten und den Bereitstellungsfähigkeiten ab. Die Offenlegung von Modellen löst auch keine Probleme wie Autorisierung von Agenten, Versionsverfolgung und Auditierung.
Selbst wenn Unternehmen die Modellgewichte lesen können, können sie nicht allein anhand des Modells nachweisen, ob ein bestimmter Agent autorisiert ist, oder bestätigen, dass die in verschiedenen Regionen ausgeführten Modelle mit der von dem Sicherheitsteam genehmigten Version übereinstimmen. Daher lösen offene Gewichte nur einen Teil des Problems der Anbieterabhängigkeit, nicht das gesamte Problem der KI-Governance.
Open-Source-Veröffentlichung von Modellen der T-Klasse: 2 Millionen Yuan sind nur die „Eintrittskarte“
Im Ausland gab es schon lange Bedenken, dass in China ein quelloffenes Modell auftauchen könnte, das mit Fable 5 mithalten kann. Die Veröffentlichung von K3 hat diese Sorge noch verstärkt. Mit der Veröffentlichung des technischen Berichts zu K3 lassen sich auch die möglichen Auswirkungen der Open-Source-Veröffentlichung von Modellen der T-Klasse erkennen.
„Jetzt kann jeder das Kimi K3-Modell herunterladen und bereitstellen – egal ob für interne Forschung und Entwicklung oder zur Einbettung in Produkte für Endnutzer, die Nutzung ist frei möglich.“ Dieser Satz in der offiziellen Ankündigung von Moonshot AI hat die Begeisterung der Internetnutzer geweckt. Einige Nutzer haben aber auch festgestellt, dass die lokale Bereitstellung für Einzelpersonen bei Modellen dieses Leistungsniveaus wie K3 praktisch unmöglich ist.
Bis heute ist die niedrigste nachweisbare Bereitstellungskonfiguration für Kimi K3 ein Server mit 8 AMD MI355X-Beschleunigerkarten, dessen Gesamtkosten auf etwa 1,7 bis 2,4 Millionen Yuan geschätzt werden. Diese Konfiguration reicht aber nur aus, um das Modell zu laden – es besteht noch eine deutliche Lücke zu einem produktionsreifen Dienst mit akzeptabler Geschwindigkeit, Parallelverarbeitungsfähigkeit und Unterstützung für lange Kontexte.
Der Zhihu-Autor „Pingfan“ schätzt, dass gemäß der Empfehlung von Kimi für den Einsatz von mehr als 64 Beschleunigerkarten in dem offiziellen technischen Artikel der Hardware-Aufwand für einen echten kommerziellen Dienst bis in den Bereich von zehn Millionen Yuan reichen kann. Das bedeutet, dass K3 mit einem Parameterumfang von 2,8 T bereits außerhalb des Bereichs der lokalen Bereitstellung durch Privatpersonen liegt. Für die überwiegende Mehrheit der normalen Unternehmen ist die Wirtschaftlichkeit des Aufbaus eines eigenen Inferenz-Clusters sehr begrenzt, der direkte Aufruf von APIs bleibt wahrscheinlich die praktischere Wahl.
Genauer gesagt hat die Kimi K3-Modelldatei eine Größe von etwa 1,5609 TB, die Gesamtparameterzahl erreicht 2,8 T, bei jeder Generierung werden nur etwa 104 B Parameter aktiviert, und die Modellgewichte verwenden das MXFP4-Format. Obwohl es eine Misch-Experten-Architektur verwendet und nicht alle Parameter bei einer einzelnen Inferenz aufgerufen werden müssen, beanspruchen die vollständigen Modellgewichte, der KV-Cache und der Betriebszustand nach wie vor einen sehr großen Speicherplatz auf den Grafikkarten.
Gemäß den von AMD veröffentlichten Testergebnissen ist eine einzelne MI355X mit 288 GB HBM-Speicher ausgestattet, 8 Karten verfügen zusammen über 2,304 TB Speicher, die die K3-Modellgewichte und erforderlichen Betriebsdaten aufnehmen können. AMD hat die Bereitstellungslösung mit 8×MI355X und Tensor-Parallelitätsgrad TP8 bereits validiert. vLLM listet ebenfalls 8 MI355X- oder 8 B300-Karten als derzeit relativ einfach zu realisierende Konfiguration für die Bereitstellung von K3 auf. Bemerkenswert ist, dass der von AMD bisher veröffentlichte maximale Kontext bei den ersten Tests nur 16K beträgt, wichtige Kennzahlen wie Generierungsgeschwindigkeit, Latenz für das erste Token, Durchsatz und Parallelverarbeitungsfähigkeit wurden noch nicht offengelegt.
„Die Zeit, in der man einen Mac Studio mit 512 GB Speicher kaufen konnte, um ein großes Modell mit mehreren hundert B Parametern bereitzustellen, ist vorbei. Modelle dieses Niveaus sind heute nicht mehr wettbewerbsfähig“, fasste der Autor zusammen. Außerdem kann bei Modellen wie K3 mit 2,8 T Parametern selbst bei Verwendung von Gewichten im Niedrigpräzisionsformat die Speicherkapazität, Bandbreite und Rechenleistung normaler Workstations die Anforderungen der Bereitstellung nicht erfüllen.
Der Autor hat grob vier Lösungen aufgelistet, die von niedrig nach hoch im Grunde gerade so funktionieren oder eine einigermaßen normale Nutzung ermöglichen.
Dabei sind 8 MI355X die derzeit kostengünstigste und am stärksten validierte Lösung unter den öffentlichen Konfigurationen. Da es keinen einheitlichen öffentlichen Preis für den gesamten Server mit MI355X gibt, kann der Markt nur Schätzungen anhand der Preise für Server und einzelne Karten vornehmen. Der Preis für einen 8-Karten-Server von Supermicro, der die MI350-Serie unterstützt, beginnt bei etwa 245.000 US-Dollar. Zusammen mit dem Marktwert von etwa 25.000 US-Dollar pro MI355X-Karte werden die Kosten eines vollständigen 8-Karten-Servers auf 250.000 bis 350.000 US-Dollar geschätzt, was umgerechnet etwa 1,7 bis 2,4 Millionen Yuan entspricht.
Die Kosten für andere Lösungen sind höher. 16 H200-Karten verfügen zusammen über etwa 2,256 TB Speicher, der theoretisch für die Aufnahme des Modells ausreicht, aber normalerweise die Bereitstellung auf zwei Servern erfordert, die Hardwarekosten werden auf etwa 4,35 bis 5,7 Millionen Yuan geschätzt. 16 B200-Karten verfügen zusammen über etwa 2,88 TB Speicher, da der Speicher eines einzelnen 8-Karten-B200-Servers nicht ausreicht, werden zwei Server benötigt, die Kosten betragen etwa 5,4 bis 6,8 Millionen Yuan. 24 H100-Karten verfügen zusammen über etwa 1,92 TB Speicher, der das Modell gerade noch aufnehmen kann, aber nur wenig Spielraum für den Betrieb lässt, die Kommunikation zwischen den Servern wird zu einem deutlichen Engpass. Bei Nutzung von Cloud-Diensten können die jährlichen Mietkosten 8,7 Millionen Yuan übersteigen.
Selbst bei der kostengünstigsten