Das neue Modell von DeepSeek wird Open Source, das neue Architektur fällt auf, und die chinesischen AI-Chips feiern kollektiv.

DeepSeek ist einen Schritt näher an der nächsten Generation von Architekturen!

Nach einer Meldung von Zhidx am 30. September hat DeepSeek gestern die Open-Source-Veröffentlichung des DeepSeek-V3.2-Exp-Experimentalmodels angekündigt. Dieses Modell führt erstmals den DeepSeek Sparse Attention-Mechanismus ein und verbessert die Effizienz von Langtexttraining und -inferenz erheblich, ohne die Ausgabequalität des Modells nennenswert zu beeinträchtigen. DeepSeek definiert es als „Zwischenschritt auf dem Weg zur neuen Generation von Architekturen“.

HuggingFace-Adresse:

https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp

ModelScope-Community-Adresse:

https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2-Exp

Diese Verbesserung hat auch die Servicekosten für das neue DeepSeek-Modell gesenkt. DeepSeek hat daher eine neue Preisrichtlinie eingeführt, die die Kosten für Entwickler, die die DeepSeek-API nutzen, um mehr als 50 % senkt.

Der stärkste Preisverfall betrifft die Ausgabe von Token: Das DeepSeek-V3.2-Exp-Modell kostet nur 3 Yuan für die Ausgabe von einer Million Token, was ein Viertel der Kosten des DeepSeek-V3.1-Serienmodells entspricht.

Bis 6 Uhr morgens am 30. September haben Cloud-Plattformen wie Huawei Cloud, PPIO und UCloud die Veröffentlichung des DeepSeek-V3.2-Exp-Modells angekündigt. AI-Chip-Hersteller wie Huawei, Cambricon und Hygon Information haben die Kompatibilität mit DeepSeek-V3.2-Exp bestätigt.

Das DeepSeek-V3.2-Exp-Modell baut auf der Grundlage des DeepSeek-V3.1-Terminus-Modells auf. In öffentlichen Testsuiten aller Bereiche zeigen beide Modelle ähnliche Leistung, jedoch verwendet DeepSeek-V3.2-Exp deutlich weniger Token, um Aufgaben zu bewältigen.

Derzeit ist das DeepSeek-V3.2-Exp-Modell in der DeepSeek-App, auf der Webseite und in der Mini-App verfügbar. DeepSeek behält auch vorübergehend die API-Schnittstelle des DeepSeek-V3.1-Terminus-Modells bei, um Entwicklern einen Vergleich zu ermöglichen.

Neben dem Modell selbst hat DeepSeek auch die dazugehörigen technischen Berichte und Code Open-Source veröffentlicht und GPU-Operatoren in beiden Versionen, TileLang und CUDA, zur Verfügung gestellt, damit Forscher Experimente und Optimierungen auf verschiedenen Ebenen durchführen können.

Adresse des technischen Berichts: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

DeepSeek hat ergänzt, dass das DeepSeek-V3.2-Exp-Experimentalmodel, obwohl seine Wirksamkeit in öffentlichen Testsuiten bestätigt wurde, noch umfangreichere und größere Tests in realen Anwendungsfällen durchlaufen muss, um die Möglichkeit von mangelhafter Leistung in bestimmten Szenarien auszuschließen.

01.

Huawei, Hygon und Cambricon passen sich rasch an

Netizens prophezeien den zweiten DeepSeek-Moment

Sobald das DeepSeek-V3.2-Exp-Modell veröffentlicht wurde, hat es in der Branche und unter Entwicklern starke Reaktionen ausgelöst. Viele chinesische Unternehmen haben umgehend die Kompatibilität und Veröffentlichung des Modells angekündigt.

Das Offizielle Huawei Computing-Konto hat mitgeteilt, dass das Ascend-System schnell die Kompatibilität mit Inferenz-Frameworks wie vLLM/SGLang hergestellt und die Unterstützung für DeepSeek-V3.2-Exp von Tag 0 an (der Veröffentlichungstag) gewährleistet hat. Alle Inferenz-Codes und -Operatoren werden Entwicklern Open-Source zur Verfügung gestellt. Bei der Ausgabe von 128K-Langsequenzen auf Ascend-Geräten kann das DeepSeek-V3.2-Exp-Modell eine Inferenz-Generationsgeschwindigkeit von weniger als 2 Sekunden für die Ausgabe des ersten Tokens (TTFT) und weniger als 30 Millisekunden für die Ausgabe jedes Tokens (TPOT) aufrechterhalten.

Huawei Cloud hat das DeepSeek-V3.2-Exp-Modell erstmals veröffentlicht und mit CloudMatrix 384-Superknoten die Inferenzdienste für das Modell bereitgestellt.

4 Minuten nachdem DeepSeek die Open-Source-Veröffentlichung des DeepSeek-V3.2-Exp-Modells angekündigt hatte, hat Cambricon ebenfalls mitgeteilt, dass es die Kompatibilität mit dem Modell von Tag 0 an hergestellt und den Quellcode des Large-Model-Inferenz-Engines vLLM-MLU Open-Source veröffentlicht hat.

Cambricon hat die schnelle Kompatibilität durch die Entwicklung von Triton-Operatoren erreicht und die Leistung durch die Entwicklung von BangC-Fusionsoperatoren optimiert. Durch die parallele Strategie von Berechnung und Kommunikation hat es ein hohes Niveau an Rechenleistung erzielt.

Das DeepSeek-V3.2-Exp-Modell hat eine Größe von 671 GB, und das Herunterladen kann mehrere Stunden dauern. Die Tatsache, dass Cambricon die Kompatibilität nur 4 Minuten nach der Ankündigung hergestellt hat, deutet darauf hin, dass die beiden Unternehmen möglicherweise bereits vor der Veröffentlichung des Modells mit der Anpassung begonnen haben.

Laut einer Meldung von Economic Observer hat Hygon Information mit seinem DCU (Deep Computing Processor) erstmals die effiziente Kompatibilität und Optimierung mit DeepSeek-V3.2-Exp von Tag 0 an erreicht und die „Null-Wartezeit“-Bereitstellung von Rechenleistung für das Large-Model gewährleistet.

In den Tweets von DeepSeek zu der Open-Source-Veröffentlichung des DeepSeek-V3.2-Exp-Modells haben viele Netizens ihre Erfahrungen und Eindrücke mit dem Modell geteilt. Ein Netizen hat berichtet, dass er das DeepSeek-V3.2-Exp-Modell in einer 100.000-Token-Codebasis getestet hat und eine deutliche Geschwindigkeitssteigerung festgestellt hat.

Einige Netizens haben kommentiert, dass die DeepSeek-API jetzt fast kostenlos ist.

Weitere Netizens sind der Meinung, dass die Veröffentlichung dieses Modells vielleicht den zweiten DeepSeek-Moment ankündigt.

Auf Hugging Face gibt es auch viele Diskussionen im Community-Bereich des DeepSeek-V3.2-Exp-Modells. Der am meisten beachtete Beitrag ist jedoch ein „Klagtweet“ von einem chinesischen Netizen: „Muss dieses Modell unbedingt vor den Nationalfeiertagen aktualisiert werden?“

Einige Netizens haben auch die Zeitpunkte der Modellaktualisierungen von DeepSeek aufgelistet, die fast alle einige Tage vor Feiertagen fielen.

02.

Erste Erfahrungen mit DeepSeek-V3.2-Exp

Architekturinnovation könnte wichtiger sein als Leistungssteigerung

Wie unterscheidet sich das DeepSeek-V3.2-Exp-Modell im Gebrauch von dem vorherigen DeepSeek-V3.1-Terminus-Modell?

Bei der Programmierung ist der von DeepSeek-V3.2-Exp geschriebene Code deutlich kürzer. Bei der gleichen Aufgabe gibt es weniger Codezeilen als beim DeepSeek-V3.1-Terminus-Modell.

Dies hat jedoch auch die Leistung des Modells in gewissem Maße beeinträchtigt. Der von DeepSeek-V3.2-Exp geschriebene Code für eine Kugel-Bounce-Animation hat nicht funktioniert, und die Kugel ist direkt aus dem Sechseckbereich hinausgeflogen. Das DeepSeek-V3.1-Terminus-Modell hat diese Aufgabe in früheren Tests von Zhidx perfekt bewältigt.

Zhidx hat auch das DeepSeek-V3.2-Exp-Modell eine Informationssuche aufgetragen, indem es einige Pflanzen vorschlagen sollte, die für Anfänger geeignet sind, auf der Terrasse angebaut werden können, schnell wachsen, Früchte produzieren, die direkt gegessen werden können und absolut kindersicher sind. Idealerweise sollten auch einfache Säetechniken beigefügt werden.

Im Vergleich zum DeepSeek-V3.1-Terminus-Modell (links) ist das Ergebnis des DeepSeek-V3.2-Exp-Modells (rechts) kürzer und die Sprache einfacher. Darüber hinaus erfordern die von DeepSeek-V3.2-Exp vorgeschlagenen Pflanzen wie Feigen und Passionsfrüchte Steckverfahren und häufige Pflege, was nicht den Anforderungen von Anfängern entspricht.

Leistung von DeepSeek-V3.1-Terminus (links) und DeepSeek-V3.2-Exp (rechts) bei der Informationssuche (Quelle: Zhidx)

Insgesamt hat das DeepSeek-V3.2-Exp-Modell die Inferenzeffizienz verbessert, hat aber auch an Leistung eingebüßt.

Der Zhihu-Blogger @toyama