Gu Yuxian, Preisträger des Tsinghua-Spezialpreises, ist DeepSeek beigetreten.

In letzter Zeit hat DeepSeek einen aggressiven Personalbeschaffungskampf gestartet. Die offenen Positionen reichen über verschiedene Abteilungen wie Algorithmen, Forschung und Entwicklung, Produktmanagement, Betriebsführung, Dateningenieurwesen sowie Funktionsbereiche hinweg.

Zur gleichen Zeit wird die offizielle Version von DeepSeek V4 Mitte dieses Monats online gehen. In der Liste der Autoren der früheren DeepSeek V4 - Studie haben wir den Namen von Gu Yuxian (Yuxian Gu), einem Doktoranden der Klasse 2021 der Tsinghua-Universität und Empfänger des Sonderpreises für Doktorandenstipendien 2025 entdeckt.

So viel wir wissen, hat Gu Yuxian sich bereits offiziell DeepSeek angeschlossen.

Gu Yuxian hat auch das Apple - Doktorandenstipendium 2025 und das Ant In - Tech - Stipendium erhalten.

„Wenn die Hardwareressourcen begrenzt sind, wird die Algorithmeninnovation zum Schlüssel, um die Rechenschranken zu überwinden.“ sagte Gu Yuxian, ein Absolvent der Tsinghua-Universität. Er ist ein Doktorand der Abschlussklasse der Informatikfakultät der Tsinghua-Universität und hat auch sein Bachelorstudium an der Tsinghua-Universität abgeschlossen.

Seine persönliche Homepage zeigt, dass Gu Yuxian im Interaktiven Künstlichen Intelligenz - Forschungsteam (Conversational AI, CoAI) der Tsinghua-Universität studiert und Professor Huang Minlie als Mentor hat.

Persönliche Homepage: https://t1101675.github.io/

Seine Forschung konzentriert sich hauptsächlich darauf, wie die Effizienz in der gesamten Lebensdauer von Large Language Models verbessert werden kann, einschließlich der Schlüsselphasen wie Vorhersage, Anpassung an downstream - Aufgaben und Inferenz. Kürzlich hat er die Forschung hauptsächlich in drei Richtungen durchgeführt:

Auswahl von Vorhersagedaten: Bemüht sich, Theorien und Algorithmen zu entwickeln, um den Datenauswahlprozess bei der Training von Large Language Models zu optimieren und dadurch stärkere und effizientere Modelle zu trainieren. Zu den repräsentativen Arbeiten gehören PDS, Instruction Pre - training und Learning Law.

Wissensdistillation bei der Modellkompression: Entwirft neue Methoden, um das Wissen von großen Modellen effektiv auf kleinere und leichter zu deployende Modelle zu übertragen. Zu den repräsentativen Ergebnissen in dieser Richtung gehören MiniLLM und MiniPLM.

Effiziente Modellarchitekturen: Erforscht und entwirft neue Modellarchitekturen, um die Rechenkosten zu senken und gleichzeitig die Modellleistung zu verbessern. Die dazugehörigen Arbeiten umfassen Jet - Nemotron.

Auf seiner Google Scholar - Homepage hat Gu Yuxians Artikel fast 5000 Zitationen. Zwei Artikel haben über 1000 Zitationen, nämlich „Pre - trained models: Past, present and future“ und „MiniLLM: Knowledge distillation of large language models“.

Gu Yuxian hat als Erstautor mehrmals Artikel auf internationalen Spitzenkonferenzen für Künstliche Intelligenz wie NeurIPS, ICLR und ACL veröffentlicht.

MachineHeart hat im vergangenen Jahr über „Jet - Nemotron“ berichtet, eine neue Serie von hybriden Architektur - Sprachmodellen, die bei Erreichen der Genauigkeit von SOTA - Voll - Attention - Modellen auch eine ausgezeichnete Effizienz aufweist.

Die Kerninnovationen von Jet - Nemotron liegen hauptsächlich in folgenden zwei Punkten:

Post Neural Architecture Search (PostNAS): Eine effiziente Pipeline zur Architekturerkundung und - anpassung nach dem Training, die für jedes vorgespeicherte Transformer - Modell angewendet werden kann.

JetBlock: Ein neues lineares Attention - Modul, dessen Leistung deutlich besser ist als die früherer Entwürfe wie Mamba2.

Link zur Studie: https://arxiv.org/pdf/2508.15884

Damals konnte die 2B - Version von Jet - Nemotron die Leistung von SOTA - Open - Source - Voll - Attention - Sprachmodellen wie Qwen3, Qwen2.5, Gemma3 und Llama3.2 übertreffen und gleichzeitig eine deutliche Effizienzsteigerung erzielen. Auf einem H100 - GPU konnte die Generierungsdurchsatzrate um das 53,6 - fache beschleunigt werden (Kontextlänge 256K, maximale Batch - Größe).

Bei den MMLU - und MMLU - Pro - Benchmarks hat Jet - Nemotron auch eine höhere Genauigkeit als einige MoE - Voll - Attention - Modelle wie DeepSeek - V3 - Small und Moonlight erreicht, obwohl diese Modelle eine größere Parameteranzahl haben.

Im früheren Jahr 2024 haben Gu Yuxian und seine Mitarbeiter eine Wissensdistillationsmethode vorgeschlagen, um Large Language Models in kleinere Sprachmodelle zu destillieren. Zunächst wurde die Reverse Kullback - Leibler - Divergenz (KLD) anstelle des Standard - Forward - KLD - Ziels in der Standard - Wissensdistillationsmethode verwendet, und anschließend wurde eine effektive Optimierungsmethode abgeleitet, um dieses Ziel zu lernen.

Sie nannten das resultierende Studentenmodell 「MiniLLM」. Zahlreiche Experimente im Szenario des Befehlsfolgens zeigen, dass MiniLLM im Vergleich zu Basismethoden präzisere Antworten generieren kann, eine höhere Gesamtqualität aufweist, gleichzeitig eine geringere Expositionsabweichung, bessere Kalibrierfähigkeit und eine stärkere Leistung bei der Generierung von langen Texten hat.

Spitzen - Open - Source - Communities und Industrieplattformen wie Google, Alibaba und NVIDIA haben diese Methode bereits übernommen.

Link zur Studie: https://arxiv.org/pdf/2306.08543

Wir erwarten auch, dass Gu Yuxian in der nächsten Phase seines Lebens bei DeepSeek noch mehr neue Ergebnisse erzielen wird.

Dieser Artikel stammt aus dem WeChat - Account „MachineHeart“ (ID: almosthuman2014). Autor: MachineHeart, das sich auf AI - Talente konzentriert. Veröffentlicht von 36Kr mit Genehmigung.