Weng Li ist gerade zu OpenAI zurückgekehrt, und Thinking Machines hat unmittelbar danach ein neues Modell herausgebracht.

Nach dem Debüt des ersten Modells Inkling dominiert ein neues KI-Modell wieder die sozialen Medien!

Heute hat Thinking Machines offiziell sein zweites bahnbrechendes Modell veröffentlicht — Inkling-Small.

276 Milliarden Gesamtparameter, 12 Milliarden Aktivierungsparameter, nativ multimodal, Kontext von 1 Million Token

Vor einem halben Monat erschien das erste quelloffene 975B-Inkling und löste eine riesige Welle in der KI-Branche aus.

Inkling-Small hat mit nur einem Viertel der Größe die Leistung des „Bruder-Modells mit Billionen-Parametern“ direkt übertroffen.

Auf ARC-AGI-2 bricht Inkling-Small den Rekord des quelloffenen SOTA

Wenn man die letzten Tage von Thinking Machines betrachtet, ist die Entwicklung voller unerwarteter Wendungen.

Nur zwei Tage nach der offiziellen Ankündigung des Rücktritts der Mitbegründerin Weng Li bestätigte OpenAI ihre Rückkehr — sie leitet das Team zur Erforschung von „rekursiver Selbstverbesserung“ (RSI).

Am dritten Tag veröffentlichte dieses Unternehmen, das gerade einen Kernmitarbeiter verloren hatte, direkt die „vollständigen Gewichte“ des neuen Modells.

Das neue Inkling-Small erscheint: 276B übertrifft das Billionen-Modell

Laut der offiziellen Vorstellung ist Inkling-Small ein Modell mit MoE-Architektur, das über insgesamt 276 Milliarden Parameter verfügt und bei jeder Inferenz 12 Milliarden Parameter aktiviert.

Im Vergleich zum ersten Inkling wurde seine Größe direkt auf ein Viertel komprimiert.

Wie der PyTorch-Experte Horace He sagte: „Inkling-Small braucht gar nicht die Kraft des gesamten Dorfes zu bündeln, es reicht aus, die Technologie der Vorgängermodelle direkt zu übernehmen.“

Das Bemerkenswerteste ist: Obwohl seine Größe verkleinert wurde, hat sich seine umfassende Leistung deutlich verbessert.

In den Bereichen Mathematik, Inferenz, Agentencodierung und multimodalen Benchmarks ist Inkling-Small mit Inkling und DeepSeek V4 Flash vergleichbar oder übertrifft sie sogar.

Bei den drei Kernkennwerten HLE, Terminal-Bench und IFBench ist die Leistung pro FLOP von Inkling-Small höher als die von Inkling.

Man kann sehen, dass die Kurve von Inkling-Small die von Inkling die gesamte Zeit übertrifft.

Auch im multimodalen Bereich bleibt es kaum zurück: Bei Diagrammverständnis, visueller Inferenz, Sprachverständnis und langer Audio-Inferenz erreicht Inkling-Small in den Bewertungen fast das Niveau des Originalmodells, die Kosten sind aber viel niedriger.

Die Ergebnisse weiterer Benchmark-Tests lauten wie folgt:

Ein Modell mit nur einem Viertel der Größe übertrifft sein älteres Bruder-Modell bei Inferenz- und Agentenaufgaben deutlich.

Die Details des Nachtrainings sind vollständig veröffentlicht

Was die Methode zur Erreichung dieses Ergebnisses angeht, hat die offizielle Seite die Verfahren sehr detailliert beschrieben, der Kern besteht aus zwei Schritten.

Das Training von Inkling-Small begann später als das von Inkling, daher konnte es alle Probleme verarbeiten, die in der vorherigen Runde aufgetreten sind —

Das Verhältnis der Vortrainingsdaten wurde angepasst, und die Formel des maschinellen Lernens wurde neu verfeinert.

Der entscheidendste Punkt sind zwei Betriebsschritte.

Im ersten Schritt wird Inkling als Lehrer für On-Policy-Distillation verwendet, um zunächst einen Preview-Checkpoint zu erstellen.

Im zweiten Schritt wird ausgehend von diesem Checkpoint zwei Wochen lang kontinuierlich Verstärkungslernen für die Agentencodierung durchgeführt. So ergab sich das Ergebnis, dass „der Schüler den Lehrer übertrifft“.

Mit nur zwei Wochen wurde die Lücke geschlossen und sogar übertroffen.

Das bedeutet, dass Thinking Machines direkt eine Produktionslinie in Betrieb genommen hat, die wiederholt neue Modelle hervorbringen kann. Das erste Modell ist ein Werk, das zweite Modell ist der Beweis für die Produktionskapazität.

12 Milliarden Aktivierungsparameter sind der echte Wendepunkt

Für die meisten Entwickler ist die wichtigste Frage: Können sie dieses Modell selbst nutzen?

Die Hürde für das ursprüngliche Inkling ist sehr hoch: Der Mindestanforderung für den BF16-Checkpoint beträgt 2 TB aggregierter Videospeicher —

Die Beispielkonfiguration umfasst 8 B300 oder 16 H200; selbst bei der NVFP4-quantisierten Version werden mindestens 600 GB benötigt.

Inkling-Small hat diese Hürde stark gesenkt.

LMSYS drückt es direkt aus: 276 Milliarden Gesamtparameter mit 12 Milliarden Aktivierungsparametern sind der optimale Punkt für Verstärkungslernen, sodass LoRA und das Training mit allen Parametern leicht zu erreichen sind.

Früher konnte nur große Unternehmen die Modellanpassung durchführen, jetzt hat auch ein Team mittlerer Größe die Chance, das Modell zu einem eigenen Werk zu trainieren.

Praktische Tests zeigen: In der gleichen Umgebung mit 8 B200, TP8, NVFP4 und einer Batch-Größe von 1 erreicht Inkling-Small bei der Ausführung mit SGLang eine Decodiergeschwindigkeit von 648 Tokens pro Sekunde mit aktiviertem DSpark und 288 Tokens pro Sekunde ohne DSpark.

Vier von sechs Mitbegründern sind gegangen, die Modelle werden immer schneller veröffentlicht

Im Februar letzten Jahres startete Thinking Machines beeindruckend mit einer Liste von sechs Personen des „OpenAI Dreamteams“:

Mira Murati, John Schulman, Barret Zoph, Weng Li, Andrew Tulloch, Luke Metz.

Damals erhielten sie eine ungewöhnliche Finanzierung von 2 Milliarden US-Dollar in der Seed-Runde mit einer Bewertung von 12 Milliarden US-Dollar.

Niemand hätte erwartet, dass die Finanzierungsrunde mit einer Bewertung von 50 Milliarden US-Dollar im Januar dieses Jahres schließlich scheiterte und der Beginn der Wende war.

Jetzt sind von den sechs Mitgliedern nur noch Murati und Schulman übrig.

Noch interessanter ist: Von den vier abgetretenen Mitgliedern sind Zoph und Metz nacheinander zu OpenAI zurückgekehrt, jetzt ist Weng Li die dritte.

Ein Unternehmen, das von „Rebellen“ aus OpenAI gegründet wurde, dessen Kernmitarbeiter schließlich dem Gravitationsfeld von OpenAI nicht entkommen konnten.

Aber das wirklich dramatische ist die Reaktion des Teams angesichts der Turbulenzen.

Am 15. Juli veröffentlichte Thinking Machines, das 17 Monate lang geschwiegen hatte, endlich sein erstes großes Modell Inkling.

Weniger als zwei Wochen später kündigte Weng Li ihren Rücktritt an; nur drei Tage später erschien das zweite quelloffene Modell mit vollständigen Gewichten.

Talente verlassen das Unternehmen immer schneller, während die Modelle mit immer höherer Geschwindigkeit entwickelt werden.

Diese zwei entgegengesetzten Kurven sind eine der repräsentativsten Szenen in der KI-Branche.

Vielleicht ist das der notwendige Weg zu ASI: Egal wie wenige Menschen übrig bleiben, das Rad der Entwicklung der Maschinerie wird nur immer schneller drehen.

Referenzmaterial:

https://thinkingmachines.ai/news/inkling-small/

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „New Zhiyuan“, Autor: Offenbarung des ASI, veröffentlicht mit Genehmigung von 36Kr.