Der neue amerikanische Open-Source-König Inkling, der keine Ranglisten anstrebt: 975B native Multimodalität, erreicht die Leistung von NVIDIA mit nur 1/3 der Token

Ist es angesichts der heute bereits festgelegten globalen Landschaft großer Modelle noch notwendig, enorme Summen zu investieren, um ein neues Modell von Grund auf neu zu trainieren?

Das von Mira Murati, der ehemaligen CTO von OpenAI, und der chinesischen Forscherin Li Weng (ehemalige Vizepräsidentin für angewandte Forschung bei OpenAI) gemeinsam gegründete Unternehmen Thinking Machines Lab (TML) hat heute die Antwort gegeben.

In den frühen Morgenstunden des 16. Juli nach Pekinger Zeit stellte das Unternehmen sein erstes eigenes universelles Grundmodell Inkling vor. Es basiert auf der Mixture-of-Experts-Architektur (MoE) mit insgesamt 975 Milliarden Parametern, von denen 41 Milliarden pro Inferenz aktiviert werden. Die Inferenzgewichte sind vollständig unter der Apache-2.0-Lizenz offen gelegt, einschließlich der BF16- und NVFP4-quantisierten Versionen.

Hugging Face Open-Source-Adresse: https://thinkingmachines.ai/news/introducing-inkling

Thinking Machines Lab wurde im Februar 2025 gegründet. Nur fünf Monate nach der Gründung schloss das Unternehmen eine Seed-Finanzierungsrunde über 2 Milliarden US-Dollar ab, mit einer Bewertung von 12 Milliarden US-Dollar – ein Rekord für Seed-Runden in der KI-Branche. Man könnte sagen, dass Inkling durchaus das Potenzial hat, in Ranglisten groß aufzutreten, aber TML hat sich mit einer in der Branche seltenen aufrichtigen Haltung bewusst von der „SOTA-Erzählung“ distanziert.

In ihrem offiziellen Blog erklären sie offen: „Inkling ist nicht das stärkste Modell der Welt – weder unter Open-Source- noch unter Closed-Source-Modellen.“ Ihrer Meinung nach liegt der primäre Wert von Open-Source-Modellen nicht darin, die höchste Leistungsgrenze zu erreichen, sondern darin:

Ein Gleichgewicht zwischen Fähigkeiten, Inferenzkosten, nativer Multimodalität und Feinabstimmbarkeit zu finden, um das Modellgrundgerüst zu werden, das Unternehmen mit ihren eigenen Daten kontinuierlich weiterentwickeln können.

Dass TML so tiefe Einblicke in den Open-Source-Modell-Markt hat, liegt auch daran, dass das Unternehmen fast ein Jahr lang mit seiner Plattform für Feinabstimmungs-Rechenleistungen großer Modelle Tinker im B2B-Bereich praktische Erfahrungen gesammelt hat. Diese Erfahrungen spiegeln sich in Inkling wider: Drei Kernaspekte, auf die sich ein Modell für die sekundäre Feinabstimmung durch Unternehmen konzentrieren sollte:

Token-Effizienz, geschlossener Kreislauf für tiefgreifende Anpassungen und native Multimodalität.

Das „Allround-Modell“ führt die US-amerikanische Open-Source-Szene an

Inkling basiert auf der MoE-Architektur mit insgesamt 975 Milliarden Parametern, von denen 41 Milliarden pro Inferenz aktiviert werden. Das Kontextfenster beträgt maximal 1 Million Token, die Menge der Vortrainingsdaten liegt bei 45 Billionen Token und umfasst Text, Bilder, Audio und Video.

Bildunterschrift: Inkling (von „Ahnung“ und „Tinte“): Das Design erinnert an eine Tintenmasse, die beliebig ihre Form ändern kann.

Allein aufgrund seiner Größe gehört es mit 975 Milliarden Parametern zu den weltweit größten Open-Source-Modellen (mehr als die 753 Milliarden Parameter von Zhipus GLM-5.2, aber weniger als die 1 Billion Parameter von Kimi-K2).

Aber da es sich an der MoE-Architektur von DeepSeek V3 orientiert („folgt weitgehend DeepSeek-V3“), ruft Inkling pro Inferenz nur einen kleinen Teil der Experten auf, sodass die tatsächlichen Betriebskosten und Latenzen kontrolliert werden können. Dies ist heute ein üblicher Ansatz für große Modelle, den auch DeepSeek, Kimi und GLM verfolgen.

Ausblickend gibt es gleichzeitig eine leichtere Vorschauversion namens Inkling-Small mit insgesamt 276 Milliarden Parametern und 12 Milliarden aktivierten Parametern – deren Gewichte werden nach Abschluss der Tests veröffentlicht.

In umfassenden allgemeinen Bewertungen zeigt das Ergebnis des Drittanbieters Artificial Analysis: Inkling übertrifft mit einer Gesamtpunktzahl von 41 Punkte Nvidias Nemotron 3 Ultra, Googles Gemma 4 31B und das GPT-OSS-120B von seinem ehemaligen Arbeitgeber OpenAI – und führt die Rangliste der US-amerikanischen Open-Source-Modelle an.

Diese Breite der Fähigkeiten ist für Modellanpassungen und praktische Anwendungen von großer Bedeutung. Statt die Grenze in nur einem Bereich (z. B. rein logisches Schlussfolgern) zu erreichen, deckt es ein breites Aufgabenspektrum ab: Agenten-Orchestrierung, Programmierung, Befolgung von Anweisungen und multimodales Verstehen. Da die tatsächlichen Arbeitsabläufe von Unternehmen komplex und miteinander verflochten sind, muss das Grundmodell ein „Alleskönner“ sein, um spätere spezialisierte Feinabstimmungen zu unterstützen.

Im Bereich der Agenten-Orchestrierung und Tool-Nutzung hat TML während des Trainings die Tool-Sets und Tool-Definitionen absichtlich durcheinandergewirbelt, um die Robustheit zu verbessern – sodass das Modell die zugrundeliegende Logik der Tool-Nutzung versteht, statt die APIs bestimmter Frameworks auswendig zu lernen.

In praktischen Fällen kann Inkling durch „One-Shot-Generierung“ direkt eine funktionsfähige Webanwendung erstellen, die einen KI-Assistenten integriert – sodass Nutzer die Oberfläche direkt in natürlicher Sprache steuern können. Dieser Sprung von „Code generieren“ zu „interaktive Systeme aufbauen“ ist die am meisten benötigte Fähigkeit für automatisierte Unternehmensarbeitsabläufe.

Bei Webanwendungs-Tests und der Erstellung mehrerer Seiten ist die langfristige Konsistenz ein weiteres Highlight von Inkling. Im blinden Bewertungstest Design Arena durch anonyme menschliche Tester erreichte Inkling 1257 Punkte – gleichauf mit dem Closed-Source-Flaggschiff Claude Opus 4.6, übertrifft Gemini 3.5 Flash und Kimi K2.6 und liegt unter den weltweit offen gewichteten Modellen nur hinter Zhipus GLM 5.2.

Große Sprachmodelle leiden bei der Generierung langer Texte oft unter „Stildrift“ oder „Vergessen von Anweisungen“ – aber Inkling kann bei der Erstellung mehrseitiger Anwendungen die visuelle Stilkonsistenz und Informationszuverlässigkeit über alle Seiten hinweg genau beibehalten. Dies beweist indirekt, dass sein 1-Million-Token-Kontextfenster kein reines Papierparameter ist, sondern tatsächlich in der Praxis funktioniert.

Objektiv gesehen liegt Inkling zwar an der Spitze der US-amerikanischen Open-Source-Szene, aber in „harten Schlussfolgerungs-Benchmarks“ wie HLE oder extremen Code-Agenten hinkt es noch hinter den chinesischen Modellen GLM 5.2 und Kimi K2.6 her. Aber TML scheint das nicht zu kümmern.

Um zu beweisen, wie sehr diese „Breite zuerst“-Strategie der Feinabstimmung hilft, hat TML sogar ein sehr mutiges Experiment durchgeführt: Inkling an seinem eigenen Feinabstimmungsprozess teilnehmen lassen.

In dieser Demonstration schreibt das Modell über die Tinker-Plattform selbst Feinabstimmungsaufgaben, führt den Trainingsprozess aus und bewertet die Ergebnisse. Das zeigt, dass Inkling ein extrem formbares Modellgrundgerüst ist – es kann sogar als Infrastruktur dienen, um sich selbst und andere Modelle zu gestalten.

1/3 der Token-Kosten von Nemotron 3 Ultra erreichen

Wenn die Breite der Fähigkeiten des „Allround-Modells“ die Eintrittskarte für Inkling ist, um die US-amerikanische Open-Source-Szene anzuführen, dann baut es seinen echten Wettbewerbsvorteil im B2B-Markt auf der extremen Konzentration auf „Bereitstellungskosten“ und „Formbarkeit“ auf.

Im Terminal Bench 2.1 (Agenten-Programmier-Benchmark) erreicht Inkling bei gleicher Leistung wie Nvidias Nemotron 3 Ultra nur etwa ein Drittel der generierten Token-Menge des letzteren.

Bildunterschrift: Mit steigender Inferenzintensität von 0,2 auf 0,99 kann Inkling verschiedene Arbeitspunkte zwischen Aufgabenerfüllung und generierten Token wählen.

Aus den Testergebnissen geht hervor, dass Nemotron 3 Ultra in diesem Test 56,4 % erreicht, während Inkling bei maximaler Inferenzintensität 63,8 % erreicht. Wenn TML die Inferenzintensität von Inkling senkt, sodass seine Leistung auf das Niveau von Nemotron fällt, beträgt die benötigte Token-Menge nur etwa ein Drittel des anderen Modells.

Das bedeutet: Inkling erreicht die gleiche Aufgabenerfolgsrate mit einem kürzeren Inferenzpfad. Für Unternehmen, die Modelle in lange Arbeitsabläufe einbinden und täglich Millionen von Aufrufen durchführen, bedeutet dies nicht nur drastisch niedrigere API-Kosten – es bestimmt direkt die vom Nutzer wahrgenommene Antwortlatenz.

Bemerkenswert ist, dass die Token-Effizienz von Inkling nicht durch eine harte Kürzung der Gedankenketten über eine nachgeschaltete Schnittstelle erreicht wird – sondern durch Verstärkungslernen „im Genom des Modells verankert“ ist.

Bildunterschrift: Inkling trainiert stabil bei über 30 Millionen Verstärkungslern-Rollouts, wobei die Inferenzbewertungsergebnisse kontinuierlich steigen.

In der Nachtrainingsphase hat TML massiv Rechenleistung für großangelegtes asynchrones Verstärkungslernen eingesetzt – mit über 30 Millionen Rollouts. Das Team hat nicht blind die maximale Inferenztiefe angestrebt, sondern einen raffinierten Mechanismus eingeführt: Durch Änderung der Systemnachricht und Festlegung unterschiedlicher Kosten pro Token für verschiedene Aufgaben kann das Modell manchmal die Inferenz vollständig entfalten, manchmal muss es das Rechenbudget kontrollieren.

Nach wiederholtem Lernen lernt Inkling allmählich, „je nach Aufgabe zu handeln“: Welche Fragen es sich lohnt, tiefer zu verfolgen, welche Aufgaben bereits abgeschlossen werden können und ob eine zusätzliche Inferenz einen ausreichenden Leistungsgewinn bringt.

Das bedeutet, dass Entwickler nicht mehr nur eine einfache Obergrenze für die Ausgabelänge anpassen – sondern verschiedene