Das vLLM-Team hat offiziell angekündigt, dass es ein Startup gründet: Es hat 150 Millionen US-Dollar an Kapital beschafft, und You Kaichao, ein Preisträger der Elite-Stipendien von Tsinghua-Universität, ist jetzt Mitbegründer.

Das Fundament der Großmodell-Inferenz, vLLM, hat sich nun in ein Startup gewandelt.

Am frühen Freitagmorgen, chinesischer Zeit, ging die Nachricht um, dass das künstliche Intelligenz-Startup Inferact, gegründet von den Schöpfern der Open-Source-Software vLLM, offiziell gegründet wurde. Das Unternehmen hat in seiner Seed-Runde 150 Millionen US-Dollar (etwa 1 Milliarde Yuan) eingesammelt, und sein Unternehmenswert beläuft sich auf 800 Millionen US-Dollar.

Die aktuelle Finanzierungsrunde wurde von den Risikokapitalgesellschaften Andreessen Horowitz (a16z) und Lightspeed angeführt. Sequoia Capital, Altimeter Capital, Redpoint Ventures und ZhenFund haben ebenfalls an der Investition teilgenommen.

Die 150-Millionen-US-Dollar-Saatgutfinanzierung von Inferact ist zwar nicht so hoch wie die 1 Milliarde US-Dollar von Ilya Sutskevers Unternehmen SSI, aber sie übertrifft die 115 Millionen US-Dollar von Mistral AI und ist eine der größten Saatgutfinanzierungen aller Zeiten. Dies zeigt, dass die Branche die Bedeutung der Infrastruktur für die KI-Inferenz rasant erhöht.

Die Mission von Inferact besteht darin, vLLM zu einer weltweit führenden KI-Inferenz-Engine zu entwickeln und die Entwicklung der KI zu beschleunigen, indem die Inferenzkosten gesenkt und die Inferenzgeschwindigkeit erhöht werden.

Das Unternehmen ist der Meinung, dass die größte Herausforderung, der die KI-Branche in Zukunft gegenübersteht, nicht das Aufbauen neuer Modelle ist, sondern das effiziente und zuverlässige Ausführen bestehender Modelle zu niedrigen Kosten.

Zweifellos liegt der Kern von Inferact im Open-Source-Projekt vLLM, einem 2023 gestarteten Open-Source-Projekt, das Unternehmen dabei helfen soll, KI-Modelle effizient auf Rechenzentrumshardware auszuführen.

vLLM wurde ursprünglich vom Sky Computing Lab der Universität Kalifornien, Berkeley (UC Berkeley) entwickelt und wird jetzt vom PyTorch-Fonds verwaltet. Es hat bereits über 2.000 Mitwirkende aus der gesamten KI-Branche angezogen und ist weltweit der beliebteste Open-Source-Beschleunigungsrahmen für die Inferenz von Großmodellen.

Heute unterstützt die Inferenzfähigkeit von vLLM Technologieunternehmen wie Meta, Google und Character.AI.

Der Chefexecutiv von Inferact, Simon Mo, ein Doktorand an der Universität Berkeley, ist einer der Gründer und Betreuer von vLLM. Mo sagte, dass das Unternehmen im November 2025 gegründet wurde und diese Woche offiziell bekannt gegeben wurde. Er verglich den Ursprung von Inferact mit einigen frühen Softwareprojekten an Berkeley, die später zu größeren Unternehmen wurden, wie Apache Spark und Ray.

Parallel zur Ankündigung der Finanzierung veröffentlichte Lightspeed ein Interview mit Simon Mo. In diesem sprach Simon Mo über seine Sorgen wegen des globalen Engpasses an KI-Rechenleistung: „Die derzeit für das Training von Großmodellen eingesetzten KI-Clustern werden innerhalb von sechs Monaten vollständig für die Inferenz genutzt... Die Inferenz wird allmählich die gesamte Rechenkapazität verbrauchen und alle neuen Kapazitäten erschöpfen.“

In der Ankündigung sagte Inferact, dass es sich an der Schnittstelle zwischen Modellen und Hardware positioniert: Wenn Modellhersteller neue Architekturen veröffentlichen, arbeiten sie mit vLLM zusammen, um die Ersttagsunterstützung sicherzustellen; wenn Hardwarehersteller neue Chips entwickeln, integrieren sie diese in vLLM; wenn Großmodellteams umfangreiche Bereitstellungen vornehmen, nutzen sie vLLM, sei es in führenden Labors, in Superrechenzentren oder in Startups, die Millionen von Benutzern bedienen.

Heute unterstützt vLLM über 500 Modellarchitekturen, kann auf über 200 Beschleunigern laufen und unterstützt die Inferenz auf globaler Ebene. Dieses Ökosystem, das von über 2.000 Mitwirkenden aufgebaut wurde, bildet die Grundlage für die Gründung von Inferact.

Inferact sagte, dass seine erste Aufgabe darin besteht, vLLM weiterhin als unabhängiges Open-Source-Projekt zu unterstützen und die Verbesserungen an die Gemeinschaft zu teilen. Sie planen, die Leistung von vLLM weiter zu verbessern, die Unterstützung für aufstrebende Modellarchitekturen zu vertiefen und die Abdeckung für führende Hardware zu erweitern. Das zweite Ziel von Inferact ist die Entwicklung eines unabhängigen kommerziellen Produkts, das Unternehmen hilft, KI-Modelle effizienter auf verschiedenen Arten von Hardware auszuführen.

Interessanterweise ist der Kernmitwirkende des vLLM-Projekts, der Tsinghua-Doktorand Kaichao You, Mitbegründer dieses Unternehmens geworden.

Berichtet wurde, dass das Gründerteam von Inferact Simon Mo, Woosuk Kwon, Kaichao You, Roger Wang, Joseph Gonzalez, Ion Stoica und andere umfasst.

Referenzlinks

https://inferact.ai/

https://www.bloomberg.com/news/articles/2026-01-22/andreessen-backed-inferact-raises-150-million-in-seed-round

Dieser Artikel stammt aus dem WeChat-Account „Almost Human“ (ID: almosthuman2014), Autor: Zenan. 36Kr hat die Veröffentlichung mit Genehmigung vorgenommen.