Bei den Themen zur nächsten Phase großer KI-Modelle haben wir ein chinesisches, auf kontinuierliches Lernen spezialisiertes Unternehmen namens Neo Lab gefunden.
Text ｜ Xinyi Wang
Redaktion ｜ Yuxin Zhang
Ich traf Kaijie Chen, den Gründer von Mind Lab, um 21:30 Uhr in Peking, nachdem er den ganzen Tag über Investoren getroffen hatte.
Kaijie Chen ist ein Serienunternehmer. Er hat sein Studium an der Duke University unterbrochen, arbeitete an der KI-Interaktionsgeschichtenplattform MidReal und brachte die Personal-Agent-Anwendung Macaron auf den Markt, die am Tag ihrer Veröffentlichung die Spitze der täglichen Rangliste von Product Hunt erreichte. Im Oktober 2025 wurde Mind Lab gegründet, das Team zählt etwa 30 Mitglieder. Andrew Chen, Gründer von Mind Lab, hat gemeinsam mit Shunyu Yao das FireAct-Papier veröffentlicht. Das Team stammt hauptsächlich aus Unternehmen und Hochschulen wie xAI, DeepMind, DeepSeek, ByteDance Seed, MIT und Tsinghua-Universität. Sie treten nun unter dem Namen Neo Lab wieder in die Öffentlichkeit.
Die Richtung, auf die sie setzen, stimmt hochgradig mit der Richtung des kontinuierlichen Lernens überein, die von Turing-Preisträger und Vater des Verstärkungslernens Richard Sutton sowie der ehemaligen CTO von OpenAI Mira Murati betont wird.
Vor einigen Tagen auf dem Hauptforum am ersten Tag der WAIC 2026 hielt Sutton eine Rede, in der er betonte, dass die Kernroute der nächsten Generation von KI erfahrungsgesteuert ist, während das statische Muster markierter Daten seine Obergrenze erreicht hat. Auch DeepSeek hat das kontinuierliche Lernen kürzlich in das Blickfeld einer breiteren Öffentlichkeit gerückt und behauptet: Das Problem, das nach Agenten gelöst werden muss, ist das kontinuierliche Lernen – dies ist auch die Fähigkeit, die das Modell der nächsten Generation unbedingt besitzen muss.
Daraus geht hervor, dass Nachschulung und kontinuierliches Lernen zunehmend zu den Schlüsselfaktoren werden, die die Fähigkeit von Modellen in der nächsten Phase bewerten.
Mind Lab hat im vergangenen Monat das Modell Macaron-V1-Preview veröffentlicht, danach wurde das Geschäft rasch vorangetrieben: Nach nur zwei Wochen der Kommerzialisierung erreichte der ARR 10 Millionen US-Dollar.
Macaron-V1-Preview besteht aus 5 LoRA-Expertenmodulen mit jeweils etwa 1B Parametern, die auf GLM-5.1 aufgesetzt sind. Obwohl es sich nur um ein Vorschau-Modell handelt, zeigt Macaron-V1-Preview hervorragende Leistungen in mehreren Benchmarks: Es übertrifft nicht nur das Basismodell GLM-5.1, sondern liegt auch vor einer Reihe von Modellen wie GPT 5.4 und Claude Opus 4.6. Die Fähigkeit, das Basismodell zu übertreffen, stammt von den darauf aufgesetzten LoRA-Modulen.
Was sie wirklich weithin bekannt gemacht hat, ist der Weg der Nachschulung mittels MoL (Mixture-of-LoRA). Wenn das Modell verschiedene Aufgaben ausführt, kann das System je nach Aufgabentyp dynamisch zum am besten geeigneten Expertenmodul wechseln. Bei langfristiger Nutzung durch den Nutzer können die angesammelten Daten auch ein eigenes LoRA bilden, das sich mit der fortlaufenden Nutzung des Modells ständig aktualisiert.
Die Preview-Version hat den technischen Pfad zuerst umgesetzt und die Marktvalidierung abgeschlossen. Unmittelbar danach veröffentlichte Mind Lab am 21. Juli die offizielle Version von Macaron-V1 und machte sie quelloffen. Laut den vom Unternehmen veröffentlichten Benchmarks erzielte Macaron-V1 6 SOTA-Ergebnisse in 12 Benchmark-Tests, die übrigen Ergebnisse liegen nahe an denen der fortschrittlichsten Modelle.
Diese Version enthält zwei Modelle: Die Flaggschiff-Version Venti ist ein nachtrainiertes Modell mit insgesamt 748B Parametern auf Basis von GLM-5.2, davon stammen 744B aus dem eingefrorenen GLM-5.2-Basismodell und 4B aus 4 Gruppen von jeweils etwa 1B LoRA-Modulen, die von Mind Lab selbst trainiert wurden und jeweils für Chat, Agent, Codierung und Generierung von UI-Oberflächen zuständig sind. Die andere Version ist die leichtgewichtige Version Tall für lokale Bereitstellung, ein nachtrainiertes Modell mit insgesamt 50B Parametern auf Basis von Qwen3.6. Beide Versionen unterstützen nativ einen Kontextumfang von 2 Millionen Tokens.
Das bedeutet auch: Durch die Änderung von nur 4B Parametern hat dieses Team erreicht, dass GLM-5.2 Fähigkeiten erlangt, die über seine ursprünglichen Möglichkeiten hinausgehen.
Für Mind Lab ist das Unternehmertum ein Prozess, bei dem der Hauptpfad unzählige Male beibehalten und von Grund auf neu erstellt wird. Abgesehen von dem ganzen Lärm außen entwickelt sich im Inneren des Teams ein tiefer gehender technischer Pfad ständig weiter – das kontinuierliche Lernen.
Gleichzeitig setzen auch führende Kapitalgeber auf diesen Bereich. Seit seiner Gründung hat die Muttergesellschaft von Mind Lab, Mindverse, insgesamt 60 Millionen US-Dollar an Finanzmitteln erhalten. Anfang 2026 schloss es eine A-Runden-Finanzierung in Höhe von fast 50 Millionen US-Dollar ab, die von Meituan Strategic Investment angeführt wurde, mit Beteiligung von Yuanhe Puhua, Shokz, Bianyuan Capital und Folgeinvestitionen von alten Aktionären. Zu den historischen Aktionären gehören Ant Group, HSG, Yuanyi, ZhenFund und Gaorong.
Intelligenz der Erfahrung: Lassen Sie das Modell Sie immer besser verstehen
Der ursprüngliche Ausgangspunkt geht auf ein FireAct-Papier zurück, das Andrew, Mitbegründer von Mind Lab, im Jahr 2023 in Zusammenarbeit mit Shunyu Yao verfasst hat. Damals waren sie der Meinung: Um die Aufgabenleistung von Agenten zu verbessern, ist es besser, die relevanten Daten direkt in das Modell einzutrainieren, statt nur an Prompt-Engineering zu arbeiten.
Das war der Ausgangspunkt ihres Einsatzes für kontinuierliches Lernen und Nachschulung. Zu dieser Zeit galt dieser technische Pfad noch nicht als weithin beachtet. „Als wir mit dem kontinuierlichen Lernen begannen, wussten wir noch nicht einmal, dass es kontinuierliches Lernen heißt“, sagte Kaijie Chen.
Das Problem bestehender Technologien liegt darin, dass ein allgemeines großes Modell schwer an alle Szenarien angepasst werden kann. Nach Abschluss des Modelltrainings sind seine Parameter in der Regel festgelegt und ändern sich nicht je nach spezifischem Szenario, während das Training eines Modells von Grund auf sehr hohe Kosten verursacht.
Um ein großes Parametermodell in verschiedenen vertikalen Szenarien Aufgaben ausführen zu lassen, kann ein komplexer Harness zwar die Anpassung an das Szenario gut durchführen, aber das unvermeidliche Ergebnis ist, dass es viele Token verbraucht und sehr langsam arbeitet – dies kann das Problem offensichtlich nicht grundlegend lösen.
Im Rahmen der Shannon-Informations-Theorie sinkt der Bedarf an der Anzahl der Parameter, die durch das Repräsentationsmodell erlernt werden, im Paradigma des Verstärkungslernens. Das bedeutet auch, dass unter der Bedingung, dass die Modellparameter groß und spärlich genug sind, die Wirkung von LoRA beim Verstärkungslernen im selben vertikalen Bereich die Wirkung des Vollparametertrainings erreichen kann.
Daher ist keine vollständige Neuschulung aller Parameter erforderlich, um die Anpassung an spezifische Szenarien gut durchzuführen.
Ihr erstes Ergebnis war die Realisierung des Verstärkungslernens mit Billionen von Parametern. Im Dezember 2025 erreichte Mind Lab auf Kimi K2, einem MoE-Modell mit Billionen von Parametern, das End-to-End-LoRA-Verstärkungslern-Training. Mit nur 64 H800-GPUs erzielte es eine Wirkung, die nahe am Vollparametertraining liegt, der GPU-Verbrauch beträgt nur etwa 10 % des traditionellen Vollparameter-RL.
Damals verfügten einige große Konzerne und Startups wie ByteDance, Alibaba, DeepSeek und Kimi ebenfalls über die Fähigkeit zum Verstärkungslernen mit Billionen von Parametern. Aber in China war Mind Lab das einzige Team, das LoRA-RL auf Billionen von Parametern umsetzen konnte, während das einzige ausländische Team, das dies erreichen konnte, Thinking Machines Lab ist, das von der ehemaligen CTO von OpenAI, Mira Murati, gegründet wurde.
Die Schwierigkeit bei der Umsetzung des Verstärkungslernens mit Billionen von Parametern liegt darin, dass das Verstärkungslernen sehr hohe Anforderungen an die Genauigkeit der Infrastruktur stellt. Wenn die Genauigkeit von Training und Inferenz nicht übereinstimmt, kann dies zu Abweichungsdriften führen, sodass das Endergebnis nicht konvergieren kann. Die Lösung von Mind Lab besteht darin, eine gemischte kooperative parallele Engine zu entwickeln, die Tensor-Parallelität, Pipeline-Parallelität, Experten-Parallelität und Sequenz-Parallelität integriert, sodass LoRA stabil auf der MoE-Architektur ausgeführt werden kann. Sie haben auch das Problem der Nichtübereinstimmung zwischen Training und Inferenz gelöst und das abgeschnittene Wichtigkeits-Sampling eingeführt, um die Verteilungsdifferenz zu korrigieren.
Mit diesem Ergebnis erzielte Mind Lab einen hervorragenden Erfolg. Nach Ansicht von Kaijie Chen ist die echte technische Schutzmauer des Teams jedoch die Infrastruktur.
Vor einem Jahr betrug die Datenmenge für die Nachschulung etwa ein Zehntel der Datenmenge für das Vortraining. Heute ist die Datenmenge für die Nachschulung in vielen Modellen sogar größer als die Datenmenge für das Vortraining. Die Entwicklung einer guten Infrastruktur für die Nachschulung ist schwieriger als für das Vortraining.
Daher haben sie im Januar dieses Jahres eine Infrastrukturplattform für das LoRA-Training und die LoRA-Inferenz namens MinT auf den Markt gebracht, die Kunden umfassende Lösungen für den gesamten Prozess der Nachschulung großer Modelle bietet. Kunden können auf dieser Plattform Rechenunterstützung erhalten und auch ihre eigenen LoRA-Modelle trainieren. MinT kann Millionen von LoRA-Modellen verwalten, überträgt während des Trainings, der Bewertung, der Bereitstellung und des Rollbacks nur extrem leichtgewichtige LoRA-Adapter und beschleunigt die Echtzeit-Ladegeschwindigkeit um fast das Zehnfache.
Danach konzentrierten sie sich mehr auf den Pfad der Selbstevolution und des kontinuierlichen Lernens von Modellen und erforschten auf Basis von LoRA weiter die Möglichkeiten von MoL (Mixture of LoRA).
Kontinuierliches Lernen entwickelt sich allmählich von einer Erkundung weniger Personen zu einem Branchenkonsens. Vor zwei Wochen gründete Sutton, der Vater des Verstärkungslernens, persönlich das neue Unternehmen Oak Lab, das sich der Entwicklung eines Agenten widmet, der kontinuierlich aus seiner eigenen Erfahrung lernen und sich in Echtzeit weiterentwickeln kann. Tang Jie, Gründer von Zhipu, erwähnte kürzlich in einem internen Schreiben, dass die nächsten zu bewältigenden Schlüsseltechnologien Gedächtnis, kontinuierliches Lernen und Selbstbewertung umfassen. Führende Teams im In- und Ausland steigen nacheinander in diesen Bereich ein, die Beschleunigung dieser Branche ist mit bloßem Auge sichtbar.
Nach Ansicht von Kaijie Chen gibt es derzeit vier Lösungen für das kontinuierliche Lernen:
Die erste ist der Kontext des Chats, bei dem das Modell die Absicht des Nutzers im Dialogfenster wiederholt versteht;
Die zweite ist External Memory, bei der RAG als externes Gedächtnis verwendet wird. Mit zunehmender Menge an zu speichernden Informationen wächst die Datenbank sehr schnell, die Problemlösungsfähigkeit des Modells hängt direkt von der Abfragefähigkeit der Datenbank ab;
Die dritte ist Harness und Loop Engineering. Das Problem dabei ist, dass mit steigender Komplexität des Harness viele Token verbraucht werden und die Geschwindigkeit sehr langsam wird;
Die vierte besteht darin, die Parameter des Modells direkt zu ändern, um sie an die Anwendungsszenarien anzupassen, es von Grund auf zu einem vertikalen Modell zu machen und die Leistung des Modells grundlegend zu verändern.
LoRA gehört zur vierten Lösung. „Wir aktivieren den LoRA-Modus erst, wenn wir feststellen, dass in einem bestimmten Szenario zusätzliches Lernen erforderlich ist“, erzählte uns Kaijie Chen.
Allgemeine große Modelle können nicht 100 % der Probleme in spezifischen Szenarien lösen. Um eine vollständige Anpassung zu erreichen, muss das Modell in jedem Szenario vertikal trainiert werden. Manchmal sind 99 % der Parameter zwischen verschiedenen Modellen gemeinsam nutzbar, aber nur 1 % der Teile bestimmt ihre Unterschiede.
Aufgrund dieses Verständnisses ist Kaijie Chen der Meinung, dass das Modell in verschiedene Erfahrungen eingebracht werden muss, damit es ständig wachsen kann.
Mind Lab fasst diese Idee als „Experiential Intelligence“ zusammen: Das Modell kann aus seinen eigenen Erfahrungen lernen, Erfahrungen werden zu neuen Fähigkeiten, neue Fähigkeiten ermöglichen es ihm, schwierigere Probleme zu lösen, schwierigere Probleme bringen wiederum reichere Erfahrungen, sodass Intelligenz zu einem Prozess des fortlaufenden Wachstums wird. Darüber hinaus ist dieser Prozess automatisiert, das Modell muss sich ständig selbst weiterentwickeln und iterieren, um echtes „kontinuierliches Lernen“ zu erreichen. Diese Richtung stimmt mit Suttons „erfahrungsgesteuertem“ Pfad überein.
Die aufeinanderfolgende Veröffentlichung und marktwirtschaftliche Validierung von Macaron-V1-Preview und Macaron-V1 haben der Öffentlichkeit auch die Möglichkeit der erfahrungsgesteuerten Intelligenz vor Augen geführt.
Kollaborative Intelligenz: Durch Mixture of LoRA die Obergrenze der Intelligenz durchbrechen
Nach Ansicht von Kaijie Chen wird die Nachschulung allmählich zu einer eigenen Branche. Derzeit gibt es in der Branche eine Reihe von Startups, die sich speziell Modellen widmen, die das Vortraining abgeschlossen haben, und sich auf die Richtung der Nachschulung konzentrieren. Viele von ihnen konzentrieren sich auf Szenarien mit kleinen Modellen und führen Arbeiten im Zusammenhang mit Nachschulung und Datenverarbeitung in vertikalen Nischenbereichen durch.
Auf dem LoRA-Pfad ist Mind Lab nicht allein. Kaijie Chen erzählte uns, dass ihre Technologie mit der von Thinking Machines Lab hochgradig übereinstimmt, insbesondere bei der Wahl des LoRA-Trainingswegs. TML hat in seinem Papier „LoRA Without Regret“ unabhängig dieselbe Schlussfolgerung bestätigt: Bei ausreichend großen MoE-Modellen führt das Verstärkungslernen mit LoRA zu keinem Leistungsverlust.
Allerdings muss das Verstärkungslernen auch mit der Modellarchitektur gekoppelt werden. Aufgrund unterschiedlicher Architekturen gibt es gewisse Unterschiede in den Modellen, die von Thinking Machines Lab und Mind Lab trainiert werden können. Beispielsweise hat die GLM-5-Serie hocheffiziente Inferenzarchitekturen wie MTP (Multi-Token-Prediction) und DSA (Dynamic Sparse Attention) eingeführt, diese Designs erfordern spezifische Anpassungen am Trainingsframework. Der gesamte Technologie-Stack von Thinking Machines Lab ist für die Standardarchitektur von DeepSeek-V3 entwickelt, sodass er nicht mit GLM kompatibel ist.
Mind Lab hat als Erstes das verstärkungsgelernte Nachschulung auf GLM-5.1 und GLM-5.2 abgeschlossen. Dies ist das weltweit erste Ergebnis eines externen Teams, das das verstärkungsgelernte Nachschulung auf GLM-5.1 realisiert hat.
Es ist erwähnenswert, dass Mind Lab sowohl bei Macaron-V1-Preview als auch bei Macaron-V1 mehrere LoRA-Modelle eingerichtet hat. Diese LoRA-Modelle können einzeln verwendet werden oder zusammenarbeiten. Hinter dieser Einstellung steht die Erkenntnis, dass ein einziges LoRA nicht alle Fähigkeiten des Modells umfassend verbessern kann, aber die Verwendung mehrerer LoRA-Modelle auf einem Modell die Gesamtleistung stark steigern kann.
Mind Lab hat einmal 200 LoRA-Modelle mit 200 verschiedenen Datensätzen trainiert und diese LoRA-Modelle an ein bestimmtes Modell angehängt, um gemeinsam Aufgaben zu erledigen. Sie haben zwei Erkenntnisse gewonnen: