JIA Yangqing hat erneut ein Startup gegründet, eine KI-Armee aufgebaut und die Geschwindigkeit von GLM-5.2 um 534 % gesteigert.

Mitteilung von Zhidx vom 29. Juli: Yangqing Jia, KI-Experte, ehemaliger Vizepräsident von Alibaba Cloud und Gründer von Lepton AI, gründet ein neues Unternehmen etwa einen Monat nach seinem Abschied von Nvidia. Er kündigt die Gründung von Intent Lab an und hat ein autonomes KI-Team namens Fleet aufgebaut, das die Absichten der Nutzer direkt in Software-Systeme für den Produktionseinsatz umwandeln möchte.

Yangqing Jia stellt die Produkte von Intent Lab vor (Quelle: X)

Im Gegensatz zu Programmier-Agenten, die hauptsächlich für das Schreiben von Code zuständig sind, übernimmt Fleet die Aufgaben eines vollständigen Ingenieursteams: von dem Verständnis der Anforderungen, dem Entwurf der Architektur und der Koordination von Aufgaben bis hin zum Codieren, Testen und der kontinuierlichen Verbesserung nach der Inbetriebnahme.

Intent Lab stellt drei frühe Ergebnisse von Fleet vor:

Erstens: Durch die Neugestaltung des Codes des Optimierungstools für die Inferenz großer Modelle TensorRT-LLM wurde die Inferenzgeschwindigkeit von GLM-5.2 um 534 % gesteigert. Nach Angaben von Intent Lab ist dies derzeit die schnellste Inferenzgeschwindigkeit von GLM-5.2.

Zweitens: Ausgehend von einer einzigen anfänglichen Anweisung wurde eine Datenbank erstellt, die dem externen Verhalten von SQLite entspricht. Im gesamten Lauf wurden 87,2 Millionen Ausgabe-Token erzeugt, und schließlich wurden alle 6 Millionen Abnahmetests bestanden. Bei ausschließlicher Verwendung von Open-Source-Modellen betragen die Kosten etwa 350 US-Dollar (ca. 2368 Yuan).

Drittens: Es wurde das verteilte Dateisystem AgentFS für Agenten entwickelt, dessen Leistung in einigen Teilen das 626-fache von EFS erreicht. Darüber hinaus wurde die formale Modellprüfung von etwa 1,9 Millionen Zuständen und etwa 300 Integrationstests abgeschlossen.

01. Vom Verständnis der Absicht zur kontinuierlichen Weiterentwicklung: Abdeckung aller sechs Phasen der Softwareentwicklung

Nach Angaben von Intent Lab funktioniert Fleet ähnlich wie ein Software-Team, das ingenieurtechnischen Prinzipien folgt. Der gesamte Entwicklungsprozess umfasst sechs Phasen: Verstehen, Entwerfen, Koordinieren, Erstellen, Validieren und Weiterentwickeln.

Da die meisten Projekte mit einer eher vagen Absicht beginnen, klärt Fleet zunächst gemeinsam mit dem Nutzer die Ziele, wandelt sie in konkrete Ergebnisse um und definiert Randbedingungen und Abnahmekriterien. Alle anschließenden Arbeiten richten sich nach diesen Kriterien.

Nach dem Verständnis der Anforderungen wägt Fleet verschiedene Lösungen ab, legt die Systemschnittstellen und die Architektur fest, die den Anforderungen entsprechen, und dokumentiert fortlaufend, wie jede Entscheidung andere Teile des Systems beeinflusst. Bei großen Systemen, die aus mehreren Komponenten bestehen, teilt Fleet zudem Aufgaben auf, weist Verantwortlichkeiten zu und verwaltet die Abhängigkeiten zwischen den Aufgaben.

Anschließend realisiert Fleet das System und vervollständigt gleichzeitig den Entwurf. Wenn während des Entwicklungsprozesses neue Informationen auftauchen, aktualisiert Fleet synchron die Architektur und den Code, sodass der Entwurf mit dem tatsächlich laufenden System übereinstimmt. Die Validierung läuft während des gesamten Erstellungsprozesses ab: Fleet kombiniert formale Beweise, Integrationstests und Laufzeit-Fehlerinjektion, um Probleme möglichst früh zu erkennen, solange der Code noch geändert wird.

Nach der Inbetriebnahme der Software endet die Arbeit von Fleet nicht. Es beobachtet weiter das tatsächliche Verhalten des Systems und gibt Informationen über Nutzung, Leistung und Kosten in den Entwurf zurück, sodass die Software sich kontinuierlich mit den sich ändernden Anforderungen der Nutzer verbessert.

02. Die Inferenzgeschwindigkeit von GLM-5.2 steigt um 534 % auf 647 Token/s

Die erste Aufgabe, die Intent Lab Fleet gestellt hat, bestand darin, den Code von Nvidias Optimierungstool für die Inferenz großer Modelle TensorRT-LLM neu zu gestalten, sodass GLM-5.2 auf den Rechenknoten von Grace Blackwell ausgeführt werden kann, und Optimierungslösungen selbstständig zu finden, zu implementieren und zu validieren.

Da TRT-LLM selbst bereits umfassend leistungsoptimiert wurde, ist eine weitere Geschwindigkeitssteigerung nicht einfach. Fleet geht schließlich von vier Aspekten aus: Kernel, Laufzeit, Kommunikation und Spekulative Dekodierung.

Auf Kernel-Ebene reduziert Fleet den Kernel-Start durch Kernel-Fusion und von Agenten generierten PTX- und SASS-Code, wodurch die Inferenzleistung um 24 % gesteigert wird. Auf Laufzeit-Ebene wird durch H2D-Batch-Verarbeitung Null-Kopien bei der stationären Dekodierung erreicht, was die Leistung um 16 % verbessert. Auf Kommunikations-Ebene werden kollektive Kommunikation, Rest-Addition und RMSNorm fusioniert, was die Leistung um 18 % steigert. Bei der spekulativen Dekodierung wird DSpark hinzugefügt, um mehrere Kandidaten-Token gleichzeitig vorzuschlagen und zu validieren, wodurch die Inferenzgeschwindigkeit weiter um etwa das Vierfache gesteigert wird. Schließlich wird die Ende-zu-Ende-Inferenzleistung im Vergleich zum ursprünglichen TRT-LLM um 534 % verbessert.

Leistungssteigerung bei Kernel, Laufzeit, Kommunikation und spekulativer Dekodierung (Quelle: Intent Lab)

Der gesamte Optimierungsprozess wird von Fleet selbstständig durchgeführt. Das System analysiert zunächst die Leistungsgrenze, identifiziert Engpässe und schlägt dann Optimierungslösungen vor und validiert sie. Lösungen, die die Validierung nicht bestehen, werden verworfen und neu ausprobiert, während bestandene Lösungen beibehalten werden, bevor die nächste Optimierungsrunde beginnt.

Die Testergebnisse zeigen, dass die Geschwindigkeit des ursprünglichen TensorRT-LLM bei der Ausführung von GLM-5.2 102 Token/s beträgt. Nach Abschluss der Kernel-, Laufzeit- und Kommunikationsoptimierung steigt sie auf 161 Token/s und erreicht nach Hinzufügung von DSpark 647 Token/s, was einer Ende-zu-Ende-Leistungssteigerung von 534 % entspricht.

Steigerung der Ausgabegeschwindigkeit (Quelle: Intent Lab)

Nach Angaben von Intent Lab ist dies die derzeit höchste erreichte Inferenzgeschwindigkeit von GLM-5.2. Der gesamte Prozess wurde ohne menschliche Eingriffe von Fleet Ende-zu-Ende abgeschlossen.

03. Erstellung einer Datenbank von Grund auf mit einer einzigen Anweisung, Erzeugung von 87,2 Millionen Ausgabe-Token

Die zweite Aufgabe von Fleet bestand darin, ein neues System zu erstellen, das mit dem bestehenden System kompatibel ist, dessen interne Architektur aber vollständig von Grund auf neu entworfen wird.

Die Modernisierung von Systemen bedeutet nicht nur die einfache Änderung von altem Code, sondern die Neugestaltung der internen Architektur, ohne das externe Verhalten zu verändern. Bei dieser Aufgabe hat Fleet sich nicht auf den vorhandenen Code und die Dokumentation von SQLite bezogen, sondern das SQLite-Testset als Abnahmekriterium verwendet.

Intent Lab hat nur eine Anweisung gegeben: „Erstellen Sie eine SQL-Datenbank-Engine, die mit SQLite kompatibel ist, sodass sie alle sqllogictest-Testfälle besteht und eine Leistung erreicht, die gleich oder höher als die von SQLite ist.“

Fleet verteilt die Arbeit auf verschiedene Rollen wie Entscheidungsfindung, Architekturentwurf, Codierung, Test, Überprüfung und Qualitätssicherung. Die Rollen arbeiten während des gesamten Prozesses wiederholt zusammen und passen den Entwurf fortlaufend an, führen Tests durch und überprüfen ihn, während sich der Code ändert.

Im gesamten Lauf wurden 87,2 Millionen Ausgabe-Token erzeugt. Davon entfallen 38,6 % auf die Codierung, 21,7 % auf die Tests, 17,8 % bzw. 13,3 % auf die Entscheidungsfindung und den Architekturentwurf, und insgesamt 8,6 % auf Überprüfung und Qualitätssicherung. Das bedeutet, dass die Erstellung einer Datenbank nicht nur die Generierung von Code umfasst, sondern ein großer Teil der Arbeit auch für Entwurf, Entscheidungsfindung und Validierung aufgewendet wird.

Verteilung der Ausgabe-Token von Fleet (Quelle: Intent Lab)

Fleet hat die Modernisierung der Datenbank nur anhand einer einzigen Prompt-Zeile abgeschlossen, das System von Grund auf neu entworfen und validiert und schließlich alle 6 Millionen Abnahmetests bestanden.

Derselbe Fleet kann Aufgaben mit verschiedenen Modellen erledigen. Bei Verwendung von Opus 4.8 betragen die Kosten des gesamten Laufs etwa 2000 US-Dollar (ca. 13532 Yuan). Bei ausschließlicher Verwendung von Open-Source-Modellen betragen die Kosten etwa 350 US-Dollar (ca. 2368 Yuan).

04. Erstellung eines verteilten Dateisystems von Grund auf, Geschwindigkeit der Abfrage von Verzeichnissen erreicht das 626-fache

Die dritte Aufgabe von Fleet bestand darin, in einer Cloud-Umgebung ein verteiltes Dateisystem zu erstellen, das für die Nutzung durch Agenten optimiert ist, und seine Korrektheit und Fehlertoleranz streng zu prüfen.

Agenten erstellen häufig Sandboxes, durchsuchen Verzeichnisse und verarbeiten eine große Anzahl kleiner Dateien im gemeinsam genutzten Cloud-Speicher. Intent Lab hat fertige Lösungen wie Amazon EFS und S3FS ausprobiert, aber diese Produkte weisen Einschränkungen bei den Arbeitslasten von Agenten auf, sodass Fleet AgentFS von Grund auf neu erstellt hat.

Im mdtest-Test erreicht AgentFS bei der Erstellung von Verzeichnissen und Dateien die 45-fache Geschwindigkeit von EFS und bei dem Lesen von Dateien die 30-fache Geschwindigkeit von EFS. Bei den Zustandsabfragen, die Agenten häufig durchführen, ist der Vorteil noch deutlicher: Die Geschwindigkeit der Verzeichnis-Zustandsabfrage erreicht das 626-fache von EFS, die der Datei-Zustandsabfrage das 625-fache von EFS.

Ergebnisse des mdtest-Tests (Quelle: Intent Lab)

Im Test mit Git-Repositories erreicht AgentFS beim Klonen von Repositories etwa die 2,5- bis 3-fache Geschwindigkeit von EFS, bei der Abfrage des Repository-Zustands etwa die 6,9- bis 9,5-fache Geschwindigkeit und beim Löschen von Repositories etwa die 13- bis 14-fache Geschwindigkeit. Für die Tests wurden etcd und Kubernetes als kleines bzw. großes Code-Repository verwendet. S3FS konnte das Kubernetes-Repository nicht vollständig auschecken, sodass nur teilweise Ergebnisse vorliegen.

Ergebnisse des Git-Repository-Tests (Quelle: Intent Lab)

Neben der Leistung wurde AgentFS auch streng validiert. Fleet hat etwa 1,9 Millionen erreichbare Zustände in 31 Modellen geprüft, die verschiedene Nebenläufigkeitsreihenfolgen, Systemabstürze und Wettbewerbssituationen abdecken. AgentFS hat zudem etwa 300 Integrationstests sowie Fehlerinjektions- und Fuzz-Tests abgeschlossen.

Während der Validierung hat Fleet einen Bug entdeckt, der von einem Programmier-Agenten eingeführt wurde und zu Datenbeschädigungen bei verteilten Erstellungs- und Löschvorgängen führen kann. Nach der Behebung und erneuten Validierung wurden die beschädigten Zustände im System beseitigt.

05. Schlusswort: Von „KI schreibt Code“ zu „KI erstellt Systeme“

Intent Lab versucht, mehrere Agenten zu einem autonomen Ingenieursteam mit unterschiedlichen Rollen zusammenzusetzen. Von der Optimierung von Inferenz-Engines über die Neuerstellung von Datenbanken bis hin zur Erstellung verteilter Dateisysteme muss Fleet selbst Lösungen entwerfen, Aufgaben koordinieren, die Entwicklung abschließen und die Ergebnisse validieren. Das bedeutet, dass die KI-Programmierung versucht, über die reine Code-Generierung hinauszugehen und in den vollständigen Software-Engineering-Prozess einzutreten.

Dennoch handelt es sich derzeit noch um frühe Ergebnisse, die von Intent Lab veröffentlicht wurden. Ob autonome KI-Teams komplexere reale Projekte stabil bearbeiten und langfristig zu akzeptablen Kosten betreiben können, erfordert noch weitere praktische Prüfungen.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Zhidx“ (ID: zhidxcom), Autorin: Jingli Yang, Redakteurin: Shuiqing Li, veröffentlicht mit Genehmigung von 36Kr.