Huawei hat die Open-Source-AI-Container-Technologie Flex:ai veröffentlicht: Macht ungenutzte Rechenkapazitäten "beweglich" und teilt eine Grafikkarte für mehrere Aufgaben auf | Neueste Meldungen
Text | Fu Chong
Redaktion | Su Jianxun
Derzeit treten gleichzeitig das Problem des "Mangels an Rechenleistung" und das der "Verschwendung von Rechenleistung" auf.
36Kr hat erfahren, dass auf dem kürzlich stattgefundenen Forum zur Umsetzung und Entwicklung von AI-Containern 2025 das Unternehmen Huawei die AI-Container-Technologie Flex:ai offiziell vorgestellt hat. Durch drei technologische Innovationen wird die Effizienz der Nutzung von Rechenleistung verbessert. Gleichzeitig gab Huawei gemeinsam mit der Shanghai Jiao Tong Universität, der Xi'an Jiaotong Universität und der Xiamen Universität bekannt, dass sie die Ergebnisse dieser Zusammenarbeit zwischen Industrie und Hochschule gemeinsam als Open-Source-Projekt veröffentlichen.
Die bei dieser Veranstaltung veröffentlichte und als Open-Source zur Verfügung gestellte XPU-Pooling- und Scheduling-Software Flex:ai basiert auf Kubernetes (eine weit verbreitete Plattform zur Verwaltung von Containern). Vereinfacht ausgedrückt, wird durch die feingrained Verwaltung und intelligente Planung von intelligenten Rechenressourcen wie GPUs und NPUs einerseits die verstreute Rechenleistung zu einem "Ressourcenpool" zusammengefasst und andererseits werden AI-Aufgaben unterschiedlicher Größe intelligent verteilt.
Konkret hat Flex:ai hauptsächlich drei Kernfähigkeiten:
Bei der Lösung des Problems der Ressourcenverschwendung in Szenarien der Training und Inferenz von kleinen Modellen hat Huawei gemeinsam mit der Shanghai Jiao Tong Universität ein XPU-Pooling-Framework entwickelt, das die Rechenleistung einer einzelnen GPU- oder NPU-Karte mit einer Genauigkeit von 10 % in mehrere virtuelle Rechenleistungseinheiten aufteilt, um die "benötigte Menge an Rechenleistung" zu schneiden. Dadurch wird die durchschnittliche Effizienz der Nutzung der gesamten Rechenleistung in solchen Szenarien um 30 % verbessert.
Um die freie Rechenleistung auf verschiedenen Maschinen in einem Cluster zu aggregieren, hat Huawei gemeinsam mit der Xiamen Universität eine Technologie zur Fern-Virtualisierung über Knoten hinweg entwickelt, die die freie XPU-Rechenleistung aller Knoten in einem Cluster zu einem "gemeinsamen Rechenleistungspool" zusammenfasst. Dadurch können auch herkömmliche Server ohne eigene intelligente Rechenfähigkeit über das Netzwerk auf entfernte GPU-/NPU-Ressourcen zugreifen und an der AI-Berechnung teilnehmen.
Angesichts der Herausforderung der einheitlichen Planung von heterogenen Rechenressourcen unterschiedlicher Marken und Spezifikationen in einem Rechenleistungskluster hat Huawei gemeinsam mit der Xi'an Jiaotong Universität den intelligenten Scheduler Hi Scheduler entwickelt. Dieser kann den Zustand der Rechenressourcen unterschiedlicher Marken und Spezifikationen im Cluster erkennen und wählt automatisch die geeigneten lokalen oder entfernten Ressourcen anhand von Parametern wie der Priorität der Aufgabe und den Rechenleistungsanforderungen aus, um eine zeitliche Multiplexierung und eine globale optimale Planung zu erreichen und die Systementscheidung darüber zu treffen, "welche Karte welche Aufgabe erledigen soll".
Huawei hat erklärt, dass die umfassende Open-Source-Veröffentlichung von Flex:ai allen Entwicklern aus Wissenschaft, Lehre und Industrie alle Kernfähigkeiten der Technologie zugänglich machen wird, um gemeinsam die Standardisierung der Verbindung zwischen heterogener Rechenleistungsvirtualisierung und AI-Anwendungsprozess zu fördern und eine standardisierte Lösung für die effiziente Nutzung von Rechenleistung zu entwickeln.