Jiliu Technology: Weltklasse-Innovation zur Realisierung von Fernvernetzung und gemeinsamem Training von GPU-Clustern

Der folgende Artikel stammt aus "Z-Plan unterstützt Start-ups im Bereich Large Language Model".

Jiliu Technology hat Anfang dieses Jahres die Serie Pre-A-Finanzierung abgeschlossen, die von Lightspeed China Partners als Hauptinvestor geleitet wurde.

Früher hat "Jiliu Technology" nacheinander Investitionen von Qiji Venture, Weimeng Media, Zhuoyuan Asia, Tsinghua Alumni Fund, Zhipu AI, Zhuoyuan Capital, Fangxin Capital, TusStar Venture Capital und bekannten strategischen Investoren erhalten.

Jiliu Technology ist ein Anbieter von offenen Rechenleistungssnetzen. Die Produkte von Jiliu Technology umfassen das GPU-RDMA-Netzwerkkommunikationsframework und Hochgeschwindigkeits-Netzwerkschalter ohne Datenverlust.

Das Netzwerkkommunikationsschema von Jiliu Technology kann die Leistung um über 20 % verbessern, in einer Umgebung mit tausend GPUs Kosten von mehreren Millionen Yuan sparen und in einer Umgebung mit zehntausend GPUs Kosten von mehreren Hundert Millionen Yuan sparen.

Schaffung eines Hochleistungs-Rechensystems

1967 hat der Computerarchitekt Gene Amdahl der IBM ein empirisches Formel vorgeschlagen, das zeigt, dass das Potenzial für die Verbesserung der Systemleistung durch den parallelisierbaren Teil des Systems begrenzt ist. Selbst wenn die Anzahl der parallelen Prozessoren unendlich erhöht wird, ist die Obergrenze für die Verbesserung der Gesamtleistung stark eingeschränkt.

Einfach ausgedrückt, kann die Rechengeschwindigkeit eines Rechenleistungsklusters nicht unendlich mit der Anzahl der GPUs steigen. So kann ein Mensch in zehn Tagen ein Haus bauen, zehn Menschen brauchen nur einen Tag, aber hundert Menschen brauchen immer noch einen Tag - die anderen neunzig Menschen können möglicherweise nicht auf die Baustelle kommen und müssen untätig bleiben.

Das Training von Large Language Models verläuft ähnlich. Laut einem Bericht von Gartner wurden bei der Trainingsphase von GPT-3.5 ein Hochleistungs-Rechenleistungskluster aus zehntausend NVIDIA A100-GPUs eingesetzt, bei GPT-4 stieg diese Anzahl auf etwa 25.000 A100-GPUs. Die Auslastung der Rechenleistung betrug jedoch nur 32 % bis 36 %, was zu einem erheblichen Verschleiß der Rechenleistung führt.

Die Aufgabe von Jiliu Technology besteht darin, ein System zu entwickeln, das es ermöglicht, Tausende oder sogar Zehntausende von Menschen so schnell wie möglich dazu zu bringen, mehr Häuser zu bauen.

Hu Xiaohe, CEO von Jiliu Technology, sagte, dass die Produkte von Jiliu Technology hauptsächlich auf drei Dimensionen ausgerichtet sind, darunter eine Plattform für die Steuerung und Planung der Rechenleistung, eine Plattform für die Optimierung und Wartung der Rechenleistung und Hochgeschwindigkeits-Verbindungs-Hardware. Derzeit hat das Unternehmen nicht nur eine umfassende Lösung für den Aufbau von Rechenleistungskluster, sondern auch Produkte auf den Ebenen der Clusterverwaltung, des Rechenengines und des Hochgeschwindigkeitsnetzwerks entwickelt und diese schrittweise umgesetzt. Dadurch können AI-Unternehmen die GPUs rational organisieren und die Effizienz der Leistungserbringung und die Auslastung der GPUs so weit wie möglich erhöhen.

Derzeit kann das Rechenleistungsklusterschema von Jiliu Technology die Leistung eines GPU-Clusters um über 20 % verbessern und den Kunden in einer Umgebung mit tausend GPUs Kosten von mehreren Millionen Yuan sparen.

Fokussierung auf bahnbrechende Arbeit und Konzentration auf den Aufbau von Großrechnersystemen

Hu Xiaohe hat an der Tsinghua-Universität von der Bachelor- bis zur Doktorarbeit und Postdoc studiert. Er war unter der Leitung des Forschers Li Jun zehn Jahre lang in einem Netzwerksicherheitslabor an der Forschung von Hochleistungs-Netzwerksystemen beteiligt.

Während seiner Zeit als Gastwissenschaftler an der Universität von Kalifornien, Berkeley, war er unter der Leitung des Akademikers Scott Shenker, der der Erfinder des SDN-Netzwerks ist.

Er ist sehr gut in der verteilten Rechenleistung und Hochleistungsnetzwerken bewandert. Vor dem Gründen seines Unternehmens hat er das erste nationalen Tbps-programmierbare Netzwerkprodukt auf Betriebsebene umgesetzt und ein nationales tausend-GPU-Large Language Model in einer Supercomputer-Umgebung getestet.

Die Konzentration auf den Aufbau von Großrechnersystemen war das Ziel, das Hu Xiaohe bereits zu Beginn seiner Unternehmensgründung festgelegt hatte. Heute entwickelt Jiliu Technology ein verteiltes GPU-System, das speziell für Künstliche Intelligenz konzipiert ist, auch bekannt als Rechenleistungskluster.

"Seit anderthalb Jahren der Unternehmensgründung hat Jiliu Technology das größte private Rechenleistungskluster in China aufgebaut", sagte Hu Xiaohe. "Wir haben viele etablierte Ansichten in der Branche überwunden. Beispielsweise haben wir bewiesen, dass das Training von AI nicht auf die Latenzzeit, sondern auf die Bandbreite anspricht. Wir haben das Training von Large Language Models über ein WAN von 30 Kilometern Entfernung durchgeführt, ohne dass es zu einem Verlust der Rechenleistung kam, und bei einer Entfernung von 50 Kilometern konnten wir 98 % bis 99 % der Rechenleistung beibehalten." Dies ist weltweit bahnbrechend.

Überwindung technischer Schwierigkeiten und Aufbau von Kernkompetenzen

Mit dem explosiven Wachstum des Rechenleistungmarktes hat Jiliu Technology den Schwerpunkt seiner Entwicklung auf die konkrete Umsetzung von Projekten gelegt. Das Unternehmen beteiligt sich aktiv am Aufbau und der Wartung von mittelgroßen und großen Rechenleistungskluster, versucht, die zuvor gesammelten Werkzeuge zu standardisierten Produkten zu machen und gleichzeitig die Anpassung an nationales Hardware und den Ausstieg in ausländische Märkte zu erkunden.

In den anderthalb Jahren seit der Gründung von Jiliu Technology wurden die Projekte in die Produktionsumgebung von führenden Herstellern integriert. Das Unternehmen hat für mehrere Rechenzentren die Planung, den Aufbau, die Optimierung und die Wartung von Rechenleistungskluster durchgeführt und Rechenleistungskluster von tausend bis zehntausend GPUs für Hersteller wie Zhipu AI, SenseTime, Yindun Cloud und CenturyLink bedient. Gleichzeitig wurde auch eine Lösung für hunderttausend GPUs entwickelt.

"Wir hoffen, dass durch den Aufbau eines solchen Supercomputersystems ein Hochleistungs-Rechenleistungssnetzwerk geschaffen wird, das schließlich die Umsetzung von Künstliche-Intelligenz-Modellen und die IT-Transformation von Unternehmen unterstützt."

"Hochleistungs-Rechenleistungsinfrastruktur ist die Zukunft. In der zukünftigen Konkurrenz ist die Technologie unsere Kernkompetenz."

Nach Ansicht von Hu Xiaohe gibt es Ähnlichkeiten zwischen der Unternehmensgründung und der wissenschaftlichen Forschung: "Bei der wissenschaftlichen Forschung müssen wir uns einem großen Ziel zuwenden und an den Schlüsselpunkten Durchbrüche erzielen, um die Anerkennung der Gutachter zu erhalten.

Beim Gründen eines Unternehmens müssen wir ebenfalls eine große Richtung finden, uns in einem Bereich auszeichnen und Lösungen und Produkte bieten, die die Unternehmen benötigen. Erst dann können wir die Anerkennung der Kunden und Investoren erhalten."

Jiliu geht weiter voran

"Es ist mir eine große Ehre, dass uns auf dem Weg des Wachstums von Jiliu viele gute Lehrer und Freunde zur Seite standen, die es uns ermöglichten, an der Schaffung von Supercomputersystemen teilzunehmen und die Umsetzung der allgemeinen Künstliche Intelligenz in China zu erleben. Ich bin stolz auf das Engagement unseres Teams. In der Welle des raschen Wachstums der Künstliche Intelligenz haben wir unsere Spuren hinterlassen." sagte Hu Xiaohe gefühlt.

Hu Xiaohe fasste zusammen: "Egal, ob es um wissenschaftliche Forschung oder Unternehmensgründung geht, 'Talk is cheap, Show me the code' ist das Wichtigste.

Diese Branche hat gerade erst begonnen, sich zu entwickeln. Unsere Produkte und Technologien befinden sich auf dem nationalen offenen Markt in einer Vorreiterposition. Es gibt jedoch viele Herausforderungen zu bewältigen, wie die Erweiterung und Optimierung der bereits aufgebauten Rechenleistungskluster, die 'Rückwärtskompatibilität', die Verbesserung der Automatisierung der Rechenleistungssplanung, -wartung und -fehlerortung und die Unterstützung der Umsetzung von verteilten Rechenleistungskluster über lange Entfernungen.

Wir gehen unermüdlich in Richtung Hochleistungs-Rechenleistungssnetzwerk voran und tragen unseren Beitrag zur nationalen Rechenleistung bei. Wir unterstützen die Umsetzung nationaler Large Language Models. Wir sind überzeugt, dass Jiliu in zukünftigen Rechenleistungskluster mit hunderttausend oder Millionen von GPUs vertreten sein wird und dass Jiliu zusammen mit den führenden nationalen Large Language Model-Herstellern in die Ära der allgemeinen Künstliche Intelligenz eintreten kann."

END

Dieser Artikel stammt aus dem WeChat-Account "Xinglian Capital" und wurde von 36Kr mit Genehmigung veröffentlicht.