Fast 2 Milliarden Yuan innerhalb von 5 Monaten, der inländische Vorreiter im Bereich Sparse Computing MoXi hat eine weitere Finanzierungsrunde abgeschlossen.

Chip Insights berichtet am 3. November: Heute hat MoCore AI, ein inländisches Unternehmen für Chips für Sparse Computing (im Folgenden als „MoCore“ bezeichnet), bekanntgegeben, dass es kürzlich eine Finanzierungsrunde von fast 1 Milliarde Yuan abgeschlossen hat. Diese Finanzierungsrunde liegt nur 5 Monate nach der vorherigen Finanzierungsrunde von ebenfalls fast 1 Milliarde Yuan, sodass die Summe der beiden Finanzierungsrunden insgesamt fast 2 Milliarden Yuan beträgt.

An dieser Finanzierungsrunde von MoCore haben sich Branchenakteure wie Ren'ai Capital, Haitang Fund und Dongheng Petroleum sowie bekannte staatseigene Kapital- und Finanzinvestitionsinstitute wie Biqiu Capital, Paila Capital und Zhongcai Capital gemeinsam beteiligt. Die eingeworbenen Mittel werden für die vollständige Modernisierung der dedizierten Sparse-Inferenzchips verwendet, mit Schwerpunkt auf der vorausschauenden Entwicklung der nächsten Generation von Chips, während gleichzeitig der Aufbau eines Industrie-, Universitäts- und Forschungsverbands für Sparse Computing vorangetrieben wird.

Warum erhöhen Investoren zu diesem Zeitpunkt ihr Engagement? Welche Veränderungen hat die Kommerzialisierung von MoCore durchlaufen? Und wie wird Sparse Computing zu sichtbaren Zahlen in den Kundenbuchhaltungen? Mit diesen Fragen führte Chip Insights ein ausführliches Gespräch mit Guo Weijun, Vizepräsident für Marketing bei MoCore.

01.

Positionierung am Zeitpunkt des Ausbruchs der Inferenznachfrage

Umfassende Beschleunigung der Kommerzialisierung

Um diese Finanzierungsrunde von MoCore zu verstehen, muss man sie im größeren Branchenkontext betrachten.

Im vergangenen Jahr sind große Modelle wirklich in die Produktionsumgebungen eingezogen, das Volumen der Inferenzaufrufe ist stetig gestiegen und die entsprechenden Kosten sind entsprechend angestiegen. Heutzutage ist der Token-Verbrauch nicht mehr projektbezogen, sondern es handelt sich um eine feste monatliche Ausgabe für „Rechenleistung“, die wie Strom- und Wasserkosten anfällt.

Vor diesem Hintergrund stellen Kunden höhere Anforderungen an die Inferenzrechenleistung der nächsten Generation. Guo Weijun fasst die Anforderungen der Kunden in drei Punkten zusammen: Erstens die Senkung der gesamten Inferenzkosten, die neben den Token-Kosten auch langfristige Ausgaben wie Stromkosten, Bereitstellung und Kompatibilität umfassen; zweitens elastische Bereitstellung von Rechenleistung und zuverlässige Lieferung; drittens Kontrolle der Anpassungskosten, sodass bestehende Modelle und Geschäftssysteme mit geringem Aufwand migriert werden können.

Derzeit gibt es viele Möglichkeiten, die Gesamteffizienz der Systeminferenz zu verbessern, und Sparse Computing gilt als eine der bemerkenswertesten Richtungen. Sparse Computing löst eigentlich ein einfaches Problem: Große Modelle haben oft mehrere zehn Milliarden oder sogar hunderte Milliarden Parameter, aber bei jeder Inferenz ist nur ein kleiner Teil tatsächlich aktiviert und an der Berechnung beteiligt. Herkömmliche Chips unterscheiden nicht zwischen diesen Teilen, was in der Branche als „Dense Computing“ bezeichnet wird; Sparse Computing geht den umgekehrten Weg: Es berechnet nur die Teile, die tatsächlich wirken, und überspringt den Rest. Bei der gleichen Inferenzaufgabe wird der Rechenaufwand reduziert, und die Kosten sinken entsprechend.

MoCore hat sich seit Jahren intensiv mit der technischen Validierung von Sparse Computing auseinandergesetzt, und in letzter Zeit beginnen diese Akkumulationen, sich konzentriert auszuzahlen. Diese beiden Finanzierungsrunden sind ein wichtiger Wendepunkt für MoCore, der von der jahrelangen punktuellen technischen Validierung zu skalierter und kommerzialisierter Lieferung übergeht.

Auf technischer Ebene wurde das Konzept von MoCore für die kooperative Gestaltung von „Algorithmus – Software – Hardware“ in echten Produkten validiert, und der end-to-end Software-Geschlossene Kreislauf bildet sich allmählich heraus. Die S30- und S40-Rechenkarten von MoCore haben bei den MLPerf-Inferenztests drei Mal in Folge den ersten Platz belegt, und die Ingenieurskapazitäten werden durch öffentliche Tests bestätigt.

Auf Lieferungsebene berücksichtigen immer mehr intelligente Rechenzentren und Branchenkunden Sparse-Rechenleistung bei ihrer Auswahl. Die dedizierten Sparse-Inferenzchips von MoCore sind in vier Regionen im Nordwesten, Südwesten, Osten und Norden Chinas eingeführt, es wurden Tausende von Karten umfassende Cluster bereitgestellt, und es wurden Kooperationen mit führenden Telekommunikationsbetreibern aufgebaut, um Sparse-Computing-Inferenzlösungen in die Rechenleistungsdienste der Partner zu integrieren. Die skalierte Lieferfähigkeit von MoCore wurde in diesen Projekten ebenfalls validiert.

Auf Marktebene beobachtet Guo Weijun zudem einen Trend: Nicht jede Branche benötigt große Modelle. Mit der zunehmenden Vielfalt von KI-Anwendungen in vertikalen Branchen verfügen Bereiche wie Finanzen, Medizin, Exploration und Meteorologie über eigene Branchenmodelle, und fast alle diese Modelle können von Sparse Computing profitieren, sodass ihre Einsatzszenarien das Potenzial für branchenübergreifende Replikation aufweisen.

02.

Sparse Computing gelangt in echte Produktionsumgebungen

MoCore hilft Kunden, die Kostenrechnung klar zu gestalten

In den vergangenen Monaten ist die Liste der realisierten Projekte von MoCore schnell gewachsen, von wissenschaftlichen Forschungsplattformen an Hochschulen bis hin zu nationalen Rechenleistungsprojekten. Wir haben auch über mehrere echte Kundenfälle gesprochen.

Im Forschungsszenario hat die Sparse-Rechenleistung von MoCore bereits eine Gruppe quantifizierbarer Messergebnisse erzielt. Für den Spitzenbereich von Raum-Zeit-KI und Raum-Zeit-Großdaten hat MoCore gemeinsam mit dem Institut für Geo- und Raumtechnik des Internationalen Wissenschafts- und Innovationszentrums Shanghai Lingang der Peking-Universität auf Basis selbst entwickelter Sparse-Technologie die Anpassung und Messung von zwei international verbreiteten Basismodellen für die intelligente Analyse von Fernerkundungsbildern auf den MoCore-Rechenkarten abgeschlossen.

Die Daten zeigen, dass unter der Bedingung, dass die Geschäftsgenauigkeit nahezu nicht beeinträchtigt wird und keine erneute Schulung der nachgelagerten Aufgaben erforderlich ist, der Durchsatz der Modellinferenz auf das bis zu 2,88-fache gesteigert und die Modellkomprimierung auf das bis zu 7,64-fache erreicht werden kann, was den Rechenleistungsverbrauch und die Verarbeitungszeit bei der Interpretation großer Mengen von Fernerkundungsbildern erheblich reduziert.

Wenn das Peking-Universität-Projekt die Wirkung eines einzelnen Szenarios validiert, prüft das nächste Rechenleistungsprojekt die Integrationsfähigkeit der Sparse-Rechenleistung mit bestehenden Systemen. MoCore beteiligt sich am ersten inländischen Offshore-Rechenleistungs-Token-Werk, das von einem staatseigenen Plattformunternehmen in Shanghai gebaut wird: Dieses Projekt nutzt grünen Strom von Offshore-Windkraftanlagen und Meerwasserkühlung, um den PUE-Wert und die Stromkosten zu senken, aber die durch den grünen Strom eingesparten Gelder könnten durch die Inferenzkosten von allgemeinen GPUs aufgezehrt werden.

MoCore senkt die Kosten pro Token-Inferenz auf Chipebene und kombiniert dies mit einem gemischten heterogenen Rechenleistungsmodus, sodass sich die Kostensenkung durch grünen Strom und die Kostensenkung durch die Architektur überlagern und der Kostensenkungseffekt weiter verstärkt wird.

Es ist bemerkenswert, dass MoCore bei der Kommunikation mit Kunden das technische Konzept von Sparse Computing nicht bewusst hervorhebt. „Die Kunden interessieren sich am meisten dafür, ob das Produkt gut zu bedienen ist, und achten in der frühen Phase des Projekts nicht übermäßig darauf, ob es dem Sparse-Ansatz folgt.“

In der tatsächlichen kommerziellen Zusammenarbeit konzentrieren sich Kunden stärker auf das gesamte Input-Output-Verhältnis: Wie viele Server im Rechenzentrum bereitgestellt werden müssen, wie hoch der Stromverbrauch und die Wartungskosten sind und ob am Ende die Anforderungen an die Geschäftsgenauigkeit und den ROI erfüllt werden können.

Aus diesem Grund wandelt MoCore den Produktwert in konkrete Kostenberechnungen um und baut ein standardisiertes Simulations-Testsystem vor dem Kauf auf, sodass Kunden vor dem Erwerb entsprechende Simulationsdaten erhalten und den tatsächlichen Nutzen des Produkts in ihren eigenen Geschäftsszenarien bewerten können.

Im Vergleich zu Leistungsindikatoren sind Migrationskosten oft eine höhere Hürde für die Entscheidungen der Kunden. Die vorhandenen Bewertungsskripte und Planungssysteme der Kunden sind meist auf die Dense-Computing-Architektur ausgerichtet. Der Austausch von Chips erfordert nicht nur erneute Regressionstests, sondern auch technische Umgestaltungen und graue Geschäftsveröffentlichungen, was zusätzlichen Zeit- und Kapitalaufwand verursacht.

Um dieses Problem zu lösen, hilft MoCore einerseits Kunden, ein architekturübergreifendes Bewertungs- und Lieferantenvergleichssystem aufzubauen, indem es Sparse-Bewertungsstandards und Simulationswerkzeuge bereitstellt; andererseits bietet es eine heterogene Anpassungswerkzeugkette an, die die Zusammenarbeit von Sparse-Karten mit den vorhandenen Dense-Karten der Kunden fördert. Für Kunden, die bereits eine große Anzahl von vorhandenen Chips bereitgestellt haben, kann dieser Ansatz die Kosten für Systemmigration und wiederholte Aufbauten senken und bietet einen weiteren Weg für die Umsetzung von Sparse Computing.

03.

Von „einsatzbereit“ zu „benutzerfreundlich“

Software und Ökosystem geben der Kommerzialisierung Nachhaltigkeit

Die Senkung der Nutzungshürden für Kunden ist nur der erste Schritt zur Kommerzialisierung von Sparse Computing. Für eine breitere Umsetzung sind zudem eine kontinuierliche Iteration der Produkte, die Vervollständigung der Software-Werkzeugkette und die gemeinsame Unterstützung des Branchenökosystems erforderlich. MoCore baut in drei Richtungen vor.

In der akademischen Welt besteht noch kein ausgereiftes kooperatives System zwischen Algorithmen, mathematischen Theorien, Hardwarearchitekturen und Software-Werkzeugketten für Sparse Computing, und viele Schlüsselfragen bedürfen weiterer Forschung. Um dieses Problem zu lösen, hat MoCore im August dieses Jahres den ersten inländischen Industrie-, Universitäts- und Forschungsverband für Sparse Computing gegründet. Derzeit wurden mehrere gemeinsame Forschungsprojekte mit Universitäten wie der Fudan-Universität, der Tsinghua-Universität, der Xi'an Jiaotong-Universität, der Nankai-Universität und der Shanghai Jiao Tong-Universität gestartet.

Guo Weijun enthüllte, dass die gemeinsamen Forschungsprojekte im Verband entsprechend den fachlichen Besonderheiten der jeweiligen Universitäten angeordnet sind: Die Fakultäten für Informatik konzentrieren sich auf die Richtung, wie die Kombination von „Algorithmus + Hardwarearchitektur“ die Leistung von Sparse Computing verbessern kann; die mathematischen Fakultäten befassen sich mit der Berechnungseffizienz von Matrixmultiplikationsalgorithmen und der Lokalisierung von Gesetzen für Sparse-Parameter; die Software-Fachbereiche konzentrieren sich auf die Entwicklung von Sparse-Werkzeugketten, Compilern und Hochleistungsoperatoren.

▲ Planung des Industrie-, Universitäts- und Forschungsverbands für Sparse Computing

Die Aufgaben des Verbands beschränken sich nicht nur auf wissenschaftliche Forschungskooperationen, sondern vor allem darauf, die grundlegenden Elemente zu ergänzen, die für die Industrialisierung von Sparse Computing erforderlich sind. Nach Ansicht von Guo Weijun steht die Branchenentwicklung derzeit noch vor drei Mängeln:

Erstens fehlt es an interdisziplinären Fachkräften: Fachkräfte, die sowohl Algorithmen und Sparse-Mathematik verstehen als auch mit Chip-Architekturen vertraut sind, sind relativ selten, und die Ausbildung entsprechender Fachkräfte dauert in der Regel 3 bis 5 Jahre;

Zweitens sind die Bewertungs- und Abnahmestandards noch nicht einheitlich. Die vorhandenen Lieferstandards für Rechenleistung sind hauptsächlich auf Dense Computing ausgerichtet und können die tatsächliche Leistungsfähigkeit von Sparse Computing nicht genau messen. Guo Weijun sagte, dass MoCore in Zukunft möglicherweise auch Abnahmestandards für Sparse-Rechenleistung herausbringen wird;

Schließlich müssen grundlegende Ressourcen wie die Werkzeugkette und Datensätze für Sparse Computing noch vervollständigt werden.

Guo Weijun ist der Ansicht, dass diese grundlegenden Arbeiten zwar wenig Aufmerksamkeit erhalten, aber unverzichtbare Glieder für die Skalierung der Sparse-Computing-Industrie sind.

Neben dem Ökosystem hat die Iteration der Produktlinie von MoCore nicht angehalten. Die neue Generation von Board-Karten SP200 soll vor Ende dieses Jahres auf den Markt kommen. Guo Weijun enthüllte, dass die echten Probleme, die bei der Nutzung durch Kunden aufgetreten sind, in das Design der nächsten Architektur eingeflossen sind.

Auf der Ebene des Software-Stacks wird der verbesserte Software-Stack SECA (Sparse-native Efficient Computing Architecture) bald veröffentlicht. Der gesamte Software-Stack von der Operator-Bibliothek über die Kompilierung bis zur Soft-Hardware-Kooperation wurde vollständig um die Sparse-Architektur neu gestaltet, und die dazugehörige MaaS-Plattform und die Anpassungsverwaltungstools für Modellframeworks werden schrittweise eingeführt.

Von dem Ökosystemaufbau über die Produktiteration bis zur Aktualisierung des Software-Stacks ist die kommerzielle Nachhaltigkeit von MoCore bemerkenswert.

04.

Schlussfolgerung: Ist der Wendepunkt für Sparse Computing gekommen?

Das Anwendungsraum von Sparse Computing dehnt sich beschleunigt von großen Modellen auf mehr Branchen aus. Nach Ansicht von Guo Weijun sind Modelle in vertikalen Bereichen für bestimmte Geschäftsvorgänge maßgeschneidert, sie benötigen nicht die gesamten Fähigkeiten allgemeiner großer Modelle und eignen sich daher natürlich für Sparse Computing.

Beispielsweise müssen visuelle Modelle im Szenario der industriellen Qualitätskontrolle oft nur lokale Fehlerbereiche in Bildern erkennen, viele Hintergrundinformationen sind nicht direkt an der Beurteilung beteiligt, und Sparse Computing kann unnötige Rechenaufwendungen reduzieren. Ähnliche Anforderungen bestehen auch in der Embodied Intelligence und bei Weltmodellen. Guo Weijun analysierte, dass das menschliche Gehirn nicht alle Informationen in der Umgebung in gleichem Maße verarbeitet, sondern Schlüsselinformationen entsprechend der aktuellen Aufgabe filtert und beachtet – dies stimmt mit dem Muster des Sparse Computing überein.

Für MoCore haben sie bereits den entscheidenden Punkt überschritten, an dem die Wirksamkeit von Sparse Computing nachgewiesen wird. Heute beweist das Unternehmen durch zahlreiche echte kommerzielle Fälle, dass Sparse Computing in großem Maßstab bereitgestellt werden kann, kontinuierlich Kosten senkt und mehr Branchen quantifizierbare Geschäftsvorteile bringt.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Chip Insights“, Autor: Chen Junda, veröffentlicht mit Genehmigung von 36Kr.