HP kooperiert mit Startups aus dem Umfeld der Peking-Universität und stellt ein Modell vor, das offline betrieben werden kann und für wissenschaftliche Forschungsarbeiten geeignet ist | An vorderster Front
Text von Wang Xinyi
Kürzlich hat Yuankong Intelligence, ein Team vom Institut für Wissenschaft und Intelligenz der Peking-Universität, sein seitenseitiges KI-Modell Boxer sowie die offline nutzbare KI-Arbeitsplattform „Yuankong AI Work“ und den wissenschaftlichen Forschungs-Agenten „Yuankong AI for Science“ vorgestellt. Am 3. September fand in Shanghai die Produktvorstellungsveranstaltung für die seitenseitigen KI-Produkte von Yuankong Intelligence statt. Pang Dawei, CEO von Yuankong Intelligence, ist der Ansicht, dass cloudbasierte Großmodelle einige unumgängliche praktische Probleme wie Datensicherheit, Token-Kosten und Stabilität aufweisen. Um diese Probleme zu lösen, stellt die Seitenseite eine physische Lösung dar.
Seitenseitige Intelligenz wird zu einem unvermeidlichen Thema in diesem Jahr. Während die Intelligenzdichte kleiner Modelle schnell steigt, gewinnen die Fähigkeiten und Anwendungen von Agent Harness zunehmend Einzug in den täglichen Arbeitsalltag, und die Rechenleistung von seitenseitigen Chips wächst weiter stetig.
Nach dreijähriger Erfahrung im Bereich Agenten hat Yuankong Intelligence beschlossen, sich schrittweise dem seitenseitigen Sektor zuzuwenden. Yuankong Intelligence wurde im Februar 2023 gegründet. Es hat sich von den anfänglichen Bürotools für KI-Excel und der Plattform für Datenagenten in der gesamten Kette stetig weiterentwickelt, bis hin zu Claw-Produkten und heute zu KI-Arbeitsplattformen, seitenseitiger Intelligenz und wissenschaftlichen Forschungsagenten.
Boxer ist ein seitenseitiges Modell mit einer Größe von 35B, das hauptsächlich für Büroszenarien geeignet ist. Im selbst erstellten Bewertungsset WorkArena des Unternehmens erzielte Boxer-35B-A3B-v0-0819 den ersten Platz unter Modellen gleicher Größe und zeigte seine Vorteile bei der Bewältigung realer Aufgaben. Laut Angaben basiert dieses Modell auf einem Open-Source-Modell und wird nachtrainiert, wobei die Trainingsdaten aus den Spuren realer Aufgaben stammen, die von dem langjährig aufgebauten Agent Harness des Teams erzeugt werden. Konkret erreicht Boxer auf einem Consumer-PC mit einer Rechenleistung von 40TOPS eine Präfüllgeschwindigkeit von über 700 Token pro Sekunde und eine Dekodiergeschwindigkeit von über 30 Token pro Sekunde, wobei der Arbeitsspeicherbedarf unter 8 GB liegt.
Vor Ort bei der Veranstaltung führte Dr. Ning Kunpeng, Mitbegründer von Yuankong Intelligence, direkt drei reale Aufgaben auf einem HP-Computer aus. Ohne Internetverbindung ruft AI Work das lokale Modell auf, und innerhalb weniger Minuten können Aufgaben wie die Klassifizierung und Archivierung von Rechnungen sowie die Erkennung von Anomalien in Transaktionsdaten der Finanzbranche erledigt werden. Auch bei wissenschaftlichen Forschungsaufgaben zeigt es gute Leistungen und kann den gesamten Prozess wie die Durchführung komplexer Experimente, das Erstellen von Diagrammen und das Verfassen von Arbeiten automatisch abschließen.
Auf der Vorstellungsveranstaltung kündigte Yuankong Intelligence auch offiziell die Zusammenarbeit mit HP an. Für Yuankong bedeutet dies, dass seine technischen Fähigkeiten mit der Hardware und der Kommerzialisierungsfähigkeit von HP kombiniert werden, um AI Work und das seitenseitige Modell auf den Geräten der HP Z-Serie vorzuinstallieren. Das Geschäftsmodell basiert auf standardisierter Lieferung und Einmalzahlung, sodass die Vertriebskosten auf Anwendungsseite nahezu null liegen. „Zukünftig könnte jeder Computer ein KI-Computer sein, und die Nachfrage nach seitenseitiger KI, insbesondere nach unternehmensweiter seitenseitiger KI, wird bald explosionsartig ansteigen“, erwähnte Zhou Xinhong, Vizepräsident von Hewlett-Packard China Co., Ltd.
Pang Dawei ist der Ansicht, dass der derzeitige seitenseitige Markt ein Geschäft ist, das große Konzerne vorerst nicht betreiben werden, aber er räumt auch ein, dass es keine Technologie gibt, über die große Konzerne nicht verfügen. Der Wettbewerbsvorteil von Yuankong Intelligence liegt darin, dass das Geschäftsmodell cloudbasierter Modelle große Konzerne vorerst davon abhält, sich vollständig auf die Seitenseite zu konzentrieren, während der Schlüssel zum Betrieb der Seitenseite – die seitenseitige Umgebung und der Datenkreislauf – genau das ist, was Yuankong seit langem aufgebaut hat.
Im Folgenden finden Sie Auszüge aus dem Gespräch zwischen Medien wie 36Kr und Pang Dawei, CEO von Yuankong Intelligence, Zhou Xinhong, Vizepräsident von Hewlett-Packard China Co., Ltd., sowie Yao Jiayu, Mitbegründer von Yuankong Intelligence, und Dr. Ning Kunpeng, das leicht bearbeitet wurde:
Frage: Die Märkte für seitenseitige KI und cloudbasierte KI sind beide sehr groß. Wie betrachten Yuankong und HP den Markt für seitenseitige KI?
Pang Dawei: Gemessen an der Marktgröße befindet er sich in einem raschen Aufwärtstrend. Zunächst einmal ist der Anwendungsbereich, für den Modelle mit kleiner Größe geeignet sind, immer größer geworden. Die Größe der vorhandenen seitenseitigen Modelle sinkt schrittweise von 35B auf 27B und sogar noch kleiner, sodass immer mehr Geräte die lokale Bereitstellung unterstützen.
Darüber hinaus explodiert der Markt für die lokale Bereitstellung von KI sowohl bei neuen als auch bei alten Geräten auf Hardwareebene. Jedes Jahr werden in China mehrere zehn Millionen PCs neu ausgeliefert, und weltweit werden jährlich stabil 300 Millionen Computer ausgeliefert – dieser Markt ist fest etabliert.
Zhou Xinhong: Zukünftig wird jeder Computer ein KI-Computer sein. Es ist abzusehen, dass die Ausgaben von Unternehmen für die KI-Bereitstellung in den nächsten zwei bis drei Jahren verdoppelt werden. Die Nachfrage von Unternehmen nach KI ist sehr stark, aber diese Nachfrage ist noch nicht auf die Seitenseite übergegangen. Dass KI für Büroarbeiten geeignet ist, ist erst ein Thema in diesem Jahr. Die Infrastruktur, Server und Rechenleistung sind inzwischen bereit, sodass die Umsetzung jetzt erfolgen kann. Insbesondere Branchen mit hohen Anforderungen an die Datenkonformität wie Finanzwesen, Pharmaindustrie und Fertigung müssen Daten und Wissen lokal speichern, und diese Sektoren haben ein enormes Explosionspotenzial.
Frage: Derzeit ist das gängige Geschäftsmodell für solche Büroanwendungen die Abrechnung nach Token. Wie bewerten Sie das Geschäftsmodell der seitenseitigen Einmalzahlung und Lizenzierung?
Pang Dawei: Wir bieten standardisierte Lieferung an, und unser Geschäftsmodell umfasst Einnahmen aus lokalen Lizenzen sowie Einnahmen aus Cloud-Token im seitenseitig-cloudbasierten gemischten Modus. Der größte Vorteil der Zusammenarbeit mit Hardwareherstellern besteht darin, dass wir uns nur auf die Entwicklung konzentrieren müssen und im Vertrieb den Vertriebskanälen von HP folgen können.
In Bezug auf die globale Expansion gehen wir einerseits mit unserer eigenen Online-Plattform auf den internationalen Markt, andererseits folgen wir den internationalen Förderkanälen von HP im Rahmen unserer Zusammenarbeit. Derzeit erweitern wir unsere Märkte in Singapur, Südostasien, Japan und Südkorea.
Frage: Yuankong hat mehrere Geschäftsveränderungen durchlaufen. Wie definieren Sie Ihre Positionierung, nachdem Sie sich dem seitenseitigen Sektor zugewandt haben?
Pang Dawei: Erstens sind wir ein Unternehmen für seitenseitige KI-Modelle, das Modelle, Agenten und Hardwaregeräte entwickelt. Zweitens haben wir ursprünglich ChatExcel entwickelt, ein Büroprodukt im Chatbot-Format für Endverbraucher – das ist unsere Wurzel. Ohne Zusammenarbeit mit Hardwareherstellern kann ein kleines Team die selbstständige Weiterentwicklung von Modellen kaum gut umsetzen, was der Schlüssel ist, um mit einem kleinen Team einen großen Markt zu erschließen.
Frage: Facewall Intelligence hat bereits eine Zusammenarbeit mit Samsung vereinbart. Wird Yuankong eine Zusammenarbeit mit Smartphone-Herstellern in Betracht ziehen?
Pang Dawei: Zumindest in dieser Phase entscheiden wir uns dafür, seitenseitige Modelle auf Produktivitätswerkzeugen wie PCs und Workstations zu platzieren, und wir werden vorerst nicht in den Smartphone-Bereich eintreten. Derzeit haben Smartphone-Hersteller standardmäßig die Vorinstallation kleiner Modelle bereits abgeschlossen. Wir betrachten Smartphones nicht als Zielgeräte, sondern konzentrieren uns mehr auf Geräte, die tatsächlich vernetzt arbeiten und Netzwerkeffekte erzeugen können, sowie auf Szenarien mit höherem Wert.
Frage: Wie wird Ihr 35B-Parameter-Modell trainiert? Warum trainieren Sie nicht direkt branchenspezifische Modelle, sondern allgemeine Modelle, die auf branchenspezifischem Harness laufen?
Ning Kunpeng: Dieses Modell basiert auf dem Qwen-Modell und wird mit Daten, die von unserem Agent Harness erzeugt werden, nachtrainiert. Was die Leistung angeht, ist das 35B-Modell heute bereits leistungsfähiger als GPT-4o vor über einem Jahr, mit einer sehr hohen Intelligenzdichte. Als Referenz: DeepSeek V4 Flash hat nur 13B aktivierte Parameter, aber seine Leistung ist bereits stark genug.
Yao Jiayu: Was die Frage betrifft, warum wir Branchendaten nicht direkt in das Modell eintrainieren: Wir sind der Ansicht, dass in einer realen Arbeitsumgebung Modell, Agent und Gerät zusammenwirken müssen. Aufgaben erfordern ständiges Merken, Feedback und Ausführung von Vorgängen, was nicht durch einen einzelnen Kontext oder reinen Chat erledigt werden kann. Harness ist für die Erzeugung von Datenspuren verantwortlich, es muss zusammen mit dem Modell trainiert werden, die beiden sind untrennbar miteinander verbunden.
Frage: Warum werden die Parameter von Modellen immer größer, aber der erzielte Nutzen nimmt ab?
Ning Kunpeng: Derzeit sind die Daten aus dem Internet fast vollständig erschöpft, es gibt keine weiteren Informationen mehr. Die qualitativ hochwertigen Daten, die für die nächste Trainingsphase von Modellen benötigt werden, wie Spurdaten, befinden sich alle in Geräten im realen Einsatz.
Viele Hersteller von Großmodellen bieten heute verschiedene branchenspezifische Lösungen an, aber Unternehmen können sie kaum praktisch nutzen. Ein Phänomen ist, dass kleine Parameter bereits gute Ergebnisse erzielen, wenn die Datenverteilung optimiert ist. Gleichzeitig führt eine Verzehnfachung der Parameterzahl nicht mehr zu einem zehnfachen Nutzen, die Lücke zwischen kleinen Modellen und großen Modellen schrumpft.
Frage: Wenn Benutzer das seitenseitige Modell erhalten, wie gelangen die Benutzerdaten zurück zu Yuankong für das Training?
Ning Kunpeng: Bei Benutzern mit vollständig lokaler Lieferung werden die während der Nutzung erzeugten Daten auf keinen Fall zurückfließen. Bei Unternehmensszenarien, beispielsweise wenn wir Dienstleistungen für Unternehmen erbringen, kann das Unternehmen uns die Berechtigung zum Training erteilen.
Frage: Wenn große Konzerne seitenseitige KI entwickeln, was sind Ihre Wettbewerbsfähigkeit und zentralen Barrieren?
Pang Dawei: Es gibt keine Technologie, über die große Konzerne nicht verfügen, aber jedes Team hat seine eigene Positionierung und sein eigenes Geschäftsmodell. Das Geschäftsmodell von Cloud-Anbietern bestimmt, dass sie sich nicht vollständig auf die Seitenseite konzentrieren werden. Wir gehen davon aus, dass alle großen Konzerne dies tun werden, aber ob sie es gut umsetzen und tiefgehend weiterentwickeln können, ist eine andere Sache. Für die Seitenseite sind eine native seitenseitige Umgebung und ein Datenkreislauf erforderlich.
Frage: HP entwickelt selbst auch ganzheitliche KI-Lösungen. Warum haben Sie sich für eine Zusammenarbeit mit Yuankong entschieden?
Zhou Xinhong: KI-Startups bestehen aus drei Teilen: Daten, Algorithmen und Rechenleistung. Die Daten befinden sich bei den Kunden, die Algorithmen und Modelle bei Herstellern wie Yuankong Intelligence, und HP kann stabile Rechenleistung sowie Dienstleistungen wie FDE (Front Deployment Engineer) anbieten.
Wir arbeiten seit zwei Jahren mit Yuankong zusammen, beginnend mit ChatExcel, dem ersten Büroprodukt von Yuankong AI. Yuankong entwickelt nicht nur die Harness-Schicht, es verfügt über selbst trainierte Modelle und allgemeine Agenten, die zudem branchenspezifisch unterteilt sind, mit entsprechenden Agenten für Finanzwesen, Pharmazie und wissenschaftliche Forschung. Das ist der differenzierte Vorteil von Yuankong gegenüber anderen Modellanbietern.
Frage: Unter welchen Umständen wird der Auslöser für die Nachfrage nach unternehmensweiter seitenseitiger KI eintreten?
Zhou Xinhong: Zuerst ein Trend: Die Kosten für PCs steigen ab 2025, und die Serverbestellungen von Herstellern sind bereits bis zum nächsten Jahr vergeben, sodass die Preiserhöhungen anhalten werden. Wenn die Preise stetig steigen, wird unweigerlich ein kritischer Punkt erreicht: Wenn Hersteller großen Arbeitsspeicher direkt in Geräte integrieren, liegen die Herstellungskosten eines Geräts mit lokaler Rechenleistung ungefähr auf dem Niveau der Ausgaben, die ein Unternehmen in zwei bis drei Jahren für Cloud-Dienste ausgibt. Dann ist dieser kritische Punkt erreicht.
NVIDIA arbeitet bereits daran, großen Arbeitsspeicher in Chips zu integrieren, um ausreichend starke lokale Rechenleistung bereitzustellen. Ein Beispiel: Wenn die Produkte von Yuankong darin integriert und mit Modellen ausgestattet werden, können viele Aufgaben lokal erledigt werden, und Kunden müssen nicht mehr kontinuierlich für Cloud-APIs zahlen. Sobald solche Produkte auf den Markt kommen und die Nutzer sich an sie gewöhnt haben, laufen die drei Kurven für Hardware, Software und Modell zusammen, und das Erreichen des kritischen Punkts ist ganz natürlich.
Frage: Ist die KI-Welle für PCs positiv oder negativ? Lenovo und Dell haben bei KI-PCs bereits Trends vorgezeigt. Wie wird HP seine Positionierung ausbauen?
Zhou Xinhong: Aus Marktsicht schrumpft der Markt für Geräte unter 700 US-Dollar, aber hochpreisige PCs mit GPU-Rechenleistung über 700 US-Dollar verzeichnen ein zweistelliges positives Wachstum. Unsere eigenen Verkaufsdaten zeigen: Die ausgelieferte Gerätezahl sinkt – da der Preis pro Gerät steigt, verringert sich die Anzahl der Geräte, die mit demselben Budget gekauft werden können. Aber der Umsatz wächst zweistellig positiv. Der Niedrigpreismarkt ist nicht mehr unser Schlachtfeld: Arbeitsspeicher, SSDs und CPUs werden teurer, und zu diesem Preisniveau lassen sich keine Produkte mehr herstellen.
Lenovo und Dell konzentrieren sich auf Server, Rechenzentren und cloudbasierte KI, während HP rein auf die Seitenseite setzt und direkt in die Märkte für seitenseitige Branchenanwendungen, wissenschaftliche Forschung und Unternehmensdatensicherheit eintritt. Wir bieten Unternehmen die mit Yuankong AI kombinierte Lösung an, damit sie praktischere, umsetzbare Optionen erhalten – das unterscheidet uns von dem Weg anderer PC-Hersteller.