Large Language Models on Edge Devices have become a rigid demand. Are the chips ready?
Am Rande der 2026 WAIC beobachten wir: Die Fähigkeiten großer Sprachmodelle treten nun aus dem Internet und den Chatfenstern heraus.
Vor zwei Jahren lag die gesamte Vorstellung der Branche von großen Modellen fast ausschließlich in der Cloud: Je größer die Parameter, desto besser; je stärker das Cluster, desto besser; wer die meisten GPUs im Rechenzentrum stapelt, ist der Gewinner. Tatsächlich ist diese Logik bis heute nicht falsch, aber sie erzählt nur die Hälfte der Geschichte.
Die andere Hälfte spielt sich abseits der Cloud ab – und das ganz leise.
Mit dem Aufkommen von Agenten stellte man fest, dass Inferenzaufgaben die Rechenzentren verlassen und auf lokalen PCs, Smartphones, Gehirnen von Robotern und vielen weiteren unbekannten Endgeräten Einzug halten. Die Endgeräte haben unterschiedlichste Formen, stehen aber alle vor demselben „unmöglichen Dreieck“: Der Stromverbrauch liegt bei nur wenigen Watt, die Kosten sind auf Dutzende US-Dollar begrenzt – und dennoch verlangen Kunden, dass sie Modelle mit mehreren Milliarden oder sogar Hunderten Milliarden Parametern ausführen können.
In der Chip-Industrie wurde dieses Problem in den letzten zehn Jahren nie gelöst, denn die Regeln der Cloud lauten: Die Obergrenze nach oben schieben, und Stärke in der Rechenkapazität dominiert alles. Am Edge-Gerät hingegen geht es darum, innerhalb der harten Grenzen physikalischer Gesetze die Effizienz der Inferenz großer Modelle bis zum Äußersten zu treiben.
Dieses Problem hat die Wettbewerbsregeln für KI-Chips am Edge neu geschrieben.
01. Große Modelle halten Einzug am Edge
Warum sind große Modelle am Edge „über Nacht“ zu einem unaufhaltsamen Trend geworden?
In letzter Zeit wiederholte Jensen Huang immer wieder eine Einschätzung: Die Nachfrage nach Inferenz-Rechenkapazität wird sich etwa um das Zehntausendfache steigern, und Token werden zur neuen Maßeinheit.
Die Zahlen selbst sind nicht entscheidend – entscheidend ist die Größenordnung. Sobald Inferenz zu einem so häufigen, andauernden und direkt mit Kosten verbundenen Vorgang wird, wird die ausschließliche Nutzung der Cloud für die Kosten immer unsinniger. Ein einzelner Inferenzaufruf kostet kaum etwas – aber hunderte Millionen Aufrufe pro Tag summieren sich zu einer erstaunlichen Summe.
Der Kostendruck durch diese neue Größenordnung der Inferenz wird immer mehr Rechenkapazität zum Edge verlagern.
Der chinesische Markt reagiert darauf schneller als Übersee: Viele Unternehmen für Anwendungslösungen suchen bereits nach Chipherstellern, um hybride Lösungen aus lokaler und Cloud-Nutzung zu entwickeln. Besonders spezifisch sind die Anforderungen in vertikalen Branchen wie Recht und Finanzen – sie haben höhere Ansprüche an Datenschutz und Latenz und sind sensibler für die Weiterentwicklung von Produktivwerkzeugen.
Statt nur Konzepte zu validieren, braucht der Markt lieferbare Produkte, die funktionieren und in Massenproduktion hergestellt werden können. Aus Sicht der Chiphersteller zeigt sich der Wandel genau hier: KI-Chips, die für große Modelle am Edge optimiert sind, werden bald zu einer wahren Flut von Bestellungen führen.
Ein Unternehmen aus Shenzhen liefert ein Beispiel: Es hat eine hybride Edge-Cloud-Agent-Plattform aufgebaut, auf der Agenten verschiedener Branchen für den täglichen Betrieb laufen. Ein Algorithmus verteilt Aufgaben dynamisch und entscheidet in Echtzeit, welche lokal und welche in der Cloud verarbeitet werden. Nach einiger Betriebszeit ergab sich: Rund 80 % der Aufgaben werden lokal erledigt, nur 20 % laufen in der Cloud. Die Plattform zählt automatisch, wie viel Token-Kosten der Kunde gespart hat.
Diese Zahl beweist: Die Arbeitsabläufe vieler Agenten können problemlos von lokaler Rechenkapazität bewältigt werden. Sowohl für Endgeräte als auch für bessere KI-Chips zahlt der Kunde die lokale Rechenkapazität nur einmal an – während die Token-Rechnungen in der Cloud nach Nutzung und monatlich berechnet werden.
Sobald sich die wirtschaftliche Rechnung aufmacht, ist die Verlagerung unumkehrbar.
Kosten sind nur die erste Ebene – Latenz ist die zweite. Inferenz am Edge erreicht Reaktionszeiten im Millisekundenbereich, während Cloud-Inferenz von der Netzwerkumgebung abhängig ist. Für Agenten, die Echtzeit-Interaktion brauchen, ist Latenz ein Problem, das Aufgaben zum Scheitern bringen kann.
Datenschutz ist der dritte Faktor, der große Modelle am Edge in den Mittelpunkt rückt. Die Erkenntnis, dass Daten Vermögenswerte sind, wird immer verbreiteter. Lokale Verarbeitung bedeutet, dass Fotos, Dateien und Videodaten immer auf dem Gerät bleiben – das ist sicher und funktioniert auch offline.
Das heißt: Große Modelle am Edge können sich mit dem Netzwerk verbinden, um externe Informationen abzurufen – aber lokale Daten und Verarbeitungsfähigkeit bleiben vor Ort, und das System läuft auch ohne Netzwerk. Für viele industrielle Geräte und mobile Endgeräte, die an Orten mit schlechtem Netz laufen müssen, ist die sichere und offline-Nutzbarkeit eine Frage des Überlebens für die Digitalisierung.
Das Zusammenspiel dieser Faktoren erklärt den wahren Grund für den Wertzuwachs großer Modelle am Edge: Der Wertanker großer Modelle verschiebt sich von Wissensdichte hin zu Handlungsdichte.
Ein Modell, das nur chatten kann, reicht mit Cloud-Rechenkapazität und Daten aus. Ein Modell, das Aufgaben erledigt, hat jedoch eine deutlich höhere Inferenzhäufigkeit und Dauer – das führt zu größeren Kosten- und Sicherheitsproblemen. Es muss zum sicheren, flexiblen und kontrollierbaren Edge wandern, sodass der Anteil der Edge-Nutzung nur noch steigen wird.
In Zukunft ist es unwichtig, welches genaue Edge-Cloud-Verhältnis die Hauptlösung haben wird – die Logik dahinter ist klar: Szenarien, die durch lokale Inferenz erfüllt werden können, nutzen zuerst die lokale Lösung; was lokal nicht geht, kommt in die Cloud.
Gleichzeitig stellt der Trend zur Edge-Verlagerung die Hardware vor ein neues Problem: Cloud-Chips punkten durch rohe Leistung, und Rechenkapazität ist alles – aber am Edge gelten andere Wettbewerbsregeln, hier zählt eine andere Fähigkeit.
KI-Chips für große Modelle am Edge müssen eine unumgängliche Hürde nehmen: Wie lässt sich das „unmögliche Dreieck“ lösen? Die Anforderungen steigen stetig – größere Modelle sollen schneller Aufgaben verarbeiten, aber der Stromverbrauch bleibt bei wenigen Watt und die Kosten auf Dutzende Dollar begrenzt.
Leistung, Kosten und Stromverbindung greifen ineinander. Wenn man einen der drei Punkte aufgibt, verliert das große Modell am Edge seinen praktischen Nutzen.
02. Neue Endgeräte, neue Lösungen
Eine ganz neue Generation von Endgeräten hat dieses „unmögliche Dreieck“ in den Fokus gerückt.
In den letzten Jahren spielte KI auf Endgeräten nur eine untergeordnete Rolle: Zum Beispiel die Fotobearbeitung auf dem Smartphone oder ein Sprachassistent auf dem PC – schon vor Jahren entstand die Kategorie der KI-PCs. Die Chiphersteller reagierten ebenfalls zurückhaltend: Intel fügte in Panther Lake etwas GPU- oder NPU-Leistung hinzu, Qualcomm integrierte einen NPU in Snapdragon – alles nur eine Ergänzung für die PC-Kategorie.
Aber ab 2025 tauchen neue Geräteformen auf.
„Sie sehen nicht aus wie Computer, die du je gesehen hast – sie können wie Eier, Vasen oder Router aussehen“, beschreibt ein Chiphersteller die Prototypen seiner Kunden.
Gemeinsam ist ihnen: Sie sind nicht „für Menschen“ entwickelt, sondern native Hardware für KI und Agenten. Sie brauchen keine Berührungssteuerung, Tastatur oder Bedienung durch Menschen vor dem Gerät – oft haben sie nicht einmal einen Bildschirm. Dennoch unterstützen sie Sprach- und multimodale Interaktion und laufen 24 Stunden am Tag, sieben Tage die Woche. Ihr einziger Zweck ist es, dem KI-Agenten einen physischen, ständig verbundenen „Körper“ zu geben.
Diese Geräte haben einen gerade populär gewordenen Namen: Agent Computer.
Anfang dieses Jahres stellte Lenovo im Sphere in Las Vegas Qira vor – den weltweit ersten persönlichen Super-Agenten. Nvidia schob die Reihe von DGX Spark bis zu RTX Spark voran. Die Schritte dieser beiden Giganten zeigen in dieselbe Richtung: Das Agent Computer soll von einem Konzept zu einer echten Hardware-Kategorie werden.
WAIC vor Ort: Der Lenovo KI-Host P7
Aber was die Hauptform dieser Kategorie bestimmt, sind vielleicht nicht PC- oder Chiphersteller – sondern die Anwendungsfälle selbst.
Allein bei den vielseitigeren Szenarien für Haushalte und Unternehmen arbeiten derzeit „zwei Gruppen“ an unterschiedlichen Geräten. Für den Haushalt wird ein zentrales Gehirn gewünscht – etwa im Wohnzimmer, das Licht steuert, Gespräche merkt und ältere Menschen oder Kinder betreut. Für Unternehmen braucht man Produktivwerkzeuge, die juristische Dokumente verarbeiten, Daten analysieren und Code prüfen.
Es ist für einen Hardwarehersteller schwer, beide Ansätze vollständig zu beherrschen – und es ist auch nicht einfach, mit einer einzigen Chiparchitektur beide Anforderungen zu erfüllen. Das bedeutet: Der Markt für Edge-Endgeräte ist von Natur aus fragmentiert.
Die Veränderung und Fragmentierung der Endgeräteformen verändert auch die Definition von KI-Chips.
Ein Gerät, das ständig Agentenaufgaben übernimmt, hat andere Anforderungen an die lokale Rechenkapazität als früher, wenn nur ein lokales Modell lief. Es braucht einen unabhängigen, leistungsstarken NPU mit großer Bandbreite und Speicherkapazität, der komplexe Aufgaben mit langem Kontext verarbeiten kann. Einzelne Aufgaben laufen vielleicht eine halbe Stunde oder länger – und dürfen nicht unterbrochen werden.
Diese neuen Endgeräte verschärfen das unmögliche Dreieck weiter. Alle KI-Chip-Entwickler stehen vor derselben Aufgabe: Die Effizienz muss bis zum Äußersten getrieben werden – darüber gibt es keine Zweifel. Aber die Lösungswege spalten sich deutlich auf.
Qualcomm und Apple verfolgen den Weg der Erweiterung von SoCs: Sie fügen einen NPU zur bestehenden ARM-Architektur hinzu. Der Vorteil ist ein reifes Ökosystem, das bereits auf Milliarden Geräten läuft – aber die Obergrenze für Verbesserungen ist direkt vor Augen. Selbst bei fortschrittlichsten 3-nm- oder 2-nm-Fertigungsverfahren führt der schwindende Nutzen der Prozessverkleinerung nicht zu grundlegenden Veränderungen.
Nvidia erweitert seine GPGPU-Technologie nach unten: Die Rechenkapazität ist kein Problem. Aber das jahrzehntealte CUDA-Ökosystem ist gleichzeitig Schutzschild und Ballast – eine ganze Architektur, die für Cloud-Training optimiert ist, zum Edge zu verlagern, ist wie das Heruntertragen eines Berges auf dem Rücken.
Zwischen diesen Wegen der Giganten gibt es eine dritte Möglichkeit: Der „In-Memory-Computing“-Ansatz (Speicher- und Recheneinheit vereint).
Das Wesen dieses Ansatzes ist die Neugestaltung der Architektur: Die physische Grenze zwischen Recheneinheit und Speicher wird aufgehoben. Das Problem herkömmlicher Chips liegt darin, dass Daten ständig zwischen Recheneinheit und Speicher hin- und hertransportiert werden – das verbraucht Strom und Zeit. Bei In-Memory-Computing wird die Berechnung direkt im Speicher durchgeführt, sodass der Aufwand für den Datentransport auf ein Minimum sinkt.
Verglichen mit Wegen, die auf Erweiterung bestehender Ökosysteme setzen, ist dieser neue Weg anfangs langsamer und schwieriger: Man muss immer wieder Testchips herstellen und Probleme der Massenproduktion lösen, die noch niemand angegangen ist. Aber der Vorteil liegt in der strukturellen Effizienz der neuen Architektur – die Obergrenze für Leistung ist deutlich höher.
Nur wenige Chiphersteller setzen auf diesen Weg, weil die ausländischen Giganten nicht auf ihre etablierten Ökosysteme verzichten wollen. Unter den Herstellern, die mutig Architekturinnovationen wagen, stechen die inländischen Anbieter besonders hervor. Hintermo Intelligent, gegründet Ende 2020, ist eines der Unternehmen, das diesen In-Memory-Computing-Weg früh und konsequent verfolgt.
Am Wendepunkt für große Edge-Modelle und Agent Computer sind die Ausgangspositionen der Chiphersteller fast gleich. Anders als bei Mobilfunk-Basisbandchips oder Cloud-Trainingschips, wo ausländische Unternehmen bereits zehn Jahre Vorsprung haben, haben inländische Hersteller im Wettbewerb um Edge-Chips durchaus Chancen auf einen Vorsprung – vor allem bei der Geschwindigkeit von Massenproduktion und Branchenanwendung.
03. Der Wettbewerb um Edge-Chips hat gerade erst begonnen
KI-Chips am Edge sind eine neu entstehende Branche – und die Akteure eilen bereits auf das Spielfeld.
Die aktuelle Situation gliedert sich grob in drei Gruppen: Zuerst die SoC-Giganten wie Qualcomm und Apple, die über ein reifes Ökosystem und riesige Auslieferungsmengen verfügen. Aber große Modelle am Edge sind für sie noch eine zusätzliche Nachfrage – ihre Verbesserungslogik setzt der Leistung eine Obergrenze. Qualcomm entwickelt kürzlich auch einen unabhängigen NPU, was zeigt, dass selbst das Unternehmen erkennt: Die integrierte Lösung reicht nicht mehr aus.
Die zweite Gruppe ist Nvidia, das mit der starken Rechenkapazität seiner GPGPU von der Cloud nach unten kommt. Mit 1 PetaFLOP KI-Leistung in Verbrauchergeräten hat es genug Power – aber die Einschränkungen bei Stromverbrauch und Kosten am Edge waren für Nvidia in den letzten drei Jahrzehnten kaum ein ernst zu nehmendes Problem. Jetzt sind sie aber eine echte, marktrelevante Anforderung.
Die dritte Gruppe sind neue Anbieter wie Hintermo Intelligent, die sich auf Edge-Geräte konzentrieren. Ihr Nachteil ist die fehlende Erfahrung in Massenproduktion und ein noch kleines Ökosystem – aber gleichzeitig haben sie keinen Ballast durch alte Architekturen. Sie können Chips direkt an den echten Anforderungen der Endgeräte neu entwickeln.
Es liegt auf der Hand, dass der dritte Weg, auf dem sich viele Startups tummeln, besonders wertvoll für die Analyse ist.
Hintermo Intelligent, das mit In-Memory-Computing in den Markt für große Edge-Modelle eingetreten ist, ist ein typisches Unternehmen, bei dem „Strategie die Position bestimmt“. Sein Gründer Wu Qiang erkannte bereits im zweiten Halbjahr 2023: Große Modelle werden von der Cloud zum Edge wandern.
Damals gab es noch keine Agenten, und diese Einschätzung hatte kaum Belege. Der Hauptfokus großer Modelle lag noch in der Cloud – die führenden sechs inländischen Startups konzentrierten sich auf immer größere Parameter und Cluster. Der In-Memory-Computing-Ansatz für große Edge-Modelle wirkte wie ein „querer Schnitt“ durch die Branche.
Aber Wu Qiang beobachtete zwei wichtige Signale: Zhipu stellte das 6B-Modell vor, Llama brachte das 7B-Modell heraus – große Modelle waren nicht mehr nur die Domäne von Riesen mit Hunderten von Milliarden Parametern. Kleine Modelle liefern praktisch nutzbare Ergebnisse und vermeiden in vielen Szenarien den Einsatz von Kanonen gegen M