Die "kleine Ära" der On-Device-KI

Der Beginn der „Kleinen Ära“ war ein Ansturm auf Mac mini-Geräte. 

Ende Januar 2026 erlangte ein Agent, der damals noch Clawdbot hieß und später unter dem Namen „Hummer“ bekannt wurde, große Popularität. Daraufhin löste er den Ansturm auf Mac mini-Geräte aus.

Die Menschen begannen, einen separaten Computer für eine jederzeit einsatzbereite KI vorzubereiten.

Abbildung 1｜Der im Jahr 2024 vorgestellte M4 Mac mini. Bildquelle: Apple Newsroom.

Anschließend hat Apple bereits bewusst die Kommunikation auf Agenten ausgerichtet. Die neuen Mac mini-Modelle konzentrieren sich nicht mehr nur auf Büroarbeit und Kreativität, sondern betonen auch den rund um die Uhr laufenden intelligenten Agenten; der Mac Studio richtet sich weiterhin an Nutzer, die große Modelle lokal ausführen müssen, und bietet großen Arbeitsspeicher an.

Xiaomi hat kürzlich auch den AI Cube vorgestellt. Drei Xuan-Ring-Chips sind in einem Aluminiumgehäuse untergebracht, kombiniert mit 80 GB einheitlichem Arbeitsspeicher, um große Modelle lokal zu implementieren.

Nvidia, das früher auf den Markt eingetreten ist, hat bereits im Oktober 2025 mit der Auslieferung von DGX Spark begonnen. Lenovo, ASUS, HP und Dell haben ebenfalls komplette Geräte rund um den GB10 auf den Markt gebracht. Unternehmen, die ursprünglich Laptops, Workstations und kleine Computer verkauft haben, beginnen, um eine neue Art von Bestellungen zu konkurrieren: Nutzer möchten einen Teil der KI-Rechenleistung in ihren eigenen Händen behalten.

Steckseitige KI steht kurz vor einer großen Ära? Keine Eile, derzeit handelt es sich noch um die „Kleine Ära“.

Modelle verändern die Computerspezifikationen

Vor nur zwei Jahren war die typische Konfiguration eines KI-PCs noch lediglich ein NPU.

Microsoft hat für Copilot+ PC die Schwellenwerte auf 40 TOPS NPU, 16 GB Arbeitsspeicher und 256 GB Speicherplatz festgelegt. Hersteller stellen lokale KI mit Funktionen wie Echtzeit-Untertitelung und Bildverarbeitung vor. Diese Standards lassen sich in die vorhandenen leichten Laptops integrieren, sodass Nutzer den Computer weiterhin auf die gewohnte Weise verwenden, nur mit einigen zusätzlichen Funktionen, die von spezialisierten Recheneinheiten übernommen werden.

Gleichzeitig haben Nutzer jedoch beginnend mit Apples einheitlichem Arbeitsspeicher allmählich lokale Modelle implementiert. Im März 2025 hat Apple bereits bis zu 512 GB einheitlichen Arbeitsspeicher in den M3 Ultra Mac Studio eingebaut und die lokale Ausführung von Modellen mit mehreren hundert Milliarden Parametern als Verkaufsargument hervorgehoben. Zu diesem Zeitpunkt war die lokale Implementierung noch nur eine Wahl von Fachkräften, da der Mac Studio mit einem Preis von mehreren zehntausend Yuan noch lange nicht in den Kaufbereich normaler Verbraucher gefallen ist.

In diesem Jahr wachsen die Produkte der steckseitigen KI weiter. Der Xiaomi AI Cube-Prototyp ist mit 80 GB einheitlichem Arbeitsspeicher ausgestattet, DGX Spark und eine Reihe von GB10-Geräten verfügen über 128 GB, die AMD Ryzen AI Max 300-Serie unterstützt bis zu 128 GB; der neue Mac Studio bietet weiterhin bis zu 512 GB, und die Speicherbandbreite wurde auf 1,2 TB/s erhöht.

Dass der Arbeitsspeicher von entscheidender Bedeutung ist, ist kein Geheimnis mehr. Modellgewichte, Kontext-Cache und Laufzeit verschlingen den Arbeitsspeicher schnell. Bei grober Berechnung mit 4-Bit-Quantisierung benötigt ein 70B-Modell allein für die Gewichte etwa 35 GB, ohne Berücksichtigung von Quantisierungsmetadaten, Cache und Systemaufwand.

Nach Abschluss der Implementierung wird die Geschwindigkeit zur nächsten Schwelle.

Der 128 GB große einheitliche Arbeitsspeicher des DGX Spark ist mit einer Bandbreite von 273 GB/s ausgestattet. Ersteres bezieht sich darauf, wie groß das Modell sein kann, das untergebracht werden kann, und Letzteres beeinflusst die Geschwindigkeit des Datentransports während der Berechnung. Bei der tatsächlichen Generierung von Antworten beeinflussen Modellgenauigkeit, Kontextlänge und Inferenzsoftware weiterhin das Ergebnis. Die Erhöhung des Arbeitsspeichers kann die nachfolgenden Aufgaben nicht allein bewältigen.

Selbst wenn das Modell bereits ausgeführt wird, können Nutzer es möglicherweise nicht nutzen. Wie das Modell heruntergeladen und aktualisiert wird, wie Anwendungen darauf zugreifen, welche Berechtigungen vor dem Lesen von Dateien erforderlich sind und wer für die Wartung bei Problemen während des Dauerbetriebs verantwortlich ist – all dies muss von jemandem bearbeitet werden. Nutzer kaufen einen Computer, aber diese Schritte werden nicht unbedingt von demselben Unternehmen abgeschlossen.

Lenovo, ASUS und HP können die Nvidia GB10-Plattform verwenden, um das vollständige Gerät zu entwerfen, zu verkaufen und zu warten; Apple kann gleichzeitig Chips, Systeme und Entwicklungstools anpassen. Xiaomi hat seine eigenen Chips in den Prototyp eingebaut und versucht, mitzubestimmen, wie ein persönliches KI-Gerät rechnen soll.

Diese verschiedenen Wege spiegeln wider, wie viel Forschungs- und Entwicklungsaufwand jedes Unternehmen bereit ist zu tragen und wie viel Produktentscheidungsgewalt es erlangen möchte. Hersteller, die fertige Plattformen verwenden, können mehr Energie auf die Produktisierung und Lieferung verwenden; wer Chips selbst entwirft, muss zuerst die Forschungs- und Entwicklungs- sowie Verifizierungskosten tragen, um einen größeren Anpassungsspielraum für die Speicherarchitektur, Recheneinheiten und Leistungsverteilung zu erhalten. Anschließend muss durch ausreichende Produktverkäufe die Kosten der fortlaufenden Iteration verteilt werden.

Eigenentwickelte Chips sind daher eine Wahl, keine Eintrittsbedingung für alle Teilnehmer. Zwei Geräte, die dasselbe GB10 verwenden, können sich in ihren grundlegenden Fähigkeiten sehr ähneln, aber Installationserfahrung, Wartungsdienst und Kundenbeziehungen können von verschiedenen Unternehmen gesteuert werden.

Abbildung 2｜Die industrielle Arbeitsteilung der persönlichen steckseitigen KI. Ein Unternehmen kann an mehreren Gliedern teilnehmen, und der Integrationsgrad der verschiedenen Produkte unterscheidet sich noch. Grafik erstellt von Xiang Xianzhi.

Die neuen Computerbestellungen werfen damit ein größeres Problem auf: Das zusätzliche Geld, das Nutzer für die lokale KI ausgeben, bleibt am Ende bei dem Unternehmen, das die Chips liefert, dem Unternehmen, das das System liefert, oder dem Unternehmen, das ihnen das Gerät verkauft?

Sowohl Apple als auch Xiaomi versuchen, mehr Glieder in ihren eigenen Händen zu behalten. Nur das, was sie bereits besitzen, und das, was sie noch ausgeben müssen, um zu ergänzen, ist sehr unterschiedlich.

Apple hält das gesamte System in der Hand, Xiaomi greift bis zur untersten Ebene vor

Apple kann gleichzeitig Chips, Systeme und Entwicklungstools anpassen. Es benötigt keine Nutzerentscheidung, einen neuen AIPC zu kaufen, um Modelle lokal zu implementieren.

Der einheitliche Arbeitsspeicher ist Apples Trumpfkarte: Das Apple MLX-Framework lässt CPU und GPU Arrays im gemeinsamen Speicher verwenden, wodurch die Notwendigkeit des Datentransports zwischen verschiedenen Recheneinheiten verringert wird; MLX-LM bietet Tools für Modellausführung, Quantisierung und Feinabstimmung. Entwickler, die offene Drittmodelle herunterladen, können auch die von Apple für seine eigene Hardware optimierten Tools verwenden, um sie auszuführen.

Dieser Weg verwendet hauptsächlich CPU und GPU, nicht nur spezialisierte NPU. Das in diesem Jahr vorgestellte Core AI-Framework optimiert zudem den einheitlichen Arbeitsspeicher und die Neural Engine. Apple kann rund um dieselbe Hardware kontinuierlich Software ergänzen, anstatt für jede zusätzliche KI-Funktion eine neue Rechnerplattform suchen zu müssen.

Das Update im August hat die Produktgradienten weiter auseinandergezogen. Der M6 Mac mini beginnt bei 6999 Yuan mit bis zu 32 GB Arbeitsspeicher; die M5 Pro-Version unterstützt bis zu 64 GB. Nutzer, die größere Modelle und anspruchsvollere Entwicklungsaufgaben benötigen, können weiterhin zu den Konfigurationen mit 128 GB und 512 GB des Mac Studio greifen. Die neuen Geräte sind seit dem 27. August vorbestellbar, die offizielle Auslieferung soll am 22. September beginnen.

Abbildung 3｜Der neue Mac Studio ist mit M5 Max- und M5 Ultra-Konfigurationen ausgestattet. Bildquelle: Apple Newsroom.

Nutzer sind selbst geschichtet: Normale Nutzer benötigen einige nützliche zusätzliche Funktionen in vorhandenen Anwendungen; Entwickler legen Wert darauf, ob sie ihre eigenen Modelle und Codes integrieren können; Forschungsteams und professionelle Kreative zahlen eher für großen Arbeitsspeicher und Dauerlast. Aber Apple kann mit demselben System unterschiedliche Budgets abdecken, ohne für jede Nutzerschicht neue Vertriebskanäle aufbauen zu müssen.

Die Beherrschung der gesamten Plattform hat Apple nicht davon abgehalten, Kooperationen mit externen Modellen einzugehen. Das im Juni vorgestellte dritte Generation Grundmodell wurde in Zusammenarbeit mit Google entwickelt, darunter sowohl ein 3B-Steckseitenmodell als auch ein 20B-Steckseitenmodell mit spärlicher Struktur, das Teile der Parameter je nach Anforderung aktiviert.

Die Kooperation hat die Herkunft der Modelle verändert, aber die System- und Produktentscheidungsgewalt liegt weiterhin bei Apple. Welche Modelle in Systemdienste aufgenommen werden, über welche Schnittstellen Entwickler darauf zugreifen und wie Anwendungen vor dem Lesen von Dateien Berechtigungen erhalten, wird weiterhin von seiner Plattform geregelt. Externe Modelle können auf Mac zugreifen, ohne dass Nutzer den Mac verlassen müssen.

Daher besteht Apples kommerzielle Überlegung nicht nur darin, Arbeitsspeicher auf dem traditionellen Mac zu verkaufen. Es fügt der vorhandenen Hardware auch neue Nutzungsgründe hinzu, sodass Entwickler neue Funktionen weiterhin in sein System integrieren. Modelle und Frameworks werden schrittweise je nach Systemversion, Region und Testfortschritt freigegeben, aber die vorhandene Produktlinie und Nutzerbeziehungen ermöglichen es Apple, dies schrittweise voranzutreiben.

Xiaomi möchte eine ähnliche Eigenständigkeit erlangen, geht aber offensichtlich einen anderen Weg als Apple.

Die Arbeitsteilung der drei Chips im AI Cube ist sehr aufschlussreich: O3 ist für persönliche intelligente Endgeräte ausgelegt, O100 beschleunigt die steckseitige KI und D100 ist für intelligentes Fahren vorgesehen. Xiaomi hat mehrere Chip-Entwicklungslinien in denselben Prototyp integriert, um die Fähigkeit zum kooperativen Rechnen zu demonstrieren. Nach den im August veröffentlichten Informationen ist die Massenproduktion von O3 bereits angelaufen, O100 und D100 sollen im nächsten Jahr kommerziell genutzt werden. Der AI Cube selbst ist noch ein technischer Prototyp, Preis und Verkaufsstart wurden nicht bekannt gegeben.

Abbildung 4｜Der technische Prototyp des AI Cube. Bildquelle: Xiaomi, weiterveröffentlicht von IT Home.

Die Bedeutung der Eigenentwicklung liegt zunächst darin, dass Xiaomi das Design eines Chips selbst organisieren kann, was nicht bedeutet, dass jeder Teil von Grund auf neu entwickelt werden muss. Der vorherige Xuan-Ring O1 verwendete bereits ARM Cortex CPU, Immortalis GPU und CoreLink Interconnect IP. Für Xiaomi bedeutet die Investition in das Chipdesign, auf der Grundlage allgemeiner Technologien Rechenleistung, Arbeitsspeicher und Leistungsverteilung für seine eigenen Produkte zu planen, und anschließend die Einschränkungen von Herstellung, Gehäuse und Speicherlieferung zu akzeptieren.

Auf der Hardwareseite wird die Entwicklung fortgesetzt, und Xiaomi sucht bereits auf der Mi Home-Plattform nach Aufgaben, die es künftig übernehmen kann.

Das im Juni vorgestellte Miloco 2.0 verbindet Audio und Video der Mi Home-Kameras, das MiMo-Modell und die Gerätesteuerung miteinander. Es läuft als OpenClaw-Plugin, versucht Familienmitglieder zu erkennen, Gewohnheiten zu merken und dann die Geräte im Haus zu steuern. Früher mussten Nutzer voreinstellen, „wenn etwas passiert, wird etwas geöffnet“, jetzt versucht Xiaomi, die KI an der Verständnis und Organisation dieser Dinge teilhaben zu lassen.

Aber es gibt eine interessante Sache: In der eigenen Installationsanleitung von Xiaomi wird empfohlen, einen Mac mini vorzubereiten, der den ganzen Tag läuft.

Abbildung 5｜Das offizielle Implementierungsdokument von Miloco 2.0 empfiehlt, dass das Gerät rund um die Uhr läuft, und empfiehlt den Mac mini. Quelle: Offizielles Xiaomi GitHub-Repository. Screenshot-Datum: 7. September 2026.

Xiaomi kann zuerst die Haushalts-KI-Software auf der Hardware anderer Unternehmen entwickeln. Miloco 2.0 ruft derzeit hauptsächlich große Cloud-Modelle auf, während der AI Cube die lokale Rechenkapazität demonstriert – beide sind noch kein vollständig integriertes Produkt. Von der Software zur Steuerung von Haushaltsgeräten bis hin zu einem Dienst, für den es sich lohnt, einen separaten Host zu kaufen, muss Xiaomi diesen Weg noch gehen.

Bis Ende Juni 2026 erreichte die Anzahl der verb