Nach der offiziellen Ankündigung von Luo Fuli hat Xiaomi seinen ersten großen AI-Schachzug ausgeführt. 1 Milliarde IoT-Geräte können mit einem Klick an das Large Language Model angeschlossen werden.

Zhidongxi berichtete am 14. November, dass Xiaomi gerade die erste Lösung "Großes Modell + Smarthome" namens Xiaomi Miloco vorgestellt hat, deren vollständiger Name Xiaomi Local Copilot (der lokale intelligente Assistent von Xiaomi) ist.

Screenshot von Miloco auf GitHub. GitHub-Adresse: https://github.com/XiaoMi/xiaomi-miloco

Miloco nutzt die Xiaomi-Haushaltskameras als Quelle für visuelle Informationen und das selbstentwickelte Large Language Model MiMo-VL-Miloco-7B als Kern. Es verbindet alle Internet der Dinge (IoT)-Geräte zu Hause, und das Framework wird für alle open source gemacht. Das MiMo-VL-Miloco-7B-Modell basiert auf dem im April veröffentlichten MiMo-Modell von Xiaomi. Die sogenannte "Genie-Girl" Luo Fuli hat kürzlich dem MiMo-Modellteam beigetreten.

Dies könnte der "ChatGPT-Moment" für das Smarthome sein. Bis Juni dieses Jahres hatte die Xiaomi AIoT-Plattform bereits 989 Millionen verbundene IoT-Geräte (ohne Smartphone, Tablet und Laptop). Millionen von Xiaomi-Haushaltskameras, Xiaoai-Sprechern, Lampen und anderen Geräten könnten bald Großmodelle nutzen.

Auf der von Xiaomi veröffentlichten Miloco-Seite ist die Hauptansicht ein Chatfenster ähnlich dem von ChatGPT. Links neben dem Chatfenster befindet sich eine Navigationsleiste für Smarthome-Geräte, die Optionen wie AI-Zentrum, Modellverwaltung, MCP-Service, Geräteverwaltung usw. enthält. Die "Kamerageräte" haben eine eigene Spalte, in der einige von intelligenten Kameras aufgezeichnete Videos angezeigt werden.

Ansicht der Miloco-Seite

Nach dem Designkonzept von Miloco können Benutzer mit dem Smarthome-System kommunizieren. Nach der Inferenzberechnung des Großmodells werden verschiedene intelligente Anforderungen und Regeln im häuslichen Alltag automatisch erfüllt.

Miloco deployt die Fähigkeiten des selbstentwickelten Großmodells auf Edge-Geräte im Haushalt und bietet mit den Echtzeit-Visuellen Informationen der Xiaomi-Kameras ein "AI-Gehirn". Im Einzelnen hat Miloco die folgenden 4 Hauptmerkmale:

1. Neues Interaktionsparadigma: Basierend auf dem Entwicklungsparadigma von Large Language Modellen können Regeln und komplexe Gerätebefehle über natürliche Sprachinteraktion festgelegt werden.

2. Neue Nutzung von visuellen Daten: Die Kamera-Datenströme werden als Quelle für Wahrnehmungsinformationen genutzt. Das Large Language Model wird verwendet, um verschiedene Ereignisse in häuslichen Szenen, die in den visuellen Daten enthalten sind, zu analysieren, um auf Benutzerabfragen zu reagieren.

3. Large Language Model auf Geräteebene: Die Aufgaben in häuslichen Szenen werden in zwei Phasen aufgeteilt: Planung und visuelle Verständnis. Es verwendet ein von Xiaomi selbst entwickeltes Geräte-Modell, um die Videoerkennung auf Geräteebene zu realisieren und die Privatsphäre und Sicherheit im Haushalt zu gewährleisten.

4. Xiaomi-Ekosystem: Es ist mit dem Xiaomi-Ekosystem verbunden, unterstützt die Suche und Ausführung von Xiaomi-Geräten und -Szenen und ermöglicht das Senden von benutzerdefinierten Inhalten für Xiaomi-Benachrichtigungen.

Miloco erreicht auch die Verbindung zwischen dem Xiaomi-Ekosystem und dem Home Assistant-Ekosystem, der weltweit größten Open-Source-Smarthome-Community, durch die Standardisierung des MCP-Protokolls. Gleichzeitig wird die Integration von Drittanbieter-IoT-Plattformen unterstützt.

Nach den von dem Projekt veröffentlichten Hardware- und Softwareanforderungen sind die Anforderungen für die Hardware zur Installation von Miloco nicht hoch. Es ist nur erforderlich, dass die Hardware ein x64-Architektur hat, die Grafikkarte eine NVIDIA 30-Serie oder höher ist und der Speicher mindestens 16 GB beträgt.

Hardware- und Softwareanforderungen für die Installation von Miloco

Es ist bekannt, dass das differenzierte Erlebnis von Miloco für ganzes Haus auf der Unterstützung des Xiaomi MiMo-VL-Miloco-7B Edge-Visuellen Sprachmodells und der vollständigen vierstufigen Architektur "Hardware - Fähigkeit - Anwendung - Benutzer" beruht.

Die vierstufige Architektur von Miloco

Das MiMo-VL-Miloco-7B-Modell taucht erstmals auf. Es wird auf Basis des selbstentwickelten Xiaomi MiMo-VL-7B-Modells optimiert und bietet den Haushaltskameras dank der Fähigkeit zur Integration von Bildern und Sprache die Fähigkeit, "Bilder zu verstehen".

Das MiMo-VL-7B-Modell wird durch die verstärkte Schulung des im April dieses Jahres von Xiaomi Open-Source veröffentlichten ersten Inferenzmodells Xiaomi MiMo erstellt. In den öffentlichen Testdatensätzen für mathematische Inferenz (AIME 24 - 25) und Codewettbewerb (LiveCodeBench v5) hat es mit nur 7 Milliarden Parametern bessere Ergebnisse erzielt als das Closed-Source-Inferenzmodell o1-mini von OpenAI und das Open-Source-Inferenzmodell QwQ-32B-Preview von Alibaba Qwen. (Artikel: "Xiaomi macht plötzlich sein erstes Inferenzmodell Open-Source! Die Aktienkurse steigen um fast 5%")

MiMo ist der erste Versuch des Xiaomi Large Model Core-Teams, das viele Talente birgt. Am 12. November hat die ehemalige Kernmitarbeiterin von DeepSeek, die in der Branche als "Genie-Girl" bekannt ist, Luo Fuli, in ihrer Freundesliste offiziell angekündigt, dass sie dem Xiaomi MiMo-Team beitritt. (Artikel: "Lei Jun holt einen ehemaligen High-Flieger von DeepSeek an Bord! Ein Gruppenfoto eines 40-köpfigen Large-Model-Teams wird preisgegeben, was möglicherweise auf den Einstieg in Embodied AI hindeutet")

In diesem Mal erwähnt das Miloco-Projekt in der Danksagung neun ehemalige Mitglieder des Miloco-Teams wie zhaoy und yangyongjie und dankt dem Open-Source-Projekt llama.cpp, das die Inferenz-Backend-Funktionen bereitstellt.

Fazit: Das Smarthome könnte den "ChatGPT-Moment" erleben, und der Kampf zwischen den Giganten steht kurz bevor

Große Modelle dringen immer schneller in das Smarthome-Szenario ein. Gestern hat Baidu angekündigt, dass Tausende von bereits verkauften Xiaodu-Geräten kostenlos auf Super-Xiaodu aktualisiert werden. Heute hat Xiaomi ebenfalls einen Coup gespielt und mit Miloco die Umsetzung von Großmodellen in eine starke Smarthome-Form angekündigt.

Nach der Vorstellung von Xiaomi könnte Miloco den bisherigen "mechanischen und mühsamen" Interaktionsprozess im Smarthome stark vereinfachen. Die Engpässe bei der Benutzererfahrung im traditionellen Smarthome könnten überwunden werden, und die Doppelbeschränkungen von "vorgegebenen festen Regeln" und "unzureichender Ökosystemkooperation" könnten gebrochen werden.

Während die Technologie die Benutzererfahrung verbessert, wird das Problem der Datenschutz noch akuter. Xiaomi hat erklärt, dass ihre Lösung das Prinzip "Datenschutz und Sicherheit zuerst" befolgt. Alle visuellen Daten können auf der Edge-Seite im Haushalt verarbeitet werden und werden nicht an externe Server übertragen, was auf technischer Ebene gewährleistet, dass "die Privatsphäre im Haushalt nicht verletzt wird" und die Bedenken der Benutzer hinsichtlich der Datensicherheit beseitigt.

Dieser Artikel stammt aus dem WeChat-Account "Zhidongxi" (ID: zhidxcom), geschrieben von Li Shuiqing und editiert von Yun Peng. Er wurde von 36Kr mit Genehmigung veröffentlicht.