von 54 GB auf 4 GB reduziert. Apple steht in Kontakt mit PrismML. Steht die Modellkompressionstechnologie vor dem Durchbruch?
Was? Große KI-Modelle beginnen endlich auch mit "Abnehmspritzen"?
Das ist keine leere Behauptung: Laut CNBC steht Apple in Kontakt mit dem Startup-Unternehmen PrismML, das für seine neu eingeführte Modellkompressionstechnologie bekannt ist. Apple möchte damit die Machbarkeit bewerten, noch größere KI-Modelle direkt auf iPhones auszuführen.
(Bildquelle: CNBC)
Man muss wissen: In all den Jahren habe ich bei der KI-Sektion jeder Smartphone-Präsentation instinktiv mein Glas in die Hand genommen.
Das liegt nicht daran, dass ich ein Problem mit den Herstellern habe – dieser Ablauf ist einfach allen zu vertraut. Zuerst lässt die KI verschiedene Inhalte auf dem Bildschirm zusammenfassen, dann führt sie verschiedene Bildbearbeitungen für individuelle Farbkorrekturen durch oder entfernt Passanten aus Fotos. In diesem Jahr wurde fast überall ein weiteres Feature hinzugefügt: Ein Sprachassistent, der dir einen Kaffee bestellt.
Aber das kann man nicht allein den Smartphone-Herstellern vorwerfen: Die aktuellen großen Standard-Modelle passen einfach nicht in Smartphones, und die beschnittenen Endgerät-Modelle haben viel zu wenig "Intelligenz". Am Ende können die Hersteller nur Dinge bewerben, die über die Cloud aktualisiert werden. Schau dir an: Sobald Doubao eine KI-Podcast-Funktion eingeführt hat, haben fast alle großen Hersteller innerhalb von drei Monaten nachgezogen.
Die Frage lautet: Wenn ein vollständiges großes Modell so "abgenommen" wird, dass es ins Smartphone passt – kann der lokale KI-Assistent dann wirklich vollwertig werden?
Von 54 GB auf 4 GB: Wird die Modellkompressionstechnologie bald alltäglich?
Zuerst schauen wir gemeinsam mit Leikejiji (ID: leitech) auf diese zwei Punkte:
Wer ist PrismML?
Laut seiner offiziellen Website ist PrismML ein Startup, das sich auf Modellkompression spezialisiert. Es ist aus dem Forschungsteam des California Institute of Technology hervorgegangen und wird von Khosla Ventures, Cerberus und Google unterstützt. Der Forschungsschwerpunkt liegt darauf, die Größe und Betriebskosten von Modellen drastisch zu senken – ohne dabei die Funktionsfähigkeit der KI zu stark einzubüßen.
(Bildquelle: PrismML)
Was haben sie gemacht?
Der Ansatz von PrismML weist Ähnlichkeiten mit niedrig-bit-Modell-Lösungen wie BitNet auf: Er verkleinert die Modellgröße, indem die Speicherweise von Informationen im Inneren des KI-Modells stark vereinfacht wird. Jeder Gewichtungswert im Modell wird auf eine binäre oder ternäre Darstellung beschränkt, was den für Speicherung und Betrieb benötigten Arbeitsspeicher erheblich reduziert.
Konkret gesagt: Ein einzelner Parameter in einem herkömmlichen großen Modell benötigt normalerweise 16 Bit oder sogar 32 Bit zur Speicherung.
(Bildquelle: HuggingFace)
In diesem Fall: Wenn ein Modell mit 27 Milliarden Parametern die FP16-Genauigkeit verwendet, ergibt sich 27 Milliarden × 2 Byte ≈ 54 GB – das ist ungefähr die Größe von Qwen3.6-27B bei FP16.
Von Smartphones ganz zu schweigen: Viele Consumer-PCs können dieses Modell kaum vollständig ausführen.
Beim Ansatz von PrismML hingegen werden die Parameter der 1-Bit-Version auf {-1, +1} vereinfacht. Ähnlich wie bei alten Fotos, wo jedes Pixel früher 16 Graustufen speicherte, reicht es jetzt, nur Schwarz und Weiß zu speichern. Obwohl der Informationsverlust zunächst groß erscheint, lässt sich die Größe auf 1/14 des Originalmodells komprimieren – und durch gezieltes Training kann die Inferenzleistung wiederhergestellt werden.
(Bildquelle: PrismML)
Auf Basis dieser Technologie haben sie am 15. Juli offiziell das Bonsai-27B-Modell vorgestellt. Es wurde auf Basis von Qwen3.6-27B feinabgestimmt, behält den vollständigen Kontext bei und reduziert die Modellgröße von etwa 54 GB auf unter 4 GB – sodass es nativ auf einem iPhone mit 12 GB Arbeitsspeicher ausgeführt werden kann.
Man muss wissen: Googles für Smartphones und Edge-Geräte entwickeltes Gemma 4 E4B hat eine Größe von etwa 3,65 GB. PrismML hat also ein dichtes Modell mit nominell 27 Milliarden Parametern in etwa dem gleichen "Platzbedarf" untergebracht.
Über die Nutzungserfahrung wollen wir jetzt nicht sprechen – aber Hardware-Hersteller werden davon mit Sicherheit hellauf begeistert sein.
(Bildquelle: PrismML)
Daher ist es überhaupt nicht überraschend, dass Apple an dieser Technologie interessiert ist.
Man muss wissen: Apples eigenes lokales Endgerät-Modell hat etwa 3 Milliarden Parameter. Obwohl es 2-Bit-Quantisierung und gemeinsame Caching-Mechanismen verwendet, kann es nur Funktionen wie Echtzeitübersetzung, Albumsuche und E-Mail-Zusammenfassung auf dem Smartphone übernehmen – es hat praktisch keine Fähigkeiten zur Ausführung von Agent-Aufgaben.
Das Bonsai-27B-Modell hingegen behält einen Teil der Agent-Fähigkeiten von Qwen3.6-27B bei.
Natürlich gibt es trotzdem Leistungsverluste: In den eigenen Tests von PrismML erreicht die ternäre Version etwa 95 % der Gesamtleistung des vollgenauen Modells, die 1-Bit-Version etwa 90 %. Bei Aufgaben wie dem Aufruf von Tools – die für Agenten sehr wichtig sind – ist der Verlust noch deutlicher.
Aus der Community gibt es auch Rückmeldungen: Die ternäre Version von PrismML weist im Vergleich zu Q4_K_XL noch Probleme wie Halluzinationen und Agent-Schleifen auf – aber der Vorteil liegt in der extrem geringen Größe: Man erreicht praktisch die Leistung eines 17,9-GB-Modells mit nur 5,9 GB.
(Bildquelle: Reddit)
Aber egal wie: Ein funktionierendes Modell ist immer besser als eines, das nicht funktioniert.
Von der physischen Unmöglichkeit der Unterbringung hin zu einer akzeptablen Nutzungserfahrung – wenn diese Entwicklung weitergeht, erwarte ich einen intensiven Wettbewerb in diesem Bereich.
Der Boom von KI-Smartphones steht bevor: Die lokalen KI-Fähigkeiten müssen dringend verbessert werden
Interessanterweise wurden am 15. Juli sieben Modell-Dienste für lokale generative KI auf Smartphones – darunter Apple Intelligence, Huawei Xiaoyi, OPPO, Xiaomi und vivo – bei den Cybersicherheitsbehörden registriert.
Man muss sagen: Diese Liste sieht sehr lebendig aus – offensichtlich nehmen die Smartphone-Hersteller die lokale KI in diesem Jahr endlich ernst.
(Bildquelle: Cybersicherheitsbehörde)
Der Grund ist leicht verständlich: Für Aufgaben wie Benachrichtigungszusammenfassungen, Anrufprotokolle, Albumsuche und Bilderkennung muss man nicht jedes Mal in der Cloud anstehen.
Besonders bei privaten Informationen wie Chat-Verläufen, Fotos und Dateien ist es am besten, wenn alles direkt auf dem eigenen Smartphone verarbeitet wird. Angesichts des jüngsten Datenschutzskandals um Grok kann ich die Sorge voll und ganz nachvollziehen, dass man seine Daten nicht unbedingt über das Internet herumschicken möchte.
(Bildquelle: Leikejiji)
Das Problem ist: Aus meiner persönlichen Erfahrung basieren die aktuellen KI-Funktionen der meisten Smartphones immer noch hauptsächlich auf der Cloud – die meisten Funktionen funktionieren ohne Internetverbindung nicht mehr.
Warum ist das so? Auf welchem Stand sind die lokalen KI-Fähigkeiten von Smartphones derzeit?
Zufällig habe ich kürzlich Gemma 4 E4B in der Google AI Edge Gallery ausprobiert – ich kann meine Nutzungserfahrung mit euch teilen.
(Bildquelle: Google)
Zuerst muss man beachten: Gemma 4 E4B gehört bereits zu den leistungsstärksten lokalen Modellen für Smartphones – es kann Text, Bilder und Audio verarbeiten. Sobald das Modell heruntergeladen ist, funktioniert die Unterhaltung auch ohne Internet.
Zum Beispiel realisiert Ask Image die multimodale Eingabe, die viele lokale KI-Systeme auf Smartphones bisher kaum gut umsetzen können.
In der Praxis zeigt Gemma 4 eine gute Bilderkennungsleistung. Obwohl es Anime-Figuren noch nicht sehr gut kennt, erfasst es die Merkmale im Bild sehr gut – und gängige Lebensmittel, Hardware-Geräte und Blumen kann es problemlos erkennen.
(Bildquelle: Leikejiji)
Und dann gibt es noch Ask Audio: Es kann Audiodateien von bis zu 30 Sekunden hochladen und diese transkribieren oder zusammenfassen.
Diese Funktion ist eher enttäuschend. Vielleicht weil meine Aufnahme unklar war – der transkribierte Text hat fast keinen Bezug zum Originalton. Die Nutzbarkeit ist derzeit eher gering, da ist es besser, Doubao oder Qwen für Zusammenfassungen zu verwenden.
(Bildquelle: Leikejiji)
Was die Textverarbeitung angeht...
Ich habe mehreren Modellen, die auf Smartphones bereitgestellt werden können, einen Artikel von etwa 2500 Wörtern gegeben und sie gebeten, eine Zusammenfassung zu erstellen.
Am Ende konnten nur Gemma 3n E4B und Gemma 4 E4B die Aufgabe abschließen. Ersteres brauchte fast zwei Minuten und lieferte eine Antwort, die den Kern nicht erfasste. Letzteres lieferte eine prägnantere Antwort, die fast alle wichtigen Punkte erfasste – es reicht völlig aus, um schnell Informationen aus Texten zu extrahieren.