Google Gemma 4: Eine tiefe Bewertung - Das stärkste Edge-Modell ist nicht perfekt, aber gut für Mobiltelefone

In letzter Zeit hat Google das neue Open-Source-Modell Gemma 4 vorgestellt, das in vier Varianten - E2B, E4B, 26B und 31B - erhältlich ist. Zwei der "Kleinen Modelle", E2B und E4B, können direkt auf Endgeräten wie Smartphones und Raspberry Pi installiert und offline betrieben werden.

Sobald die beiden "Kleinen Modelle" von Google Gemma 4 auf den Markt kamen, wurden sie von vielen als die besten bisherigen Endgerätemodelle gefeiert. Lei Technology (ID: leitech) hat auch zwei praktische Tests veröffentlicht: Einer konzentriert sich auf logische Schlussfolgerungen und multimodale Fähigkeiten, der andere auf die Leistung auf chinesischen Smartphones im unteren Preissegment.

Nach einer gewissen Zeit des Nutzens haben die Redakteure von Lei Technology (ID: leitech) auch neue Eindrücke und Erfahrungen gesammelt.

Quelle: Lei Technology

Endgerätemodelle sind 100 Mal nützlicher als Enzyklopädien

Kürzlich hat Apple angekündigt, dass der Senior-Vizepräsident für Hardware-Engineering, John Ternus, Tim Cook als Chef der Firma ablösen wird. Danach gab es in China und im Ausland zahlreiche Artikel über die Frage: "Warum hat Cook ihn als Nachfolger gewählt?" Was würde das Gemma 4 E4B zu dieser Frage sagen?

Nachdem die entsprechende Frage in das Chatfenster eingegeben wurde, hat das Endgerätemodell von Google nahezu "null Verzögerung" gezeigt und sofort mit der Informationsausgabe begonnen. Dieser Aspekt des Nutzungsgefühls hat auf jeden Fall Aufmerksamkeit erregt. (Hinweis: Das getestete Gerät war ein iPhone 17 Pro Max, dasselbe gilt für die folgenden Tests.)

Quelle: Lei Technology

Da die Ausgabe eine gewisse Textmenge umfasste, hat es das Endgerätemodell von Google 46 Sekunden gedauert, um die vollständige Antwort zu geben.

Quelle: Lei Technology

Bei einem ersten Blick kann das Modell bereits viele Fragen beantworten. Dies ist der zentrale Vorteil von Endgerätemodellen:

Unter den Bedingungen des geringsten Hardwareaufwands (lokaler Betrieb + 0 Token-Verbrauch) kann es eine "verhältnismäßig gute" Antwort oder eine "zureichende" Lösung bieten.

In diesem Jahr gab es eine beliebte chinesische Serie namens "Jahre des Friedens". Es gab viele Diskussionen und Inhalte dazu. Vor kurzem wurde auch dem Endgerätemodell von Google die folgende Frage gestellt:

Wie konnte das Königreich Wu-Yue trotz einer hohen Steuersatzpolitik über 80 Jahre lang Frieden und Wohlstand aufrechterhalten?

Dies ist eine relativ spezifische und detaillierte Frage. Viele Menschen mit Hochschulabschluss (nicht aus dem Fachbereich Geschichte) kennen die Antwort möglicherweise nicht. Schauen wir uns die Leistung des E4B-Modells an:

Quelle: Lei Technology

Man kann erkennen, dass das Endgerätemodell nicht nur eine offline verfügbare Enzyklopädie ist, sondern auch je nach Benutzerfrage und -richtung gezieltere Antworten geben kann, einschließlich Beratungen zu Fachfragen aus verschiedenen Bereichen.

Das Wissenslimit des Google Gemma 4 E4B-Modells liegt im Oktober 2023. Theoretisch können Sie es nach allen aufgezeichneten und öffentlichen Ereignissen, wissenschaftlichen Entdeckungen, historischen Informationen und kulturellen Kenntnissen fragen, die vor diesem Zeitpunkt stattgefunden haben.

Lei Technology (ID: leitech) ist der Meinung, dass dies auch ein nützlicher Anwendungsfall für Endgerätemodelle ist, insbesondere für Benutzer, die an Informationen und Wissen aus verschiedenen Epochen und Ländern interessiert sind.

Nach der ersten Verwendung der App (Google AI Edge Gallery) hat der Redakteur von Lei Technology (ID: leitech) sie auf die Dock-Leiste des Hauptbildschirms seines Smartphones gelegt, da er sie fast täglich braucht.

Es ist erwähnenswert, dass Google angibt, dass obwohl das Kern-Trainingsdatenset von Gemma 4 ein Wissenslimit hat, das System ständig aktualisiert und feinjustiert wird, um die Verständnis- und Antwortfähigkeit des Modells zu verbessern.

Beim Lösen einfacher Probleme macht das Endgerätemodell viele Fehler

Man hatte erwartet, dass das Endgerätemodell im Bereich des Grundwissens vollkommen zurecht käme. Die Realität hat jedoch einen harten Schlag verpasst.

Das Gemma 4 E4B-Modell kann sogar die berühmte Tang-Dynastie-Poesie "Das Lied des Trinkens" und den Autor falsch angeben.

Quelle: Lei Technology

Der Grund ist einfach: Das Endgerätemodell hat insgesamt eine relativ kleine Anzahl an Parametern und kann bislang nicht alle Wissensbereiche abdecken. Selbst das starke Google Gemma 4 ist davon betroffen. Deshalb treten in vielen Fachbereichen "Verzerrungen" und "Illusionen" bei den Detailinformationen auf.

Bei klassischen chinesischen Gedichten, alten Büchern oder anderen Informationen ist es besser, die ursprünglichen Texte direkt an das Endgerätemodell zu geben, anstatt es nach den Originaltexten zu fragen. Dann kann es Übersetzungen oder Interpretationen geben.

Um das Problem der begrenzten Wissensbasis aufgrund der geringen Anzahl an Parametern zu lösen, hat Google erstmals die "Intelligenz-Agenten"-Funktion in das Endgerätemodell integriert.

Aktuell kann es bei der Informationssuche nur auf Online-Enzyklopädien (z. B. Wikipedia) zugreifen und bietet keine herunterladbaren offline-Wissensbanken als "Zusatz".

Quelle: Lei Technology

Außer bei der normalen Wissensfrage-Antwort-Hilfe arbeiten Endgeräte-AI-Modelle wie das Gemma 4 E2B/E4B auch an der Unterstützung bei der Arbeit.

Man hatte erwartet, dass das Endgerätemodell die Prüfung auf grammatikalische Fehler in Texten problemlos übernehmen kann. Doch die tatsächliche Leistung ist enttäuschend, insbesondere bei der Prüfung langer Texte.

Der Grund ist, dass hochpräzise Aufgaben wie die Prüfung auf grammatikalische Fehler eine große Menge an Korpora und eine starke Sprachverteilungsmemory erfordern. Das Endgerätemodell verwandelt oft die Prüfung in eine Textbearbeitung (Aufarbeitung) oder verwechselt die beiden. Denn es ist für das Modell leichter, Vorschläge zur Textaufarbeitung zu geben.

Es ist zu beachten, dass das Endgerätemodell möglicherweise die Anweisung "Prüfen und korrigieren Sie grammatikalische Fehler" nicht richtig versteht. Wenn Sie jedoch die Anweisung "Prüfen Sie auf grammatikalische Fehler (nicht korrigieren, wenn keine Fehler vorhanden sind)" geben, ist das Ergebnis deutlicher.

Quelle: Lei Technology

Das Google Gemma 4 hat Steuerungsmöglichkeiten wie "Systemrolle" und "Funktionsaufruf". Voraussetzung ist jedoch, dass Sie die Hinweistemplates, die Aufgabengrenzen und das Ausgabeformat so einfach und klar wie möglich formulieren.

Außerdem hat die praktische Tests gezeigt, dass obwohl das Gemma 4 ursprünglich über 140 Sprachen unterstützt, es bei der Prüfung auf grammatikalische Fehler in langen Texten besser mit Englisch umgehen kann als mit Chinesisch. Dies liegt möglicherweise daran, dass die vortrainierten Korpora hauptsächlich auf Englisch basieren.

Sind Endgerätemodelle besser für spezielle Anwendungsfälle geeignet?

Lei Technology (ID: leitech) hat bereits die ursprünglichen multimodalen (Bild, Audio, Video) Fähigkeiten des Gemma 4 E4B-Modells getestet. Es kann direkt Bilder erkennen, einfache Audio- und Videoinformationen verstehen.

In offline-Umgebungen oder bei schlechter Netzverbindung kann das Endgerätemodell von Google die grundlegenden Informationen eines Bildes aus der Galerie geben.

Beispielsweise auf einem Flugzeug kann man, wenn man eine "einfache" Interpretation eines Bildes in einer Flugzeitschrift oder Zeitung benötigt, das Bild direkt an das Endgerätemodell senden und es versuchen, eine Antwort zu geben.

Bei komplexeren Bild- und Audioinformationen hat das aktuelle Endgerätemodell immer noch Schwierigkeiten, "mehr" Informationen zu verstehen.

Quelle: Lei Technology

Was sind die derzeit besten Fähigkeiten des Endgerätemodells?

Zweifellos sind es die folgenden: Offline-Übersetzung, Taschenrechner, einfache Problemstellungen und Testtraining sowie die Vermittlung von Grundinformationen und Beratungen in speziellen Fachbereichen (einschließlich Gesundheit).

Früher hat Google auf Basis von Gemma 3 ein spezielles Übersetzungsmodell namens TranslateGemma entwickelt. Dank des spezifischen Trainingsverfahrens kann die Leistung des TranslateGemma 4B-Modells mit der des größeren Gemma 3 12B-Referenzmodells konkurrieren. Man kann erwarten, dass Google bald ein neues spezielles Übersetzungsmodell auf Basis von Gemma 4 vorstellen wird.

Vergleich der Übersetzungsergebnisse zwischen dem Google-Endgerätemodell und Online-Übersetzungstools (Quelle: Lei Technology)

Ähnlich hat Tencent kürzlich das offline-Übersetzungsmodell Hy - MT1.5 - 1.8B - 1.25bit für Mobilgeräte open - source gemacht. Das Modell, das 33 Sprachen unterstützt, wurde auf 440 MB komprimiert. Benutzer können es kostenlos herunterladen und direkt auf ihrem Smartphone ausführen, ohne Internetverbindung. Die offizielle Seite behauptet, dass die Übersetzungsergebnisse mit denen kommerzieller Übersetzungsmodelle mithalten können.

Gemma 4: Der "unvollkommene" erste Schritt für Endgerätemodelle

In den letzten Monaten haben die Cloud - Large - Language - Models aller Firmen schnell weiterentwickelt, und der Wettlauf um die Anzahl der Parameter und die Intelligenz hat eine neue Phase erreicht. Im Vergleich dazu bemühen sich die Endgerätemodelle, die kein neues Konzept sind, auch, um endlich wirklich umgesetzt zu werden.

Nach einer gewissen Zeit des Testens hat Lei Technology (ID: leitech) festgestellt, dass die Einführung des Google Gemma 4 den "unvollkommenen" ersten Schritt für die Umsetzung von Endgerätemodellen auf mobilen Endgeräten markiert.

Für die derzeitigen Endgerätemodelle empfehlen wir zwei Hauptgruppen von Nutzern:

1. "Enzyklopädie - orientierte" Nutzer, die täglich viele Informationen aus verschiedenen Epochen und Ländern suchen. Die aktuellen Endgerätemodelle können in einigen Bereichen schnell, direkt und gezielt eine "erste Version" der gewünschten Antwort geben.

2. "Tool - orientierte" Nutzer, die viele offline - Apps auf ihrem Smartphone installiert haben.