Multimodale Technologie verändert stumm, wie KI - Produkte die Welt "verstehen".

Multimodale KI entwickelt sich von einem technologischen Konzept zum zentralen Schlachtfeld für Produktentscheidungen. Wenn Modelle beginnen, visuelle, auditive und sprachliche Informationen wie Menschen zu integrieren, stehen wir nicht nur vor technologischen Durchbrüchen, sondern auch vor der Produktphilosophie, wie die KI die reale Welt verstehen kann. Dieser Artikel wird von der Erkennung von Rotlichten bis zur Wahrnehmung von Stimmemotionen aufzeigen, wie die Multimodularität die Grenzen zwischen KI und menschlicher Wahrnehmung neu definiert.

Wenn Sie sich in letzter Zeit mit KI - Projekten, - Produkten oder Stellenausschreibungen beschäftigt haben, haben Sie mit hoher Wahrscheinlichkeit ein Wort gesehen: Multimodularität. Es taucht immer häufiger auf, aber merkwürdigerweise - nur wenige Menschen können es wirklich erklären.

Manche verstehen die Multimodularität als "ChatGPT, das Bilder sehen kann", andere halten es für die Aufgabe von Algorithmus - Ingenieuren, und wieder andere spüren dunkel, dass es wichtig ist, können aber nicht genau sagen, warum.

Ich möchte die Multimodularität auf eine andere Weise erklären, nicht von der Modellstruktur aus, sondern von einem alltäglichen Blickwinkel.

Der Mensch ist von Natur aus "multimodal"

Wir verstehen die Welt nie nur durch Texte.

Wenn Sie auf der Straße gehen und ein Rotlicht sehen, halten Sie an, nicht weil Ihnen die Textregel "Rotlicht = Fahrverbot" einfällt, sondern weil das visuelle Erlebnis direkt eine Entscheidung auslöst. Wenn Sie die Stimmung der anderen Person abschwächen hören, werden Sie unbewusst merken, dass die Atmosphäre nicht stimmt, nicht weil Sie die Satzstruktur analysiert haben, sondern weil die emotionalen Informationen in der Stimme eine Rolle spielen.

Visuelle, auditive, sprachliche, räumliche Informationen und Erfahrungen treten gleichzeitig auf und ergänzen sich gegenseitig.

Während eines langen Zeitraums in der Vergangenheit war die Art und Weise, wie die KI die Welt versteht, äußerst einseitig - fast nur über Texte.

Die Grenzen der einmodalen KI waren eigentlich schon früh erreicht

Frühe große Modelle haben im Wesentlichen eine Aufgabe erfüllt:

Die Welt in Texte übersetzen und dann aus den Texten Regeln lernen.

Dies funktioniert in vielen Szenarien, wie z. B. bei Fragen und Antworten, Zusammenfassungen, Schreibaufgaben und Suchvorgängen. Aber sobald die Fragen werden -

• "Was passiert auf diesem Bild?"
• "Was ist die Stimmung in diesem Video?"
• "Klingt diese Stimme fröhlich oder nervös?"

Mit nur Texten wird das Modell langsam.

Weil viele Informationen überhaupt nicht in den Texten enthalten sind.

Komposition, Licht und Schatten, Gesichtsausdrücke, Tonfall, Rhythmus - all das, was Menschen sofort wahrnehmen können, kann das Modell nicht lernen, wenn es nicht direkt "gefüttert" wird.

Der Hintergrund für die Entstehung der Multimodularität ist im Wesentlichen kein technisches Show - off, sondern ein sehr realistisches Problem: Wenn die KI in die reale Welt eintreten will, kann sie nicht nur in der Welt der Texte leben.

Die Multimodularität bedeutet im Wesentlichen, das Modell zu lehren, "die Welt mit mehreren Sinnen zu betrachten"

Technisch gesehen bedeutet Multimodularität:

Gleichzeitige Verarbeitung und Integration von verschiedenen Informationsformen wie Texten, Bildern, Videos und Audiodateien.

Aber wenn man es einfacher ausdrückt, macht sie eigentlich etwas Anschaulicheres: Sie bringt das Modell dazu, nicht nur zu "lesen", sondern auch zu "sehen" und zu "hören".

Zum Beispiel -

• Text - zu - Bild - Generierung ist nicht nur "Zeichnen", sondern das Modell versteht "die Bilder in den Texten"
• Bildverstehen ist nicht nur die Erkennung von Objekten, sondern das Verständnis von Bildbeziehungen, Stimmungen und Kontexten
• Videoverstehen bezieht sich nicht nur auf die Einzelbilder, sondern auf Zeit, Bewegung und Veränderungen
• Aufgaben im Zusammenhang mit Sprache handhaben die Überlagerung von "Information + Emotion + Rhythmus"

Deshalb wirken multimodale Modelle oft von Anfang an "klüger". Es ist nicht, dass sie wirklich verstehen, sondern dass die von ihnen empfangenen Informationen näher an der Art sind, wie Menschen die Welt wahrnehmen.

Die Multimodularität ist keine einzelne Funktion, sondern eine ganze Fähigkeitsstruktur

In realen Projekten erscheint die Multimodularität normalerweise nicht in Form "eines Buttons".

Sie ist eher wie ein Netzwerk von Fähigkeiten:

• Eine Seite ist die Generierung: Text - zu - Bild - Generierung, Text - zu - Video - Generierung, Sprachsynthese
• Die andere Seite ist das Verstehen: Beantworten von Fragen anhand von Bildern, Beurteilung von Videoinhalten, Spracherkennung
• Dazwischen sind eine große Menge von Daten, Labels, Beschreibungen und Anpassungsregeln verbunden

Sie werden feststellen, dass multimodale Projekte oft nicht mit dem "Modell" beginnen, sondern mit einer scheinbar sehr grundlegenden Frage:

Wie sollte das Modell ein Bild, ein Video oder eine Stimme verstehen?

Und die Antwort auf diese Frage liegt oft nicht in den Algorithmen, sondern in der Art und Weise, wie die Daten organisiert, beschrieben und gefiltert werden.

Warum die Multimodularität immer mehr zu einem "Produktproblem" und nicht nur zu einem technischen Problem wird

Wenn die Multimodularität in reale Produkte einfährt, geht es nicht mehr darum, "ob es funktioniert", sondern -

• Welche Informationen interessieren die Benutzer?
• Was sollte das Modell ignorieren?
• Welche Wahrnehmungen sind wertvoll und welche sind Rauschen?

Diese Urteile haben im Wesentlichen sehr starke Produktentscheidungsmerkmale.

Zum Beispiel: Wenn ein Bild einen unordentlichen Hintergrund, aber einen klaren Hauptgegenstand hat, ist dies für die Generierungstask ein Plus oder ein Minus? Wenn eine Stimme voller Emotionen, aber etwas undeutlich ausgesprochen ist, ist dies für das TTS - Training ein Vorteil oder ein Risiko?

Für diese Fragen gibt es keine Standardantworten, aber es muss jemand urteilen.

Und genau hier beginnt die KI wirklich, "menschliche Perspektiven" zu benötigen.

Der wahre Wert der Multimodularität liegt darin, dass die KI eher in der Welt lebt

Zurück zur ursprünglichen Frage: Was ist eigentlich die Multimodularität?

Es ist nicht der Name eines bestimmten Modells, noch ein modernes Schlagwort. Es ist eher eine Brücke, über die die KI von der "Textwelt" in die "reale Welt" gelangt.

Wenn das Modell beginnt, Bilder, Stimmen und Sprache gleichzeitig zu empfangen und nicht mehr auf eine einzige Eingabeform angewiesen ist, kann es möglicherweise wirklich in Lebenssituationen eintreten, anstatt nur im Dialogfenster zu bleiben.

Deshalb ist die Multimodularität keine kurzfristige Tendenz, sondern eine langfristige Richtung.

Dieser Artikel stammt aus dem WeChat - Publikationskanal "Jeder ist ein Produktmanager" (ID: woshipm), Autor: Blauer See, veröffentlicht von 36Kr mit Genehmigung.