Ist Prompt Engineering tot? Google DeepMind stellt ein neues Paradigma für „visuelles Prompt-Engineering“ vor, das effektiver ist als Textanweisungen.

Prompt Engineering ist bereits zu einem Schlüsselmittel zur Verbesserung der Leistung von Sprachmodellen geworden. Ein aktueller Konsens lautet: Solange der Eingaberaum des Modells reichhaltig genug ist, besteht die Möglichkeit, durch Optimierung der Eingaben eine bessere Leistung bei nachgelagerten Aufgaben zu erzielen.

Also gilt dieses Prinzip nur für Sprachmodelle, oder lässt es sich auch auf andere Modalitäten wie den visuellen Bereich übertragen?

In einer aktuellen Arbeit schlägt Google DeepMind das „Visuelle Prompt Engineering“ (visual prompt engineering, VIPE) vor und erweitert Prompt Engineering erfolgreich auf den visuellen Bereich.

Link zur Arbeit: https://arxiv.org/abs/2607.25537

Experimentelle Ergebnisse zeigen, dass die Methode des visuellen Prompt Engineerings die Leistung der Videoverarbeitung bei mehreren Aufgaben verbessern kann, und für Videomodelle ist diese Methode manchmal effektiver als das klassische Text-Prompt-Engineering oder Test-Time-Scaling.

So wie das Text-Prompt-Engineering die Leistung von Sprachmodellen systematisch verbessern kann, kann das visuelle Prompt-Engineering auch als eine einfache, recheneffiziente Methode dienen, um Videomodelle zu einer besseren visuellen Reasoning-Leistung anzuregen.

Das Forschungsteam gibt an, dass das visuelle Prompt-Engineering auf ein neues Paradigma hinweist: „Visuelle Prompts selbst können ebenso wie Text-Prompts optimiert werden“. Wenn fortschrittliche Videomodelle einen reichhaltigeren multimodalen Kontext verarbeiten, könnte sich das visuelle Prompt-Engineering von der Bearbeitung einzelner Bilder auf mehrere Referenzbilder oder sogar Videos ausweiten.

Visuelles Prompt Engineering: Die gleiche Aufgabe in neuen visuellen Szenarien bearbeiten

Visuelles Prompt Engineering ist eine Methode des Prompt Engineerings für die visuellen Eingaben von Videomodellen. Ohne die Aufgabenlogik zu ändern, wandelt es das Originalbild in eine visuelle Form um, die das Modell leichter verstehen und verarbeiten kann, sodass das Modell die gleiche Aufgabe in neuen visuellen Szenarien bearbeiten kann. Beispielsweise kann eine abstrakte Skizze von einem Ball und einer Rampe in ein realistisches Szenario mit Billardkugeln und Holzbrettern umgewandelt werden, wobei die räumlichen Schlüsselbeziehungen unverändert bleiben müssen.

Abbildung | Das visuelle Prompt Engineering beginnt mit einem visuellen Prompt, beispielsweise einer Skizze von einem Ball und einer Rampe, sowie einem Text-Prompt wie „Der Ball rollt entlang ... herunter und fällt schließlich in einen der Eimer“.

Der genaue Ablauf ist wie folgt:

1. Konzipierer: Er ist dafür zuständig, vorzuschlagen, wie das Bild geändert werden soll. Er erzeugt eine Bearbeitungsanweisung in natürlicher Sprache basierend auf den Aufgabenbeispielen und Einschränkungen. In der Anweisung wird klar festgelegt, welche aufgabenbezogenen Elemente beibehalten werden müssen, beispielsweise die Anzahl, Position, Ausrichtung und relativen Beziehungen der Objekte.

2. Bearbeiter: Er modifiziert das Originalbild gemäß der Bearbeitungsanweisung und erzeugt ein oder mehrere Kandidatenbilder. Dieser Schritt kann von einem Bildbearbeitungsmodell oder auch durch manuelle Bearbeitung ausgeführt werden.

3. Filter: Ein optionaler Schritt. Wenn der Bearbeiter mehrere Kandidatenbilder erzeugt, wählt der Filter die passendere Version aus. Der Filter bevorzugt Kandidatenversionen mit besserer Bildqualität, die gleichzeitig die schlüsselhaften Aufgabeninformationen des Originalbildes beibehalten.

Effektiver als Textanweisungen

Das Forschungsteam hat das automatisierte visuelle Prompt Engineering an der physikalischen Reasoning-Aufgabe VPCT getestet und validiert. Insgesamt kann das visuelle Prompt Engineering die visuelle Reasoning-Leistung von Videomodellen verbessern, und die Optimierung des visuellen Kontexts ist in der Regel effektiver als die Optimierung von Textanweisungen.

Visueller Realismus ist der Faktor, der die Leistungssteigerung tatsächlich antreibt

Nach der Anwendung des visuellen Prompt Engineerings stieg die Genauigkeit von Veo 3.1 von 41,3 % auf 59,3 %, die von Omni Flash von 56,3 % auf 67,5 %. Videomodelle bevorzugen systematisch fotorealistische Kontexte gegenüber abstrakten Eingaben.

Abbildung | Das visuelle Prompt Engineering verbessert die Fähigkeit zur physikalischen Reasoning bei VPCT.

Sowohl automatisierbar als auch eine effektive Strategie für Test-Time-Scaling

Der automatisierte Ablauf des visuellen Prompt Engineerings nutzt ein visuell-sprachliches Modell (VLM) zur Erzeugung von Umschreibungsanweisungen, ein Bildbearbeitungsmodell zur Erzeugung von Kandidatenbildern und einen automatischen Bewerter zur Filterung oder iterativen Rückmeldung. Das Forschungsteam hat zwei Ansätze verglichen: die freiformige Konzipierung und die Atomic Concept Editing (ACE). Die Ergebnisse zeigen, dass beide Methoden automatisch bessere umgeschriebene Bilder erzeugen können; das freiformige visuelle Prompt Engineering senkte die Fehlerrate bei einigen Aufgaben um mehr als 75 %. Bei ACE für die Aufgabe Sort 3 Numbers kann die Fehlerrate auf 0 fallen, wenn die beste visuelle Version pro Beispiel ausgewählt wird.

Abbildung | Das automatisierte visuelle Prompt Engineering verbessert die Leistung bei einer Vielzahl von Aufgaben.

Bei der physikalischen Reasoning-Aufgabe zum herunterrollenden Ball stieg die Genauigkeit von Veo 3.1 ohne Anwendung des visuellen Prompt Engineerings durch mehrfaches Sampling von 41,3 % auf 50,0 %. Nach Hinzufügen des visuellen Prompt Engineerings erreichte die Genauigkeit bereits bei einmaligem Sampling 59,3 %. Wenn nach der Umschreibung durch das visuelle Prompt-Engineering weiterhin mehrfaches Sampling auf den visuellen Prompts durchgeführt wird, kann die Genauigkeit 68,0 % erreichen.

Abbildung | Das visuelle Prompt Engineering kann auch mit Test-Time-Scaling kombiniert werden, um die Leistung weiter zu steigern.

Die Optimierung des visuellen Kontexts ist oft effektiver als die Optimierung von Textanweisungen

Am Beispiel von Sort 3 Numbers betragen die Genauigkeiten des optimalen Text-Prompts und des optimalen Bild-Prompts 86 % bzw. 76 %.

Abbildung | Für Videomodelle kann das visuelle Prompt Engineering effektiver sein als das Text-Prompt Engineering.

Die Reasoning-Leistung nativer Bildgenerierungsmodelle wird nicht systematisch verbessert

Das Forschungsteam hat Modelle wie Nano BananaPro und Nano Banana 2 getestet. Die Ergebnisse zeigen, dass sich die Reasoning-Leistung der Bildmodelle nach dem Austausch der Eingaben durch fotorealistische Bilder nicht stabil verbessert. Dies liegt möglicherweise daran, dass native Bildgenerierungsmodelle mehr visuelle Stile abdecken und sowohl mit abstrakten Skizzen als auch mit realen Bildern vertrauter sind.

Abbildung | Ergebnisse nativer Bildgenerierungsmodelle bei VPCT, die das beste Prompt-Ergebnis für jede Konfiguration angeben.

Effektive Bildumschreibungen weisen in der Regel drei Merkmale auf: realere Szenarien, hervorgehobene Ziele und direktere Semantik

Diese Art der Umschreibung kann abstrakte Skizzen in visuelle Szenarien umwandeln, die der realen Welt näherkommen, wodurch die Lücke zwischen abstrakten Eingaben und den den Videomodellen vertrauten visuellen Repräsentationen verkleinert wird. Beispielsweise stieg die Genauigkeit von Veo 3.1 bei der VPCT-Aufgabe auf 59,3 %, nachdem die Skizze in ein fotorealistisches Szenario umgewandelt wurde. Daher sollte die Version des realen Szenarios bevorzugt verwendet werden, wenn die gleiche Aufgabe in ein realeres visuelles Szenario umgewandelt werden kann.

Abbildung | Jeder Schritt in Richtung mehr Realismus verbessert die Konsistenz der Generierung.

Natürlich weisen die aktuellen Methoden auch gewisse Einschränkungen auf.

Beispielsweise hängen die aktuellen Methoden des visuellen Prompt Engineerings von der Qualität des Bildbearbeitungsmodells ab. Wenn der Bearbeiter Aufgabeninformationen verändert oder Artefakte einbringt, kann das nachgelagerte Videomodell die ursprüngliche Aufgabe möglicherweise nicht mehr lösen. Zukünftig, sobald Bildbearbeitungsmodelle die Aufgabeninformationen stabiler beibehalten können, sind zusätzliche Filterung und Qualitätskontrolle möglicherweise nicht mehr erforderlich.

Gleichzeitig verursacht das visuelle Prompt Engineering zusätzliche Kosten. Die Bildbearbeitung ist jedoch in der Regel viel günstiger als die Videogenerierung, sodass diese Kosten in der Praxis auch zu einem Vorteil werden können. Ein einziger günstiger Aufruf zur Bildbearbeitung kann die Wahrscheinlichkeit eines Fehlschlags bei einer teuren Videogenerierung verringern.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Academic Headline“ (ID: SciTouTiao), Autor: Academic Headline, mit Genehmigung von 36Kr veröffentlicht.