HarnessEval: Eine neue Ära der Evaluierung mit Harness einläuten | Xinglian Portfolio-News

Bewertung definiert den Geschmack der Technik.

Wie weit eine Technik gehen kann, hängt oft davon ab, mit welchem Maßstab wir sie messen. Bewertung bedeutet nie nur die Überprüfung von Versuchsergebnissen, sondern vor allem die Festlegung von Koordinaten für die Grenzforschung. Im Prozess von RSI (Recursive Self-Improvement), der sich auf die physische Welt richtet, fehlt dem Weltmodell jedoch stets ein zuverlässiger Maßstab. Insbesondere bei physischer Kausalität, geometrischer Konsistenz und wahrhaftiger Beobachtungsqualität können die vorhandenen Bewertungsmethoden kaum stabile und vertrauenswürdige automatische Urteile liefern. Im Vergleich dazu sind Menschen für Anomalien in generierten Inhalten oft extrem empfindlich: Verschwindet ein Objekt aus dem Nichts? Ist die Bewegung nach einem Zusammenstoß vernünftig? Ändert sich die Szene plötzlich? Diese Urteile sind für Menschen fast instinktiv, lassen sich aber bisher kaum durch KI automatisieren. Mit den vorhandenen Benchmarks lässt sich zudem kaum erkennen, wo genau das Modell falsch liegt und warum es falsch ist.

Bei MirroS führen wir erstmals das wichtige Konzept des LLM-Ökosystems, Harness, in den Bereich der Bewertung ein.

Harness ist keine einfache Code-Kapselung, sondern ein zuverlässiges Ausführungsframework. Es organisiert komplexe menschliche Arbeitsabläufe, wie zum Beispiel Problemzerlegung, Tool-Aufruf und Schlussfolgerungsvalidierung, in klare, ausführbare Schritte und unterstützt damit den vollständigen Arbeitsablauf von Agenten. Menschliche Bewertung ist im Wesentlichen ebenfalls ein Arbeitsablauf. Wenn wir eine generierte Welt bewerten, werfen wir nicht einfach einen Blick auf das Bild, sondern vollziehen unbewusst eine Reihe komplexer Abläufe: Objekte lokalisieren, ihre Existenz und Veränderung im Laufe der Zeit verfolgen, beurteilen, ob Aktionen vernünftig sind, und anschließend die Kausalitäten, geometrischen Einschränkungen und physikalischen Gesetze darin prüfen. Wir automatisieren diesen Prozess über Harness zu einem agentic benchmark: Ein Agent steuert den Gesamtkontext, leitet dynamisch mehrere spezialisierte Subagenten je nach spezifischem Fall ab, stellt ihnen entsprechende Kontexte und Diagnosetools zur Verfügung und prüft die Modellausgabe aus verschiedenen Blickwinkeln. Dieser Evaluation Harness gleicht einem Sherlock Holmes: Er zieht keine voreiligen Schlüsse auf der Grundlage einzelner Phänomene, sondern sucht ständig nach Hinweisen, überprüft Beweise kreuzweise und organisiert verstreute Informationen zu einer vollständigen Schlussfolgerungskette, um schließlich ein Urteil zu bilden.

Die Bewertung entwickelt sich dadurch von einem statischen Frage-Antwort-Regelwerk zu einem intelligenten System, das aktiv nach Beweisen sucht und Urteile fällt. Ihr Kern ist keine feste Bewertungs-Pipeline, sondern eine Gruppe von Bewertungsfähigkeiten, die bedarfsgerecht aufgerufen, kombiniert und rekursiv ausgeweitet werden können:

Pfadplanung: Bestimmen Sie die erforderlichen Bewertungsmethoden je nach Fall;

Problemzerlegung: Mehrere Subagenten zur schichtweisen Zerlegung von Problemen einsetzen;

Absichtserkennung: Die auszuführende Aktion und ihre erwarteten Veränderungen identifizieren;

Beweissuche: Die mit dem Urteil zusammenhängenden Hinweise lokalisieren;

Tool-Aufruf: Mess- und Schlussfolgerungstools nach Bedarf verwenden;

Schlussfolgerung ziehen: Die vollständigen Beweise und Schlussfolgerungsketten organisieren.

HarnessEval-W: HarnessEval auf Weltmodelle anwenden

Heute nehmen wir Weltmodelle als Testfeld für HarnessEval und veröffentlichen HarnessEval-W offiziell als Open Source. Wir laden auch die Gemeinschaft ein, gemeinsam an der Konstruktion dieses neuen Arbeitsablaufs für agentic benchmark mitzuwirken. Zuerst zerlegen wir die Kernfähigkeiten von Weltmodellen in drei Bewertungsdimensionen: Beobachtungsqualität, Korrektheit des Zustandsübergangs und Weltkontinuität, und bauen unser gesamtes Bewertungssystem um diese drei Dimensionen herum auf.

Blickwinkel der Bewertung

Unter Bezugnahme auf gängige Definitionen in vorhandenen Forschungsarbeiten beschreiben wir das physische Weltmodell wie folgt:

Vorhersage des zukünftigen Zustands der Welt auf der Grundlage historischer Beobachtungen und Benutzeraktionen.

Alle Modelle, die über diese Fähigkeit verfügen – unabhängig von der verwendeten Generierungsarchitektur – können in den Bewertungsbereich von HarnessEval-W aufgenommen werden, einschließlich bidirektionaler Videodiffusionsmodelle, autoregressiver Videomodelle usw. Diese formale Beschreibung liefert auch die grundlegende Bewertungslogik von HarnessEval-W: Wird die Welt korrekt dargestellt, lösen Aktionen den korrekten Zustandsübergang aus und kann diese Welt im Laufe der Zeit kontinuierlich und konsistent bleiben? Daraus ergeben sich natürlich die folgenden drei zentralen Bewertungsdimensionen.

1. Beobachtungsqualität

Sie misst, ob die visuelle Beobachtung der Modellausgabe vertrauenswürdig ist. Sie konzentriert sich auf die wahrnehmungsbezogene Qualität des generierten Videos selbst, einschließlich visueller Kontinuität, struktureller Angemessenheit und Realitätsnähe.

2. Korrektheit des Zustandsübergangs

Sie prüft, ob das Modell in der Lage ist, auf eine gegebene Aktion zur richtigen Zeit und auf die richtige Weise zu reagieren und den Zustand der Welt entsprechend den Erwartungen zu verändern. Wir berücksichtigen weiter drei Arten von Zustandsübergängen: Exploratory Transition entspricht hauptsächlich der Bewegung des Beobachters in der Welt, z. B. der Änderung der Kameraposition, des Blickwinkels oder des Beobachtungsbereichs. Intentional Transition bezieht sich darauf, dass der Benutzer aktiv verlangt, eine Entität, eine Beziehung oder ein Ereignis zu verändern, z. B. ein Objekt zu bewegen, eine Tür zu öffnen oder eine Figur zu einer bestimmten Aktion aufzufordern. Physical Transition konzentriert sich darauf, ob sich die Welt nach der Ausübung physikalischer Steuerung gemäß vernünftigen physikalischen Gesetzen entwickelt, z. B. bei Kollisionen, Schubvorgängen, Herunterfallen, Sprüngen oder anderen dynamischen Prozessen.

3. Weltkontinuität

Sie befasst sich damit, ob das Modell einen fortwährend existierenden, intern konsistenten Zustand der Welt aufrechterhält, während sich die Welt ständig weiterentwickelt. Wir konzentrieren uns auf drei typische Szenarien. Drift Resistance: Sie testet, ob die Gesamtanordnung, der Stil und das Aussehen der Objekte in der Welt bei lang andauernder Generierung stabil bleiben, ohne dass sie mit zunehmender Generierungszeit allmählich sinnlos driften. Revisit Consistency: Wenn der Beobachter einen Ort oder ein Objekt vorübergehend verlässt und später zurückkehrt, bleiben dessen Zustand und Eigenschaften mit den vorherigen übereinstimmen. Offscreen Evolution: Wenn ein dynamischer Prozess vorübergehend aus dem Sichtfeld verschwindet, entwickelt er sich weiterhin gemäß zeitlichen und physikalischen Gesetzen, anstatt unsichtbar eingefroren, zurückgesetzt oder willkürlich verändert zu werden. Weltkontinuität bedeutet nicht, dass alle Inhalte in der Welt unverändert bleiben müssen. Sie verlangt, dass stabile Eigenschaften konsistent bleiben und dynamische Zustände sich entlang einer kontinuierlichen und vernünftigen Bahn entwickeln.

Auf Harness basierendes Bewertungssystem

Die Bewertung von Weltmodellen hängt naturgemäß stark vom spezifischen Kontext der Situation ab. Verschiedene Fälle können völlig unterschiedliche Umgebungen, Aktionstypen, zeitliche Strukturen und Beobachtungszustände aufweisen, sodass es schwierig ist, alle Fälle mit einem festen Satz von Fragen oder statischen Indikatoren abzudecken.

Der Kern von HarnessEval-W ist ein Agent, der Bewertungsstrategien dynamisch festlegen kann. Für jeden Fall versteht er zuerst die aktuelle Welt und das Bewertungsziel, plant dann den Bewertungspfad, steuert Subagenten mit unterschiedlichen Fachfähigkeiten an und bildet unter Einbeziehung der von ihnen gesammelten Beweise schrittweise überprüfbare Bewertungsurteile. Der gesamte Bewertungsprozess wird an die aktuelle konkrete Welt angepasst. Mit anderen Worten: HarnessEval-W legt keinen festen Bewertungsablauf im Voraus fest, sondern lässt den Bewertungspfad dynamisch je nach Fall generieren. Er muss nicht nur die Frage beantworten „Ist dieses Ergebnis korrekt?“, sondern auch weiter beurteilen: Reichen die gesammelten Beweise wirklich aus, um die aktuelle Bewertungsfrage zu beantworten? Dadurch kann HarnessEval-W für jeden Fall einen erklärbaren, reproduzierbaren und bedarfsgerecht angepassten Bewertungsprozess bereitstellen.

Skill-Auswahl

Der erste Schritt der Bewertung besteht nicht darin, sofort mit der Bewertung nach Fragen zu beginnen, sondern festzulegen: Welche Fragen sollten in diesem Fall überhaupt gestellt werden? HarnessEval-W versteht zuerst den Kontext und das Ziel des aktuellen Bewertungsfalls und ruft dann die Skills auf, die für die Bewertung dieses Falls qualifiziert und fähig sind. In Szenarien mit Roboterbedienung ist es beispielsweise oft wichtiger, ob Aktionen korrekt ausgeführt werden und vernünftigen physikalischen Gesetzen folgen, als ob das Bild „filmisch“ wirkt. HarnessEval-W wendet nicht mechanisch genau dieselben Bewertungsindikatoren auf alle Fälle an, sondern wählt die wirklich relevanten Bewertungsfähigkeiten je nach Szene aus.

Skill-Zerlegung

Nach der Auswahl des Bewertungs-Skills zerlegt das System ihn weiter in kleinere, klarere und leichter messbare Teilfragen und weist sie dann geeigneten Subagenten oder Tools zu. Um beispielsweise zu beurteilen, ob eine Kollision vernünftig ist, stellt HarnessEval-W weitere Fragen: Wo befindet sich das Zielobjekt? Berühren sie sich zur richtigen Zeit? Wie ändert sich die Geschwindigkeit vor und nach der Kollision? Tools wie Zielverfolgung, zeitliche Überprüfung und Geschwindigkeitsberechnung suchen jeweils nach Antworten. Die von den einzelnen Subagenten zurückgegebenen Beweise werden schließlich vom Hauptagenten einheitlich zusammengefasst, überprüft und zu einem endgültigen Schlussfolgerung verarbeitet. Wenn das Problem immer noch zu komplex ist, können die Subagenten weitere neue Subagenten einsetzen und es schichtweise zerlegen, bis jede Aufgabe klar genug ist, um direkt durch Tools oder visuelle Beweise überprüft zu werden.

Vom einzelnen Score zur nachvollziehbaren Beweiskette

Das endgültige Ziel von HarnessEval-W besteht nicht nur darin, einen numerischen Score auszugeben. Wir hoffen, dass der Benchmark schließlich einen hierarchischen Beweisbaum (evidence tree) bildet, der vollständig aufzeichnet, was genau getestet wurde, welches spezifische Tool visuelle Beweise geliefert hat und welche vollständige Logikkette den endgültigen Score stützt. Mit dieser ausführbaren, nachvollziehbaren und überprüfbaren Beweiskette können Forscher nicht nur die Fehlerquelle genau lokalisieren, sondern auch das Modellentwurf und das Training in der nächsten Phase entsprechend verbessern.

Konstruktion des Bewertungs-Datensatzes

Ein wirklich effektiver Benchmark muss ausreichend komplexe und vielfältige Umgebungen abdecken, um die Fähigkeitsgrenzen von Weltmodellen kontinuierlich zu erforschen. Zu diesem Zweck verwenden wir ebenfalls eine agentische Pipeline, um Bewertungsfälle zu konstruieren und den Benchmark skalierbar zu machen.

Der gesamte Prozess beginnt mit dem vordefinierten scene taxonomy. Zuerst nehmen wir Stichproben aus der Anfangskonfiguration der Welt und legen Attribute wie Umgebung, Objekte, räumliche Struktur, visuellen Stil und Beobachtungswinkel fest; anschließend wählen wir Bewertungsdimensionen für den Fall aus, insbesondere die zuvor definierten Indikatoren für Zustandsübergang und Weltkontinuität.

Unter diesen Bedingungen generiert ein Bildgenerierungs-Agent das erste Frame der Welt; ein Aktionsplanungs-Agent versteht anschließend den Inhalt des Bildes und entwirft spezifische Aktionen rund um die Zielbewertungsdimensionen. Wenn wir beispielsweise die Revisit Consistency testen möchten, kann der Planungs-Agent eine Kamerabahn entwerfen, die „zuerst den aktuellen Bereich verlässt und dann umkehrt, um zum ursprünglichen Ort zurückzukehren“. Schließlich führen wir einen unabhängigen Prüf-Agent zur Qualitätskontrolle ein. Er prüft gleichzeitig das Ausgangsbild und das Aktionsdesign, um sicherzustellen, dass Umgebung, Vordergrund, Hintergrund und Aktionen miteinander harmonieren. Kandidatenfälle, die die Prüfung nicht bestehen, werden automatisch zurückgewiesen und neu generiert, bis sie die Bewertungsanforderungen erfüllen.

Durch diesen geschlossenen Prozess kann sich der Benchmark kontinuierlich erweitern und gleichzeitig die erforderliche Komplexität und Überprüfbarkeit beibehalten.

What's Next: Kontinuierliche Weiterentwicklung des Agentic Benchmark

Die Welt entwickelt sich weiter, und die Bewertung sollte sich ebenfalls mit ihr weiterentwickeln.

Bewertung darf nie ein statischer Satz von Bewertungsstandards sein. Da Weltmodelle ständig in komplexere Szenarien eintreten und stärkere Fähigkeiten zeigen, muss das Bewertungssystem selbst seine Grenzen gleichzeitig erweitern. HarnessEval-W ist nur unser Ausgangspunkt für die Erforschung des neuen Paradigmas von agentic benchmark, das über Harness realisiert wird. Als Open-Source-Projekt laden wir auch die Forscher und Entwickler in der Gemeinschaft herzlich ein, mitzuwirken, damit agentic Benchmark in echter Zusammenarbeit und Iteration ständig wächst.

Im Folgenden