Die neueste Einschätzung von YC: Harness ist wichtiger als Modelle

Am 3. September veröffentlichte der ARC Prize (eine umfassende Prüfung zur Messung der Schlussfolgerungsfähigkeit nahe der menschlichen Grenze) die neuesten Ergebnisse des ARC-AGI-3, und die Daten wirken auf den ersten Blick widersprüchlich zur Intuition.

Dasselbe Modell – GPT-6 Astra – mit gleicher Schlussfolgerungsstufe erzielte völlig unterschiedliche Ergebnisse, wenn es unter zwei verschiedenen Harness-Systemen ausgeführt wurde:

Im Standard-Harness erreichte es einen Wert von 62,7 %; im Provider Adapter Harness lag das Ergebnis bei 98,6 %.

Beachten Sie bitte: Dies ist kein Vergleich zwischen zwei Modellen, sondern zwei Prüfungen desselben Modells mit einer Differenz von 35,9 Prozentpunkten.

Noch widersprüchlicher zur Intuition sind die Kosten: Die Gruppe mit dem höheren Ergebnis verursachte sogar niedrigere Ausgaben – sie sanken von rund 26.100 US-Dollar auf 17.300 US-Dollar, was einer Reduzierung von etwa 34 % entspricht.

Das „Gehirn“ des Systems wurde nicht ausgetauscht, nur die Arbeitsweise wurde geändert – und der Agent erreichte fast ein völlig neues Leistungsniveau.

Einige Tage später veranstaltete YC eigens einen Paper Club mit dem Titel „Why the Harness Matters More Than the Model“. Diese Veranstaltung wurde von François Chaubard von YC geleitet, und es nahmen drei Gruppen von Forschern mit unterschiedlichen Perspektiven teil: Seth Karten von Prime Intellect, Jon Saad-Falcon von der Stanford University sowie Josh France und Regan Bell von YC selbst.

Ihre Forschungsarbeiten haben unterschiedliche Schwerpunkte, aber alle konzentrieren sich auf dasselbe Ding: das System außerhalb des Modells – das Harness.

Zuerst die grundlegende Schlussfolgerung: Der entscheidende Wettbewerbsvorteil im Bereich der KI verschiebt sich von der Frage „Welches Modell ist leistungsstärker?“ hin zu „Wer kann das Modell besser organisieren?“.

Die Leistungsfähigkeit des Modells wird zunehmend zu einer „gegebenen Bedingung“. Unter der Voraussetzung gleicher Modellfähigkeiten können die Ergebnisse zwischen verschiedenen Agenten immer noch um 36 Prozentpunkte auseinanderliegen. Diese 36 Prozentpunkte stellen den Wertbereich dar, der durch das Harness geschaffen werden kann.

Daraus ergibt sich die Frage: Was ist das Harness eigentlich? Warum kann es so große Leistungsunterschiede verursachen? In diesem Artikel gehen wir den Antworten im Anschluss an diese Veranstaltung auf den Grund.

Das Harness ist die „Arbeitsweise“ außerhalb des Modells

Das Wort „Harness“ bedeutet ursprünglich „Pferdegeschirr“ – das Gerät, das am Pferd befestigt wird, um die Kraft des Pferdes auf einen Wagen zu übertragen.

Im Kontext der KI bezeichnet es das gesamte Ausführungsframework, das ein großes Sprachmodell bei der Bearbeitung realer Aufgaben umgibt: wie Systemprompte formuliert werden, wie der Kontext organisiert wird, welche Tools aufgerufen werden können, wo Erinnerungen gespeichert werden, wie Teil-Agenten ihre Aufgaben verteilen und wie Sitzungen verwaltet werden.

Eine anschauliche Unterscheidung lautet: Das Modell bestimmt, „wie klug das Gehirn ist“, während das Harness bestimmt, „welche Werkzeuge dieses Gehirn bei seiner Arbeit zur Verfügung hat“.

Wenn ein Agent Aufgaben ausführt, welche Informationen er einsehen kann, welche Tools er verwenden kann und ob er die Arbeit an der bereits erreichten Stelle fortsetzen kann – all dies wird nicht vom Modell, sondern vom Harness bestimmt.

Der YC-Partner François Chaubard hat diese Veränderung selbst miterlebt.

Im März dieses Jahres testete er das automatische Forschungsprojekt von Karpathy. Zuerst wollte er nur eine Oberfläche hinzufügen, um besser sehen zu können, was der Agent gerade tut und bis zu welchem Schritt das Experiment fortgeschritten ist. Im Laufe der Arbeit wurden nacheinander Funktionen für die Informationssuche, Experimentdurchführung, Begutachtung, Texterstellung und Fortschrittsverwaltung integriert – später stellte er fest, dass er versehentlich ein vollständiges Harness aufgebaut hatte.

Heute muss er nur noch die Forschungsrichtung und die Bewertungsmetriken angeben, und die nachfolgenden Arbeiten werden von mehreren Agenten kontinuierlich fortgesetzt. Die im März und April erstellten Arbeiten waren noch relativ roh; später gab er mehrere Forschungsideen auf einmal ein, ließ das System selbstständig laufen und holte sich nach einiger Zeit die Ergebnisse ab – deren Qualität ist inzwischen sehr gut.

Das Modell wurde nicht aktualisiert, aber die Ergebnisse, die der Agent liefert, werden immer besser.

Dahinter steckt eine einfache Wahrheit: Das Modell bestimmt die Obergrenze der erreichbaren Leistung, das Harness bestimmt, ob Sie diese Obergrenze auch tatsächlich erreichen können.

An dieser Stelle ist ein Hintergrund zu ergänzen: Arbeiten im Zusammenhang mit Harness wurden in der Vergangenheit in der Maschinellen Lern-Community oft als unwichtig eingestuft. Das Anpassen von Prompts, das Verbinden von Tools und das Einrichten von Aufgabenzyklen klingen eher nach technischer Optimierung als nach Modellentwicklung – manche Leute haben sogar öffentlich bezweifelt, ob dies überhaupt echte KI-Forschung ist.

Aber heute kann dieser einst vernachlässigte Bereich bereits erhebliche Leistungsunterschiede verursachen.

Die Grenze zwischen Harness und Modell verschwindet zunehmend

In den vergangenen Jahren lag der Fokus der Harness-Entwicklung immer darauf, zusätzliche Fähigkeiten hinzuzufügen. Heute wird das Harness selbst zum Objekt der Optimierung.

Als Erstes wurden die Prompts optimiert. Früher wurden ungeeignete Prompts von Menschen manuell immer wieder angepasst. Heutzutage können Systeme wie DSPy selbst verschiedene Formulierungen ausprobieren und anhand von Testergebnissen die Version mit der besten Wirkung auswählen – dadurch wird die „Prompt-Anpassung“ von einer handwerklichen Tätigkeit zu einem Suchproblem.

Der zweite Schritt ist die Optimierung des Harness selbst.

Das Darwin Gödel Machine (DGM) System geht noch weiter: Es passt nicht nur Prompts an, sondern kann auch direkt den Harness-Code ändern, der den Agent ausführt. Wenn ein Aufgabenablauf nicht gut funktioniert, wird eine andere Schreibweise ausprobiert, und anhand von Testergebnissen wird beurteilt, ob die neue Version besser ist. In Experimenten zu entsprechenden Arbeiten konnte dieses System das Ergebnis im SWE-bench von 20 % auf 50 % steigern.

Der dritte Schritt besteht darin, historische Erfahrungen in die nächste Version einzubinden.

Das Continual Harness ergänzt einen weiteren Aspekt: Der Agent kann auf vergangene Aufgabenaufzeichnungen und -ergebnisse zurückgreifen, um zu entscheiden, ob er Prompts ändert, Fähigkeiten hinzufügt, Erinnerungen aktualisiert oder die Konfiguration von Teil-Agenten anpasst.

Das heißt, die Erfahrungen, die bei der wiederholten Ausführung von Aufgaben gesammelt wurden, fließen nun in die nächste Version des Harness ein.

Eine noch radikalere aktuelle Richtung besteht darin, das Modell selbst während der Ausführung weiterlernen zu lassen – die neu vom Agent erzeugten Daten werden erneut für das Training verwendet, und sogar die Modellgewichte werden direkt während der Testphase aktualisiert.

Was bedeutet das?

Die Optimierungsrichtung verschiebt sich zunehmend vom Harness in das Innere des Modells. Die Verbesserung des Agenten hängt nun von der Iteration des Harness ab.

Mit anderen Worten: Die Grenze zwischen Harness und Modell wird zunehmend aufgehoben.

Ein gutes Harness muss den Arbeitsablauf nicht fest einprogrammieren

Eine widersprüchliche Erkenntnis lautet: Je leistungsstärker die Modelle werden, desto weniger muss das Harness jeden einzelnen Schritt für das Modell vordefinieren.

Bei der Entwicklung von Agenten in der Vergangenheit war es üblich, den Ablauf sehr detailliert aufzuteilen: Was im ersten Schritt zu tun ist, welches Tool im zweiten Schritt aufgerufen wird und wie das Ergebnis im dritten Schritt bewertet wird. Diese Vorgehensweise ist stabil, hat aber einen deutlichen Nachteil: Sobald die Aufgabe länger wird oder sich die Umgebung ändert, verliert der vorab programmierte Ablauf schnell seine Gültigkeit.

Seth von Prime Intellect stellte in seinem Vortrag den von seinem Team entwickelten Prime Agent vor. Sein Konzept ist genau das Gegenteil: Es werden wenige Abläufe fest vorgeschrieben, sondern dem Modell werden viele nutzbare Ressourcen zur Verfügung gestellt.

Eines der zentralen Designprinzipien ist die sogenannte „Informationsschichtung“. Alle Informationen, die der Agent benötigt, werden an drei verschiedenen Orten gespeichert.

Die aktuell wichtigsten und gerade verwendeten Informationen werden direkt in den Kontext aufgenommen. Wenn die historischen Informationen zu lang sind, werden sie zuerst komprimiert, sodass nur die Teile erhalten bleiben, die für die aktuelle Aufgabe wirklich benötigt werden.

Programme, Berechnungsergebnisse und Aufgabenfortschritte werden in einer dauerhaft laufenden REPL-Umgebung gespeichert. Man kann sich dies als eine Programmierumgebung vorstellen, die nicht nach einem einzelnen Aufruf geleert wird. Welchen Code der Agent zuvor geschrieben hat, welche Ergebnisse er berechnet hat und bis zu welchem Schritt die Aufgabe fortgeschritten ist – all dies kann später direkt weiterverwendet werden.

Langzeitgedächtnisinhalte, Fähigkeiten und Prompts werden in einem externen Speicher abgelegt, sodass sie nicht ständig im Kontext gehalten werden müssen und nur bei Bedarf abgerufen werden.

Für Teil-Agenten gilt dasselbe Designprinzip: Nach Abschluss einer Aufgabe werden sie nicht sofort „geleert“. Der zuvor aufgebaute Kontext bleibt erhalten, sodass sie bei der nächsten Aktivierung direkt an der ursprünglichen Arbeit weiterarbeiten können.

Das heißt, Prime hat die Zuständigkeiten zwischen Harness und Modell neu definiert. Der Wert dieses Designs zeigt sich besonders deutlich bei lang andauernden Aufgaben.

Das Team um Seth ließ den Agent sieben Tage lang das Spiel *Factorio* spielen. Dies ist ein sehr komplexes Automatisierungs-Wirtschaftsspiel, bei dem der Spieler selbst Produktionslinien planen, Ressourcen verteilen und Technologien freischalten muss – wobei ein einziger Fehlschritt den weiteren Verlauf jederzeit verändern kann.

Innerhalb von sieben Tagen rief der Agent insgesamt 633 Teil-Agenten auf und erzeugte mehr als 23 Millionen Ausgabe-Token. Am Abschluss beherrschte er 24 von 196 Technologien und brachte die Forschung an der nächsten Technologie „Fortgeschrittene Schaltkreise“ auf 71 %.

Im Verlauf kam es zu einem schwerwiegenden Fehler, bei dem der Fortschritt von bereits 5 beherrschten Technologien auf nur noch 1 zurückfiel. Das System leerte seinen Zustand aber nicht und startete nicht von vorne.

Die zuvor geschriebenen Programme, Ressourceninformationen und Aufgabenaufzeichnungen blieben erhalten, sodass das Modell anhand der neuen Situation neu entscheiden konnte, wie der nächste Schritt auszusehen hat, und die Arbeit weiter vorantrieb.

Das ist der zentrale Wert des Harness bei lang andauernden Aufgaben: Aufgaben mit langer Laufzeit bringen viele Situationen mit sich, die nicht im Voraus festgelegt werden können. Das Modell muss anhand der aktuellen Ergebnisse selbst entscheiden, was als Nächstes zu tun ist, während das Harness dafür sorgt, dass alle vorherigen Zustände und Arbeitsergebnisse erhalten bleiben – sodass diese Entscheidungen kontinuierlich getroffen werden können.

Dem Modell mehr Freiraum zur selbstständigen Entscheidung zu geben, bedeutet aber nicht, dass das Harness das Modell selbst ersetzen kann.

Auf dem öffentlichen Datensatz ARC-AGI-3 erzielte der mit Claude Opus 5 kombinierte Prime-Agent einen RHAE-Wert von 95,5 %; bei Verwendung des Modells Terra lag das Ergebnis nur bei 25,7 %.

Bei demselben Harness kann das Ergebnis je nach zugrundeliegendem Modell um fast 70 Prozentpunkte auseinanderliegen.

Die genaue Aussage lautet also: Das Harness ist sehr wichtig, aber es kann die Fähigkeiten des zugrundeliegenden Modells nicht ersetzen. Es verstärkt die bereits vorhandenen Fähigkeiten des Modells, statt neue Fähigkeiten aus dem Nichts zu erzeugen.

Kleinere Modelle mit unzureichender Leistung werden durch das Harness unterstützt

Ein weiterer sehr praktischer Anwendungsfall ist die lokale Ausführung von persönlichen KI-Systemen.

Heutzutage sind viele persönliche Agenten auf große Cloud-Modelle angewiesen. Texterstellung, Forschung, Programmierung und Terminplanung können an diese Systeme übergeben werden – aber der Nachteil liegt auf der Hand: Die langfristigen API-Kosten können Tausende von US-Dollar erreichen, und persönliche Daten wie E-Mails oder Dokumente müssen ständig an die Cloud übermittelt werden.

Das von dem Stanford-Forscher Jon Saad-Falcon in seinem Vortrag vorgestellte System OpenJarvis soll dieses Problem lösen: Persönliche KI soll so weit wie möglich auf dem eigenen Gerät ausgeführt werden.

Das Problem liegt darin, dass lokale Modelle noch nicht leistungsstark genug sind, um Cloud-Modelle direkt zu ersetzen.

Saad-Falcon wies darauf hin, dass zwischen aktuellen lokalen Modellen und den modernsten Modellen derzeit ein Leistungsunterschied von etwa 6 bis 12 Monaten besteht. Dieser Unterschied lässt sich nicht einfach dadurch beheben, dass man Claude durch ein Open-Source-Modell ersetzt.

Das Team führte ein direktes Experiment durch: Sie ersetzten das ursprünglich von OpenClaw und Hermes Agent verwendete Modell Claude Opus 4.6 direkt durch Qwen3.5-9B, ohne weitere Teile des Systems zu ändern. Infolgedessen sank die Genauigkeit bei zwei Tests um 24,8 bzw. 38,8 Prozentpunkte.

Daraus ergibt sich die Frage: Kann ein Teil dieses Unterschieds außerhalb des Modells wieder ausgeglichen werden?

Das Konzept von OpenJarvis besteht darin, das gesamte KI-System in den Optimierungsprozess einzubeziehen. Das persönliche KI-System wird in fünf Ebenen unterteilt: Welches Modell ausgewählt wird, wie das Modell ausgeführt wird, wie der Agent arbeitet, welche Tools und Gedächtniseinheiten aufgerufen werden können und wie das System im weiteren Verlauf weiterlernen kann.

Jede Ebene kann einzeln angepasst und anschließend neu kombiniert werden. Beispielsweise kann ein leistungsstärkeres Cloud-Modell zuerst fehlgeschlagene Fälle analysieren, um die Ursache des Problems zu ermitteln, und dann dem lokalen System helfen, seine Konfiguration zu ändern. Nach Abschluss der Optimierung läuft das System, das täglich verwendet wird, nach wie vor auf dem lokalen Modell.

Kurz gesagt: Große Modelle übernehmen die Bewertungsaufgaben, kleine Modelle übernehmen die Ausführungsaufgaben.

Wie gut funktioniert das? Bei unverändertem Qwen3.5-9B konnte das gesamte System nach der Optimierung etwa 56 % bzw. 77 % der durch den Modellwechsel entstandenen Leistungseinbußen in den beiden oben genannten Tests wieder ausgleichen.

In einem vollständigeren Satz von acht Tests erreichte das leistungsstärkste lokale System eine durchschnittliche Genauigkeit von 80,3 %, während der Wert von Claude Opus 4.6 bei 83,5 % liegt – der Unterschied schrumpfte auf nur 3,2 Prozentpunkte. Bei vier der Tests hat das lokale System das beste Cloud-Ergebnis bereits erreicht oder übertroffen.

Noch wichtiger ist, dass dieses Ergebnis bei sehr niedrigen Betriebskosten erreicht werden konnte. Nach den Maßstäben dieser Testreihe betragen die marginalen API-Kosten des lokalen Systems nur etwa 1/800 der Kosten der Cloud-Lösung, und die Ende-zu-Ende-Latenz konnte auf etwa ein Viertel verkürzt werden.

OpenJarvis beweist: Persönliche KI muss nicht warten, bis kleine Modelle große Modelle vollständig einholen, um von der Cloud auf lokale Geräte zu wechseln. Das Harness selbst kann einen Teil des Leistungsunterschieds bereits im