Letzte Nacht erfolgte die Erstveröffentlichung der neuen Version von DeepSeek Harness, die 14 Aktualisierungen umfasst und die multimodalen Fähigkeiten auf das absolute Maximum ausreizt.
Bericht von Zhi Dongxi am 20. August: Gestern Nacht hat DeepSeek Harness das erste wichtige Update nach Beginn der öffentlichen Testphase erhalten. Die Version DeepSeek Harness v0.1.0-rc.8 ist online gegangen, und die Multimodalitätsfähigkeit ist der Kernpunkt dieses Updates.
Dieses Update umfasst insgesamt 14 Anpassungen, die mehrere Bereiche wie multimodale Eingaben, Zusammenarbeit von Sub-Agenten, Terminalerlebnis, Tool-Aufruf und Entwicklerunterstützung abdecken. Es ergänzt nicht nur die Fähigkeit des Agenten zur Verarbeitung multimodaler Aufgaben wie Bildern, sondern verbessert auch weiter das Erlebnis der Zusammenarbeit von Sub-Agenten, der Terminalinteraktion und des Tool-Aufrufs.
Die neue Version unterstützt native Bildanforderungen und gemischte Eingaben aus Text und Bild, Befehle wie /goal und /plan können auch direkt Bilder empfangen; gleichzeitig sind Claude Code und Codex weiter in sein Sub-Agent-System integriert, und eine Reihe von Problemen wie das Windows-Terminalerlebnis, Bildanforderungen, Streaming-Generierung und benutzerdefinierte Gateways wurden behoben.
DeepSeek Harness hat am 13. August offiziell die öffentliche Testphase der v0.1-Version gestartet und gleichzeitig den Quellcode offen gelegt. Am Abend des Starts der öffentlichen Testphase hat Zhi Dongxi sofort den Quellcode abgerufen und praktische Tests durchgeführt, um Aufgaben wie die Übersetzung einer 88-seitigen Arbeit und die Entwicklung des Spiels „Snake“ abzuschließen.
Weniger als eine Woche später hat dieses Agent Harness nun auch die Multimodalitätsfunktion ergänzt. Dieses Update hat schnell Diskussionen in der DeepSeek Harness-Community ausgelöst.
Ein inländischer Entwickler hat nach dem Ansehen des Updates direkt ausgerufen: „DSH unterstützt jetzt Multimodalität, teilt es allen mit!“
Auch ausländische Entwickler richten ihre Aufmerksamkeit auf diese beiden Fähigkeiten. Ein Netznutzer bewertete, dass DeepSeek Harness „immer interessanter“ wird, und die Multimodalitätsunterstützung und die verbesserte Integration von Sub-Agenten sind ein deutlicher Fortschritt.
Noch interessanter ist, dass einige Entwickler die Methode von DeepSeek Harness zum „Bildverstehen“ ausgegraben haben: Bei Modellen, die selbst keine Bildeingabe unterstützen, kann es Tools wie OCR, Farbstatistik und Pixel-Scan aufrufen, um Bilder in strukturierte Informationen umzuwandeln und sie dann dem Textmodell zur Inferenz zu übergeben. Das entspricht der Erstellung einer „Vision“ auf der Tool-Ebene für reine Textmodelle.
GitHub:
https://github.com/deepseek-ai/deepseek-harness/releases/tag/dsh-v0.1.0-rc.8
01. Multimodalität ist offiziell ergänzt, direktes „Bildverstehen“ wird unterstützt
Die offensichtlichste Änderung von rc.8 ist, dass DeepSeek Harness die multimodale Eingabe weiter ergänzt hat.
Gemäß dem offiziellen Update-Protokoll kann der DeepSeek-Modelladapter jetzt native Bildanforderungen durch Konfiguration aktivieren. Für Modelle mit Sehfähigkeit kann Harness Bilder direkt an das Modell übergeben; Befehle wie /goal und /plan unterstützen auch bereits gemischte Eingaben aus Text und Bild.
Gleichzeitig wurde das @-Menü im Eingabefeld um Datei- und Sitzungsverweise erweitert, Benutzer können Inhalte wie lokale Dateien und vorhandene Sitzungen direkt in die aktuelle Aufgabe einbeziehen.
Das bedeutet, dass der Agent-Arbeitsablauf, der sich in der Vergangenheit hauptsächlich auf Text, Code und Tool-Aufrufe konzentrierte, jetzt visuelle Informationen wie Screenshots und Bilder weiter in den Aufgabenkontext einbeziehen kann.
Das Sub-Agent-System wird auch weiter ausgebaut.
Die neue Version unterstützt die bedarfsgesteuerte Installation von Claude Code und Codex als Profile Bundle. Dabei unterstützt Codex den nicht-interaktiven Berechtigungsmodus und mehrere benannte Instanzen, was die Konfiguration verschiedener Codex-Sub-Agenten in derselben Aufgabe erleichtert.
Windows-Benutzer werden dieses Mal besonders berücksichtigt. Das PTY-Terminal von DeepSeek Harness unterstützt dauerhafte PowerShell-Sitzungen und ist im Standard-Modus standardmäßig aktiviert, um das Problem des häufigen Neuerstellens der Terminalumgebung während der Befehlsausführung zu reduzieren.
Neben neuen Funktionen hat dieses Update auch eine Reihe von Problemen behoben, die nach der öffentlichen Testphase aufgetreten sind.
Zum Beispiel: Wenn die Größe eines einzelnen Bildes zu groß ist oder zu viele Bilder in der historischen Sitzung angesammelt werden, konnte früher die Modellanforderung direkt fehlschlagen; die neue Version hat dieses Problem behandelt.
Nach dem Abbruch einer Streaming-Generierung konnte der bereits angezeigte Antwort-Präfix früher nicht in die nächste Frage oder die verzweigte Sitzung übernommen werden, dieses Problem wurde jetzt behoben.
Für Entwickler, die ein benutzerdefiniertes OpenAI-kompatibles Gateway verwenden, behebt die neue Version auch die Probleme, dass einige Gateways aufgrund von Unterschieden im Anforderungsformat nicht aufgerufen werden können und dass die Rückübertragung von Inferenzinhalten fehlt.
02. Reine Textmodelle können auch „Bilder verstehen“, OCR und Pixelanalyse erzeugen die Vision auf der Tool-Ebene
Neben der Ergänzung der nativen Bildanforderung von DeepSeek Harness wurde schnell ein interessantes Detail von Entwicklern ausgegraben.
Der Netznutzer Yinsen hat beim Testen der Bildverarbeitung durch DeepSeek Harness festgestellt, dass wenn das aufgerufene Modell selbst keine Bildeingabefähigkeit angibt, der direkte Aufruf von read_image zunächst fehlschlägt.
Aber die Aufgabe wird nicht gestoppt. Aus dem angezeigten Ausführungsverlauf geht hervor, dass Harness anschließend zu einer anderen Toolkette wechselt: Zuerst wird eine OCR-Texterkennung durchgeführt, dann wird das Farbverhältnis im Bild berechnet, einige Pixelzeilen werden gescannt, und gleichzeitig werden Metainformationen wie Bildgröße und Farbmodus gelesen.
Zum Beispiel kann ein Bild mit Text und einfachen Grafiken in mehrere Gruppen von Informationen wie „Textinhalt und Koordinaten“, „Hintergrundfarbverhältnis“, „Pixeländerungen in bestimmten Bereichen“ und „Bildgröße“ unterteilt werden.
Schließlich werden diese strukturierten Ergebnisse wieder an das große Textmodell übergeben, sodass das Modell den ungefähren Inhalt des gesamten Bildes anhand von Beweisen wie OCR-Text, Farbverhältnis und Pixelposition ergänzen kann.
Daher unterscheidet sich diese Fähigkeit deutlich von dem direkten Verstehen von Bildern durch große visuelle Modelle. Bei Bildern mit relativ klarer Struktur wie PPT-Screenshots, Flussdiagrammen und Oberflächen-Screenshots kann sie viele nützliche Informationen mithilfe von OCR und Pixelmerkmalen erhalten; bei Inhalten wie echten Fotos und komplexen räumlichen Beziehungen sind die Informationen, die diese Toolkette wiederherstellen kann, deutlich begrenzt.
Aus der Perspektive von Agent Harness ist dieses Design sehr interessant: Die Sehfähigkeit ist nicht vollständig an das Basismodell gebunden, und Tools können auch einen Teil der Wahrnehmungsarbeit übernehmen.
Tatsächlich sind vor der offiziellen Erweiterung der Multimodalitätsunterstützung in der DeepSeek Harness-Community bereits eine Reihe von Plug-Ins für die Sehfähigkeit entstanden, darunter dsh-vision, dsh-vision-toolkit, modlens, dsh-auto-vision, dsh-subagent-vision und pi-vision, das über pi2dsh verbunden ist.
Einige dieser Lösungen verarbeiten Bilder indirekt durch reine Textmodelle mithilfe von OCR, Pixelanalyse, strukturierten Beweisen oder unabhängigen visuellen Sub-Agenten; einige Entwickler konfigurieren durch benutzerdefinierte Routen für Modelle, die bereits Sehfähigkeit unterstützen, input: [text, image], um Bilder direkt zu empfangen.
Nach dem Start von rc.8 können native multimodale Modelle und diese Art von Vision-Lösungen auf Tool-Ebene weiter zusammenarbeiten.
03. Schnelle Iteration nach weniger als einer Woche seit dem Online-Gehen, Fokus auf Multimodalität und Sub-Agenten
Beim Start der öffentlichen Testphase am 13. August hat das DeepSeek Harness-Team betont, dass sein zentrales Designprinzip „Alles ist Plug-In“: Alle Agent-Fähigkeiten wie Modelle, Tools, Fähigkeiten, Sitzungen, Sandboxes, Speicher, Schleifen, Planung und UI können durch verschiedene Plug-Ins kombiniert und ersetzt werden. Wenn Agent Harness über immer reichere Tools und Sub-Agenten verfügt, können einige Aufgaben, die ursprünglich von der Fähigkeit eines einzelnen Modells abhängen, durch Tool-Orchestrierung neu zerlegt und realisiert werden.
Dieses rc.8 stärkt weiter dieses Plug-In-Prinzip: Visuelle Modelle können native Bilder empfangen, reine Textmodelle können auch mithilfe von visuellen Tools einen Teil der Bildinformationen erhalten; Claude Code und Codex können als Sub-Agenten bedarfsgesteuert in dasselbe Harness eingebaut werden.
Neben diesen Kernänderungen fügt rc.8 auch Optimierungen wie gleichzeitige Abfragen für web_search, rechtzeitiges Aufwecken der übergeordneten Aufgabe durch die reportDelivery von Sub-Agenten und automatisches Öffnen des Browsers beim lokalen Ausführen von dsh web hinzu, und verbessert die Lese- und Schreibleistung für Verzweigungen großer historischer Sitzungen und das SQLite-Backend.
04. Schlussfolgerung: Alles ist Plug-In, die Modellfähigkeiten „zerlegen und neu kombinieren“
Vom Start der öffentlichen Testphase am 14. August bis zur heutigen Ergänzung von Multimodalität und mehr Sub-Agent-Fähigkeiten befindet sich DeepSeek Harness noch in einer Phase der schnellen Iteration.
Als Nächstes ist es erwähnenswert, ob dieses plug-in-fähige Harness weiter mehr Modelle, Tools und Agenten in dasselbe System einbeziehen kann, um komplexere und stabilere Aufgabenabläufe auszuführen.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Zhi Dongxi“ (ID: zhid xcom), Autor: Jiang Yu, Redakteur: Li Shuiqing, veröffentlicht mit Genehmigung von 36Kr.