Ein Skill lässt DeepSeek V4 Pro Fable 5 übertreffen? Das beliebte Plug-in wurde entlarvt.

Mit nur einem Skill kann DeepSeek V4 Pro Fable 5 übertreffen?

Vor ein paar Tagen verbreitete sich J-Space aufgrund einer Gruppe übertriebener Testergebnisse rasant im Internet, und niemand erwartete, dass es heute komplett scheitern würde.

Der Autor behauptet, dass V4 Pro, sobald ein Skill in die Agent-Umgebung integriert ist, in mehreren Benchmarks erheblich verbessert werden kann, einige Ergebnisse sogar Fable 5 übertreffen, und die Geschwindigkeit sowie die Token-Effizienz können sich mehr als verdoppeln.

Aber die Ergebnisse der erneuten Tests durch die Community sind völlig gegenteilig: Die Leistung wurde nicht verbessert, sondern es wurden mehr Token verbraucht.

Angesichts der Zweifel der Nutzer hat der Autor nicht nur keine vollständigen Bewertungsaufzeichnungen oder Betriebsprotokolle veröffentlicht, sondern es wurde auch aufgedeckt, dass er die zweifelhaften Issues gelöscht hat.

Damit wurde eine Feier zu einer öffentlichen Fälschungsaufdeckung.

Mit nur einem Skill übertrifft V4 Pro Fable 5?

Das Projekt, das diesmal Aufmerksamkeit erregt hat, heißt J-Space Cognition Suite V3.6.

Gemäß der Projektbeschreibung handelt es sich um eine modellunabhängige Steuerungslösung während der Inferenz. Sie ändert keine Modellgewichte und erfordert auch kein Fine-Tuning, sondern wird in Form eines Skill in die Laufzeitumgebung des Agent integriert.

„DeepSeek V4 × J-Space Capability Release Report“: https://github.com/Tiger3807861189/DeepSeek-V4-J-Space-Capability-Realization-Report

Der Projektautor fasst die häufigen Kontrollverluste von Agent in vier Fälle zusammen.

Der erste Fall ist Arbeitsüberlastung des Workingsets. Wenn zu viele Ziele, Einschränkungen und Werkzeuginformationen gleichzeitig in die Aufgabe eingefügt werden, werden die wirklich wichtigen Inhalte überdeckt.

Der zweite Fall ist Repräsentationsdrift. Ein Name, ein numerischer Wert oder ein Aufgabenziel ändert sich allmählich zwischen mehreren Inferenzrunden und mehreren Dateien.

Der dritte Fall ist ungültiger Wiederholungsversuch. Nach einem fehlgeschlagenen Werkzeugaufruf behält das Modell keine Diagnoseinformationen und läuft einfach entlang der ursprünglichen Route erneut.

Der vierte Fall ist vorzeitiger Abschluss. Das Modell generiert eine scheinbar flüssige Antwort und geht davon aus, dass die Aufgabe abgeschlossen ist, ohne zu überprüfen, ob das Ergebnis tatsächlich verwendbar ist.

Diese Probleme treten besonders häufig bei lang andauernden Agent-Aufgaben auf.

J-Space versucht, den gesamten Ausführungsprozess zu einem stabileren Zyklus zu organisieren: Kurze Beurteilung, Ausführung von Operationen, tiefgehende Inferenz, Überprüfung der Ergebnisse und Wiederherstellung mit Diagnoseinformationen bei auftretenden Problemen.

Es beschränkt auch die Anzahl der gleichzeitig aktiven Inhalte im aktuellen Arbeitsbereich und schreibt wichtige Ziele, überprüfte Informationen, ungelöste Probleme und nächste Schritte in ein externes Ledger.

Einfach ausgedrückt möchte J-Space verhindern, dass das Modell während der Arbeit vergisst, was es eigentlich tut.

Die Idee klingt nicht kompliziert, aber die veröffentlichten Ergebnisse sind ziemlich erstaunlich.

Dem Bericht zufolge stieg nach der Integration von J-Space das Terminal-Bench-Ergebnis von V4 Pro von 87,9 auf 90,1, NL2Repo stieg von 61,5 auf 73,4 und DeepSWE stieg von 62,7 auf 72,0.

Gemäß dem Vergleich der öffentlichen Ergebnisse im Bericht übertrifft V4 Pro in einigen Agent- und Programmierbenchmarks sogar Fable 5 und Opus 4.8.

Aufdeckung einer Fälschung, aber der Beitrag wurde gelöscht

Die ersten negativen Ergebnisse stammen aus Issue #10 des J-Space-Repositories.

Link: https://github.com/Tiger3807861189/J-Space-Cognition-Suite-V3.6/issues/10

Ein Entwickler führte zwei Runden von A/B-Tests mit V4 Flash durch, die Aufgaben wie mathematische Inferenz, Codegenerierung, Repository-Entwicklung und Unterbrechungswiederherstellung abdeckten.

In der zweiten Experimentrunde wurden die Kontrollgruppe und die J-Space-Gruppe jeweils 3 Mal ausgeführt, insgesamt 12 Mal.

Die Ergebnisse zeigten keinen signifikanten Unterschied im endgültigen Aufgabenerfüllungsgrad zwischen den beiden Gruppen, während die J-Space-Gruppe mehr Ressourcen verbrauchte.

In der blinden Bewertung durch Dritte betrug die durchschnittliche Punktzahl der Kontrollgruppe 8,30, während die der J-Space-Gruppe nur 7,87 betrug.

Dieses Experiment hat einen begrenzten Umfang und verwendet auch V4 Flash und benutzerdefinierte Aufgaben, sodass nicht alle Benchmarks im J-Space-Bericht abgedeckt werden können. Es hat jedoch auch einige Zweifel an der „gleichzeitigen Verbesserung von Leistung, Geschwindigkeit und Token-Effizienz“ aufgeworfen.

Anschließend tauchten überzeugendere Ergebnisse auf.

Link: https://github.com/Tiger3807861189/J-Space-Cognition-Suite-V3.6/issues/26

Der Nutzer Jyleaves erklärte in Issue #26, dass er 8 NVIDIA H20-Grafikkarten verwendet hat, um V4 Flash bereitzustellen und J-Space über den DeepSeek Harness Standard-Modus zu laden.

Von 89 Aufgaben hat das Modell 69 bestanden, die endgültige Punktzahl betrug 77,5 %. Das entsprechende Ergebnis im J-Space-Bericht liegt jedoch bei 87,1 %.

Der Tester fügte hinzu, dass die fehlgeschlagenen Aufgaben mindestens 3 Mal erneut ausgeführt wurden, ohne die im Bericht angegebene Verbesserung zu erzielen, und stellte daher die Authentizität der Projektdaten in Frage.

Aus diesem Grund forderte der Tester den Autor auf, die vollständige Bewertungsumgebung, den Testablauf und die Beispielausgaben offenzulegen.

Was die Situation noch verschlimmerte: Ein Entwickler behauptete in Issue #23, dass sein zuvor veröffentlichter zweifelhafter Issue vom Autor gelöscht wurde, sodass er nur einen neuen Beitrag zur Sicherung veröffentlichen konnte.

Link: https://github.com/Tiger3807861189/J-Space-Cognition-Suite-V3.6/issues/23

Man will etwas verbergen und gibt sich dadurch selbst preis.

Genau die Schwachstellen von V4 Pro getroffen

Geschickte Tarnung erfindet selten alles aus dem Nichts. Solange man sich auf bereits vorhandene Tatsachen stützt, wirkt alles ganz selbstverständlich.

J-Space trifft genau das am meisten beachtete Problem von V4 Pro: Es ist zu empfindlich gegenüber der externen Laufzeitumgebung.

Von Anfang an wurde festgestellt, dass die Leistung von V4 Pro bei verschiedenen Nutzern und unter verschiedenen Aufrufbedingungen stark variiert.

Jemand hat in der Nacht der Veröffentlichung der offiziellen Version zwei Tests für ein 3D-Hubschrauberspiel mit ähnlichen Prompts durchgeführt. Um 0:50 Uhr morgens waren die vom Modell generierten Ergebnisse noch sehr unausgereift; weniger als vier Stunden später lieferte es ein viel vollständigeres Projekt ab.

Nutzer vermuten, dass der Unterschied außerhalb des Modells liegen könnte, beispielsweise im Harness.

In einer technischen Aufgabe namens Project2 erzielte dasselbe V4 Pro 91 Punkte im Standard-Modus von DeepSeek Harness, 92 Punkte im PTC-Modus, und im Minimal-Modus mit weniger Werkzeugen wurden in zwei Tests 99 bzw. 96 Punkte erreicht.

Das Modell und die Aufgabe haben sich nicht geändert, aber die externe Laufzeitumgebung hat einen Unterschied von fast 8 Punkten verursacht.

Anschließend tauchten einige gezielte Lösungen auf.

Die Routing Suite versucht, den Inferenzmodus entsprechend dem Aufgabentyp auszuwählen, um zu vermeiden, dass das Modell bei einfachen Aufgaben übermäßig nachdenkt und bei komplexen Aufgaben zu früh handelt.

GitHub: https://github.com/yjh051108/dsh-routing-suite?utm_source=chatgpt.com

Anchored Standard konzentriert sich auf die erste Anfrage des Modells: In der ersten Runde werden kurze Prompts und eine kleine Anzahl von Werkzeugen verwendet, um V4 Pro in einen relativ stabilen Verlauf zu bringen, bevor die vollständige Werkzeugfähigkeit freigegeben wird.

GitHub: https://github.com/xiaobright/dsh-anchored-standard?utm_source=chatgpt.com

Das ist der verwirrendste Teil von J-Space: Es stützt sich auf ein tatsächlich existierendes Problem.

Wenn man dieser Logik folgt, kann eine Tabelle mit der Angabe „Fable 5 übertreffen“ innerhalb weniger Minuten in der gesamten Community verbreitet werden, aber es ist nicht so einfach, dies zu überprüfen.

Eine Verbesserung, die reproduziert werden kann, ist eine echte Verbesserung. Bei Ergebnissen, für die kein Prozess nachgewiesen werden kann, sollte man umso mehr Zweifel hegen, je erstaunlicher die Zahlen sind.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Machine Heart“, Autor: Machine Heart, veröffentlicht mit Genehmigung von 36Kr.