Soll man zuerst die Prompts oder die Wissensdatenbank anpassen, wenn der KI-Kundenservice irrelevante Antworten gibt, die nicht zur gestellten Frage passen?

Wenn der Nutzer fragt „Wann kommt meine Rückerstattung an?“, antwortet der Assistent mit einer allgemeinen Richtlinienangabe – die Ursache für diese falsche Antwort kann in der Routenführung, der Abfrage, der Wissensversion oder dem Generierungsabschnitt liegen. Dieser Artikel zerlegt die Untersuchungskette anhand echter Fälle, von der Wiederherstellung über Protokolle bis zur Absichtserkennung, Wissensabfrage und Modellgenerierung, und lehrt Sie, Probleme mit Beweisen zu lokalisieren, um blindes Ändern von Prompts zu vermeiden.

Der Nutzer fragt auf der Bestellseite „Wann kommt meine Rückerstattung an?“, und der Assistent antwortet: „Nach Einreichung des Rückerstattungsantrags erstattet die Plattform den Betrag auf die ursprüngliche Zahlungsmethode zurück. Bitte haben Sie Geduld.“ Der Nutzer möchte den Fortschritt seines eigenen Geldes wissen, bekommt aber nur eine allgemeine Erklärung.

Wenn Sie auf so etwas stoßen, handeln Sie nicht zu schnell. Die falsche Antwort kann an der Routenführung, der Abfrage, der Wissensversion, der Generierung liegen, oder es wurde überhaupt keine Echtzeitdaten abgerufen. Wenn Sie sofort den Prompt ändern, ist das meistens vergeblich.

Nehmen wir dieses Beispiel. Diese Aussage stammt aus der allgemeinen Rückerstattungserklärung im Hilfezentrum. Der Rückerstattungsstatus dieser Bestellung lautet tatsächlich „abgeschlossen“, der Assistent hat die Bestellschnittstelle bei diesem Vorgang überhaupt nicht aufgerufen. Die Abfrage des persönlichen Fortschritts ist nie bis zur Echtzeitabfrage gelangt.

Das ist aber nur eine Annahme. Wenn es wirklich im Live-Betrieb passiert, müssen Sie zuerst bestätigen, ob das so war. Sie müssen die Aufzeichnungen dieser Runde prüfen: die genauen Worte des Nutzers und die Zeit, der Eingang und der Kontext der Bestellung, die Absicht und das Routenergebnis, die abgefragten Kandidaten und ihre Version, der Kontext, der an das Modell übergeben wurde, die Tool-Aufrufe und Rückgaben, die Version des Prompts und der Modellkonfiguration sowie die endgültige Antwort. Ohne diese können Sie nur ähnliche Symptome reproduzieren, aber nicht erklären, warum die Antwort damals falsch war.

Zuerst rufen Sie die Protokolle dieser Runde ab

Diese Anfrage lässt sich anhand der Protokolle wiederherstellen: Sie kommt von der Bestellseite; der Nutzer fragt, wann die Rückerstattung ankommt; das System leitet sie zur Richtlinien-Frage-Antwort weiter; die Abfrage gibt die allgemeine Rückerstattungserklärung zurück; die Rückerstattungsabfrage wurde nicht aufgerufen; das Modell erstellt aus diesen Materialien eine Richtlinienantwort.

Wenn Sie entlang dieser Kette prüfen, wird der Suchbereich klein. Wenn die Bestellseite den Kontext nicht an den Kundenservice weitergibt, kann die Abfrage des persönlichen Fortschritts überhaupt nicht starten; wenn der Kontext übermittelt wurde, prüfen Sie, ob die Routenführung „diese Bestellung abfragen“ erkannt hat; wenn die Routenführung korrekt ist, prüfen Sie, ob die Rückerstattungsschnittstelle aufgerufen wurde und was sie zurückgegeben hat.

Wenn die Protokolle keine Abfrageergebnisse oder Schnittstellenaufzeichnungen enthalten, verwenden Sie ein autorisiertes Testkonto und einen festen Bestellstatus, um die Frage in der Testumgebung zu wiederholen, wobei Wissensversion, Prompt, Modell und Konfiguration festgelegt werden. Die Wiederholung kann zeigen, ob das gleiche Phänomen unter der aktuellen Konfiguration noch auftritt; wenn der Live-Status sich geändert hat und die ursprüngliche Konfiguration nicht archiviert wurde, kann sie nicht die Ursache des Problems zu dem Zeitpunkt beweisen. Sie müssen dieses Maß gut beherrschen.

Fragt er nach der Regel oder nach seiner eigenen Bestellung

„Wie lange dauert es nach der Genehmigung der Rückerstattung, bis sie auf dem Konto ankommt?“ fragt nach der allgemeinen Regel; „Wann kommt meine Rückerstattung für diese Bestellung an?“ fragt nach seiner eigenen Bestellung. Die beiden Sätze sind ähnlich, aber ihre Verarbeitungswege können völlig unterschiedlich sein. Wenn das System den Kontext der Bestellseite lesen kann, muss dieser Kontext bei der Klassifizierung mitberücksichtigt werden; wenn der Nutzer von einem öffentlichen Eingang kommt, muss zuerst das Bestellobjekt bestätigt werden, bevor entschieden wird, ob der Echtzeitstatus abgefragt werden soll.

Bei der Absichtserkennung sollten Sie nicht nur die Fragestellung betrachten, sondern auch das tatsächliche Routenergebnis, und dann eine Gruppe von Fragen mit ähnlichen Grenzfällen verwenden, um die Klassifizierung zu prüfen:

„Wie lange dauert eine Rückerstattung normalerweise, bis sie ankommt?“ – Abfrage der allgemeinen Regel.

„Wie viele Tage dauert es normalerweise, bis die Rückerstattung nach der Genehmigung ankommt?“ – Abfrage der Regel, die Antwort muss die Anwendungsbedingungen angeben.

„In welchem Schritt befindet sich meine Rückerstattung jetzt?“ – Abfrage des persönlichen Fortschritts, erfordert Bestellkontext und Geschäftsschnittstelle.

„Bestellnummer……, warum ist diese Rückerstattung noch nicht angekommen?“ – Abfrage des persönlichen Fortschritts und Erklärung des aktuellen Status; wenn der Status den Grund nicht erklären kann, wird an die menschliche Prüfung weitergeleitet.

Diese Gruppe von Fragen muss zusammen mit den Eingangsbedingungen getestet werden. Wenn Sie nur die Fragestellung zu den Beispielen hinzufügen, beweist das nicht, dass die Klassifizierung die Ursache ist. Sie müssen den damaligen Kontext, die Routenausgabe prüfen, und auch sicherstellen, dass die geänderten benachbarten Regelfragen noch den ursprünglichen Weg nehmen.

Wenn die Routenführung korrekt ist, prüfen Sie die Wissensabfrage. Sehen Sie sich die abgefragten Kandidaten, die Sortierung, die Dokumentversion und die letzten Fragmente an, die in das Modell eingefügt wurden. Wenn die richtige Dokumentation unter den Kandidaten vorhanden ist, aber weit hinten sortiert ist, ist das etwas anderes als wenn die Wissensdatenbank überhaupt keine richtigen Inhalte enthält. Wenn zwei Regelsätze (alt und neu) abgefragt werden, müssen Sie zuerst bestätigen, welcher gültig ist, bevor Sie die Versionsmarkierung oder die Abfragekonfiguration anpassen.

In der Wissensdatenbank befinden sich Rückerstattungsregeln, Antragsbedingungen und Bearbeitungshinweise; der aktuelle Fortschritt einer bestimmten Bestellung muss aus dem Bestell- oder Zahlungssystem abgefragt werden. Beide können manchmal gemeinsam an der Antwort beteiligt sein: Zuerst wird der Bestellstatus abgefragt, dann wird die Regel zitiert, um diesen Status zu erklären. Bei der Untersuchung müssen Sie klar unterscheiden, woher die Fakten in der Antwort jeweils stammen.

Wenn die Materialien korrekt sind, prüfen Sie, was das Modell sagt

Wenn Routenführung, Abfragekandidaten und der an das Modell übergebene Kontext den Erwartungen entsprechen, aber die Antwort trotzdem „genehmigt“ als „Rückerstattung ist bereits angekommen“ bezeichnet, dann ist der Generierungsabschnitt zu prüfen.

Legen Sie den Inhalt offen, der in dieser Runde an das Modell übergeben wurde: Was hat der Nutzer gefragt, was sind der Bestellstatus und die Aktualisierungszeit, sind die abgefragten Fragmente vollständig, welche Version von Prompt und Modellkonfiguration wird verwendet, und was hat die endgültige Antwort zu viel oder zu wenig gesagt. Dass das Abfrageergebnis korrekt ist, bedeutet nicht, dass der eingefügte Kontext unbedingt vollständig ist; Fragmente können abgeschnitten werden, und Statusfelder können beim Zusammenfügen ihre Bedeutung verlieren.

Fügen Sie diese Informationen zu einem Akzeptanzbeispiel zusammen:

Eingang und Kontext: Angemeldeter Nutzer, der von der Detailseite seiner eigenen Bestellung kommt; die Überprüfung der Bestellzugehörigkeit ist bestanden. Nutzerfrage: „Wann kommt meine Rückerstattung an?“ Schnittstellenrückgabe: Die Rückerstattung wurde genehmigt, die Rückerstattungsanweisung wurde noch nicht ausgestellt; Aktualisierungszeit ist der 8. Oktober; es gibt keine voraussichtliche Ankunftszeit. Abfrageinhalt: Aktuell gültige Rückerstattungsregeln, die die nach der Genehmigung folgenden Bearbeitungsschritte erläutern. Erwartete Antwortpunkte: Erklären, dass die Genehmigung erteilt wurde und die Rückerstattungsanweisung noch nicht ausgestellt ist; die Aktualisierungszeit mitteilen; kein konkretes Ankunftsdatum ergänzen; den Eingang zur menschlichen Prüfung anbieten. Aufgezeichnete Version: Routenkonfiguration, Abfragekonfiguration, Prompt, Modellversion und Zeit der Schnittstellenrückgabe.

Wenn im Modellkontext „die Rückerstattungsanweisung wurde noch nicht ausgestellt“ fehlt, prüfen Sie das Zusammenfügen oder Abschneiden von Inhalten; wenn der Kontext vollständig ist, aber die Antwort trotzdem behauptet, dass das Geld bereits angekommen ist, prüfen Sie die Generierungsanweisung und die Änderungen der Modellparameter; wenn das Schnittstellenfeld selbst die abgeschlossene Prüfung und die abgeschlossene Rückerstattung vermischt, ändern Sie zuerst die Definition des Geschäftsfeldes. Jede Änderung muss mit den Beweisen übereinstimmen.

Ändern Sie einen Punkt, und testen Sie anschließend die gesamte Kette

Eine Untersuchungstabelle kann ein Problem zu einem überprüfbaren Datensatz machen:

Wenn bei einer Reparatur gleichzeitig der Wissensinhalt und die Abfragekonfiguration geändert wurden, notieren Sie diese beiden als eine Gruppe von Änderungen, vergleichen Sie die Kandidaten und Antworten vor und nach der Änderung, und führen Sie die zugehörigen Kernbeispiele erneut aus. Wenn sich Prompt, Modell oder globale Konfiguration ändern, müssen Sie auch den vollständigen Kern-Regressionssatz ausführen, um zu prüfen, ob andere Absichten, Status und Weiterleitungen an den menschlichen Kundenservice sich verschlechtert haben. Notieren Sie die Ergebnisse der Beispiele nach der Reparatur, sodass Sie beim nächsten ähnlichen Problem nachschlagen können.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Alle sind Produktmanager“ (ID: woshipm), Autor: Wang Meng, veröffentlicht mit Genehmigung von 36Kr.