Bevor die KI-Funktion gestartet wird, klärt der Produktmanager zuerst drei Dinge durch Nachfragen eindeutig auf.
"„Wir brauchen auch eine KI-Funktion“ – mit einem einzigen Satz des Chefs beginnt der Produktmanager, Modelle auszuwählen, Prompts zu schreiben und Interfaces zu entwerfen. Nach dem Launch ist die Klickrate gut, aber die Bindungsrate ändert sich nicht, und die Nutzer rückmelden, dass die Antworten nicht sehr genau sind. Das Problem liegt nicht in der Umsetzung, sondern darin, dass vor dem Start drei Fragen nicht klar geklärt wurden: Für welchen Schritt genau zahlen die Nutzer den Preis? Was passiert, wenn die KI einen Fehler macht? Wie lässt sich nachweisen, dass die KI bessere Ergebnisse liefert? Nachdem diese drei Fragen gestellt wurden, ist es nicht zu spät, mit der Umsetzung zu beginnen."
In den letzten zwei Jahren hat fast jedes Produktteam die gleiche Art von Anforderung erhalten: "Wir brauchen auch eine KI-Funktion."
Die Quelle dafür kann sein, dass der Chef auf einer Branchenveranstaltung beeindruckt wurde, dass ein Konkurrent gerade einen intelligenten Assistenten veröffentlicht hat, oder dass das Technikteam einen sehr coolen Demo erfolgreich umgesetzt hat. Bei der Anforderung gibt es nur einen Satz und einen Stichtag.
Dann beginnt die Pfadabhängigkeit des Produktmanagers: Welches Modell soll ausgewählt werden, wie soll der Prompt formuliert werden, wo soll der Eingang platziert werden, wie soll das Interface aussehen.
Wenn die Funktion fertiggestellt und gestartet ist, sehen Sie sich die Daten an: Die Klickrate ist gut, die Bindungsrate ändert sich nicht, und in den Nutzerfeedbacks steht überall, dass die Antworten nicht sehr genau sind. Bei der Nachbesprechung stellt sich heraus, dass die Umsetzung nicht unzureichend war, sondern dass vor dem Start viele Fragen noch nicht klar geklärt waren.
Deshalb müssen Sie vor der Projektgenehmigung mindestens die folgenden drei Fragen klarstellen:
Erste Frage: Für welchen Schritt genau zahlen die Nutzer den Preis?
Viele KI-Funktionen werden mit der Begründung genehmigt, dass dieser Ablauf mit KI optimiert werden kann.
— Das klingt in Ordnung, aber die Fragestellung ist falsch.
Die eigentliche Frage lautet: An welcher Stelle bleiben die Nutzer in diesem Szenario konkret hängen? Welchen Preis müssen sie derzeit für diesen Schritt zahlen?
Das kann Zeit sein, zum Beispiel dauert das Schreiben eines Wochenberichts vierzig Minuten.
Das kann eine Hürde sein, zum Beispiel erhält man keine Daten, wenn man kein SQL schreiben kann.
Das kann auch eine psychische Belastung sein, zum Beispiel weiß man nicht, wo man anfangen soll, wenn man ein leeres Dokument vor sich hat.
Nur wenn Sie den Preis klar beschreiben, können Sie beurteilen, ob die KI die passende Lösung ist.
Ein sehr praktischer Prüfansatz lautet: Entfernen Sie das Wort "KI" und beschreiben Sie den Wert dieser Funktion in einem Satz. "Den Wochenbericht der Nutzer von 40 Minuten auf 5 Minuten verkürzen" ist sinnvoll. "Das Schreiberlebnis durch KI verbessern" ist nicht sinnvoll, da es das Mittel und nicht den Wert beschreibt.
Das ist noch nicht alles, fragen Sie weiter: Kann dieser Preis auch mit herkömmlichen Lösungen gelöst werden?
Wenn eine Vorlage, ein Filter oder eine Regel das Problem lösen kann, ist es nicht notwendig, eine KI einzusetzen.
Der Vorteil von KI liegt in der Verarbeitung unscharfer, offener und nicht vollständig aufzählbarer Aufgaben, zum Beispiel das Verstehen einer natürlichen Sprache, das Generieren eines ersten Entwurfs oder das Extrahieren von Kernpunkten aus großen Textmengen. Wenn die Aufgabe selbst ausreichend definiert ist, sind Regeln oft schneller, günstiger und kontrollierbarer.
Das Ziel der ersten Frage ist, zu verhindern, dass KI zum Zweck anstatt zum Mittel gemacht wird.
Zweite Frage: Was passiert, wenn die KI einen Fehler macht?
Die Logik herkömmlicher Funktionen ist festgelegt: Gleiche Eingabe führt zu gleicher Ausgabe, Fehler sind Bugs, die nur behoben werden müssen.
Aber die zugrundeliegende Logik von KI-Funktionen ist anders: Sie ist probabilistisch, es gibt immer einen bestimmten Anteil an Fehlern, und dieser Anteil kann nicht auf Null reduziert werden.
Deshalb müssen Sie die Fragestellung ändern: Nicht "Kann sie das richtig machen?", sondern "Wie schwerwiegend sind die Folgen, wenn sie einen Fehler macht?".
Sie können das aus drei Perspektiven betrachten:
Wie hoch ist der Preis des Fehlers: Wenn die KI ein Lied empfiehlt, das nicht dem Geschmack entspricht, kann der Nutzer einfach weiterwischen. Wenn die KI eine fehlerhafte Rechtsklausel generiert und der Nutzer sie anwendet, sind die Folgen völlig anders. Je höher der Preis, desto mehr sollte die KI in die unterstützende Rolle zurücktreten, und der Mensch trifft die endgültige Entscheidung.
Kann der Fehler rechtzeitig erkannt werden: Wenn die Ausgabe ein Text ist, den der Nutzer sofort lesen und beurteilen kann, ist das Fehlerrisiko relativ kontrollierbar. Wenn die Ausgabe ein Ergebnis ist, das tief im Ablauf verborgen ist und erst nach einigen Tagen sichtbar wird, ist es viel gefährlicher.
Gibt es einen Ausweg nach dem Fehler: Kann der Nutzer den Fehler mit einem Klick rückgängig machen, manuell bearbeiten oder zum ursprünglichen Ablauf zurückkehren. Gute KI-Produkte lassen einen akzeptablen Ausweg für "Fehler" offen, zum Beispiel die klare Kennzeichnung "KI-generiert, bitte prüfen", die Beibehaltung des Bearbeitungszugangs und die aktive Angabe "Ich bin mir nicht sicher" bei geringem Vertrauensniveau.
Nachdem Sie all das klar durchdacht haben, wissen Sie, ob die Funktion als "automatische Ausführung" oder als "Vorschlag zur Bestätigung durch den Nutzer" gestaltet werden soll.
Viele KI-Funktionen erleiden einen Rufschaden, nicht weil das Modell viele Fehler macht, sondern weil das Produkt etwas, das eigentlich ein Vorschlag sein sollte, als endgültiges Ergebnis gestaltet hat.
Dritte Frage: Wie lässt sich nachweisen, dass die KI bessere Ergebnisse liefert?
Das ist die Frage, die am häufigsten übersprungen wird.
Herkömmliche Funktionen haben fertige Abnahmemethoden: Die Schaltfläche kann angeklickt werden, der Ablauf funktioniert, die Daten können in die Datenbank eingetragen werden.
Die Ausgabequalität von KI-Funktionen ist ein kontinuierlicher Graubereich, und es gibt keinen natürlichen Standard für "gut".
Wenn Sie vor dem Start keine Definition festlegen, geraten Sie nach dem Launch in zwei peinliche Situationen: Entweder bewertet jeder nach seinem Gefühl, und jeder spricht in der Besprechung von etwas anderem; oder Sie betrachten nur die Klickzahl und die Nutzungshäufigkeit, ohne zu wissen, ob die Nutzer tatsächlich einen Wert erhalten haben.
Deshalb müssen wir diese Punkte von Anfang an festlegen:
Schreiben Sie den Standard für "gut" auf: Sie müssen ihn nicht von Anfang an sehr detailliert gestalten, selbst fünf Beurteilungsregeln reichen: Fakten dürfen nicht falsch sein, der Ton muss zum Szenario passen, die Länge muss in einem bestimmten Bereich liegen, es dürfen keine sensiblen Inhalte auftauchen, und das Format muss direkt verwendbar sein. Damit gibt es eine gemeinsame Grundlage für die Bewertung.
Bereiten Sie eine Gruppe echter Stichproben vor: Suchen Sie fünfzig bis hundert Eingaben aus echten Szenarien, einschließlich typischer, randständiger und kniffliger Fälle. Jedes Mal, wenn Sie das Modell oder den Prompt anpassen, führen Sie diese Stichproben durch und vergleichen die Unterschiede vor und nach der Anpassung. Die Optimierung von KI-Produkten ohne Stichprobensatz basiert im Grunde auf Glück.
Gestalten Sie die Feedbackschleife nach dem Launch: Hat der Nutzer die Ausgabe übernommen, wie viel hat er geändert, hat er auf "nicht zufrieden" geklickt, hat er neu generiert. Diese Verhaltenssignale sagen mehr aus als die reine Nutzungshäufigkeit. Übernahmerate und Änderungsrate sind oft viel ehrlicher als die Klickrate.
Wenn eine Funktion nicht klar beschreiben kann, "wann sie als gut umgesetzt gilt", hat sie schon beim Start die Richtung für die Iteration verloren.
Nach den drei Fragen sprechen Sie erst über die Umsetzung
Wenn Sie auf diese drei Fragen zurückblicken, entsprechen sie eigentlich drei grundlegenden Beurteilungen des Produkts: Ob man es machen soll, ob man es vertrauenswürdig machen kann und ob es gut gemacht ist.
Sie sind nicht neu, werden aber im KI-Zeitalter stärker hervorgehoben. Da die Fähigkeitsgrenzen von KI unscharf sind, die Ausgabe unsicher ist und sich Kosten und Effekt schnell ändern, lassen sich Teams leicht von den technischen Möglichkeiten leiten und vergessen, zu den drei Ausgangspunkten Nutzer, Risiko und Ergebnis zurückzukehren.
Interessanterweise werden viele Anforderungen, die "unbedingt KI brauchen", von selbst kleiner, nachdem Sie diese drei Punkte klar durchdacht haben. Einige werden durch Regel-Lösungen ersetzt, einige werden auf ein engeres und stabileres Szenario reduziert. Die übrig gebliebenen haben klare Ziele, klare Grenzen und nachweisbare Abnahmekriterien, sodass sie schneller umgesetzt werden können.
Deshalb, wenn Ihnen das nächste Mal jemand sagt "Wir machen auch eine KI-Funktion", öffnen Sie nicht sofort die Modelldokumentation.
Klären Sie zuerst: Was ist der Preis für die Nutzer, was passiert bei einem Fehler, wie lässt sich der gute Effekt nachweisen.
Nachdem Sie diese drei Fragen gestellt haben, ist es nicht zu spät, mit der Umsetzung zu beginnen.