Willst du in die KI-Branche wechseln? Verstehe zuerst Token.

Um 23 Uhr arbeitet Xiao Lin noch an der Überarbeitung seines Lebenslaufs.

Um zum Produktmanager für große Sprachmodelle zu wechseln, schickte er zuerst seine Berufserfahrung an ein Chat-Tool, ergänzte dann die Zielstelle, die Einstellungsanforderungen und die Projektdaten.

In den ersten Runden klappte die Überarbeitung recht gut, aber in der mehr als zehnten Runde schrieb das Gegenüber plötzlich eine bereits von ihm gelöschte Erfahrung zurück und vergaß die von ihm wiederholt betonte Anforderung: „Stellen Sie mich nicht als Technikentwickler dar.“

Xiao Lin ist etwas verwirrt: Warum wird KI immer dümmer, je mehr man sie nutzt?

Das liegt nicht daran, dass das Werkzeug plötzlich „dümmer“ wird, sondern daran, dass er unmerklich eine große Anzahl von Token verbraucht hat.

Token, wie eine Gewichtseinheit im Supermarkt

Wenn wir Obst kaufen, zählen wir die Anzahl der Äpfel, aber an der Kasse im Supermarkt wird nach dem Gewicht abgerechnet;

Wenn Menschen Texte lesen, zählen sie gewohnheitsmäßig die Anzahl der Wörter und Sätze, während große Sprachmodelle bei der Verarbeitung von Texten die Maßeinheit Token verwenden.

Nachdem ein Text in das Modell gelangt ist, wird er zuerst in einzelne Token zerlegt. Ein Token kann ein chinesisches Zeichen, ein Teil eines Wortes, aber auch ein Satzzeichen, eine Zahl oder ein Leerzeichen sein. Verschiedene Modelle haben unterschiedliche Zerlegungsweisen, also ist Token nicht gleich der Anzahl der Zeichen, und es gibt keinen festen Umrechnungsfaktor für „wie viele Token entsprechen tausend Zeichen“.

Ihre Eingabefragen belegen Token, hochgeladene Lebensläufe und Stellenbeschreibungen belegen Token, vorherige Chat-Protokolle belegen Token, und die vom Modell generierten Antworten belegen ebenfalls Token.

Einfach ausgedrückt ist Token die „Textmünze“, die große Sprachmodelle beim Lesen und Beantworten verwenden.

Warum vergisst es umso mehr, je länger man chattet?

Man kann sich einen einzelnen Dialog wie einen Umzug vorstellen.

Vor Ihnen steht nur ein Lieferwagen mit begrenzter Kapazität. Der Lebenslauf ist eine Kiste, die Stellenbeschreibung ist eine Kiste, die Chat-Protokolle der ersten zehn Runden sind wieder mehr als ein Dutzend Kisten, und für die nächste Antwort des Modells muss ebenfalls Platz reserviert werden.

Wenn der Laderaum nicht voll ist, können alle Dinge mitgenommen werden; wenn die Dinge immer mehr werden, muss man möglicherweise komprimieren, sortieren und sogar einen Teil des alten Gepäcks zurücklassen.

Die Kapazität dieses „Lieferwagens“ ist das Kontextfenster, in dem Sie mit der KI chatten; die Gesamtmenge an Text, die darin aufgenommen werden kann, wird durch Token gemessen.

Wenn der Dialog also immer länger wird, kann das Modell die vorherigen Anforderungen allmählich ignorieren. Sie haben zuerst gesagt „heben Sie die Betriebserfahrung hervor“, später haben Sie wiederholt über Produkte, Technik und Daten diskutiert, am Ende erinnert es sich möglicherweise nur an die neuesten Informationen und überarbeitet den Lebenslauf immer abweichender.

Ähnliche Szenarien im Alltag sind nicht selten.

Sie schicken einem Freund fünfundneunzig aufeinanderfolgende WeChat-Nachrichten, unter denen ein Satz steckt „Nimm morgen keinen Computer mit“, der andere übersieht ihn sehr wahrscheinlich; Sie bringen alle Zutaten aus dem Kühlschrank zum Koch und sagen nur „mach einfach irgendein Gericht“, egal wie viele Zutaten es gibt, bedeutet das nicht, dass das Ergebnis Ihren Wünschen besser entspricht.

Mehr Informationen sind nicht unbedingt effektiver. Für das Modell ist das wirklich Wichtige: Welche Informationen sollen im begrenzten Raum vorrangig wahrgenommen werden.

Warum hängen Token auch mit Geld zusammen?

Wenn Sie nur fertige Chat-Produkte verwenden, spüren Sie den Preis von Token möglicherweise nicht. Aber wenn Unternehmen große Sprachmodelle über Schnittstellen in ihre eigenen Produkte einbinden, entsprechen Token oft direkt den Kosten.

Es ähnelt ein wenig dem Mitfahren in einem Taxi: Der Fahrgast kümmert sich nur darum, ob er das Ziel erreicht, aber die Plattform berechnet die gefahrene Strecke und die Zeit.

Der Nutzer sieht nur „helfen Sie mir, meinen Lebenslauf zu optimieren“, aber im Hintergrund werden tatsächlich möglicherweise persönliche Erfahrungen, Stellenanforderungen, Überarbeitungsregeln, historische Dialoge und Referenzbeispiele übermittelt, und das Modell muss auch neue Inhalte generieren.

Diese Eingaben und Ausgaben erzeugen alle Token.

Angenommen, eine Einstellungsplattform bietet täglich Lebenslaufoptimierung für 100.000 Nutzer an. Wenn jedes Mal alle historischen Aufzeichnungen des Nutzers und Dutzende von Stelleninformationen neu übermittelt werden, ist das so, als würde der Fahrer bei jeder Fahrt zuerst eine Runde um die Stadt fahren, bevor er zum Ziel fährt. Bei einer einzelnen Falle sind die zusätzlichen Kosten kaum sichtbar, aber auf 100.000 Mal hochgerechnet ist das eine beträchtliche Summe.

Daher ist ein Produkt mit großem Sprachmodell nicht fertig, sobald „ein Modell angeschlossen ist“. Man muss auch berücksichtigen: Welche Informationen unbedingt übermittelt werden müssen, welche gelöscht werden können, wie lange Dokumente verdichtet werden, ob für einfache Aufgaben teure Modelle benötigt werden und wie man zwischen Wirkung, Geschwindigkeit und Kosten abwägt.

Ist die Eingabeaufforderung umso länger, die Wirkung umso besser?

Viele Leute schreiben solche Anforderungen, um das Modell „gehorsam“ zu machen:

„Bitte analysieren Sie sorgfältig, denken Sie gründlich nach, seien Sie auf keinen Fall oberflächlich, der Inhalt muss professionell, umfassend, spannend und logisch sein …“

Das ist so, als würden Sie sich in einen Friseursalon setzen und dem Friseur wiederholt sagen „schneiden Sie es schön“, aber nie sagen, wie kurz es geschnitten werden soll und ob Pony behalten werden soll.

Es scheint, als habe man viel gesagt, aber die wirklich nützlichen Informationen sind sehr wenige.

Wenn Sie es stattdessen so formulieren: „Überarbeiten Sie den Lebenslauf für die Stelle als Produktmanager für große Sprachmodelle, heben Sie vor allem Anforderungsanalyse, Projektfortschritt und Datenrückschau hervor; erfinden Sie keine fiktiven Erfahrungen; drücken Sie jeden Punkt mit ‚Was getan wurde + Welches Ergebnis erzielt wurde‘ aus, und beschränken Sie ihn auf weniger als 50 Zeichen.“ Das Modell kann es stattdessen leichter ausführen.

Eine gute Eingabeaufforderung ist nicht lang, sondern spezifisch. Ziele, Hintergrund, Einschränkungen und Ausgabeformat sind wertvoller als die wiederholte Betonung von „Sorgfalt“.

Wenn Sie den Beruf wechseln wollen, inwieweit müssen Sie dieses Konzept verstehen?

Nicht jeder Bewerber muss Token berechnen, aber wenn Sie in die entsprechende Branche einsteigen wollen, sollten Sie mindestens seinen Einfluss auf drei Fragen verstehen:

Erstens beeinflusst es die Menge an Informationen, die ein Modell auf einmal verarbeiten kann; zweitens beeinflusst es die Aufrufkosten des Produkts; drittens beeinflusst es die Antwortgeschwindigkeit und das Endergebnis.

Wenn Sie im Bereich Inhaltsbetrieb arbeiten, wissen Sie, warum lange Dokumente zuerst verdichtet werden müssen, bevor Sie neue Inhalte erstellen; als Produktmanager achten Sie auf Kontext, Nutzererfahrung und Aufrufkosten; als Anwendungsentwickler müssen Sie außerdem die Modellabrechnung, Inhaltssegmentierung, Zwischenspeicherung und Wissensdatenbankabfrage verstehen.

Wenn Sie im Vorstellungsgespräch gefragt werden „Wie senkt man die Nutzungskosten eines Vorstellungsgesprächs-Assistenten“, können Sie nicht nur antworten „ein billigeres Modell verwenden“. Sie können auch vorschlagen: Wiederholte historische Informationen löschen, nur die mit der aktuellen Frage verbundenen Daten abrufen, lange Dialoge zuerst zusammenfassen, ungültige Ausgaben beschränken und verschiedene Modelle für Aufgaben unterschiedlicher Schwierigkeit zuordnen.

Das ist der Übergang vom „Werkzeug benutzen“ zum „Produkt verstehen“.

Das nächste Mal, wenn es Ihre Anforderung vergisst, Details in langen Texten übersieht oder mitten im Schreiben plötzlich aufhört, sollten Sie nicht eilig sein, es zu tadeln.

Sehen Sie nach, ob dieser Lieferwagen mit begrenzter Kapazität bereits zu viele Dinge geladen hat.

Token scheint nur ein technischer Begriff zu sein, aber dahinter verbirgt sich die grundlegende Funktionslogik großer Sprachmodelle: Wie viel es auf einmal lesen, merken und schreiben kann, und wie viel Kosten das Unternehmen dafür aufwenden muss.

Für Menschen, die den Beruf wechseln wollen, besteht der Zweck des Verstehens von Token nicht darin, eine Vorstellungsfrage auswendig zu lernen, sondern darin, zu lernen, ein intelligentes Produkt aus drei Perspektiven: Wirkung, Erfahrung und Kosten neu zu verstehen.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Liepin“ (ID: liepinwang), Autor: Cheng Shu, veröffentlicht mit Genehmigung von 36Kr.