Gerade wurde das extrem beliebte Modell Jev vollständig freigegeben, alle Nutzer erhalten 120 Millionen Token als Geschenk.

Gerade eben hat das kürzlich viral gewordene große Modell Jev angekündigt, allen Nutzern uneingeschränkt zur Verfügung zu stehen, ohne dass man sich für eine Warteliste bewerben muss. Außerdem erhalten alle registrierten Nutzer ein Guthaben von 5 US-Dollar, was etwa 120 Millionen Token entspricht.

Man muss wissen, dass der Token-Verbrauch von Jev weitaus geringer ist als bei herkömmlichen großen Modellen. Einige Nutzer haben es getestet: Für eine Eingabe von einer Million Token fallen nur 0,042 US-Cent an. Die geschenkten 120 Millionen Token lassen sich also völlig unbeschränkt nutzen.

Zum Ausprobieren 🔗 console.typesafe.ai

Man hätte es nicht erwartet: Im September, in dem die großen Sprachmodelle sich einen harten Wettbewerb liefern, können selbst GPT und Claude ihren Thron nicht fest behaupten. Das Modell, das derzeit am meisten Aufmerksamkeit erregt und überall im Internet geteilt wird, ist Jev – ein Modell, das gar keine vollständigen Sätze ausgibt.

Der Entwickler von Jev, Diogo Almeida, ist Forscher bei OpenAI. Er war an der Entwicklung von ChatGPT beteiligt und hat später den Algorithmus für Reinforcement Learning from Human Feedback (RLHF) vorgeschlagen.

Dies hat in gewisser Weise die Entwicklung der großen Sprachmodelle in den letzten Jahren bestimmt. Aber während diese Methode die gesamte Branche zum Aufschwung gebracht hat, ist Almeida ihr gegenüber zunehmend skeptisch geworden.

„Wir haben eine einmalige erfolgreiche Innovation, aber wir haben sie nicht zu etwas wirklich Nützlichem gemacht.“

Er hat lange gebraucht, um herauszufinden, wo das Problem liegt: Wir haben ständig die Fähigkeit zur Verarbeitung menschlicher Sprache optimiert … In vier Jahren haben wir uns bei der Verarbeitung menschlicher Sprache sehr gut bewährt, aber das ist für die Automatisierung nutzlos, weil Computer eine andere „Sprache“ verwenden.

Vor zwei Jahren verließ Almeida OpenAI und gründete zusammen mit Erik Gafni und Sasha Sheng TypeSafe AI. Das Unternehmen blieb bis zum 15. September im Stealth-Modus, als es offiziell vorgestellt wurde – zusammen mit zwei Neuigkeiten: einer Seed-Finanzierung in Höhe von 40 Millionen US-Dollar unter der Leitung von DCVC, und ihrem ersten Modell Jev.

Jev ist weiterhin ein auf Transformer basierendes Modell, aber es ist bewusst kein großes Sprachmodell und gibt keine vollständigen Sätze aus.

Wenn Sie ihm einen Programmstatus und eine vordefinierte Frage übergeben, gibt es eine typisierte Antwort zurück: eine Option, eine Punktzahl oder eine Wahrscheinlichkeit zwischen 0 und 1, ergänzt um eine Bewertung des Konfidenzniveaus.

TypeSafe nennt diese Ausgabe „kalibrierte Entscheidungen“. Das ist auch der Grund, warum viele Menschen zuerst verwirrt waren, als der Name Jev zum ersten Mal der Öffentlichkeit vorgestellt wurde.

Der Screenshot zeigt den Leistungsvergleich zwischen Jev und großen Sprachmodellen bei der Bearbeitung derselben Anfrage

Das beliebteste Modell im KI-Bereich, das nicht dem gleichen Weg wie ChatGPT folgt

Um zu verstehen, was Jev macht, kann man zuerst die Denkgewohnheiten großer Sprachmodelle ablegen.

In einem Kundenservice-Szenario lässt es sich leicht verstehen: Ein Nutzer sendet eine Nachricht, dass der Zahlungsdienst seit mehreren Tagen nicht erreichbar ist und dies sein Geschäft beeinträchtigt. Nun müssen mehrere Urteile gefällt werden: Soll das Problem an das Technikteam oder das Buchhaltungsteam weitergeleitet werden? Wie unzufrieden ist der Nutzer? Ist die Angelegenheit dringend?

Gemäß dem Schnittstellendesign von TypeSafe teilen sich die Fragen in derselben Anfrage eine gemeinsame Eingabe, werden aber unabhängig und parallel ausgewertet. Die Klassifizierung und die Dringlichkeitsbewertung können gleichzeitig bearbeitet werden.

Konkret hat die Ausgabe drei grundlegende Formen. Die erste heißt Choice: Sie wählt einen Eintrag aus einer von Ihnen definierten Liste aus und unterstützt bis zu 255 Optionen, was für Routing und Klassifizierung geeignet ist. Die zweite heißt Score: Sie bewertet die Eingabe auf einer von Ihnen festgelegten Skala, um Dringlichkeit, Qualität oder Risiko zu messen. Die dritte heißt Noul: Im Wesentlichen handelt es sich um eine Ja-Nein-Entscheidung, deren Antwort eine Zahl ist, die die Wahrscheinlichkeit darstellt, dass die Sache wahr ist.

Jede Antwort wird mit einer vollständigen Wahrscheinlichkeitsverteilung und einem Konfidenzniveau geliefert. Es handelt sich um ein stark typisiertes Ergebnis, sodass keine JSON-Prompts geschrieben, keine zusätzlichen Parser verwendet werden müssen und man nicht befürchten muss, dass das Modell das Ergebnis plötzlich in einen Markdown-Codeblock einhüllt.

Der unmittelbare Vorteil dieses Ansatzes ist Zeit- und Kosteneinsparung, zudem werden Formatfehler reduziert, die durch freie Generierung entstehen.

Die von TypeSafe veröffentlichten Zahlen zeigen, dass die End-to-End-Latenz von Jev zwischen 70 und 500 Millisekunden liegt, also 20 bis 200 Mal schneller ist als bei vergleichbaren großen Sprachmodellen.

Gemäß dem aktuellen öffentlichen Preis beträgt die Eingabe 42 US-Dollar pro Milliarde Token, was nach üblicher Angabe 0,042 US-Dollar pro Million Token entspricht; die Ausgabe ist kostenlos. Neue Beschreibungen von Fragen und Optionen belegen zwar weiterhin Eingabe-Token, aber es fallen keine zusätzlichen Kosten nach der Länge der generierten Antwort an.

Da Nutzer das Ausgabeergebnis im Voraus definieren können, erzeugt das Modell keine Halluzinationen. (Dass Jev keine Halluzinationen erzeugt, bedeutet, dass es nicht außerhalb des vordefinierten Optionenbereichs antwortet – es ist aber weiterhin möglich, innerhalb des Optionenbereichs falsche Antworten zu geben.)

In einer öffentlichen Ably-Pong-Demo traf Jev in 12 Sekunden 47 Entscheidungen für Spielaktionen, während Gemini, Claude und GPT in derselben Zeit nur zwei bis drei Entscheidungen trafen – obwohl letztere in den meisten Fällen weiterhin korrekte Urteile lieferten.

In der Ably-Pong-Demo übergibt das Programm direkt die Zahlen des Spiels an Jev: die Position des Balls, seine Bewegungsrichtung, die Position des Schlägers und die vertikale Koordinate, an der der Ball voraussichtlich die Position des Schlägers erreicht. Jev kann anhand dieser Zahlen eine der drei Optionen „hochfahren, runterfahren, stillhalten“ auswählen.

Welche Einsatzmöglichkeiten gibt es für Jev

Um mit Jev ein spielbares Produkt zu erstellen, sind ein Spielprogramm und Echtzeitkommunikation erforderlich. Das genannte Projekt wird vom Backend gesteuert, das das Spiel vorantreibt, das Modell aufruft und dann den neuen Status über Ably an den Browser sendet. Das heißt: Die Spielregeln, die Grafik und die Netzwerkverbindung werden nicht von Jev generiert – es wird nur in den wiederholt ausgeführten Schritt mit den drei Auswahlmöglichkeiten eingefügt.

Die Geschwindigkeit erweitert die Einsatzszenarien. Jev kann als Entscheidungsebene für Computeroperationen fungieren und Agenten anleiten, Befehle schnell auszuführen; es kann auch zur Kontextkompression verwendet werden, um zu beurteilen, welche Inhalte Schlüsselinformationen sind, sodass der Kontext von Millionen von Token schnell eingegrenzt werden kann.

Das öffentliche Projekt jev-ultrafast von Browser Use implementiert konkret einen Browser-Agenten. Wenn es auf eine Webseite gelangt, liest es zuerst die aktuell bedienbaren Seitenelemente und fasst sie in einer nummerierten Liste zusammen: Welches Element ist ein Button, welches ein Eingabefeld, wie heißt es und was ist darin aktuell ausgefüllt?

Jev erhält diesen strukturierten Status, das Nutzerziel und den Verlauf der durchgeführten Aktionen. Der Auswahlraum, den das Programm ihm gibt, wird dynamisch aus den tatsächlich vorhandenen Elementen der aktuellen Seite erzeugt.

Jev als Entscheidungsebene für Aktionen verwenden, um das Modell anzuleiten, den Computer schnell zu bedienen https://x.com/gregpr07/status/2100411066966749359

Am Beispiel der Flugbuchung kann das Ziel lauten: „Finden Sie Einzelflüge von Zürich nach London, legen Sie das angegebene Datum, die Anzahl der Personen und die Kabinenklasse fest und stoppen Sie, wenn passende Ergebnisse angezeigt werden.“

In jeder Runde stellt das Programm gleichzeitig mehrere Fragen: Soll man als Nächstes klicken, etwas eingeben, eine Dropdown-Option auswählen oder warten? Wenn man klicken soll, auf welche Nummer soll man klicken? Wenn man etwas eingeben soll, in welches Eingabefeld soll man es eintragen? Diese Fragen teilen sich denselben Webseiten-Status, werden aber separat beantwortet.

Schließlich verwendet das Programm nur die Ziele, die zu der tatsächlichen Aktion passen: Wenn ein Klick ausgewählt wurde, wird das Klickziel verwendet, die anderen Antworten werden vorübergehend nicht genutzt.

Wenn der Name einer Stadt eingegeben werden muss, ruft das Programm separat ein kleines textgenerierendes Modell auf, das anhand des Ziels und des aktuellen Eingabefelds den Inhalt ermittelt, der eingetragen werden soll. Nachdem der Browser die Aktion ausgeführt hat, liest er den neuen Status der Seite erneut.

Jev beurteilt die wichtigen Informationen im Kontext und realisiert nahezu sofortige Kontextkompression https://x.com/tamarajtran/status/2100694549362553153

Pranit Sharma, Software-Ingenieur bei Vercel, gibt an, dass sein Unternehmen zuvor ChatGPT Luna 5.6 von OpenAI verwendet hat, um einen Klassifikator auszuführen, der die Sicherheit von Befehlen prüft. Nachdem Vercel Luna von OpenAI durch Jev ersetzt hat, hat sich die Verarbeitungsgeschwindigkeit um das 5- bis 18-fache erhöht, und die Genauigkeit hat sich ebenfalls stark verbessert.

Ein weiterer Entwickler, Nikhil Mudholkar, CTO von Bryo AI, hat Jev und Gemini getestet, um ihre Leistung bei der Klassifizierung von geschäftlichen E-Mails zu bewerten. In seinem Test war die Genauigkeit von Gemini etwas höher, aber die Kosten lagen 10 bis 20 Mal höher.

Sie können diesen Ansatz auch selbst nachbauen: Zuerst erstellen Sie eine Tabelle, deren Zeilen jeweils den E-Mail-Betreff, den Textkörper, den Empfangszeitpunkt und den erforderlichen Kontext enthalten.

Dann teilen Sie die Geschäftslogik in mehrere klare Fragen auf. Beispielsweise kann bei einer E-Mail mit dem Inhalt „Meine Bestellung wurde doppelt abgebucht, ich wünsche eine Bearbeitung noch heute“ mit Choice entschieden werden, ob sie in die Warteschlange für Kundendienst, Vertrieb, Kooperation oder andere Bereiche gelangt. Mit Noul kann beurteilt werden, ob der Abs