Ehemalige OpenAI-Mitarbeiter haben eine KI entwickelt, die keine Chat-Funktion bietet. Das Projekt hat gerade 870 Millionen US-Dollar an Finanzmitteln eingesammelt, und nur zwei Wochen nach der Markteinführung hat ihr ehemaliger Arbeitgeber bereits an der Finanzierungsrunde mitinvestiert.
Eine KI, die nicht mit dir chatten kann, hat gerade eine Finanzierung von 870 Millionen US-Dollar erhalten!
Am 9. Oktober gab TypeSafe AI den Abschluss der Serie-A-Finanzierung bekannt, seine Bewertung stieg direkt auf 7,5 Milliarden US-Dollar. a16z führte die Investition an, HSG, DCVC und weitere Institutionen beteiligten sich an der Investition.
Das Interessantere ist der Hintergrund dieses Teams.
Gruppenfoto der drei Mitbegründer von TypeSafe AI, von links nach rechts sind es Erik Gafni, Sasha Sheng und Diogo Almeida.
Erik Gafni ist ein Serienunternehmer und war früher Mitarbeiter in der Frühphase von Invitae und Freenome; Sasha Sheng arbeitete früher als Forschungsingenieur bei Meta/FAIR.
Diogo Almeida hingegen beteiligte sich früher an der Forschung zu ChatGPT bei OpenAI.
Jetzt hat er sich selbstständig gemacht, und sein neues Produkt hat seinen ehemaligen Arbeitgeber dazu gezwungen, schnell nachzuziehen.
Am 15. September wurde Jev eingeführt.
Nur zwei Wochen später kündigte OpenAI die begrenzte Vorschau der Decisions API an und veröffentlichte sie am 6. Oktober direkt in der öffentlichen Beta-Version.
Nikunj Handa, der für die API-Produkte zuständig ist, gab unverblümt zu: Jev hat all dies inspiriert.
Was kann eine KI, die nicht chatten kann, eigentlich tun, damit Investoren und OpenAI nacheinander aktiv werden?
Sie plaudert nicht und führt auch keine Aufgaben direkt aus, sondern tut nur eines: Inhalte verstehen und schnell Urteile fällen:
Soll eine E-Mail benachrichtigt werden? Welchem Tool wird die Anfrage zugewiesen? Muss der Inhalt von Menschen überprüft werden?
Meistens ist sein „Gesprächspartner“ die Software, und das Ergebnis, das er liefert, kann nur eine Option oder eine Wahrscheinlichkeit sein.
Wenn die Software das Ergebnis erhält, kann sie nach den Regeln weiter ausgeführt werden.
Und du musst nicht einmal seine Antwort ansehen.
Jev zielt auf die kleinen täglichen Urteile ab
Wenn du dein Postfach öffnest, strömen Hunderte von Nachrichten auf dich ein.
Werbung, Abonnements, Arbeit... eine Menge Informationen sind durcheinander gemischt.
Du willst die wirklich wichtigen Nachrichten herausfiltern, möchtest aber nicht jede einzelne öffnen.
Solche Aufgaben konnten früher auch mit großen Modellen erledigt werden.
Aber das Problem ist: Jedes Mal, wenn eine E-Mail eintrifft und die KI aufgerufen wird, häufen sich Wartezeit und Kosten:
Wenn dasselbe Urteil täglich Tausende oder Zehntausende Male gefällt wird, wird der Unterschied in Zeitaufwand und Kosten bei jedem Aufruf vergrößert.
Genau diese häufigen kleinen Urteile zielt Jev ab.
Am Beispiel der E-Mail-Filterung können Entwickler die Kriterien in natürlicher Sprache klar schreiben: Bezieht sich dieser Brief auf eine bald fällige Rechnung? Ist eine dringende Antwort durch die betroffene Person erforderlich? Enthält er Änderungen von Zeit und Ort?
Nachdem Jev den Inhalt gelesen hat, gibt er direkt das Urteil und die entsprechende Wahrscheinlichkeit an die Anwendung zurück. Die Software kann dann nach voreingestellten Regeln automatisch klassifizieren oder Benachrichtigungen senden.
Jev gibt direkt Optionen oder Wahrscheinlichkeiten zurück, ohne lange Antworten zu generieren. Das Programm kann das Ergebnis direkt lesen, ohne Schlussfolgerungen aus einem langen Text extrahieren zu müssen.
Nach Angaben von TypeSafe kann Jev auch mehrere Fragen parallel beantworten und die Ergebnisse in einem strukturierten Format zurückgeben, sodass die Software sie direkt lesen und verwenden kann.
Dafür hat das Unternehmen eine spezielle Modellarchitektur und Trainingsmethoden eingeführt, einer der Schwerpunkte ist es, die Wahrscheinlichkeitsschätzung zuverlässiger zu machen.
Die Kosten für den Aufruf der KI wurden extrem niedrig gesenkt:
Pro Million Eingabe-Token kostet es nur 0,042 US-Dollar, die Ausgabe ist völlig kostenlos.
Nachdem die Aufrufschwelle gesenkt wurde, haben viele kleine Schritte, für die es sich früher nicht gelohnt hat, extra die KI einzusetzen, nun die Möglichkeit, automatisiert zu werden.
Die Entwickler reagierten sehr schnell.
Am 18. September gab Vercel bekannt, dass Jev nach der Integration in sein AI Gateway innerhalb der ersten 24 Stunden von fast 13 % der zahlenden Teams verwendet wurde.
Die Anzahl der zahlenden Teams, die es am ersten Tag nutzten, überstieg das Doppelte der Anzahl der Teams, die jedes andere Modell am ersten Tag seiner Veröffentlichung nutzten.
Innerhalb der ersten 24 Stunden nach der Integration von Jev in Vercel AI Gateway nutzten fast 13 % der zahlenden Teams es.
Das ist nur das Ergebnis am ersten Tag einer Plattform und stellt keine langfristige Bindung dar.
Aber es zeigt zumindest, dass Entwickler bereit sind, diese neue Ausprobieren auszuprobieren.
Damit die KI triviale Kleinigkeiten für Menschen erledigen kann, ist die Voraussetzung, dass sie erschwinglich und schnell genug ist.
Zwei Wochen später zog der ehemalige Arbeitgeber nach
Almeida hatte diese Idee schon während seiner Arbeit bei OpenAI.
Nach seiner Erinnerung auf LinkedIn dachte er über eine Frage nach: Wenn die KI die Wirtschaft wirklich verändert, werden in Zukunft hauptsächlich Menschen die KI aufrufen, oder automatisch ausgeführter Code?
Sein Urteil ist, dass der Letztere die überwiegende Mehrheit ausmachen wird.
Er schrieb die Konzeption in ein Dokument und zeigte es Sam Altman.
Nach seinen Angaben unterstützte Altman ihn sehr und schlug sogar vor, seine aktuellen Arbeiten niederzulegen, um diese Richtung zu erforschen.
Später gründete Almeida zusammen mit Erik Gafni und Sasha Sheng TypeSafe. Nach zwei Jahren der Forschung und Entwicklung wurde Jev endlich öffentlich vorgestellt.
Diesmal zog der ehemalige Arbeitgeber sehr schnell nach.
In einem Interview mit Latent Space erwähnte Handa, dass nach der Einführung von Jev die Nutzer von OpenAI und das interne Team zahlreiche Anfragen stellten: Sie brauchten auch ein schnelleres Klassifizierungssystem.
Der Moderator fragte nach: Vor vier Wochen war dieses Projekt überhaupt nicht im Entwicklungsplan, oder?
Handa bestätigte, dass es damals überhaupt nicht geplant war.
OpenAI hat kein neues Modell von Grund auf trainiert, sondern das vorhandene GPT-6 Luna umgestaltet: Es gibt direkt das Urteil zurück, bearbeitet mehrere Fragen gleichzeitig, beschleunigt die Hintergrundberechnung und gibt das erste Ergebnis schneller zurück.
Jev und OpenAI bieten ähnliche Funktionen an, aber ihre Vorgehensweisen sind völlig unterschiedlich:
Jev setzt auf spezielle Modelle und Trainingsmethoden; OpenAI nutzt zunächst das vorhandene Luna-Modell und stellt es für den Dienst für schnelle Urteile zur Verfügung.
OpenAI hat noch eine weitere Funktion: Es unterstützt Bildeingaben und kann beurteilen, ob Gegenstände auf Fotos sichtbare Schäden aufweisen.
Entwickler können Fotos von Waren zusammen mit Prüfanforderungen an die Decisions API senden, zum Beispiel um zu beurteilen, ob der Gegenstand Risse, Risse oder Dellen aufweist.
GPT-6 Luna trifft das Urteil anhand des Bildes und gibt die Schadenswahrscheinlichkeit zurück, sodass die Anwendung die Waren herausfiltern kann, die eine Benachrichtigung oder eine menschliche Überprüfung erfordern. Jev unterstützt derzeit nur Texteingaben.
Die Dokumentation von OpenAI demonstriert die Erkennung sichtbarer Schäden auf Warenfotos mit der Decisions API.
Was den Preis angeht, beträgt der Grundeingabepreis der Decisions API 0,10 US-Dollar pro Million Token, die Ausgabe ist ebenfalls kostenlos.
Im Vergleich dazu ist der Preis von Jev mit 0,042 US-Dollar immer noch niedriger.
Was die von OpenAI behauptete „bis zu 10-fache Geschwindigkeit“ angeht, vergleicht sie die Leistung beim Aufruf desselben Modells über die eigene Responses API.
Der ehemalige Mitarbeiter hat gerade die Schmerzpunkte erkannt, und sein ehemaliger Arbeitgeber zog sofort schnell nach.
Wer am Ende gewinnt, hängt von dem Ergebnis jedes einzelnen Urteils ab.
Die Antwort hat nur wenige Optionen, aber man kann trotzdem falsch wählen
Die niedrigen Kosten von Jev wurden auch vorläufig durch eine unabhängige Studie bestätigt.
Am 29. September reichten Forscher der Universität Bonn, des Lamarr-Instituts und anderer Einrichtungen ein Preprint ein.
Sie testeten Jev 1.13.0 auf 37 Datensätzen, stellten 346.009 Anfragen ein, und die Gesamtkosten beliefen sich auf weniger als 10 US-Dollar.
Mehr als 340.000 Anfragen für weniger als 10 US-Dollar. Diese Rechnung ist wirklich beeindruckend.
Selektive Vorhersage von Jev auf 8 Datensätzen mit Multiple-Choice-Fragen: Wenn nur die Fragen beantwortet werden, bei denen es sich sehr sicher ist, ist die Genauigkeit höher; wenn der Beantwortungsbereich erweitert wird, sinkt die Genauigkeit insgesamt.
Die Tests umfassten Aufgaben wie Klassifizierung, Leseverständnis, Inhaltsprüfung und Bewertung. Allerdings bezieht sich dieser Preis auf die spezifische Bewertung und kann nicht direkt darauf übertragen werden, dass jede Arbeit so günstig ist.
Die Studie ergab auch, dass Jev bei der Wahrscheinlichkeitskalibrierung von Multiple-Choice-Fragen gute Leistungen erbringt, aber bei binären Urteilen ist die direkte Anwendung eines festen Schwellenwerts von 0,5 nicht immer ideal. Bei einigen Aufgaben verbesserten sich die Ergebnisse deutlich, wenn der Schwellenwert anhand der Trainingsdaten angepasst wurde.
Einfach ausgedrückt: Das Modell gibt eine Wahrscheinlichkeit an, und die Software muss noch entscheiden: Ab welchem Grad lohnt es sich, Maßnahmen zu ergreifen?
Schauen wir uns wieder das Szenario des Postfachs an.
Wenn eine Werbe-E-Mail fälschlicherweise als wichtige Benachrichtigung eingestuft wird, stört dich das vielleicht nur einmal. Wenn du eine Nachricht verpasst, die am selben Tag beantwortet werden muss, sind die Folgen viel schwerwiegender.
Was automatisch archiviert werden kann, was unbedingt benachrichtigt werden muss und was an Menschen übergeben werden soll, wenn man sich nicht sicher ist, muss je nach tatsächlicher Wirkung angepasst werden.
Sogar die Dokumentation von TypeSafe selbst vermeidet es nicht, die Mängel zu erwähnen:
Die Zählung ist nicht zuverlässig genug, der Vergleich von Datumsangaben kann fehlerhaft sein, mehrschrittige Schlussfolgerungen bereiten oft Schwierigkeiten. Sobald eine Menge irrelevanter Inhalte in die Eingabe gemischt werden, wird das Urteil beeinträchtigt.
Die Antwort hat nur wenige Optionen, was nicht bedeutet, dass jede Auswahl richtig ist.
Welche Schritte Jev übernehmen kann, muss einzeln überprüft werden. Arithmetische Aufgaben werden von gewöhnlichen Programmen erledigt, komplexe Probleme von leistungsstärkeren Modellen, und wichtige Urteile, bei denen man sich nicht sicher ist, bleiben zur Überprüfung den Menschen überlassen.
Die eingesparten Aufrufkosten dürfen nicht wieder zu Zeitaufwand für den Benutzer werden, um Fehler zu beheben.
Wenn KI so günstig ist, dass man sie nach Belieben aufrufen kann
Der Name Jev ist eine Hommage an den Ökonomen William Stanley Jevons.
