Eigenes Entscheidungsmodell statt Jev: Was ein Preprint von PayPal.AI zeigt

Ein Team von PayPal.AI hat auf arXiv einen Preprint veröffentlicht, der untersucht, was ein eigenes Entscheidungsmodell im Stil von Jev im Vergleich zu einem fertigen Dienst bringt. Der erste Teil beschreibt einen internen Bewerter, der zweite offene Modelle, die die Autoren auch mit Jev 1.13.0 verglichen haben. S68 Für ein Team, das zwischen eigenem Betrieb und dem Aufruf einer API abwägt, ist das ein seltener Text mit konkreten Zahlen zu Kosten und Genauigkeit. Es handelt sich um einen Preprint, also um eine Arbeit ohne Begutachtungsverfahren.

Warum die Autoren einen eigenen Bewerter gebaut haben

Die Autoren mussten rund 148.000 Datensätze aus Programmiersitzungen von KI-Agenten sortieren, bevor diese in Trainingsdaten gelangen. Jeder Datensatz erhält drei Fragen mit festen Antworten. S68 Bisher übernahm das ein großes Sprachmodell als Bewerter. Ein Durchlauf hätte nach ihrer Schätzung größenordnungsmäßig 1.000 USD gekostet und etwa 73 Stunden gedauert. S68 Eine Prüfung zeigte zudem, dass die gespeicherten Labels nur in 26,9 % der Fälle, in denen sich zwei neue Bewerter einig waren, mit deren gemeinsamem Urteil übereinstimmten. S68 Außerdem durften die Daten die Organisation nicht verlassen. S68

Die Lösung war ein eingefrorenes Basismodell mit 4 oder 27 Milliarden Parametern, ein kleiner LoRA-Adapter und ein Auswahlkopf, der keinen Text schreibt, sondern direkt auf eine der Optionen zeigt. S68 Laut den Autoren verarbeitet dieser Bewerter 1.000 Sitzungen in etwa drei Minuten auf einer einzigen GPU. Zu einem Referenzsatz ergibt das ungefähr 0,06 USD, rund 1 % der Kosten der ursprünglichen Lösung. S68 Auf einem ausgewogenen Satz von 200 Sitzungen stimmte er bei der Frage zum Programmieren in 83 bis 85 %, bei der zweiten Frage in 91 bis 92,5 % und bei der Zuordnung zu einer von acht Domänen in 68 bis 69,5 % mit den Labels des großen Modells überein. Auf den 144 Sitzungen ohne Überschneidung mit den Trainingsdaten lagen die Ergebnisse um 1,5 bis 3,8 Punkte niedriger. S68

Offene Modelle gegen Jev 1.13.0

Der zweite Teil untersucht offene Modelle, die die Antwort direkt aus der Ausgabeschicht eines Sprachmodells an der Position des Antwortbuchstabens lesen. Trainiert werden nur LoRA-Adapter. S68 Die Autoren stützten sich auf das öffentliche Verfahren und den Korpus des Projekts Eikos mit etwa 25.000 Entscheidungen und testeten Modelle mit 1, 2 und 35 Milliarden Parametern. S68 Bewertet wurde auf dem öffentlichen Teil des Benchmarks JevBench in Version 1.4.2.2, vor allem auf 111 schweren Aufgaben. S68

Das größte Modell erreichte 79,3 %, Jev 1.13.0 kam auf 73,0 %. Der Unterschied von 6,3 Punkten ist jedoch statistisch nicht signifikant, der unkorrigierte p-Wert liegt bei 0,12. S68 Das Modell mit 2 Milliarden Parametern erreichte 61,3 %, das mit 1 Milliarde 54,1 %. Generative Sprachmodelle kamen in derselben Tabelle auf 96,4 %, also 17,1 Punkte mehr als das beste Modell der Autoren. S68

Auf einer H100-Grafikkarte dauert die Antwort auf eine einzelne Frage beim Modell 2B etwa 20,5 ms und beim Modell 35B etwa 83,2 ms. Das Modell 35B benötigt ungefähr 80 GB Speicher. S68 Öffentlich verfügbar ist nur das Modell 2B auf Hugging Face unter dem Namen Kailune-AI/pjev-2b; die Adapter für 1B und 35B haben die Autoren nicht veröffentlicht. S68

Was mit Vorsicht zu lesen ist

Die Autoren nennen selbst mehrere Einschränkungen. Alle Zahlen aus JevBench stammen aus dem öffentlichen Teil. Auf dem versiegelten Teil schneiden Systeme nach ihren Angaben deutlich schlechter ab, ein solches Ergebnis berichten sie jedoch nicht. S68 Jeder Versuch lief mit einem einzigen Zufalls-Seed, und die Vergleichssysteme wählten die Autoren selbst aus. Unterschiede bis etwa 10 Punkte auf dem schweren Satz betrachten sie daher als ungeklärt. S68

Am 27. September 2026 entfernte der Autor des Korpus 1.994 aus FinEntity abgeleitete Zeilen, obwohl alle Modelle des zweiten Teils bereits damit trainiert worden waren. S68 Einen günstigen Klassifikator ohne Sprachmodell haben die Autoren nicht ausprobiert. Die Kosten im ersten Teil sind GPU-Zeit, umgerechnet zu einem Referenzsatz, keine tatsächliche Rechnung. S68

Was daraus für einen slowakischen Onlineshop folgt

Der Preprint behauptet nicht, dass ein eigenes Modell besser ist als Jev. Er zeigt eher die Situation, in der es sich lohnt, darüber nachzudenken: sehr viele Entscheidungen, gleichbleibende Fragen und Daten, die im Haus bleiben müssen. Die Autoren hatten genau diese Kombination. S68 Ein Onlineshop, der zum Beispiel Kundennachrichten sortiert, muss dem den Preis des Dienstes gegenüberstellen. TypeSafe berechnet 0,042 USD pro Million Eingabe-Token, Ausgabe-Token sind kostenlos. S01 Was das bei Ihrem Volumen ausmacht, zeigt der Kostenrechner. Das Modell 35B mit etwa 80 GB Speicher S68 bedeutet wiederum eine eigene leistungsstarke GPU und den Aufwand, sie zu betreuen.

Wenn Datenschutz der Hauptgrund ist, hilft es zu wissen, dass Jev laut TypeSafe nicht mit Anfragen oder Antworten von Kunden trainiert wird und nicht auf deren Daten feinabgestimmt ist. S01 Ob das für Ihre Pflichten ausreicht, ist gesondert zu prüfen; Hintergründe stehen im Leitfaden Sicherheit und Datenschutz.

Zwei weitere Hinweise. Der Preprint verglich Jev 1.13.0, doch der Alias jev-latest zeigt laut Dokumentation inzwischen auf jev-1.14.0. S01 Die Ergebnisse müssen daher für die neuere Version nicht gelten. Der Preprint gibt außerdem nicht an, in welcher Sprache die Aufgaben von JevBench sind, und sagt nichts über Slowakisch. S68 Wie Sie das Verhalten auf Slowakisch prüfen, beschreibt Slowakisch testen.

Die nützlichste Lehre ist vielleicht die einfachste. Die Autoren stellten zuerst fest, dass ihr teurer Bewerter Labels lieferte, die mit einer neuen Prüfung überwiegend nicht übereinstimmten. S68 Bevor Sie das Modell wechseln, lohnt es sich daher, an einer kleinen Stichprobe zu prüfen, wie genau Ihre aktuellen Entscheidungen sind. Das ist ein Vorschlag von JEV.sk, kein Ergebnis des Preprints.