Kann Jev ein Sprachmodell als Bewerter ersetzen? Ein Preprint vergleicht 14 Modelle

Wer automatisch beurteilen muss, welche von zwei Antworten eines Sprachmodells besser ist, setzt dafür meist ein weiteres generatives Modell als Bewerter ein. Ein Preprint von Shreyas Subramanian von Scale AI, veröffentlicht am 31. Oktober 2026, untersucht, ob Entscheidungsmodelle diese Arbeit übernehmen können: Modelle, die ihr Ergebnis in einem einzigen Durchlauf als Wahrscheinlichkeiten liefern und dabei keinen Text schreiben. S78 Unter den 14 untersuchten Modellen ist auch Jev 1.14 selbst, die Ergebnisse betreffen also nicht nur Modelle nach seinem Vorbild. Wer eine günstigere Bewertung von KI-Ausgaben erwägt, erhält einen nützlichen Überblick, wo ein solcher Bewerter besteht und wo nicht.

Was und wie verglichen wurde

Es handelt sich um einen Preprint, also eine Arbeit, die noch kein Peer-Review durchlaufen hat. Neben Jev nahm die Studie zum Beispiel pplx-decider 1.2 von Perplexity AI, das Modell Clef von Cloudflare oder DReX-Max auf. Jev lief in der allgemein verfügbaren Version mit dem Datum 20261014. S78 TypeSafe gibt an, dass Jev 1.14 seit dem 14. Oktober 2026 verfügbar ist. S01

Auf der anderen Seite standen generative Bewerter: Claude Haiku 5.5, GPT-5.6 ohne Reasoning und mit mittlerem Reasoning sowie Claude Opus 5.5 mit Reasoning. Auch sie sollten nur ein Urteil und eine Wahrscheinlichkeit liefern, ohne Begründung. S78 Die Arbeit stützt sich auf elf Aufgabensätze, darunter JudgeBench, LLMBar, RM-Bench und RewardBench 2. Jedes Modell erhielt die Antwortpaare in beiden Reihenfolgen, um zu zeigen, ob es davon beeinflusst wird, welche Antwort zuerst kommt. S78

Ohne Referenz auf dem Niveau von GPT-5.6 ohne Reasoning

Fünf der 14 Entscheidungsmodelle, darunter Jev 1.14, unterschieden sich auf fünf Sätzen mit Paarvergleichen und der Auswahl der besten von vier Antworten statistisch nicht von GPT-5.6 ohne Reasoning. S78 Untereinander unterschieden sich die Entscheidungsmodelle jedoch stark. Auf JudgeBench lag die Genauigkeit bei der Choice-Frage zwischen 66,6 % für Kev-4B und 84,6 % für d1-ultra. S78

Den größten Sprung brachte eine Referenzantwort, die ein generatives Modell einmal pro Aufgabe erstellte. Damit erreichten elf Modelle auf JudgeBench 90,3 bis 93,4 %. Der Preprint bewertete dies als statistisch nicht unterscheidbar von Opus 5.5 mit 94,7 % und von GPT-5.6 mit Reasoning mit 93,1 %. S78 Auf dem Satz PPE, bei dem die beste von 16 Antworten gewählt wird, kosteten eine Referenz von GPT-5.6 und 16 Jev-Aufrufe zusammen 0,0051 USD pro Aufgabe. GPT-5.6 mit Reasoning kostete 0,0827 USD und Opus 0,1308 USD. S78 Der Preis von GPT-5.6 ist in der Arbeit allerdings nur eine Annahme, weil nicht bekannt war, welche Servicestufe das Gateway nutzte. S78

Ohne Referenz lagen die Entscheidungsmodelle bei der Suche nach der richtigen Antwort unter mehreren Kandidaten deutlich hinter GPT-5.6 mit Reasoning und hinter Opus. S78

Gute Kalibrierung, schwächere Abwehr gegen eingeschleusten Text

Jev 1.14 hatte einen Kalibrierungsfehler (ECE) von 0,019, die generativen Bewerter lagen zwischen 0,038 und 0,087. S78 Seine Wahrscheinlichkeiten entsprachen in diesem Test also besser, wie oft das Modell richtig lag. Was das für das Setzen von Schwellenwerten bedeutet, beschreibt der Leitfaden Confidence und Kalibrierung.

Die Schwachstelle ist Text, der in die bewertete Antwort geschmuggelt wird. Als an ihr Ende eine an den Bewerter gerichtete Notiz angehängt wurde, kippte Jev 1.14 bei der Choice-Frage 23,3 % der sonst richtigen Urteile, die generativen Bewerter 0,4 bis 2,3 %. S78 Wurde die Frage als Checkliste gestellt, sank dieser Anteil bei Jev auf 4,9 %. S78 Die Widerstandsfähigkeit unterschied sich zwischen den Entscheidungsmodellen stark: bei den fünf robustesten 0,0 bis 4,7 %, bei den übrigen neun 16,7 bis 49,0 %. Der Preprint folgert daraus, dass es sich um eine Eigenschaft des konkreten Modells handelt, nicht des ganzen Ansatzes. S78 Ein ähnliches Risiko beschreibt der Artikel eingeschleuster Text kann Jev-Entscheidungen kippen.

Bei langen Eingaben lagen die stärksten Entscheidungsmodelle 10 bis 12 Punkte hinter GPT-5.6. Bei der Verzerrung durch die Antwortlänge auf RM-Bench verlor Jev 12,9 Punkte, ähnlich wie GPT-5.6 ohne Reasoning mit 11,3 Punkten. S78

Eine günstige erste Stufe und die Grenzen der Studie

Der Preprint erprobte auch eine Kaskade: Jev oder pplx-decider entscheidet und reicht unsichere Fälle an Opus weiter. Auf LLMBar ergab das 90,7 % bei einer Weitergabe von 10 % der Fälle, während Opus allein 91,7 % erreichte. S78 Einen ähnlichen Ansatz mit einem anderen Modell beschreibt der Artikel Jev als günstiger erster Bewerter.

Die Arbeit nennt selbst mehrere Einschränkungen. Die Ergebnisse stammen aus einem einzigen Durchlauf im Pilotumfang mit 80 bis 1.925 Einträgen pro Satz. Die eingeschleusten Texte stammen vom Autor der Studie, es handelt sich nicht um einen etablierten Testsatz. Checklisten und Referenzen erstellten Haiku 5.5 und GPT-5.6, diese Verfahren kombinieren also ein Entscheidungsmodell mit einem generativen Modell. S78

Was ein slowakischer Entwickler daraus mitnehmen kann

Die folgenden Punkte sind ein Vorschlag von JEV.sk, abgeleitet aus dem Preprint, und kein Messergebnis. Wenn ein Onlineshop Produktbeschreibungen oder Antworten an Kunden von einem Sprachmodell schreiben lässt und diese automatisch prüfen möchte, eignet sich Jev nach den Ergebnissen des Preprints vor allem dort, wo eine Musterantwort vorliegt. Ohne sie lag er bei der Suche nach der richtigen Antwort hinter teureren Modellen mit Reasoning. S78

Text, den jemand von außen beeinflussen kann, etwa ein Lieferant im Feed oder ein Kunde in einer Bewertung, sollte als nicht vertrauenswürdig gelten. Bei der Choice-Frage genügte im Preprint eine einzige eingeschmuggelte Notiz, und Jev kippte fast ein Viertel der richtigen Urteile; die Formulierung als Checkliste senkte diesen Anteil. S78 Unsichere Fälle sollten Sie an ein teureres Modell oder einen Menschen weitergeben, so wie es die Kaskade im Preprint tat.

Bei den Kosten sollten Sie bedenken, dass TypeSafe für Jev 1.14 0,042 USD pro Million Eingabe-Token berechnet und Ausgabe-Token kostenlos sind. S01 Eine Schätzung für Ihr eigenes Volumen liefert der Kostenrechner, den Unterschied zwischen den Fragetypen erklärt der Leitfaden Choice, Score und Noul.