Jev als günstiger erster Bewerter: Was ein Preprint zur Kaskade mit GPT-6 zeigt

Am 22. September 2026 erschien auf arXiv ein Preprint von vier Autoren, der untersucht, ob Jev die Aufgabe eines Bewerters bewältigt, also entscheiden kann, welche von zwei KI-Antworten besser ist oder ob eine Antwort durch Fakten gestützt ist. S34 Es handelt sich um einen Preprint ohne Peer-Review, aber mit beschriebener Methodik und einem eigenen Kapitel zu den Einschränkungen. Für die Praxis ist er vor allem deshalb interessant, weil er Jev nicht als Ersatz für ein großes Modell testet, sondern als günstiges erstes Sieb, das sagen kann, wann es sich nicht sicher ist.

Was die Autoren gemessen haben und wie

Die Autoren testeten die Version Jev 1.13.0 und erhoben die Daten am 21. September 2026. Diese Version verglichen sie mit sechzehn Bewertern, die auf generativen Modellen und Belohnungsmodellen beruhen. Der stärkste von ihnen war GPT-6 Astra in einer Einstellung mit niedrigem Denkaufwand. S34 Verwendet wurden vier Hauptdatensätze: 400 Paare aus RewardBench, 350 aus JudgeBench, 240 Urteile aus HaluEval zu Fragen mit beigefügtem Referenztext und 150 bereits annotierte Einträge aus früheren Experimenten. S34

Ergebnisse in diesem Test (Jev gegenüber GPT-6 Astra) S34:

• RewardBench: 92,2 % gegenüber 93,5 %,
• HaluEval: 87,5 % gegenüber 86,7 %,
• Einträge aus früheren Experimenten: 94,0 % gegenüber 96,7 %,
• JudgeBench: 78,6 % gegenüber 93,1 %.

Der große Unterschied liegt bei Preis und Geschwindigkeit. Tausend Bewertungen kosteten bei Jev 0,044 USD und bei GPT-6 Astra 12,182 USD; das entspricht 0,36 % der Gebühren des Vergleichsmodells. Der Median der Antwortzeit lag bei 0,152 s gegenüber 1,885 s. S34

Wo Jev zurückbleibt

Der große Abstand bei JudgeBench ist kein Zufall. Die Autoren führen ihn auf Aufgaben zurück, bei denen der Lösungsweg nachgerechnet werden muss, und auf Fälle, in denen die falsche Antwort ausführlich und überzeugend formuliert ist. S34 Beim Datensatz RM-Bench ist das direkt zu sehen: Hatten beide Antworten denselben Stil, erreichte Jev 84,0 %; war dagegen die abgelehnte Antwort die ausgefeiltere, sank sein Wert auf 74,8 %. S34

Das zweite Ergebnis betrifft die Reihenfolge. Als die Autoren die Reihenfolge der beiden Antworten vertauschten, änderten sich 3,25 % der Entscheidungen bei RewardBench und 11,14 % bei JudgeBench. Jev bevorzugte dabei nicht die erste Position, sondern wählte sie in 48,9 % bzw. 48,4 % der Fälle; es handelt sich also nicht um eine einfache Voreingenommenheit gegenüber der Reihenfolge. S34

Das passt zu den Schwächen, die der Hersteller einräumt und die wir im Leitfaden Sicherheit und Datenschutz zusammenfassen: Exaktes Rechnen und das Überprüfen einzelner Schritte gehören in ein anderes Werkzeug.

Kaskade: Sicheres annehmen, Unsicheres weiterreichen

Der wichtigste Teil der Studie zeigt, wo sich die Fehler von Jev konzentrieren. Bei den Einträgen, die Jev bei einer Konfidenz von mindestens 0,9 angenommen hätte, unterschieden sich die beiden Modelle kaum (95,8 % gegenüber 96,5 %). Bei den Einträgen, die Jev weitergereicht hätte, lag GPT-6 Astra um 15 Prozentpunkte vorn (67,9 % gegenüber 82,6 %). S34

Darauf bauten die Autoren eine Kaskade auf. Jev bewertet jedes Paar in beiden Reihenfolgen und mittelt die Wahrscheinlichkeiten. Liegt die Konfidenz bei mindestens 0,9, gilt das Urteil, andernfalls entscheidet GPT-6 Astra. Den Schwellenwert legten die Autoren vorab anhand von 96 Pilotpaaren fest und fixierten ihn, bevor der Test ausgeweitet wurde. S34 Auf 510 neuen Paaren übernahm die Kaskade 53,7 % der Urteile von Jev, erreichte 92,5 % gegenüber 93,1 % für GPT-6 Astra allein und verbrauchte 56,8 % von dessen Gebühren. S34

Ein ähnliches Muster beschreibt auch die Dokumentation des Herstellers. Eine Entscheidung wird sowohl nach der Antwort als auch nach der Konfidenz weitergeleitet, unterhalb einer unteren Grenze geht der Fall an einen Menschen, und die Strenge des Schwellenwerts soll sich danach richten, wie schwer die Folgen eines Fehlers wiegen. Im Beispiel aus dem Bankwesen genügt für eine risikoarme Aktion eine Konfidenz von 0,6, während das System eine riskante Aktion erst bei einer Konfidenz über 0,85 selbst ausführt. S35 Mehr zur Konfidenz lesen Sie im Leitfaden Confidence und Kalibrierung.

Was daraus für Onlineshops und Entwickler folgt

Wer in der Slowakei mit einem großen Sprachmodell Produktbeschreibungen oder Antworten an Kunden erzeugt, prüft sie oft mit einem weiteren teuren Modell. Die Studie legt einen günstigeren Weg nahe: die erste Prüfung Jev zu überlassen und das teurere Modell nur bei unsicheren Urteilen aufzurufen. Aus den Zahlen der Studie ergeben sich aber auch Grenzen. Jev ließ sich darin von einer ausgefeilten falschen Antwort täuschen und kam mit Aufgaben, bei denen ein Lösungsweg nachgerechnet werden muss, schlechter zurecht. S34 Die Prüfung von Berechnungen, Preisen oder Verfügbarkeit sollte deshalb beim Code bleiben.

Die Autoren empfehlen abschließend, Paare in beiden Reihenfolgen zu bewerten, den Schwellenwert auf einem eigenen Auswahldatensatz festzulegen und ihn an Einträgen zu überprüfen, die bei seiner Wahl nicht verwendet wurden. Vor dem Einsatz für eine neue Aufgabe ist ihrer Ansicht nach eine kleine lokale Überprüfung nötig. S34 Der Schwellenwert von 0,9 aus dieser Studie ist also keine universelle Einstellung.

Grenzen der Studie

Die Autoren nennen mehrere Einschränkungen. Sie bewerteten eine einzige geschlossene Version von Jev und wissen nicht, ob die Testdatensätze in den Trainingsdaten vorkamen. Der Vergleich ist hinsichtlich der Rechenleistung nicht ausgeglichen. Spezialisierte Fachgebiete testeten sie nicht, und die Schwellenwerte lassen sich zwischen Aufgaben nur ungleichmäßig übertragen. S34 Die 183 strittigen Einträge beurteilte verblindet eine einzige Person, die zugleich zu den Autoren gehört. S34 Laut den Autoren funktioniert die Weiterleitung nach Konfidenz dort, wo das erste Modell fähig, aber unsicher ist. Sie versagt dort, wo sich das Modell mit hoher Konfidenz irrt. S34

Weitere Studien zu Jev fassen wir in der Übersicht zur Forschung zusammen.