Jev als Antwortprüfer in RAG: ähnliche Genauigkeit, mehr durchgelassene Fehler

Ein Chatbot auf Basis einer Dokumentation oder eines Produktkatalogs setzt seine Antwort aus gefundenen Textpassagen zusammen (RAG). Trotzdem kann darin eine Aussage landen, die in diesen Passagen gar nicht vorkommt. Ein Preprint auf arXiv mit Datum 30. September 2026 untersuchte, ob Jev eine solche Prüfung anstelle eines großen generativen Modells übernehmen kann. S55 Sein Wert liegt darin, dass es nicht bei einer einzigen Zahl stehen bleibt: Die Gesamtgenauigkeit beider Systeme fiel ähnlich aus, doch jedes macht andere Fehler.

Wer was verglichen hat

Die Autoren sind Alden Do Rosario und Kirollos Atef vom Unternehmen CustomGPT.ai. Der Erstautor hat die Firma gegründet und leitet sie, und ihr Produkt umfasst die Prüfung von Aussagen. Die Autoren geben an, zahlende Kunden beider Anbieter zu sein und dass keiner der beiden Einfluss auf Design, Daten oder Ergebnisse hatte. S55 Es handelt sich um einen Preprint, der kein Peer-Review durchlaufen hat. JEV.sk hat den vollständigen Text gelesen und selbst nichts getestet.

Verglichen wurden die Version jev-1.13.0 und GPT-6 Astra, das als binärer Klassifikator bei niedrigem und hohem Denkaufwand arbeitete. Die Daten bestehen aus 495 Aussagen aus dem Entwicklungsteil des Benchmarks LLM-AggreFact, je 45 aus jedem von 11 Datensätzen. Belegt sind 297 Aussagen, nicht belegt 198. Jede Aussage ging an beide Systeme, der Vergleich ist also gepaart. S55 Jev erhielt die Aussage und den Beleg als zwei Einträge seines Zustands (state) und wählte zwischen den Antworten SUPPORTED und NOT_SUPPORTED. S55

Die Hauptmetrik ist der Makro-Durchschnitt der balancierten Genauigkeit (balanced accuracy). Jev erreichte 73,27, Astra 73,83 bei niedrigem und 74,11 bei hohem Aufwand. Der Unterschied von Jev zu Astra beträgt −0,56 Punkte mit einem 95-%-Intervall von −5,6 bis 4,5. Die Autoren betonen, dass sie lediglich keinen Unterschied nachweisen konnten, was noch nicht bedeutet, dass die Systeme gleichwertig sind. S55

Wo sich die Systeme unterscheiden

Die Systeme waren sich bei 15,2 % der Aussagen uneinig. S55 Wichtiger ist, in welche Richtung sie sich irren. Eine unbelegte Aussage stufte Jev in 23,23 % der Fälle als belegt ein, Astra in 14,14 %. Die Autoren beschreiben das günstigere Modell daher als nachgiebigeren Wächter. S55 Für einen Chatbot ist genau das der unangenehme Fehler: Eine Antwort mit einer erfundenen Angabe passiert die Prüfung unbemerkt.

Der Preisunterschied ist groß. Die Autoren haben die Kosten aus den Preislisten vom 20. September 2026 berechnet; es handelt sich nicht um tatsächliche Rechnungen. Jev kam auf 0,04786 USD pro 1.000 Aussagen, Astra auf 8,93 USD bei niedrigem und 10,70 USD bei hohem Aufwand. S55 Die Antwortgeschwindigkeit verglich die Studie nicht. S55

Die Kaskade spart, aber nicht dank der Konfidenz

Die Autoren testeten auch eine Kaskade: Jev entscheidet zuerst und gibt Aussagen, bei denen es unsicher ist, an Astra weiter. Den Schwellenwert wählten sie per Kreuzvalidierung. Die Kaskade erreichte 74,10 bei 2,92 USD pro 1.000 Aussagen, gab im Durchschnitt 29,9 % der Aussagen weiter und ließ in 19,22 % der Fälle eine unbelegte Aussage durch. S55 Sie ist damit ungefähr dreimal günstiger als Astra allein, lässt aber weiterhin mehr Fehler durch.

Am aufschlussreichsten ist die Kontrollgruppe mit zufälliger Auswahl. Als die Autoren zufällig ausgewählte 30,9 % der Aussagen an Astra schickten, kostete das 2,81 USD und ergab 73,36. Die Auswahl nach Konfidenz kostete beim gleichen Anteil 2,94 USD und erreichte 74,01. Laut den Autoren stammt die Ersparnis daraus, wie viele Aussagen weitergegeben werden, nicht aus dem Konfidenzsignal, und bei dieser Stichprobengröße lässt sich nicht behaupten, dass die Weiterleitung nach Konfidenz besser ist als eine zufällige. S55 Die Wahrscheinlichkeit, die Jev liefert, trägt dennoch Information: Ihre AUROC gegenüber den korrekten Labels beträgt 0,868. S55

Lehrreich ist auch der Schwellenwert, der auf denselben Daten gewählt wurde, auf denen anschließend gemessen wurde. Er ergab 75,82 bei 1,62 USD, doch die Autoren halten dieses Ergebnis für zu optimistisch und ersetzen es durch das kreuzvalidierte. S55

Was das für einen slowakischen Onlineshop bedeutet

Betreibt ein Onlineshop einen Chatbot, der aus Produktbeschreibungen oder Geschäftsbedingungen antwortet, ergeben sich aus der Studie zwei praktische Punkte. Erstens reicht die Gesamtgenauigkeit nicht aus. Man muss verfolgen, wie viele unbelegte Antworten die Prüfung durchlässt, denn genau darin unterschieden sich Jev und Astra in diesem Test am stärksten. S55 Zweitens sollte der Schwellenwert für die Weitergabe an ein stärkeres Modell auf eigenen Daten festgelegt und auf anderen Daten überprüft werden als denen, aus denen er gewählt wurde. Wie man mit Konfidenz arbeitet, erklärt der Leitfaden Confidence und Kalibrierung. Eine ähnliche Kaskade bei der Bewertung beschreibt auch ein früherer Artikel zum Preprint mit GPT-6.

Bei einem Preis von rund fünf Hundertstel Dollar pro tausend Aussagen kann Jev als günstiger erster Filter dienen. Wo ein durchgelassener Fehler jedoch eine falsche Angabe zu Garantie oder Preis bedeutet, zeigen die Ergebnisse, dass Jev allein in dieser Studie nachgiebiger war. Die Autoren empfehlen selbst, das Vorgehen an der eigenen Aufgabe zu prüfen, bevor man es verallgemeinert. S55

Grenzen der Studie

Die Autoren nennen die Einschränkungen offen. Es gibt einen Benchmark, ein Systempaar und einen Durchlauf pro System. Sie verwendeten nur den Entwicklungsteil der Daten, daher lässt sich nicht ausschließen, dass die Modelle ihn aus dem Training kannten. Die Kosten der Kaskade sind Nachberechnungen ohne Netzwerk- und Steuerungsaufwand. Die Testumgebung entstand mithilfe von KI-Assistenten, und ein Anhang beschreibt die während der Arbeit vorgenommenen Korrekturen. S55

Die Ergebnisse betreffen die Version jev-1.13.0. Laut Dokumentation ist sie weiterhin die stabile Version hinter dem Alias jev-latest, während jev-1.14.0 seit dem 14. Oktober 2026 als Vorschau unter dem Alias jev-preview verfügbar ist. S01 Ob sich das Verhalten in der neueren Version ändert, sagt die Studie nicht.