Jev als Zitatprüfer bei Finanzberechnungen: Was ein Preprint gezeigt hat

Ein Sprachmodell kann die richtige Zahl berechnen und sie dennoch aus der falschen Tabellenzeile nehmen. Genau diesen Fall untersucht ein Preprint von sechs Autoren, der am 6. Oktober 2026 auf arXiv veröffentlicht wurde. Sie fragen, ob Jev als kostengünstiger Prüfer beurteilen kann, dass sich eine Berechnung von GPT-4.1-mini zu einem Finanzbericht auf den richtigen Wert stützt, und was eine solche Prüfung gegenüber einem einfachen Zahlenvergleich bringt. S48 Es handelt sich um einen Preprint ohne abgeschlossenes Begutachtungsverfahren. Die Autoren bezeichnen ihn als explorative Studie, weil sie die Formulierung der Prüffrage erst nach Durchsicht der untersuchten Datensätze festgelegt haben. S48

Wie der Versuch aufgebaut war

Grundlage ist der Datensatz FinQA mit Fragen, bei denen mit Werten aus Finanzberichten gerechnet werden muss. Aus seinem Testteil wählten die Autoren 96 Fragen, die sich mit einer einzigen Rechenoperation lösen lassen. S48 GPT-4.1-mini erstellte zu jeder Frage zwei Rechenwege, insgesamt also 192 Datensätze. S48

Jev hatte im Versuch zwei Aufgaben. Über Choice wählte es die Antwort aus fünf Zahlenoptionen: dem richtigen Wert, einem benachbarten Wert und drei arithmetischen Ablenkern. Über Noul beantwortete es mit Ja oder Nein, ob der zitierte Beleg die verwendeten Werte und ihre Rolle im Finanzbericht stützt. S48 Die Autoren nutzten die Version typesafe/jev-1.13-20260917 über OpenRouter mit TypeSafe als Anbieter. S48 Den Unterschied zwischen Choice- und Noul-Fragen erklärt der Leitfaden Choice, Score und Noul.

Richtige Zahl, nicht belegtes Zitat

Von den 192 Datensätzen stimmten 170 mit dem richtigen Ergebnis überein. Bei der manuellen Quellenprüfung stuften die Autoren 153 Datensätze als belegt und 37 als nicht belegt ein. S48 Eine einfache Prüfung, die den zitierten Wert wörtlich im Text sucht, erkannte alle 27 Fälle, in denen das Ergebnis stimmte, der zitierte Wert aber die falsche Rolle hatte. Gleichzeitig lehnte sie jedoch 33 Datensätze ab, die in Ordnung waren. S48

Beim Vergleich der Regeln verfolgten die Autoren, wie viele Datensätze eine Regel durchlässt und wie viele davon sowohl ein belegtes Zitat als auch ein richtiges Ergebnis haben. Die wörtliche Prüfung ließ 122 Datensätze durch, davon bestanden 117 in beiderlei Hinsicht. Eine lockerere Regel, die Werte an der zitierten Stelle vergleicht und die die Autoren erst nachträglich vorschlugen, ließ 154 Datensätze mit 141 Erfolgen durch. S48 Jev mit einem Schwellenwert von 0,8 ließ 146 Datensätze mit 142 Erfolgen durch und akzeptierte einen nicht belegten. Beim Schwellenwert 0,5 ließ es 159 Datensätze mit 143 Erfolgen durch, akzeptierte aber sechs nicht belegte. S48

Der Nettogewinn von Jev gegenüber der Zahlenregel ist laut den Autoren ein einziger Datensatz: zwei zusätzliche Datensätze bei einer Frage abzüglich eines gültigen Datensatzes, den Jev bei einer anderen zurückhielt. S48 Ohne diese eine Frage hätte Jev 140 erfolgreiche Datensätze gegenüber 141. S48

Dieselbe Zahl an der falschen Stelle

Der zweite Teil des Versuchs war ein gezielter Belastungstest. Die Autoren bildeten 15 Paare, in denen das Zitat auf dieselbe Zahl verweist, jedoch mit einer anderen finanziellen Rolle, etwa auf einen Wert aus einem anderen Jahr. S48 Von sechs eindeutigen Fällen mit falscher Rolle schickte Jev nur zwei unter den Schwellenwert 0,8 und akzeptierte vier. Auch der umgekehrte Fehler trat auf: Von sechs Fällen mit gleichwertigem Beleg fielen zwei unter 0,8. Ein gleichwertiger Beleg ist zum Beispiel der Schlussbestand einer Periode und der Anfangsbestand der nächsten, die denselben Betrag ausdrücken. S48

Das Ergebnis hing auch davon ab, wie die Tabelle dem Modell vorgelegt wurde. Als die Autoren ausdrückliche Spaltenbezeichnungen ergänzten, reagierte Jev empfindlicher auf Abweichungen bei Periode und Status, stützte aber einige gleichwertige Belege weniger. S48 In einer Nachprüfung mit 36 weiteren Fragen beseitigten ausdrückliche Spalten beide Annahmen nicht belegter Zitate, die Zahl der zurückgehaltenen gültigen Datensätze stieg jedoch von fünf auf sechs. S48

Kosten und Grenzen der Studie

Die Aufrufe sind günstig. Die Autoren geben an, dass die Erweiterung mit dem Prüfer, also 196 Aufrufe, 0,01669 USD kostete. S48 Eine eigene Kostenschätzung für andere Mengen können Sie im Kostenrechner erstellen.

Die Studie hat mehrere Grenzen, die die Autoren selbst aufzählen. Ausgewählt wurden nur Fragen mit einer einzigen Rechenoperation, und Jev traf bei der Auswahl über Choice 95 von 96 richtigen Antworten, sodass wenig Raum für Verbesserungen blieb. S48 Die ursprünglichen Belegbewertungen entstanden nicht verblindet, die Nachprüfung beurteilte eine einzige Person, und es wurden nur eine Jev-Version und ein Alias von GPT-4.1-mini erprobt. S48 Für die eigentliche Freigabe einer Antwort stellten die Autoren auf diesem Datensatz keinen Nutzen fest. S48 JEV.sk hat davon nichts selbst gemessen.

Was das für einen slowakischen Onlineshop bedeutet

Die Autoren empfehlen, die Prüfung der Berechnung und die Prüfung der zitierten Quelle als zwei getrennte Aufgaben zu behandeln. Ein Prüfer sollte von beiden Seiten bewertet werden: ob er nicht belegte Zitate ablehnt und ob er gültige gleichwertige Belege beibehält. Bei Änderungen an der Form der Eingabe, etwa beim Hinzufügen von Spaltenbezeichnungen, raten sie zur Vorsicht. S48

Eigener Vorschlag von JEV.sk: Wenn ein Onlineshop ein Sprachmodell Produktparameter aus Lieferantentabellen ergänzen lässt, etwa Gewicht oder Abmessungen, sollte die erste Prüfung Code übernehmen. Er prüft, ob die Zahl in der Quelltabelle überhaupt vorkommt. Noul kann als zweites Sieb für die Frage dienen, ob es sich um die richtige Spalte handelt. Messen Sie dabei nicht nur, wie viele Fehler erkannt werden, sondern auch, wie viele richtige Datensätze unnötig zurückgehalten werden, und wiederholen Sie die Messung nach jeder Änderung des Tabellenformats. Wie man einen Schwellenwert für die Sicherheit wählt und wann ein Fall an einen Menschen übergeben wird, beschreibt der Leitfaden Confidence und Kalibrierung.