Wo Jev an Grenzen stößt: Entscheidungen mit Zwischenschritten

Das Entscheidungsmodell Jev antwortet in einem einzigen Durchlauf und schreibt keine Zwischenschritte. Ein neuer Preprint sucht die Grenze dieses Ansatzes. Autoren der Case Western Reserve University, des Georgia Institute of Technology, der Columbia University und des japanischen NII LLMC stellten fest, dass das Modell einen Eintrag zuverlässig findet und auswählt, aber bei Entscheidungen Fehler macht, die ein Sprachmodell erst bewältigt, wenn es sein Vorgehen ausschreibt. S59 Version v1 auf arXiv trägt das Datum 18. Oktober 2026; es handelt sich um einen Preprint ohne abgeschlossenes Begutachtungsverfahren. S59 Für Entwickler ist das eine praktische Frage: Welche Entscheidungen in einer Anwendung kann man Jev überlassen und welche nicht?

Was die Autoren untersucht haben

Unter einem Entscheidungsmodell verstehen die Autoren ein Modell, das nach einem einzigen Durchlauf die Wahrscheinlichkeiten der einzelnen Optionen liefert und keinen Text erzeugt. Sie testeten jev-1.13.0 über die API und daneben 23 Konfigurationen offener Modelle im Stil von Jev. Zum Vergleich diente das Sprachmodell Qwen3.8-27B im Denkmodus. S59

Den ersten Teil bildet ein synthetischer Datensatz, in dem sich jeweils nur ein Faktor ändert: die Kontextlänge von 1.000 bis 20.000 Token und die Zahl der Optionen von 2 bis 64. S59 Der zweite Teil beruht auf realen Entscheidungsaufgaben aus JevBench, PubMedQA, Banking77 und HelpSteer2. Nach Ausschlüssen blieben 738 Aufgaben, davon 646 in einem Durchlauf lösbar und 92, die Nachdenken erfordern. S59

Einen Eintrag finden ja, einen Zustand zusammensetzen nein

Beim Suchen und Auswählen eines Eintrags antwortete Jev in allen 105 getesteten Kombinationen richtig, auch bei 20.000 Token und 64 Optionen. S59

Das Problem trat beim Verfolgen eines Zustands auf. Das Modell erhielt ein nach Tagen geordnetes Ereignisprotokoll, in dem der betrachtete Nutzer wiederholt Projekten beitrat und sie wieder verließ. Zwischen seinen Einträgen standen auch Einträge anderer Nutzer. Aufgabe war es zu bestimmen, in welchen Projekten der Nutzer am Ende ist. S59 Bei einer Änderung lag Jev zu 100 % richtig, bei sechzehn Änderungen zu 64 % (Kontext bis 8.000 Token). S59 Von 145 falschen Antworten waren 134 ein früherer Zustand desselben Nutzers, nur 3 verwechselten Nutzer. S59 Das Modell fand also die Einträge, setzte daraus aber das Ergebnis falsch zusammen.

Eine bessere Aufgabenstellung half nicht. Varianten mit der Anweisung, Schritt für Schritt vorzugehen, mit beschriebenem Vorgehen oder mit benanntem Fehler erreichten bei 16 Änderungen 54 bis 64 %, der ursprüngliche Wortlaut 61 %. S59 Erst eine Änderung der Eingabe half. Enthielt sie nur die Einträge des betrachteten Nutzers, lag die Genauigkeit bei 100 %. Wurden die Einträge der anderen Nutzer durch themenfremden Text ersetzt, lag sie bei 99 %. S59 Störend waren also ähnliche Einträge anderer Personen, nicht die Länge des Textes an sich.

Eine veraltete Zusammenfassung übernimmt das Modell

Die zweite Schwäche betrifft die Überprüfung. Erhielt Jev zusätzlich zum Protokoll eine fertige Zusammenfassung des Zustands und war diese korrekt, gelang ihm das in allen 30 Kombinationen. Bei einer veralteten Zusammenfassung wählte es in 61 bis 100 % der Aufgaben, die ihn anboten, den veralteten Zustand. S59 Korrekte Zusammenfassungen nahm es in 91 % der Fälle an, veraltete lehnte es jedoch nur in 62 % ab. S59 Laut den Autoren prüft keines der getesteten Entscheidungsmodelle Zusammenfassungen zuverlässig. S59

Ein Sprachmodell mit Denkmodus bewältigte beide Aufgaben. Qwen3.8-27B löste bei einem Kontext bis 8.000 Token 96 % der Aufgaben mit mehreren Änderungen und lehnte 95 % der veralteten Zusammenfassungen ab. Dasselbe Modell, in einem einzigen Durchlauf ausgelesen, erreichte 77 und 74 %. S59

Einen ähnlichen Abstand zeigten reale Aufgaben. Jev erreichte 97,5 % bei Aufgaben, die in einem Durchlauf lösbar sind, und 73,9 % bei Aufgaben, die Nachdenken erfordern, insgesamt 94,6 %. S59 Im schwierigsten Teil von JevBench kam es auf 73,1 %, das Modell mit Denkmodus auf 99,2 %. S59

Die Konfidenz des Modells verrät solche Fehler nicht

Der Konfidenzwert (confidence) hilft, Fehler zu erkennen, die das Modell selbst macht. Die Kennzahl AUROC, die misst, wie gut die Konfidenz richtige von falschen Antworten trennt, lag bei Aufgaben zur Zustandsverfolgung bei 0,83 und bei realen Aufgaben bei 0,94. Bei Fehlern, die aus einer veralteten Zusammenfassung übernommen wurden, sank sie auf 0,53 (Protokolle bis 4.000 Token), was nahezu Zufallsniveau ist. S59

Zudem nutzte Jev nur selten die ausdrückliche Option, einen Fall abzugeben. Es wählte sie bei 1,6 % der realen Aufgaben und bei 3 seiner 40 Fehler. S59 Ein Training offener Modelle auf das Abgeben half nur teilweise und erkannte Fehler aus veralteten Eingaben ebenfalls nicht. S59

Was das für einen slowakischen Onlineshop bedeutet

Die Autoren empfehlen, Entscheidungen mit Zwischenschritten, vor allem die Prüfung einer Eingabe, die das Modell nicht selbst berechnet hat, einem Modell zu überlassen, das seine Überlegungen ausschreibt. Aus ihrer Sicht gehört Jev ans Ende der Kette: Es wählt schnell zwischen Optionen, wenn der Zustand bereits von einem nachdenkenden Modell berechnet und geprüft wurde. S59

Eigener Vorschlag von JEV.sk: Eine Bestellhistorie mit mehreren Statusänderungen ähnelt den Protokollen aus dem Versuch. Den aktuellen Bestellstatus sollte daher Code aus der Datenbank bestimmen, nicht Jev aus einer Ereignisliste. Wenn Sie dem Modell Kontext senden, filtern Sie Einträge anderer Bestellungen und Kunden heraus; im Preprint hob genau diese Eingrenzung der Eingabe die Genauigkeit auf 100 %. S59 Betrachten Sie eine Zusammenfassung aus einem anderen System nicht als geprüft, nur weil Jev sie bestätigt hat. Ein Konfidenz-Schwellenwert aus dem Leitfaden Confidence und Kalibrierung erkennt diese Fehlerart laut dem Preprint nicht. Wie sich die Fragetypen unterscheiden, erklärt die Seite Choice, Score und Noul.

Was der Preprint nicht misst

Die Autoren untersuchten isolierte Entscheidungen, die jeweils einmal gestellt und bewertet wurden. In Agenten können sich Fehler über wiederholte Aufrufe hinweg anhäufen, was die Studie nicht gemessen hat. S59 Getestet wurde jev-1.13.0. Seit dem 14. Oktober 2026 ist auch jev-1.14.0 verfügbar, der Alias jev-latest verweist jedoch weiterhin auf jev-1.13.0. S01 Ob die neuere Version die Grenze verschiebt, untersucht der Preprint nicht, und JEV.sk hat nichts davon gemessen.