Gleicher Fall, andere Entscheidung: ein Preprint zur Übereinstimmung von Choice und Noul

Ein Preprint, der am 28. Oktober 2026 auf arXiv erschienen ist, behandelt eine Frage, die bei Entscheidungsmodellen leicht übersehen wird: Erhalten wir dieselbe Entscheidung, wenn wir dem Modell denselben Fall einmal als Choice-Frage und ein anderes Mal als Noul-Frage vorlegen? Die Autoren von der Zhejiang University und dem Unternehmen vivo antworten, dass dies nicht immer der Fall ist, und sehen Unstimmigkeiten zwischen den Antworten als nützliches Signal für eine falsche Entscheidung. S73 Für Entwickler, die auf Wahrscheinlichkeitsschwellen aufbauen, ergibt sich daraus eine einfache Absicherung. Es handelt sich um einen Preprint ohne Begutachtung, und JEV.sk hat nichts daraus selbst gemessen.

Was die Autoren untersucht haben

Übereinstimmung zwischen Fragetypen verstehen sie so, dass ein und derselbe Zustand zur gleichen Entscheidung führen soll, unabhängig davon, mit welchem Fragetyp er dem Modell vorgelegt wird. S73 Zur Messung stellten sie eine Testsammlung namens PrimaCons mit vier Achsen zusammen. S73

• Komplement. Beim Datensatz HaluEval wurde das Modell gefragt, ob eine Antwort eine Halluzination enthält, dann umgekehrt, ob sie sachlich richtig ist, und zusätzlich erhielt es eine binäre Choice-Frage. S73
• Label-Hierarchie. Unsichere Beispiele aus dem Datensatz PKU-SafeRLHF ordnete es auf der Ebene von 2, 6 und 12 Klassen ein. S73
• Enthaltung. Bei AbstentionBench konnte es in einer Choice-Frage die Option wählen, dass sich die Frage nicht beantworten lässt, oder die Unbeantwortbarkeit über eine Noul-Frage ausdrücken. S73
• Label-Beschreibungen. Meldungen aus AG News in vier Kategorien ordnete es über Choice mit Namen, über Choice mit Beschreibungen und über eine eigene Noul-Frage für jede Kategorie zu. S73

Jede Achse hatte 6.000 Einträge zur Kalibrierung, und der Testteil umfasste ebenfalls 6.000 Einträge, mit Ausnahme der Hierarchie mit 4.000. S73 Die bewerteten Modelle tragen die Bezeichnungen JevK5-2B, JevK5-4B und JevK5-9B. Der Preprint erwähnt weder TypeSafe AI noch die Kennungen jev-1.13.0 und jev-1.14.0 aus der Herstellerdokumentation; aus dem Text geht daher nicht hervor, ob es sich um ein Modell handelt, das TypeSafe AI über seine API anbietet. S73 S01

Was die Ergebnisse zeigten

Laut den Autoren traten Unstimmigkeiten auf allen vier Achsen und bei allen drei Größen auf. S73 Auf der Komplement-Achse betrug der durchschnittliche Unterschied zwischen der positiv und der umgekehrt formulierten Noul-Frage, nach Umrechnung der umgekehrten Antwort auf 1 − p, 0,1858 beim Modell 2B, 0,1360 bei 4B und 0,0892 bei 9B. S73 Das größere Modell antwortete also stimmiger, der Unterschied verschwand aber nicht.

Bei der Hierarchie wuchs die Unstimmigkeit mit feinerer Einteilung. Beim Modell 4B betrug der Abstand der Verteilungen 0,0870 bei zwei Klassen, 0,5329 bei sechs und 0,6323 bei zwölf. S73 Bei der Enthaltung wichen Choice und Noul in der endgültigen Entscheidung in 36,54 % der Fälle bei 2B ab, in 26,69 % bei 4B und in 17,18 % bei 9B. S73 Auf der vierten Achse unterschied sich Choice mit Beschreibungen nur wenig von Choice mit Namen, bei 2B um 0,0917, doch eigene Noul-Fragen für die einzelnen Kategorien ergaben eine deutlich andere Verteilung, bei 2B mit einem Abstand von 0,4386. S73

Für die Praxis am interessantesten ist Folgendes: Die Autoren nutzten den Unterschied zwischen der positiven und der umgekehrten Noul-Frage, um Fälle nach Risiko zu ordnen, und berichten, dass er falsche Entscheidungen mit einer ROC-AUC von 0,91 vorhersagt. S73

Der Kalibrator Cprc und seine Schwachstellen

Die Autoren schlagen auch eine Abhilfe vor. Der Kalibrator Cprc ist ein kleines Residualnetz, das an ein eingefrorenes Modell angehängt wird und Korrekturen der Logits berechnet. Er wird mit den Kalibrierungsdaten von drei Achsen trainiert, die vierte Achse bleibt zur Überprüfung zurückgehalten. S73 Auf der zurückgehaltenen Beschreibungs-Achse stieg die Genauigkeit des Modells 2B von 84,90 % auf 87,42 %, bei 9B von 88,02 % auf 89,75 % und bei 4B nur von 84,08 % auf 84,12 %. S73 Die Angabe „+2,97 %“ im Abstract ist ein relativer Zuwachs; absolut sind es bei 2B 2,52 Prozentpunkte. Die Latenz stieg laut den Autoren um 0,75 %. S73

Der Text hat auch Mängel. Die Ergebnisse aus dem ersten Teil stammen aus den Kalibrierungsdaten, einige Ausgangswerte unterscheiden sich zwischen den Tabellen leicht, und beim Modell 2B wuchs der Abstand auf der Enthaltungs-Achse nach der Kalibrierung von 0,1884 auf 0,2260. S73 Ein eigenes Kapitel zu Einschränkungen hat der Preprint nicht, und er bewertet nur eine Modellfamilie in drei Größen. S73

Was das für einen slowakischen Onlineshop bedeutet

Der Kalibrator arbeitet direkt mit den Logits des Modells. S73 Laut Dokumentation ist die Antwort auf eine Noul-Frage eine einzige Zahl, die Wahrscheinlichkeit einer Ja-Antwort, ohne eigenen confidence-Wert. S05 Wer Jev über die API aufruft, kann aus dem Preprint daher eher die Prüfung auf Unstimmigkeit selbst übernehmen als den Kalibrator. Dies ist ein Vorschlag von JEV.sk, keine Empfehlung der Autoren: Stellen Sie bei einer heiklen Entscheidung, etwa ob eine Kundennachricht eine Reklamation ist oder ob die Antwort eines Chatbots zu den Produktdaten passt, die Frage zweimal mit entgegengesetzter Bedeutung. Wenn die Ergebnisse nach der Umrechnung deutlich auseinandergehen, geben Sie den Fall an einen Menschen weiter.

Die Noul-Dokumentation warnt dabei vor verneinenden Formulierungen, weil sie die Bedeutung umkehren und Code, der den Wert liest, ihn dann falsch herum auswertet. Sie empfiehlt, dass ein hoher Wert Ja bedeuten soll, und schlägt als Ausgangspunkt Schwellenwerte von 0,7 und 0,3 vor, wobei Werte dazwischen an einen Menschen gehen. S05 Formulieren Sie beide Prüffragen deshalb als positive Aussagen mit entgegengesetztem Inhalt, etwa „Die Antwort ist sachlich richtig.“ und „Die Antwort enthält eine erfundene Angabe.“, nicht als doppelte Verneinung. Den Unterschied zwischen Choice- und Noul-Fragen erklärt der Leitfaden Choice, Score und Noul, das Festlegen von Schwellenwerten der Leitfaden Confidence und Kalibrierung.

Die zweite Frage ist nicht kostenlos. TypeSafe AI berechnet Eingabe-Token mit 0,042 USD pro Million, Ausgabe-Token sind kostenlos. S01 Jede Prüffrage fügt also weitere Eingabe-Token hinzu; was das bei Ihrem Volumen kostet, zeigt der Kostenrechner. Die Ergebnisse der Beschreibungs-Achse deuten zudem darauf hin, dass für Choice festgelegte Schwellenwerte nicht ohne Überprüfung auf eigene Noul-Fragen übertragen werden sollten. S73 Wie die Zusammenstellung der Optionen Wahrscheinlichkeiten verändert, untersuchte auch ein früherer Preprint.

Welche Version betroffen ist

Laut Dokumentation zeigt der Alias jev-latest auf jev-1.14.0, verfügbar seit dem 14. Oktober 2026, und auch jev-1.13.0 bleibt im Angebot. S01 Da der Preprint keine dieser Versionen nennt, lassen sich seine Zahlen nicht direkt dem Modell zuordnen, das die API heute liefert. Die Übereinstimmung der Antworten auf eigenen Daten zu prüfen, ist daher sinnvoller, als konkrete Werte aus dem Preprint zu übernehmen.