Wenn mehr als eine Antwort stimmt: ein Preprint zu Jevs Wahrscheinlichkeiten

Am 21. Oktober 2026 erschien auf arXiv ein Preprint zu einer Situation, die in der Praxis häufiger ist, als es scheint: In einer Liste von Optionen ist nicht nur eine richtig. Der Autor Rushab Munot, als unabhängiger Forscher angegeben, verglich jev-1.13.0 mit zwei weiteren Entscheidungsmodellen. Nach seinen Ergebnissen können die Wahrscheinlichkeiten einer Choice-Frage die richtigen Optionen in eine Reihenfolge bringen, verraten aber nicht, wie richtig jede einzelne ist. S60 Das betrifft alle, die aus einem einzigen Choice-Ergebnis mehrere Kategorien zugleich auswählen, etwa zwei Abteilungen für eine Nachricht. Es handelt sich um einen Preprint ohne Begutachtung, und JEV.sk hat nichts davon gemessen.

Was der Autor untersucht hat

Choice liefert für jede Option eine Wahrscheinlichkeit, alle Werte ergeben zusammen 1, und die Antwort ist die Option mit dem höchsten Wert. S03 Der Preprint prüft, ob sich aus einer solchen Verteilung alle richtigen Optionen ablesen lassen, wenn es mehrere gibt, und ob ein einziger Schwellenwert sie von den falschen trennt. S60

Jev rief der Autor über die TypeSafe-API auf, die Modelle Liquid d1 und GPT-6 Luna Decisions über Vercel AI Gateway. Für diese beiden veröffentlichen die Hersteller keine Versionsnummern, die Ergebnisse beschreiben also, was das Gateway im Oktober 2026 bereitstellte. S60 Die Daten stammten aus drei englischen Datensätzen. MetaTool mit 4.287 Anfragen zur Werkzeugauswahl enthielt 497 Anfragen mit zwei richtigen Werkzeugen. Aus HotpotQA nutzte der Autor 7.405 Listen, bei denen die Antwort zwei Passagen erfordert. Der dritte Datensatz umfasste 1.000 Fälle des Europäischen Gerichtshofs für Menschenrechte (ECtHR) mit zehn Artikeln pro Liste, davon 192 mit zwei bis vier verletzten Artikeln. S60

Die zweite richtige Option bekommt oft wenig

Die Hauptmessung betraf Listen mit genau zwei richtigen Optionen. Bei Jev unterschieden sich die höhere und die niedrigere Wahrscheinlichkeit der richtigen Optionen im Mittel um 74 Prozentpunkte bei MetaTool, um 60 bei HotpotQA und um 58 bei ECtHR. S60 Selbst wenn beide richtigen Optionen vor allen falschen lagen, erhielt bei Jev eine von ihnen in 31 bis 50 % solcher Listen weniger, als ihr bei gleichmäßiger Verteilung (1/n) zustünde. Über alle drei Modelle hinweg waren es 28 bis 50 %. S60 Der Autor weist darauf hin, dass ein Wert unter 1/n für sich noch kein Fehler ist, weil richtige Optionen nicht gleich relevant sein müssen. S60

Eine HotpotQA-Frage, die sich ohne zwei Passagen nicht beantworten lässt, veranschaulicht das. Jev wies einer davon 0,93 zu und der anderen 0,07. S60

Ein weiterer Test schickte fünf identische Kopien einer richtigen Option. Sinnvoll wäre, die Wahrscheinlichkeit gleichmäßig auf sie zu verteilen. Bei Jev unterschieden sich die höchste und die niedrigste Kopie im Mittel um 17 bis 26 Punkte, bei den anderen Modellen um 37 bis 79 Punkte. Diese beiden Modelle wählten zudem in 76 bis 98 % der Antworten die erste Kopie. S60 Bei ECtHR wählte Jev in 56 % der Antworten die letzte Kopie; der Autor beschreibt den Positionseffekt als abhängig vom Modell und von den Daten. S60

Ein Schwellenwert findet nicht die ganze Menge

Wer aus einer Liste alle richtigen Optionen auswählen will, braucht einen Schwellenwert. Der beste Schwellenwert für Listenwahrscheinlichkeiten lag im Preprint zwischen 0,02 und 0,08, also deutlich unter dem Wert 0,25 aus einem Beispiel in der TypeSafe-Dokumentation. S60 In diesem Beispiel schickt der Code eine Kopie der Nachricht an ein zweites Team, wenn dessen Wahrscheinlichkeit 0,25 übersteigt. S03 Selbst beim besten Schwellenwert traf Jev die exakte Menge der richtigen Optionen nicht häufiger als in 0,57 der Fälle bei MetaTool, 0,62 bei HotpotQA und 0,52 bei ECtHR. S60

Die Liste durch eine eigene Ja/Nein-Frage pro Option zu ersetzen, half nicht. Die Genauigkeit für die exakte Menge sank in 8 von 9 Kombinationen aus Modell und Datensatz, bei Jev auf 0,31, 0,29 und 0,44. S60 Der gesamte Kalibrierungsfehler dieser Fragen wirkte mit 3 bis 9 Punkten gut, doch 46 bis 78 % der Antworten lagen im Bereich 0 bis 0,1, in dem mindestens 92 % falsche Optionen waren. Ohne diesen Bereich stieg der Fehler auf 8 bis 18 Punkte. S60

Was das für einen slowakischen Onlineshop bedeutet

Ein häufiger Fall: Ein Kunde behandelt in einer Nachricht sowohl eine Rücksendung als auch eine Rechnung, oder ein Produkt gehört in zwei Kategorien. Fügt das System die zweite Kategorie anhand eines festen Schwellenwerts auf den Choice-Wahrscheinlichkeiten hinzu, kann die richtige zweite Option laut Preprint einen sehr niedrigen Wert erhalten, im genannten Beispiel 0,07. S60 Vorschlag von JEV.sk: Legen Sie den Schwellenwert für die Auswahl mehrerer Kategorien anhand eigener annotierter Nachrichten fest, darunter auch Fälle mit mehr als einer richtigen Antwort, und nehmen Sie den Wert aus dem Dokumentationsbeispiel nicht als Ausgangspunkt. Wie Choice-Fragen formuliert werden, erklärt der Leitfaden Choice, Score und Noul, den Umgang mit Schwellenwerten Confidence und Kalibrierung und das Sortieren von Nachrichten selbst der Artikel zur Weiterleitung nach Absicht.

Die zweite Falle ist eine Liste, in der keine Option richtig ist. Ohne die Auswahl „nichts davon“ zeigten die Modelle eine mittlere Sicherheit von 0,49 bis 0,71 bei HotpotQA und 0,74 bis 0,87 bei MetaTool und ECtHR. S60 Für solche Fälle rät die TypeSafe-Dokumentation, Choice um eine eigene Noul-Frage zu ergänzen, etwa ob die Nachricht überhaupt eines Ihrer Produkte erwähnt, und die Choice-Antwort nur zu lesen, wenn die Noul-Antwort Ja lautet. S03 Erwähnenswert ist auch, dass GPT-6 Luna Decisions bei 11,7 % der Listen und Fragen die Antwort verweigerte, während weder Jev noch Liquid d1 eine verweigerten. S60 Dass die Zusammensetzung der Liste auch bei nur einer richtigen Antwort zählt, zeigte ein früherer Preprint zur Optionsliste.

Modellversion und Grenzen der Studie

Die Ergebnisse gelten für jev-1.13.0. Seit dem 14. Oktober 2026 ist auch jev-1.14.0 über den Alias jev-preview verfügbar, während jev-latest weiterhin auf jev-1.13.0 zeigt. S01 Der Autor untersuchte nur drei gehostete Modelle und drei englische Datensätze, in denen die richtige Menge durch deren eigene Labels festgelegt ist. Er prüfte einen Schwellenwert pro Datensatz und eine Ja/Nein-Frage pro Option; Schwellenwerte je Beispiel und die Auswahl einer festen Anzahl von Optionen untersuchte er nicht. Andere Aufgaben mit mehreren richtigen Antworten, etwa medizinische Diagnosen, bezog er nicht ein. S60 Sein Fazit ist vorsichtig: Choice-Wahrscheinlichkeiten eignen sich für eine Rangfolge, nicht als Schätzung, dass eine bestimmte Option richtig ist. S60