Eine zusätzliche Option verschiebt Jevs Wahrscheinlichkeiten: Was ein Preprint zeigt

Ein Preprint, der am 12. Oktober 2026 auf arXiv erschienen ist, widmet sich einer Eigenschaft, die bei Entscheidungsmodellen leicht übersehen wird: ob das Verhältnis der Wahrscheinlichkeiten zwischen zwei Optionen gleich bleibt, wenn eine dritte Option zur Frage hinzukommt. Die Autoren der Firma AltSlate Labs LLP untersuchten das Modell jev-1.13.0 und kommen zu dem Schluss, dass es diese Bedingung in ihrer Studie nicht erfüllt. S54 Wer Schwellenwerte auf confidence setzt oder Zahlen zwischen verschiedenen Kategorielisten vergleicht, sollte das wissen. Es handelt sich um einen Preprint, und JEV.sk hat nichts davon gemessen.

Was die Autoren gemessen haben und wie

In der Entscheidungstheorie heißt diese Eigenschaft Unabhängigkeit von irrelevanten Alternativen (IIA). S54 Die Autoren haben fünf Hypothesen vorab registriert und noch vor dem ersten Messaufruf die Datenpunkte, die Störoptionen und den Analysecode eingefroren. Ein Pilotlauf mit 200 Datenpunkten floss nicht in die konfirmatorischen Tests ein. S54

Sie arbeiteten mit den Klassifikationsdatensätzen BANKING77 und CLINC150 mit je 1.000 Datenpunkten sowie mit 500 Datenpunkten aus AG News als Kontrolle. Insgesamt schickten sie 299.463 Aufrufe, einschließlich einer Prüfung, ob sich das Modell während des Laufs verändert, und geben Gesamtkosten von 6,79 USD an. Die Modellversion war bei jedem Aufruf fest vorgegeben. S54 Jede Optionszusammenstellung lief zweimal, damit sich eine echte Verschiebung von der üblichen Streuung zwischen Läufen unterscheiden ließ. S54

Die Verschiebung wurde an sogenannten strittigen Datenpunkten verfolgt, bei denen sowohl die richtige Antwort als auch die stärkste falsche mindestens 0,05 erhielten. Davon gab es 647. S54 Zu diesem Paar fügten die Autoren dann eine zusätzliche Option hinzu: ein Thema aus einem ganz anderen Bereich, eine zufällige Kategorie, eine Kategorie nahe einer der beiden oder eine umformulierte Fassung der falschen Option. S54

Was die Ergebnisse zeigen

Eine einzige zusätzliche Option veränderte das Wahrscheinlichkeitsverhältnis in allen zehn Hauptkombinationen. Die systematische Verschiebung erreichte 0,20 bis 0,52 Nat auf der logarithmischen Skala des Chancenverhältnisses, während die Streuung zwischen zwei identischen Läufen 0,15 bis 0,17 betrug. S54 Das Verhältnis bewegte sich selbst dann, wenn eine Option aus einem anderen Bereich höchstens 0,1 % der Wahrscheinlichkeit erhielt. S54

Die Richtung der Änderung war nicht immer ungünstig. Eine Kategorie nahe der falschen Antwort verschob das Verhältnis um +0,099 Nat zugunsten der richtigen Antwort. Die umformulierte falsche Option erhielt ungefähr ein Drittel des Anteils, den sie und die ursprüngliche falsche Option zusammen hatten. S54

Mit der Länge der Liste wuchs der Effekt. Die Autoren testeten bis zu 255 Optionen, und als sie die Liste mit themenfremden Kategorien auf 255 Einträge auffüllten, sank die Genauigkeit von 0,853 auf 0,814. S54

Zwei Befunde fallen beruhigender aus. Als sie einer Choice-Frage im selben Aufruf 1 bis 128 themenfremde Ja/Nein-Fragen hinzufügten, lag die mittlere Änderung der Wahrscheinlichkeit in jeder Bedingung unter 0,0006. S54 Eine eigene Ja/Nein-Frage pro Option lieferte wiederum Werte, die nicht von den übrigen Optionen abhingen, doch die Genauigkeit bei der Auswahl einer Antwort lag um 0,087 niedriger als mit Choice. S54 Die Zahl, die Jev für eine Option zurückgibt, ist nach Ansicht der Autoren daher im Kontext der ganzen Liste zu lesen und nicht als Eigenschaft dieser Option allein. S54

Was das für einen slowakischen Onlineshop bedeutet

Ein verbreiteter Einsatz ist das Sortieren von Kundennachrichten in Kategorien wie Reklamation, Versand oder Rechnung, mit einem Schwellenwert für die Sicherheit, oberhalb dessen das System selbst handelt. Die Autoren raten, Wahrscheinlichkeiten nur innerhalb einer Optionszusammenstellung zu vergleichen und die Schwellenwerte nach jeder Änderung der Liste neu einzustellen. S54 Fügt ein Shop eine neue Kategorie hinzu, kann sich laut den Ergebnissen des Preprints auch das Verhältnis zwischen den ursprünglichen Kategorien verschieben, weshalb die Schwellenwerte erneut an den eigenen Daten zu prüfen sind. S54

Weitere Ratschläge der Autoren: nahezu gleiche Optionen entfernen, die Liste nicht mit themenfremden Kategorien auffüllen, Choice zur Auswahl einer Antwort nutzen und vergleichbare Werte über separate Ja/Nein-Fragen gewinnen. Unabhängige Fragen lassen sich ihnen zufolge in einem einzigen Aufruf senden. Wenn es auf die Wahrscheinlichkeiten wirklich ankommt, empfehlen sie, über wiederholte Läufe und beide Reihenfolgen der Optionen zu mitteln. S54 Wie Choice-Fragen formuliert werden, erklärt der Leitfaden Choice, Score und Noul, den Umgang mit Schwellenwerten beschreibt der Leitfaden Confidence und Kalibrierung und den typischen Einsatz in Shops die Seite Jev für Onlineshops. Auf die Zusammenstellung von Optionen konzentrierte sich auch ein früherer Preprint zu Optionsnamen, der jedoch andere Modelle untersuchte.

Für welche Version das gilt

Die Ergebnisse gelten für jev-1.13.0. Am 14. Oktober 2026 hat TypeSafe AI Jev 1.14 mit der Kennung jev-1.14.0 veröffentlicht, verfügbar über den Alias jev-preview, während der Alias jev-latest weiterhin auf jev-1.13.0 verweist. S01 Die Autoren weisen selbst darauf hin, dass sich neuere Versionen anders verhalten können. S54

Grenzen der Studie

Die Autoren testeten eine Modellversion und eine Art von Aufgabe: die Zuordnung zu genau einer Kategorie, bei der die Optionen nur einen Namen ohne längere Beschreibung hatten. S54 Die Materialien prüfte ein Sprachmodell und kein Mensch, und auch die umformulierten Optionen entwarf ein Sprachmodell. Die Analyse der Verschiebung umfasst nur die strittigen Datenpunkte, also etwa ein Viertel aller Datenpunkte. Den Mechanismus, über den die Liste das Ergebnis beeinflusst, haben sie nicht direkt untersucht; ihre Erklärung leitet sich aus dem Verhalten des Modells ab. S54 Da es sich um einen Preprint handelt, hat der Text kein Peer-Review-Verfahren durchlaufen.