Vertauschte Optionen ändern Jevs Antworten stärker, als die Genauigkeit zeigt

Wenn Sie in einer Choice-Frage die Reihenfolge der Optionen vertauschen, ändert sich Jevs durchschnittliche Genauigkeit kaum. Ein neuer Preprint zeigt jedoch, dass sich hinter der stabilen Zahl ein anderes Problem verbirgt: Fragen, die das Modell in einer Reihenfolge richtig beantwortet hat, beantwortet es in einer anderen oft falsch. S70 Wer mit Jev Nachrichten, Bestellungen oder Produkte sortiert, sollte die eigene Lösung daher nicht nur an einer einzigen Genauigkeitszahl prüfen.

Was die Autoren untersucht haben

Den Preprint verfassten Mingyang Song, Mao Zheng, Zhiyuan Ma und Xinpeng Zhou vom Foundation Model Department des Unternehmens Tencent. S70 Die erste Version wurde am 26. Oktober 2026 eingereicht, am 27. Oktober 2026 kam eine zweite hinzu. Die Zahlen in diesem Artikel stammen aus der zweiten Version. S71 Die Autoren wollten wissen, ob ein Modell, das die Wahrscheinlichkeit direkt auf die vorgegebenen Optionen verteilt, weniger davon abhängt, in welcher Reihenfolge es sie erhält. S70

Sie verglichen Jev 1.13 und Jev 1.14 über deren native Entscheidungsschnittstelle mit sechs generativen Modellen, darunter Claude Sonnet 5.5, GPT-6.1-sol und Gemini 3.8 Flash, sowie mit 12 offenen Nachbildungen von Jev. S70 Die Hauptsammlung umfasste 1.700 Fragen: 1.200 aus SuperGPQA und 500 aus LEXam, wobei jede Frage 4, 8, 16 oder 32 Optionen hatte. S70 Jede Frage erhielt das Modell achtmal: in der ursprünglichen Reihenfolge, in umgekehrter Reihenfolge und in sechs zufälligen. Wortlaut der Frage und Inhalt der Optionen blieben gleich. S70 Zum Vergleich schickten die Autoren dieselbe Frage auch achtmal in unveränderter Reihenfolge. S70

Die Genauigkeit bleibt, die Fehler wandern

Laut Abstract unterschied sich Jevs Genauigkeit zwischen den einzelnen Reihenfolgen um weniger als zwei Prozentpunkte. Die Menge der Fragen, die es mindestens einmal falsch beantwortete, wuchs jedoch um 27,3 bis 28,5 %. S70 Die Fehler bleiben also nicht bei denselben Fragen, sondern treffen bei jeder Reihenfolge etwas andere.

Am aussagekräftigsten ist der Vergleich von Wiederholung und Umordnung. Bei Wiederholung in gleicher Reihenfolge verlor Jev 8,8 bis 9,2 % der Fragen, die es zunächst richtig beantwortet hatte, beim Vertauschen der Optionen 27,0 bis 27,8 %. S70 Die offenen Nachbildungen blieben bei Wiederholung nahezu unverändert und verloren 0 bis 1,3 % ihrer Treffer, bei geänderter Reihenfolge jedoch 23,2 bis 64,2 %. S70 Dieselbe Antwort auf dieselbe Anfrage sagt also noch nichts darüber aus, wie ein Modell mit einer anderen Reihenfolge zurechtkommt.

In dieser Studie schnitt Jev weder deutlich besser noch deutlich schlechter ab als die anderen. Von den richtig beantworteten Fragen behielt es die richtige Antwort in allen acht Darstellungen bei 72,2 bis 73,0 %. Vier generative Modelle behielten mehr, 75,7 bis 88,9 %, zwei weniger. S70 Die Autoren schreiben daher, dass sie keinen allgemeinen Vorteil von Jev gefunden haben. S70

Abstimmung und Übereinstimmung helfen wenig

Eine einfache Absicherung liegt nahe: die Frage in mehreren Reihenfolgen senden und die häufigste Antwort nehmen. Bei Jev brachte das gegenüber der durchschnittlichen Genauigkeit einer einzelnen Darstellung 0,96 Punkte bei Version 1.13 und 1,01 Punkte bei Version 1.14. Bei den generativen Modellen lag der Gewinn zwischen 0,46 und 5,63 Punkten. S70 Auch Einstimmigkeit ist kein Beweis für Richtigkeit. Jev wählte bei 57,7 bis 59,1 % der Fragen in allen acht Darstellungen dieselbe Option, und von diesen Antworten waren 62,1 bis 63,3 % richtig. Falsch waren also 36,7 bis 37,9 %. S70

Was das für einen slowakischen Onlineshop bedeutet

Die Sammlung im Preprint besteht aus anspruchsvollen fachlichen Testfragen, nicht aus der Zuordnung von Produkten oder Kundennachrichten, daher lassen sich die Zahlen nicht direkt übertragen. Der Preprint zeigt jedoch, dass Stabilität bei Wiederholung nichts über Stabilität bei einer anderen Reihenfolge der Optionen aussagt. S70

Ein eigener Vorschlag von JEV.sk, den der Preprint nicht geprüft hat: Wenn Sie Jev an eigenen Daten überprüfen, etwa bei der Zuordnung von Produkten zu Kategorien, senden Sie dieselben Beispiele in mehreren Reihenfolgen der Optionen. Verfolgen Sie, welche konkreten Fälle ihre Antwort ändern, nicht nur die durchschnittliche Genauigkeit. Wiederholte Aufrufe mit derselben Eingabe ersetzen diese Prüfung nicht. Im Betrieb senden Sie die Optionen in fester Reihenfolge, damit sich die Ergebnisse über die Zeit vergleichen lassen. Fälle, die bei geänderter Reihenfolge umkippen, sind gute Kandidaten für eine Prüfung durch einen Menschen oder einen strengeren Schwellenwert. Den Umgang mit Schwellenwerten beschreibt der Leitfaden Confidence und Kalibrierung, die Fragetypen die Seite Choice, Score und Noul.

Jede weitere Reihenfolge ist eine weitere Anfrage. TypeSafe berechnet 0,042 USD pro Million Eingabe-Token, Ausgabe-Token sind kostenlos. S01 Was es kosten würde, eine Frage mehrfach zu senden, können Sie im Kostenrechner ausrechnen.

Grenzen des Preprints

Es handelt sich um einen Preprint. Die Ergebnisse gelten für eine feste Aufgabensammlung und acht Darstellungen, wobei sich Fachgebiet, Sprache, Schwierigkeit und Zahl der Optionen gemeinsam änderten. S70 Die Bezeichnungen der Optionen wanderten zusammen mit ihrem Inhalt, sodass die Studie den Einfluss der Position nicht von dem der Bezeichnung trennen kann. S70 Wie Jev aufgebaut und trainiert ist, ist nicht öffentlich, daher benennen die Autoren die Ursache der Unterschiede nicht. Die Modelle unterscheiden sich zudem in Training und Schnittstelle, sodass der Vergleich zwischen ihnen nicht kausal ist. S70

Getestet wurden die Versionen 1.13 und 1.14, einen klaren Sieger zwischen ihnen nennt der Preprint nicht. S70 Der Alias jev-latest verweist derzeit auf jev-1.14.0, und die Dokumentation weist darauf hin, dass Aliase auf eine neue Version wechseln können. Wer stabile Antworten braucht, sollte eine konkrete Versions-ID verwenden. S01