Hat Jev menschliche Verzerrungen? Ein Preprint zeigt Empfindlichkeit für Anker und Reihenfolge

Ein Preprint, der am 14. Oktober 2026 auf arXiv erschienen ist, fragt, ob das Entscheidungsmodell Jev Fehler wiederholt, die aus dem menschlichen Urteilen bekannt sind: Verankerung an einer sachfremden Zahl, die Wirkung der Formulierung oder die Rücksicht auf bereits ausgegebene Kosten. Die Autorinnen und Autoren Ilaria Imperatrice, Taisia Kameneva, Adam Eric Greenberg und Alessandro Romano untersuchten die Version jev-1.13.0 in 41.500 Antworten. S57 Das Ergebnis wirkt auf den ersten Blick beruhigend, bei näherem Hinsehen weniger, und es betrifft alle, die Automatisierung auf Konfidenzschwellen aufbauen. Es handelt sich um einen Preprint, der sich selbst als Arbeitsfassung bezeichnet, und JEV.sk hat nichts davon gemessen. S57

Wie die Studie ablief

Die Daten wurden vom 30. September bis 5. Oktober 2026 über die TypeSafe-API erhoben. Die Antworten wurden in sieben Aufgabengruppen eingeteilt: kognitive Reflexion, Ankereffekt, Konjunktion, Framing, versunkene Kosten, Nullrisiko und soziale Verzerrung bei Preisen. Für Ankereffekt und Preise kam eine Score-Frage zum Einsatz, für die übrigen Aufgaben Choice. S57 Die meisten Versuche stellen eine klassische Aufgabe aus der psychologischen Literatur neben eine bearbeitete Fassung. Choice-Aufgaben wurden auch mit umgekehrter Reihenfolge der Optionen gestellt. S57 Verglichen werden die Ergebnisse mit früheren Versuchen an Menschen, nicht mit anderen Modellen. S57

Wo Jev bestanden hat

Bei neun Aufgaben zur kognitiven Reflexion, die zu einer schnellen, aber falschen Antwort verleiten, antwortete Jev bei jeder Aufgabe in allen 500 Antworten richtig. Die mittlere Konfidenz lag bei jeder Aufgabe über 85 %. S57 Beim Framing bewegte sich die gewählte Option kaum: Der Anteil der sicheren Wahl sank von 100 % auf 97 %, im ursprünglichen Versuch mit Menschen dagegen von 72 % auf 22 %. S57 Bei den versunkenen Kosten lehnte Jev eine weitere Investition in allen 2.000 Antworten ab. S57

Wo sich Risse zeigten

Die gewählte Antwort ist nur ein Teil des Ergebnisses. Bei den versunkenen Kosten erhöhte die frühere Investition in der Originalfassung die Wahrscheinlichkeit einer weiteren Investition je nach Reihenfolge der Optionen von 1,00 % auf 7,12 % bzw. auf 5,92 %. Das Framing verschob in der Originalfassung die Wahrscheinlichkeit der riskanten Option im Mittel um 34,31 Punkte. S57

Beim Ankereffekt sollte Jev eine Strafe für Ladendiebstahl auf einer Skala von 3 bis 9 Monaten vorschlagen, wobei die Aufgabe die Summe zweier geworfener Würfel enthielt. Obwohl die Würfel nichts mit dem Fall zu tun haben, stieg die mittlere abgeleitete Strafe von 6,338 Monaten bei der Summe 2 auf 6,811 Monate bei der Summe 12. S57 Der Effekt war kleiner als bei Menschen: Bei den Ankern 3 und 9 betrug der Unterschied 0,302 Monate, in der Studie mit Menschen 2,53 Monate. S57

Am deutlichsten fiel die Konjunktionsaufgabe aus. Die ursprüngliche, gut bekannte Aufgabe löste Jev in allen 500 Antworten, die bearbeitete Fassung dagegen kein einziges Mal, und zwar mit einer mittleren Konfidenz von 94,28 % und 95,42 % bei den beiden Reihenfolgen der Optionen. S57 In einer erweiterten Prüfung mit 30 Szenarien und 15.000 Antworten wählte Jev in 53,96 % der Fälle die falsche Antwort. Die Autoren folgern daraus, dass Ergebnisse auf bekannten Tests die Zuverlässigkeit überschätzen können. S57

Auch beim Nullrisiko spielte die Reihenfolge eine Rolle. In der bearbeiteten Fassung sank der Anteil der Wahl mit der größeren Schadensminderung von 99,6 % auf 65,6 %, nur weil sich die Reihenfolge der Optionen änderte. S57

Preise nach Kundennamen

Der größte Teil der Studie, 25.000 Antworten, betraf Preise. Jev sollte für einen Autokauf ein Einstiegsangebot aus zehn Optionen zwischen 28.750 und 30.895 USD empfehlen. Die Autoren wechselten 125 Käufernamen aus sechs Gruppen nach ethnischer Zugehörigkeit und Geschlecht, einmal nur mit dem Namen und einmal mit ausdrücklich genannter Zugehörigkeit und Geschlecht. S57 Die Gruppenmittel lagen zwischen 29.529,28 und 29.539,90 USD beim bloßen Namen und zwischen 29.540,71 und 29.560,75 USD bei ausdrücklichen Angaben. Der einzige Unterschied, dessen Konfidenzintervall die Null nicht einschloss, bestand zwischen schwarzen und weißen Kunden bei ausdrücklichen Angaben: 12,30 USD bei einer Spanne der Optionen von 2.145 USD. Einige Unterschiede verliefen in die entgegengesetzte Richtung als in klassischen Versuchen mit Menschen. S57 Den Preis leiteten die Autoren als mit den Wahrscheinlichkeiten gewichteten Mittelwert der einzelnen Optionen ab, nicht als Betrag, den das Modell direkt zurückgegeben hätte. S57

Was das für einen slowakischen Onlineshop bedeutet

In der Diskussion nennen die Autoren das Beispiel eines Kundensupports, der eine Anfrage automatisch erledigt, wenn die Wahrscheinlichkeit der gewählten Option mindestens 80 % erreicht, und sie andernfalls weitergibt. Sie weisen darauf hin, dass ein Rückgang von 83 % auf 77 % ändert, was die Anwendung tut, obwohl die gewählte Antwort gleich bleibt. S57 Sortiert ein Onlineshop Nachrichten oder Reklamationen mit einem solchen Schwellenwert, kann nach diesen Ergebnissen ein sachfremdes Detail im state oder eine andere Reihenfolge der Kategorien darüber entscheiden, ob ein Fall automatisch oder von einem Menschen bearbeitet wird. Die Autoren empfehlen deshalb, die Empfindlichkeit gegenüber sachfremdem Kontext und gegenüber der Reihenfolge der Antworten zu testen. S57

Vorschlag von JEV.sk: Senden Sie vor dem Livegang dieselbe Frage mit beiden Reihenfolgen der Optionen und einmal mit einem hinzugefügten sachfremden Detail, und vergleichen Sie, wie sich confidence verändert. Geben Sie in den Zustand nur Daten, die zur Entscheidung gehören. Den Umgang mit Schwellenwerten beschreibt der Leitfaden Confidence und Kalibrierung, das Formulieren von Fragen der Leitfaden Choice, Score und Noul. Den Einfluss der Optionsmenge auf die Wahrscheinlichkeiten beschrieb auch ein früherer Preprint über eine zusätzliche Option.

Grenzen und Version

Die meisten Versuche haben nur eine ursprüngliche und eine bearbeitete Aufgabe, sodass die wiederholten Aufrufe das Verhalten bei genau diesen Texten beschreiben, nicht bei der ganzen Gruppe ähnlicher Aufgaben. Abgeleitete Werte wie die Strafe oder der Preis hängen von einer festen Antwortskala ab, und die Autoren erinnern daran, dass Score-Ausgaben laut TypeSafe-Dokumentation nur eine begrenzte numerische Kalibrierung haben. Die ursprünglichen und bearbeiteten Fassungen wurden in getrennten Läufen erhoben, daher können die Autoren eine Änderung im Zustand des Dienstes zwischen ihnen nicht ausschließen. S57 Die Ergebnisse betreffen jev-1.13.0. TypeSafe hat inzwischen Jev 1.14 (jev-1.14.0) ab dem 14. Oktober 2026 über den Alias jev-preview bereitgestellt, während jev-latest weiterhin auf jev-1.13.0 verweist. S01 Der Preprint hat kein Peer-Review durchlaufen.