Má Jev ľudské skreslenia? Preprint ukázal citlivosť na kotvy a poradie

Preprint, ktorý vyšiel na arXiv 14. októbra 2026, sa pýta, či rozhodovací model Jev opakuje chyby známe z ľudského úsudku: kotvenie na nesúvisiacom čísle, vplyv formulácie alebo ohľad na už vynaložené náklady. Autori Ilaria Imperatrice, Taisia Kameneva, Adam Eric Greenberg a Alessandro Romano skúmali verziu jev-1.13.0 v 41 500 odpovediach. S57 Výsledok je na prvý pohľad upokojujúci, pri bližšom pohľade menej, a týka sa každého, kto stavia automatiku na prahoch istoty. Ide o preprint, ktorý sa sám označuje za pracovnú verziu, a JEV.sk nič z toho nemeral. S57

Ako štúdia prebiehala

Dáta autori zbierali od 30. septembra do 5. októbra 2026 cez API TypeSafe. Odpovede rozdelili do siedmich skupín úloh: kognitívna reflexia, kotvenie, konjunkcia, rámcovanie, utopené náklady, nulové riziko a sociálne skreslenie pri cenách. Pri kotvení a cenách použili otázku Score, pri ostatných úlohách Choice. S57 Väčšina pokusov stavia vedľa seba klasické zadanie zo psychologickej literatúry a jeho upravenú verziu. Úlohy typu Choice kládli aj s obráteným poradím možností. S57 Výsledky porovnávajú so staršími pokusmi s ľuďmi, nie s inými modelmi. S57

Kde Jev obstál

Na deväť úloh kognitívnej reflexie, ktoré zvádzajú k rýchlej, ale nesprávnej odpovedi, odpovedal Jev správne vo všetkých 500 odpovediach pri každej položke. Priemerná istota bola pri každej položke vyššia ako 85 %. S57 Pri rámcovaní sa vybraná možnosť takmer nehýbala: podiel istej voľby klesol zo 100 % na 97 %, kým v pôvodnom pokuse s ľuďmi z 72 % na 22 %. S57 Pri utopených nákladoch odmietol ďalšiu investíciu vo všetkých 2 000 odpovediach. S57

Kde sa ukázali trhliny

Vybraná odpoveď je len časť výsledku. Pri utopených nákladoch v pôvodnej verzii predchádzajúca investícia zvýšila pravdepodobnosť ďalšej investície z 1,00 % na 7,12 %, resp. na 5,92 %, podľa poradia možností. Rámcovanie v pôvodnej verzii posunulo pravdepodobnosť riskantnej možnosti v priemere o 34,31 bodu. S57

Pri kotvení mal Jev navrhnúť trest za krádež v obchode na škále od 3 do 9 mesiacov, pričom zadanie obsahovalo súčet dvoch hodených kociek. Hoci kocky s prípadom nesúvisia, priemerný odvodený trest stúpol zo 6,338 mesiaca pri súčte 2 na 6,811 mesiaca pri súčte 12. S57 Efekt bol menší ako u ľudí: pri kotvách 3 a 9 bol rozdiel 0,302 mesiaca, kým v štúdii s ľuďmi 2,53 mesiaca. S57

Najvýraznejšie dopadla úloha o konjunkcii. Pôvodné, dobre známe zadanie Jev vyriešil vo všetkých 500 odpovediach, upravenú verziu nevyriešil ani raz, a to s priemernou istotou 94,28 % a 95,42 % pri dvoch poradiach možností. S57 V rozšírenej kontrole na 30 scenároch a 15 000 odpovediach zvolil nesprávnu odpoveď v 53,96 % prípadov. Autori z toho vyvodzujú, že výsledky na známych testoch môžu spoľahlivosť nadhodnocovať. S57

Poradie možností zavážilo aj pri nulovom riziku. V upravenej verzii klesol podiel voľby s väčším znížením škody z 99,6 % na 65,6 % len preto, že sa zmenilo poradie možností. S57

Ceny podľa mena zákazníka

Najväčšia časť štúdie, 25 000 odpovedí, sa týkala ceny. Jev mal odporučiť úvodnú ponuku pri kúpe auta z desiatich možností od 28 750 do 30 895 USD. Autori striedali 125 mien kupujúceho zo šiestich skupín podľa rasy a pohlavia, raz len s menom a raz aj s výslovne uvedenou rasou a pohlavím. S57 Priemery skupín sa pohybovali od 29 529,28 do 29 539,90 USD pri samotnom mene a od 29 540,71 do 29 560,75 USD pri výslovných údajoch. Jediný rozdiel, ktorého interval spoľahlivosti nezahŕňal nulu, bol medzi černošskými a bielymi zákazníkmi pri výslovných údajoch: 12,30 USD pri rozpätí možností 2 145 USD. Niektoré rozdiely išli opačným smerom ako v klasických pokusoch s ľuďmi. S57 Cenu autori odvodili ako vážený priemer z pravdepodobností jednotlivých možností, nie ako sumu, ktorú by model priamo vrátil. S57

Čo z toho plynie pre slovenský e-shop

Autori v diskusii uvádzajú príklad zákazníckej podpory, ktorá požiadavku vybaví automaticky, keď pravdepodobnosť zvolenej možnosti dosiahne aspoň 80 %, inak ju posunie ďalej. Upozorňujú, že pokles z 83 % na 77 % zmení, čo aplikácia urobí, hoci sa vybraná odpoveď nezmení. S57 Ak e-shop triedi správy alebo reklamácie s takýmto prahom, môže podľa týchto výsledkov nesúvisiaci údaj v state alebo iné poradie kategórií rozhodnúť, či prípad vybaví automatika, alebo človek. Autori preto odporúčajú testovať citlivosť na nesúvisiaci kontext a na poradie odpovedí. S57

Návrh JEV.sk: pred nasadením pošlite tú istú otázku s oboma poradiami možností a raz aj s pridaným nesúvisiacim údajom a porovnajte, ako sa pohne confidence. Do stavu dávajte len údaje, ktoré k rozhodnutiu patria. Prácu s prahmi opisuje sprievodca istota a kalibrácia a zápis otázok sprievodca Choice, Score a Noul. Vplyv zostavy možností na pravdepodobnosti opísal aj starší preprint o pridanej možnosti.

Limity a verzia

Väčšina pokusov má len jedno pôvodné a jedno upravené zadanie, takže opakované volania opisujú správanie pri týchto konkrétnych textoch, nie pri celej skupine podobných úloh. Odvodené hodnoty ako trest alebo cena závisia od pevnej stupnice odpovedí a autori pripomínajú, že podľa dokumentácie TypeSafe majú výstupy Score obmedzenú číselnú kalibráciu. Pôvodné a upravené verzie zbierali v samostatných behoch, preto nevedia vylúčiť zmenu stavu služby medzi nimi. S57 Výsledky sa týkajú jev-1.13.0. TypeSafe medzičasom sprístupnil Jev 1.14 (jev-1.14.0) od 14. októbra 2026 cez alias jev-preview, kým jev-latest stále smeruje na jev-1.13.0. S01 Text preprintu neprešiel recenzným konaním.