Jedna možnosť navyše zmení pravdepodobnosti Jevu: čo ukázal preprint

Preprint, ktorý vyšiel na arXiv 12. októbra 2026, sa venuje vlastnosti, na ktorú sa pri rozhodovacích modeloch ľahko zabúda: či pomer pravdepodobností medzi dvoma možnosťami ostane rovnaký, keď do otázky pribudne tretia. Autori z firmy AltSlate Labs LLP skúmali model jev-1.13.0 a podľa nich túto podmienku v ich štúdii nespĺňa. S54 Kto nastavuje prahy na confidence alebo porovnáva čísla medzi rôznymi zoznamami kategórií, mal by o tom vedieť. Ide o preprint a JEV.sk nič z toho nemeral.

Čo a ako autori merali

V teórii rozhodovania sa táto vlastnosť nazýva nezávislosť od irelevantných alternatív (IIA). S54 Autori vopred zaregistrovali päť hypotéz a ešte pred prvým meracím volaním zmrazili položky, rušivé možnosti aj kód analýzy. Pilotný beh na 200 položkách do potvrdzujúcich testov nezarátali. S54

Pracovali s klasifikačnými súbormi BANKING77 a CLINC150 po 1 000 položkách a s 500 položkami AG News ako kontrolou. Spolu poslali 299 463 volaní vrátane kontroly, či sa model počas behu nemení, a celkové náklady uvádzajú 6,79 USD. Verziu modelu mali pri každom volaní pevne zadanú. S54 Každú zostavu možností spustili dvakrát, aby skutočný posun odlíšili od bežného rozptylu medzi behmi. S54

Posun sledovali na takzvaných sporných položkách, pri ktorých správna odpoveď aj najsilnejšia nesprávna dostali aspoň 0,05. Takých položiek bolo 647. S54 K tejto dvojici potom pridávali jednu možnosť navyše: tému z úplne inej oblasti, náhodnú kategóriu, kategóriu blízku jednej z dvojice alebo preformulovanú nesprávnu možnosť. S54

Čo ukázali výsledky

Jediná pridaná možnosť zmenila pomer pravdepodobností vo všetkých desiatich hlavných kombináciách. Systematický posun dosiahol 0,20 až 0,52 natu na logaritmickej škále pomeru šancí, kým rozptyl medzi dvoma rovnakými behmi bol 0,15 až 0,17. S54 Pomer sa pohol aj vtedy, keď možnosť z inej oblasti dostala najviac 0,1 % pravdepodobnosti. S54

Smer zmeny nebol vždy nepriaznivý. Kategória blízka nesprávnej odpovedi posunula pomer o +0,099 natu v prospech správnej odpovede. Preformulovaná nesprávna možnosť získala približne tretinu podielu, ktorý spolu pripadol jej a pôvodnej nesprávnej možnosti. S54

S dĺžkou zoznamu efekt rástol. Autori skúšali až 255 možností a keď zoznam doplnili nesúvisiacimi kategóriami na 255 položiek, presnosť klesla zo 0,853 na 0,814. S54

Dve zistenia vyznievajú pokojnejšie. Keď k otázke Choice v tom istom volaní pridali 1 až 128 nesúvisiacich otázok áno/nie, priemerná zmena pravdepodobnosti bola v každej podmienke menšia ako 0,0006. S54 Samostatná otázka áno/nie pre každú možnosť zase dala skóre, ktoré od ostatných možností nezáviselo, no presnosť pri výbere odpovede bola o 0,087 nižšia než pri Choice. S54 Číslo, ktoré Jev vráti pri jednej možnosti, teda podľa autorov treba chápať v kontexte celého zoznamu, nie ako vlastnosť tejto možnosti samej. S54

Čo to znamená pre slovenský e-shop

Bežné nasadenie je triedenie zákazníckych správ do kategórií ako reklamácia, doprava či faktúra s prahom istoty, nad ktorým systém koná sám. Autori radia porovnávať pravdepodobnosti iba v rámci jednej zostavy možností a po každej zmene zoznamu prahy nanovo nastaviť. S54 Ak e-shop pridá novú kategóriu, podľa výsledkov preprintu sa môže pohnúť pomer aj medzi pôvodnými kategóriami, preto treba prahy znova overiť na vlastných dátach. S54

Ďalšie rady autorov: vyradiť takmer rovnaké možnosti, nedopĺňať zoznam kategóriami mimo témy, na výber odpovede použiť Choice a porovnateľné skóre získať samostatnými otázkami áno/nie. Nezávislé otázky sa podľa nich dajú poslať v jednom volaní. Keď na pravdepodobnostiach naozaj záleží, odporúčajú spriemerovať opakované behy aj obe poradia možností. S54 Ako sa otázky Choice zapisujú, vysvetľuje sprievodca Choice, Score a Noul, prácu s prahmi opisuje sprievodca istota a kalibrácia a typické použitie v obchodoch stránka Jev pre e-shopy. Na zostavovanie možností sa zameral aj starší preprint o názvoch možností, ten však skúmal iné modely.

Ktorej verzie sa to týka

Výsledky platia pre jev-1.13.0. TypeSafe AI 14. októbra 2026 vydal Jev 1.14 s identifikátorom jev-1.14.0, dostupný cez alias jev-preview, kým alias jev-latest stále smeruje na jev-1.13.0. S01 Autori sami upozorňujú, že novšie verzie sa môžu správať inak. S54

Limity štúdie

Autori testovali jednu verziu modelu a jeden typ úlohy: zaradenie do jednej kategórie, pri ktorom možnosti mali len názov bez dlhšieho opisu. S54 Materiály kontroloval jazykový model, nie človek, a preformulované možnosti tiež navrhol jazykový model. Analýza posunu pokrýva iba sporné položky, teda približne štvrtinu všetkých. Mechanizmus, ktorým zoznam ovplyvňuje výsledok, priamo neskúmali; ich vysvetlenie vychádza zo správania modelu. S54 Keďže ide o preprint, text neprešiel recenzným konaním.