Názvy možností môžu prebiť definície: čo ukazuje nový preprint

Preprint z 1. októbra 2026 skúma, čo sa stane, keď typovaný rozhodovací model dostane možnosti s krátkym názvom a dlhším opisom pravidla. Autori z University of Southern California tvrdia, že väčšina testovaných modelov sa riadi hlavne názvami možností, nie definíciami, ktoré vývojár napísal. S45 Kto skladá zoznam možností do otázky typu Choice, má v tom praktickú výstrahu. Ide však o preprint a o modely s otvorenými váhami; samotný Jev autori nemerali. S45

Čo autori skúmali

Typovaný rozhodovací model vráti pravdepodobnosť pre každú možnosť, ktorú zadá volajúci. Každá možnosť má krátky názov a písanú definíciu s pravidlom. S45 Autori sa pýtali, ktorá z týchto dvoch vecí ovplyvní výsledok viac, a sklon riadiť sa názvom pomenovali option-label bias. S45

Testovali štyri modely s otvorenými váhami: tri z rodiny laya a model von. Použili jedenásť klasifikačných úloh a vlastný syntetický súbor PolicyBench, v ktorom je pravidlo uvedené výlučne v definíciách. Ako kontrolu pridali aj jazykové modely Qwen2.5, Llama a Mistral. S45

Čo ukázali čísla

Pri modeli laya-td odstránenie všetkých definícií takmer nezmenilo presnosť: 0,8559 oproti 0,8487 s definíciami. Samotné definície, bez významových názvov, dali 0,7971. S45 Keď sa názov a definícia navzájom protirečili, presnosť laya-td klesla na 0,1357. S45

Na kontrolnej verzii PolicyBench-XF zvýšilo premenovanie možností na neutrálne A a B presnosť laya-td o 0,1511 (interval od 0,1377 do 0,1646). Autori túto hodnotu označujú za hlavnú veličinu. Pri jazykovom modeli Qwen2.5-7B bol rozdiel +0,1203. S45

Model von sa správal opačne. Pri všetkých označeniach mal presnosť 0,8511 a po odstránení definícií klesol na 0,5102, takže čerpal výlučne z definícií. Keď do neho autori vložili názov protirečiaci definícii, presnosť na klasifikačných úlohách klesla z 0,8511 na 0,2281. S45

Zaujímavý je mechanizmus. Keď autori odstránili názov zo vstupu modelov laya, rozdiel zmizol úplne. Podľa nich preto príčinou nie je obmedzená rozhodovacia hlavica modelu, ale spôsob, akým sa možnosti vykreslia do vstupu. S45

Istota môže zavádzať

Preprint sa dotýka aj hodnoty istoty. Pre laya-td dosiahla plocha pod krivkou ROC (AUROC) skóre istoty 0,8123 pri zarovnaných názvoch a 0,2433 pri zavádzajúcich. Hodnota pod 0,50 znamená, že istota pri chybách ukazuje opačným smerom. S45 Autori preto upozorňujú, že samotné prahovanie istoty nestačí; viac o nej je v sprievodcovi istota a kalibrácia. S45

Čo autori odporúčajú

Prvým krokom je dvojvolaniový test: rovnakú otázku položiť dvakrát s rôznymi názvami možností a nezmenenými definíciami. Ak sa rozdelenia pravdepodobností líšia, názvy rozhodnutie ovplyvňujú. S45

Ak pravidlo leží v definíciách, autori odporúčajú arbitrárne názvy, napríklad A a B, pokiaľ to úloha dovoľuje. Keď musia názvy niesť význam, navrhujú korekciu cez prázdny stav a porovnanie dvoch vykreslení. S45 Samotná inštrukcia „ignoruj názvy“ pomohla len málo: zlepšenie o 0,0138 a podľa autorov nenahrádza arbitrárne názvy. S45

Dopad pre slovenský e-shop

Typický prípad je triedenie zákazníckych správ do kategórií ako reklamácia, vrátenie alebo otázka k doprave. Ak pravidlo, kedy správa patrí do reklamácie, stojí v definícii možnosti a názov znie podobne ako obsah správy, môže názov podľa preprintu rozhodnúť namiesto pravidla. Platí to pre modely, ktoré autori testovali. S45

Autori Jev nemerali, pretože je to hostovaný komerčný model, a ich závery o mechanizme platia pre otvorené implementácie. S45 Či sa to prejaví aj v Jeve, preto zo zdroja nevieme. JEV.sk nič z toho nemeral. Dvojvolaniový test je však lacný postup, ktorý si vývojár môže spustiť na vlastných dátach; ako sa možnosti zapisujú, vysvetľuje sprievodca Choice, Score a Noul a typické nasadenia v e-shopoch opisuje stránka Jev pre e-shopy.

Limity štúdie

PolicyBench je syntetický súbor zostavený podľa šablón, takže chýba prirodzenosť reálnych dát. Definície sú vlastné formulácie autorov a iné znenie by posunulo absolútne čísla. Model laya-ml bol takmer na úrovni náhody, preto z neho autori nevyvodzujú závery. Latenciu ani náklady nemerali. S45 Keďže ide o preprint, text neprešiel recenzným konaním.