Keď je správnych odpovedí viac: preprint o pravdepodobnostiach Jevu

Na arXiv vyšiel 21. októbra 2026 preprint o situácii, ktorá je v praxi bežnejšia, než sa zdá: v zozname možností nie je správna len jedna. Autor Rushab Munot, uvedený ako nezávislý výskumník, porovnal jev-1.13.0 s dvoma ďalšími rozhodovacími modelmi. Podľa jeho výsledkov pravdepodobnosti z otázky Choice dokážu správne možnosti zoradiť, no neprezradia, nakoľko je správna každá z nich. S60 Záleží na tom každému, kto z jedného výsledku Choice vyberá viac kategórií naraz, napríklad dve oddelenia pre jednu správu. Ide o preprint bez recenzného konania a JEV.sk nič z neho nemeral.

Čo autor skúmal

Choice vracia pravdepodobnosť pre každú možnosť, všetky hodnoty dávajú spolu 1 a odpoveďou je možnosť s najvyšším číslom. S03 Preprint skúma, či sa z takého rozdelenia dajú vyčítať všetky správne možnosti, keď ich je viac, a či ich od nesprávnych oddelí jeden prah. S60

Jev autor volal cez API TypeSafe, modely Liquid d1 a GPT-6 Luna Decisions cez Vercel AI Gateway. Pri týchto dvoch výrobcovia čísla verzií nezverejňujú, výsledky teda opisujú to, čo brána poskytovala v októbri 2026. S60 Dáta pochádzali z troch anglických súborov. MetaTool so 4 287 dotazmi na výber nástroja obsahoval 497 dotazov s dvoma správnymi nástrojmi. Z HotpotQA autor použil 7 405 zoznamov, pri ktorých odpoveď potrebuje dve pasáže. Tretím bolo 1 000 prípadov Európskeho súdu pre ľudské práva (ECtHR) s desiatimi článkami v zozname, z nich 192 s dvoma až štyrmi porušenými článkami. S60

Druhá správna možnosť často dostane málo

Hlavné meranie sa týkalo zoznamov s práve dvoma správnymi možnosťami. Pri Jeve sa vyššia a nižšia pravdepodobnosť správnych možností líšili v priemere o 74 percentuálnych bodov na MetaTool, o 60 na HotpotQA a o 58 na ECtHR. S60 Aj keď obe správne možnosti predbehli všetky nesprávne, jedna z nich dostala pri Jeve v 31 až 50 % takých zoznamov menej, než by jej patrilo pri rovnomernom rozdelení (1/n). Pri všetkých troch modeloch spolu to bolo 28 až 50 %. S60 Autor pripomína, že hodnota pod 1/n ešte nie je chyba, pretože správne možnosti nemusia byť rovnako dôležité. S60

Ilustruje to otázka z HotpotQA, ktorú bez dvoch pasáží nezodpoviete. Jev jednej z nich priradil 0,93 a druhej 0,07. S60

Ďalší test poslal päť rovnakých kópií jednej správnej možnosti. Rozumné by bolo rozdeliť medzi ne pravdepodobnosť rovnako. Pri Jeve sa najvyššia a najnižšia kópia líšili v priemere o 17 až 26 bodov, pri zvyšných modeloch o 37 až 79 bodov. Tie dva modely navyše v 76 až 98 % odpovedí volili prvú kópiu. S60 Jev na ECtHR v 56 % odpovedí volil poslednú kópiu; autor vplyv poradia opisuje ako závislý od modelu aj od dát. S60

Jeden prah celú množinu nenájde

Kto chce zo zoznamu vybrať všetky správne možnosti, potrebuje prah. Najlepší prah na pravdepodobnosti zo zoznamu vyšiel v preprinte medzi 0,02 a 0,08, teda výrazne pod hodnotou 0,25 z príkladu v dokumentácii TypeSafe. S60 V tom príklade kód pošle kópiu správy druhému tímu, keď jeho pravdepodobnosť prekročí 0,25. S03 Ani pri najlepšom prahu Jev netrafil presne celú množinu správnych možností častejšie než v 0,57 prípadov na MetaTool, 0,62 na HotpotQA a 0,52 na ECtHR. S60

Náhrada zoznamu samostatnou otázkou áno/nie pre každú možnosť nepomohla. Presnosť zhody celej množiny klesla v 8 z 9 kombinácií modelu a dát, pri Jeve na 0,31, 0,29 a 0,44. S60 Celková chyba kalibrácie týchto otázok vyzerala dobre, 3 až 9 bodov, no 46 až 78 % odpovedí ležalo v pásme 0 až 0,1, kde aspoň 92 % tvorili nesprávne možnosti. Bez tohto pásma chyba stúpla na 8 až 18 bodov. S60

Čo to znamená pre slovenský e-shop

Bežný prípad: zákazník v jednej správe rieši vrátenie tovaru aj faktúru, alebo produkt patrí do dvoch kategórií. Ak systém druhú kategóriu pridáva podľa pevného prahu na pravdepodobnosti z Choice, správna druhá možnosť podľa preprintu môže dostať veľmi nízke číslo, v uvedenom príklade 0,07. S60 Návrh JEV.sk: prah na výber viacerých kategórií nastavte na vlastných označených správach, medzi ktorými sú aj prípady s viacerými správnymi odpoveďami, a hodnotu z príkladu v dokumentácii neberte ako východisko. Ako sa otázky Choice zapisujú, vysvetľuje sprievodca Choice, Score a Noul, prácu s prahmi istota a kalibrácia a samotné triedenie správ článok o smerovaní podľa zámeru.

Druhá pasca je zoznam, v ktorom nie je správna žiadna možnosť. Bez voľby „nič z uvedeného“ mali modely priemernú istotu 0,49 až 0,71 na HotpotQA a 0,74 až 0,87 na MetaTool a ECtHR. S60 Dokumentácia TypeSafe pre takéto situácie radí pridať k Choice samostatnú otázku Noul, napríklad či správa vôbec spomína niektorý z vašich produktov, a odpoveď Choice čítať len pri kladnej odpovedi. S03 Za zmienku stojí aj to, že GPT-6 Luna Decisions odmietol odpovedať pri 11,7 % zoznamov a otázok, kým Jev ani Liquid d1 neodmietli žiadnu. S60 Že na zložení zoznamu záleží aj pri jednej správnej odpovedi, ukázal starší preprint o zozname možností.

Verzia modelu a limity štúdie

Výsledky platia pre jev-1.13.0. Od 14. októbra 2026 je dostupný aj jev-1.14.0 cez alias jev-preview, kým jev-latest stále smeruje na jev-1.13.0. S01 Autor skúmal len tri hostované modely a tri anglické súbory, v ktorých správnu množinu určujú ich vlastné značky. Testoval jeden prah na súbor a jednu otázku áno/nie na možnosť; prahy pre jednotlivé príklady ani výber pevného počtu možností neskúmal. Iné úlohy s viacerými správnymi odpoveďami, napríklad lekárske diagnózy, do štúdie nezahrnul. S60 Jeho záver je opatrný: pravdepodobnosti z Choice sa hodia na poradie, nie ako odhad, že je správna práve daná možnosť. S60