Tá istá otázka, iné rozhodnutie: preprint o súlade medzi Choice a Noul

Preprint, ktorý sa na arXiv objavil 28. októbra 2026, rieši otázku, na ktorú sa pri rozhodovacích modeloch zvykne zabúdať: dostaneme rovnaké rozhodnutie, keď ten istý prípad modelu predložíme raz ako otázku Choice a inokedy ako otázku Noul? Autori zo Zhejiang University a firmy vivo odpovedajú, že nie vždy, a nezhodu medzi odpoveďami považujú za užitočný signál chybného rozhodnutia. S73 Pre vývojára, ktorý stavia na prahoch pravdepodobnosti, z toho plynie jednoduchá poistka. Ide o preprint bez recenzného konania a JEV.sk nič z neho nemeral.

Čo autori skúmali

Súlad medzi typmi otázok chápu tak, že jeden a ten istý stav má viesť k zhodnému rozhodnutiu bez ohľadu na to, akým typom otázky ho modelu predložíme. S73 Na meranie zostavili sadu testov PrimaCons so štyrmi osami. S73

• Doplnok. Pri súbore HaluEval sa model pýtal, či odpoveď obsahuje halucináciu, potom opačne, či je fakticky správna, a navyše dostal binárnu otázku Choice. S73
• Hierarchia označení. Nebezpečné vzorky zo súboru PKU-SafeRLHF triedil na úrovni 2, 6 a 12 tried. S73
• Zdržanie sa odpovede. Pri AbstentionBench mohol v otázke Choice zvoliť možnosť, že sa odpovedať nedá, alebo nezodpovedateľnosť vyjadriť otázkou Noul. S73
• Opisy označení. Správy z AG News v štyroch kategóriách zaraďoval cez Choice s názvami, cez Choice s opismi a cez samostatnú otázku Noul pre každú kategóriu. S73

Každá os mala 6 000 položiek na kalibráciu a testovacia časť mala tiež 6 000 položiek, okrem hierarchie so 4 000. S73 Hodnotené modely nesú označenie JevK5-2B, JevK5-4B a JevK5-9B. Preprint nespomína TypeSafe AI ani identifikátory jev-1.13.0 a jev-1.14.0, ktoré uvádza dokumentácia výrobcu, preto z textu nevyplýva, či ide o model, ktorý TypeSafe AI poskytuje cez svoje API. S73 S01

Čo ukázali výsledky

Nezhody sa podľa autorov objavili na všetkých štyroch osiach a pri všetkých troch veľkostiach. S73 Pri osi doplnku bol priemerný rozdiel medzi kladne a obrátene položenou otázkou Noul, po prepočte obrátenej odpovede na 1 − p, 0,1858 pri modeli 2B, 0,1360 pri 4B a 0,0892 pri 9B. S73 Väčší model teda odpovedal súladnejšie, no rozdiel nezmizol.

Pri hierarchii nezhoda rástla s jemnosťou triedenia. Pri modeli 4B mala vzdialenosť rozdelení hodnotu 0,0870 pri dvoch triedach, 0,5329 pri šiestich a 0,6323 pri dvanástich. S73 Pri zdržaní sa odpovede sa Choice a Noul rozišli v konečnom rozhodnutí v 36,54 % prípadov pri 2B, v 26,69 % pri 4B a v 17,18 % pri 9B. S73 Na štvrtej osi sa Choice s opismi od Choice s názvami líšila málo, pri 2B o 0,0917, no samostatné otázky Noul pre jednotlivé kategórie dali citeľne iné rozdelenie, pri 2B so vzdialenosťou 0,4386. S73

Pre prax je najzaujímavejšie toto: rozdiel medzi kladnou a obrátenou otázkou Noul autori použili na zoradenie prípadov podľa rizika a uvádzajú, že chybné rozhodnutia takto predpovedá s ROC-AUC 0,91. S73

Kalibrátor Cprc a jeho slabé miesta

Autori navrhujú aj nápravu. Kalibrátor Cprc je malá reziduálna sieť pripojená k zmrazenému modelu, ktorá dopočítava opravy logitov. Trénuje sa na kalibračných dátach troch osí a štvrtá os ostáva na overenie. S73 Na odloženej osi opisov stúpla presnosť modelu 2B z 84,90 % na 87,42 %, pri 9B z 88,02 % na 89,75 % a pri 4B len z 84,08 % na 84,12 %. S73 Údaj „+2,97 %“ v abstrakte je relatívny nárast, v absolútnom vyjadrení ide pri 2B o 2,52 percentuálneho bodu. Oneskorenie sa podľa autorov predĺžilo o 0,75 %. S73

Text má aj nedostatky. Výsledky z prvej časti sú z kalibračných dát, niektoré východiskové hodnoty sa medzi tabuľkami mierne líšia a pri modeli 2B sa rozdiel na osi zdržania po kalibrácii zväčšil z 0,1884 na 0,2260. S73 Samostatnú kapitolu o limitoch preprint nemá a hodnotí jedinú rodinu modelov v troch veľkostiach. S73

Čo z toho plynie pre slovenský e-shop

Kalibrátor pracuje priamo s logitmi modelu. S73 Odpoveď na otázku Noul je podľa dokumentácie jediné číslo, pravdepodobnosť odpovede áno, bez samostatnej hodnoty confidence. S05 Kto Jev volá cez API, môže si preto z preprintu prevziať skôr samotnú kontrolu nezhody. Toto je návrh JEV.sk, nie odporúčanie autorov: pri citlivom rozhodnutí, napríklad či správa zákazníka je reklamácia alebo či odpoveď chatbota sedí s parametrami produktu, položte otázku dvakrát s opačným významom. Keď sa výsledky po prepočte výrazne rozídu, prípad pošlite človeku.

Dokumentácia Noul pritom varuje pred zápornou formuláciou, pretože obracia význam a kód, ktorý hodnotu číta, ju potom vyhodnotí naopak. Odporúča, aby vysoká hodnota znamenala áno, a ako východisko navrhuje prahy 0,7 a 0,3 s tým, že hodnoty medzi nimi pôjdu človeku. S05 Obe kontrolné otázky preto napíšte ako kladné tvrdenia s opačným obsahom, napríklad „Odpoveď je fakticky správna.“ a „Odpoveď obsahuje vymyslený údaj.“, nie ako dvojitý zápor. Rozdiel medzi otázkami typu Choice a Noul vysvetľuje sprievodca Choice, Score a Noul a nastavovanie prahov sprievodca istota a kalibrácia.

Druhá otázka nie je zadarmo. TypeSafe AI účtuje vstupné tokeny, 0,042 USD za milión, a výstupné sú bezplatné. S01 Každá kontrolná otázka teda pridá ďalšie vstupné tokeny; koľko to stojí pri vašom objeme, ukáže kalkulačka. Výsledky z osi opisov zároveň naznačujú, že prahy nastavené pre Choice netreba bez overenia prenášať na samostatné otázky Noul. S73 Na to, ako zostava možností mení pravdepodobnosti, sa zameral aj starší preprint.

Ktorej verzie sa to týka

Podľa dokumentácie alias jev-latest smeruje na jev-1.14.0, dostupný od 14. októbra 2026, a v ponuke ostáva aj jev-1.13.0. S01 Keďže preprint žiadnu z týchto verzií neuvádza, jeho čísla sa nedajú priamo priradiť k modelu, ktorý dnes vracia API. Overiť súlad odpovedí na vlastných dátach je preto rozumnejšie než preberať konkrétne hodnoty z preprintu.