Prehodené poradie možností mení odpovede Jevu viac, než ukáže presnosť

Keď v otázke Choice prehodíte poradie možností, priemerná presnosť Jevu sa takmer nezmení. Nový preprint však ukazuje, že pod stabilným číslom sa skrýva iný problém: otázky, ktoré model v jednom poradí zodpovedal správne, v inom poradí často zodpovie zle. S70 Kto Jevom triedi správy, objednávky alebo produkty, mal by preto vlastné riešenie testovať inak než len jedným číslom presnosti.

Čo autori skúmali

Preprint napísali Mingyang Song, Mao Zheng, Zhiyuan Ma a Xinpeng Zhou z oddelenia Foundation Model Department spoločnosti Tencent. S70 Prvú verziu podali 26. 10. 2026 a 27. 10. 2026 pribudla druhá. Čísla v tomto článku pochádzajú z druhej verzie. S71 Autorov zaujímalo, či model, ktorý rozdeľuje pravdepodobnosť priamo medzi zadané možnosti, menej závisí od toho, v akom poradí ich dostane. S70

Porovnali Jev 1.13 a Jev 1.14 cez ich natívne rozhodovacie rozhranie so šiestimi generatívnymi modelmi, medzi nimi Claude Sonnet 5.5, GPT-6.1-sol a Gemini 3.8 Flash, a s 12 otvorenými napodobeninami Jevu. S70 Hlavná sada mala 1 700 otázok: 1 200 zo SuperGPQA a 500 z LEXam, kde mala každá otázka 4, 8, 16 alebo 32 možností. S70 Každú otázku dostal model osemkrát: v pôvodnom poradí, v obrátenom a v šiestich náhodných. Znenie otázky aj obsah možností ostali rovnaké. S70 Na porovnanie autori poslali tú istú otázku osemkrát aj v nezmenenom poradí. S70

Presnosť stojí, chyby sa presúvajú

Podľa abstraktu sa presnosť Jevu medzi jednotlivými poradiami líšila o menej ako dva percentuálne body. Množina otázok, na ktoré aspoň raz odpovedal zle, sa však zväčšila o 27,3 až 28,5 %. S70 Chyby teda neostávajú na tých istých otázkach, ale pri každom poradí zasiahnu trochu iné.

Najviac hovorí porovnanie opakovania s preusporiadaním. Pri opakovaní v rovnakom poradí prišiel Jev o 8,8 až 9,2 % otázok, ktoré prvýkrát zodpovedal správne, pri prehadzovaní možností o 27,0 až 27,8 %. S70 Otvorené napodobeniny boli pri opakovaní takmer nemenné a stratili 0 až 1,3 % úspechov, pri zmene poradia však 23,2 až 64,2 %. S70 Rovnaká odpoveď na rovnakú požiadavku teda ešte nehovorí nič o tom, ako model znesie iné poradie.

Jev v teste nevyšiel ani výrazne lepšie, ani výrazne horšie než ostatní. Zo správne zodpovedaných otázok udržal správnu odpoveď vo všetkých ôsmich podobách pri 72,2 až 73,0 %. Štyri generatívne modely si udržali viac, 75,7 až 88,9 %, dva menej. S70 Autori preto píšu, že všeobecnú výhodu Jevu nenašli. S70

Hlasovanie ani zhoda nepomôžu veľa

Ponúka sa jednoduchá poistka: poslať otázku vo viacerých poradiach a vziať najčastejšiu odpoveď. Pri Jeve to oproti priemernej presnosti jednej podoby pridalo 0,96 bodu pri verzii 1.13 a 1,01 bodu pri verzii 1.14. Pri generatívnych modeloch bol zisk od 0,46 do 5,63 bodu. S70 Ani jednomyseľnosť nie je dôkaz správnosti. Jev zvolil vo všetkých ôsmich podobách tú istú možnosť pri 57,7 až 59,1 % otázok a z týchto odpovedí bolo správnych 62,1 až 63,3 %. Nesprávnych teda bolo 36,7 až 37,9 %. S70

Čo z toho plynie pre slovenský e-shop

Sada v preprinte obsahuje náročné odborné testové otázky, nie zatrieďovanie produktov ani správ od zákazníkov, takže čísla sa nedajú preniesť priamo. Preprint však ukazuje, že stabilita pri opakovaní nevypovedá o stabilite pri inom poradí možností. S70

Vlastný návrh JEV.sk, ktorý preprint neskúšal: keď si overujete Jev na vlastných dátach, napríklad pri priraďovaní produktov do kategórií, pošlite tie isté príklady v niekoľkých poradiach možností. Sledujte, ktoré konkrétne prípady zmenia odpoveď, nie len priemernú presnosť. Opakované volanie s rovnakým vstupom túto skúšku nenahradí. V prevádzke posielajte možnosti v pevnom poradí, aby sa výsledky dali porovnávať v čase. Prípady, ktoré sa pri zmene poradia preklápajú, sú vhodní kandidáti na kontrolu človekom alebo prísnejší prah. Prácu s prahmi opisuje sprievodca confidence a kalibrácia, typy otázok stránka Choice, Score a Noul.

Každé ďalšie poradie je ďalšia požiadavka. TypeSafe účtuje vstupné tokeny za 0,042 USD za milión a výstupné sú zadarmo. S01 Koľko by stálo poslať otázku viackrát, si môžete prepočítať v kalkulačke.

Limity preprintu

Ide o preprint. Výsledky platia pre pevnú sadu úloh a osem podôb, pričom oblasť, jazyk, náročnosť a počet možností sa menili spolu. S70 Označenia možností sa presúvali spolu s ich obsahom, takže štúdia nevie oddeliť vplyv pozície od vplyvu označenia. S70 Ako je Jev postavený a trénovaný, nie je verejné, a autori preto príčinu rozdielov neurčujú. Modely sa navyše líšia tréningom aj rozhraním, takže porovnanie medzi nimi nie je príčinné. S70

Testované boli verzie 1.13 a 1.14 a jasného víťaza medzi nimi preprint neuvádza. S70 Alias jev-latest dnes smeruje na jev-1.14.0 a dokumentácia upozorňuje, že aliasy sa môžu presunúť na nové vydanie. Kto potrebuje stále odpovede, má použiť konkrétne ID verzie. S01