Jev ako lacný prvý hodnotiteľ: čo ukázal preprint o kaskáde s GPT-6

Na arXiv vyšiel 22. 9. 2026 preprint štyroch autorov, ktorý skúma, či Jev zvládne úlohu hodnotiteľa, teda rozhodne, ktorá z dvoch odpovedí AI je lepšia alebo či je odpoveď podložená faktami. S34 Ide o preprint bez recenzného konania, ale s opísanou metodikou a vlastnou kapitolou o limitoch. Pre prax je zaujímavý hlavne preto, že netestuje Jev ako náhradu veľkého modelu, ale ako lacné prvé sito, ktoré vie povedať, kedy si nie je isté.

Čo a ako autori merali

Autori testovali verziu Jev 1.13.0, dáta zbierali 21. 9. 2026. Porovnali ju so šestnástimi hodnotiteľmi založenými na generatívnych modeloch a modeloch odmeny. Najsilnejším z nich bol GPT-6 Astra v nastavení s nízkou úrovňou uvažovania. S34 Použili štyri hlavné sady: 400 dvojíc z RewardBench, 350 z JudgeBench, 240 úsudkov z HaluEval nad otázkami s dodaným podkladovým textom a 150 položiek s hotovým označením z predchádzajúcich experimentov. S34

Výsledky v tomto teste (Jev oproti GPT-6 Astra) S34:

• RewardBench: 92,2 % oproti 93,5 %,
• HaluEval: 87,5 % oproti 86,7 %,
• položky z predchádzajúcich experimentov: 94,0 % oproti 96,7 %,
• JudgeBench: 78,6 % oproti 93,1 %.

Veľký rozdiel je v cene a rýchlosti. Tisíc hodnotení vyšlo pri Jeve na 0,044 USD a pri GPT-6 Astra na 12,182 USD, čo zodpovedá 0,36 % poplatku porovnávaného modelu. Medián odozvy bol 0,152 s oproti 1,885 s. S34

Kde Jev zaostáva

Veľký odstup na JudgeBench nie je náhoda. Autori ho pripisujú úlohám, pri ktorých treba prepočítať postup riešenia, a prípadom, keď je nesprávna odpoveď napísaná rozsiahlo a presvedčivo. S34 Na sade RM-Bench to vidno priamo: keď mali obe odpovede rovnaký štýl, Jev trafil 84,0 %, no keď bola zamietnutá odpoveď tá prepracovanejšia, klesol na 74,8 %. S34

Druhé zistenie sa týka poradia. Keď autori prehodili poradie dvoch odpovedí, zmenilo sa 3,25 % rozhodnutí na RewardBench a 11,14 % na JudgeBench. Jev pritom neuprednostňoval prvú pozíciu, volil ju v 48,9 % a 48,4 % prípadov, takže nejde o jednoduchú zaujatosť voči poradiu. S34

Zapadá to do slabín, ktoré výrobca priznáva a ktoré zhŕňame v sprievodcovi bezpečnosť a súkromie: presné počítanie a overovanie krokov patrí inému nástroju.

Kaskáda: isté prijať, neisté posunúť

Najdôležitejšia časť štúdie ukazuje, kde sa chyby Jevu sústreďujú. Pri položkách, ktoré by Jev pri istote aspoň 0,9 prijal, sa oba modely takmer nelíšili (95,8 % oproti 96,5 %). Pri položkách, ktoré by posunul ďalej, viedol GPT-6 Astra o 15 bodov (67,9 % oproti 82,6 %). S34

Na tom autori postavili kaskádu. Jev posúdi každú dvojicu v oboch poradiach a pravdepodobnosti spriemeruje. Ak je istota aspoň 0,9, verdikt platí, inak rozhoduje GPT-6 Astra. Prah vybrali vopred na 96 pilotných dvojiciach a zafixovali ho pred rozšírením testu. S34 Na 510 nových dvojiciach kaskáda prijala 53,7 % verdiktov Jevu, dosiahla 92,5 % oproti 93,1 % samotného GPT-6 Astra a spotrebovala 56,8 % jeho poplatku. S34

Podobný vzor opisuje aj dokumentácia výrobcu. Rozhodnutie sa smeruje podľa odpovede aj podľa istoty, pod spodnou hranicou ide prípad človeku a prísnosť prahu sa má riadiť tým, aké vážne sú následky chyby. V ukážke z bankovníctva stačí na nízkorizikovú akciu istota 0,6, kým rizikovú akciu systém vykoná sám až pri istote nad 0,85. S35 Viac o istote je v sprievodcovi confidence a kalibrácia.

Čo z toho plynie pre e-shop a vývojára

Kto na Slovensku generuje veľkým jazykovým modelom popisy produktov alebo odpovede zákazníkom, často ich kontroluje ďalším drahým modelom. Štúdia naznačuje lacnejší postup: nechať prvú kontrolu na Jeve a drahší model volať len pri neistých verdiktoch. Z čísel štúdie však plynú aj hranice. Jev sa v nej dal oklamať prepracovanou nesprávnou odpoveďou a horšie zvládal úlohy, kde treba prepočítať postup. S34 Kontrolu výpočtov, cien či dostupnosti preto treba nechať kódu.

Autori na záver odporúčajú hodnotiť dvojice v oboch poradiach, zvoliť prah na vlastnej výberovej sade a overiť ho na položkách, ktoré pri jeho voľbe neboli použité. Pred nasadením na novú úlohu podľa nich treba spraviť malé lokálne overenie. S34 Prah 0,9 z tejto štúdie teda nie je univerzálne nastavenie.

Limity štúdie

Autori uvádzajú viacero obmedzení. Hodnotili jednu uzavretú verziu Jevu a nevedia, či sa testovacie sady neobjavili v trénovacích dátach. Porovnanie nie je vyrovnané z hľadiska výpočtového výkonu. Špecializované odborné oblasti netestovali a prahy sa medzi úlohami prenášajú nerovnomerne. S34 Sporných 183 položiek naslepo posúdil jediný človek, ktorý je zároveň spoluautorom. S34 Podľa autorov smerovanie podľa istoty funguje tam, kde je prvý model schopný, ale neistý. Zlyháva tam, kde sa model s vysokou istotou mýli. S34

Ďalšie štúdie o Jeve zhŕňame v prehľade výskumu.