Môže Jev nahradiť jazykový model v úlohe hodnotiteľa? Preprint porovnal 14 modelov

Kto potrebuje automaticky posúdiť, ktorá z dvoch odpovedí jazykového modelu je lepšia, zvyčajne na to nasadí ďalší generatívny model v úlohe hodnotiteľa. Preprint Shreyasa Subramaniana zo Scale AI, zverejnený 31. 10. 2026, skúma, či túto prácu zvládnu rozhodovacie modely, ktoré výsledok vrátia ako pravdepodobnosti v jednom priechode a nepíšu pritom text. S78 Medzi 14 skúmanými modelmi je aj samotný Jev 1.14, takže výsledky sa netýkajú len modelov v jeho štýle. Pre každého, kto zvažuje lacnejšie hodnotenie výstupov AI, je to užitočný prehľad toho, kde takýto hodnotiteľ obstojí a kde nie.

Čo a ako sa porovnávalo

Ide o preprint, teda prácu, ktorá zatiaľ neprešla recenzným konaním. Okrem Jevu práca zaradila napríklad pplx-decider 1.2 od Perplexity AI, model Clef od Cloudflare alebo DReX-Max. Jev bežal vo všeobecne dostupnej verzii s dátumom 20261014. S78 TypeSafe uvádza, že Jev 1.14 je dostupný od 14. 10. 2026. S01

Na druhej strane stáli generatívni hodnotitelia: Claude Haiku 5.5, GPT-5.6 bez uvažovania aj so stredným uvažovaním a Claude Opus 5.5 s uvažovaním. Aj oni mali vrátiť len verdikt a pravdepodobnosť, bez zdôvodnenia. S78 Práca stojí na jedenástich sadách úloh, medzi nimi JudgeBench, LLMBar, RM-Bench a RewardBench 2. Dvojice odpovedí dostal každý model v oboch poradiach, aby sa ukázalo, či ho neovplyvňuje, ktorá odpoveď je prvá. S78

Bez referencie na úrovni GPT-5.6 bez uvažovania

Päť zo 14 rozhodovacích modelov, medzi nimi Jev 1.14, sa na piatich sadách s porovnaním dvojíc a výberom najlepšej zo štyroch odpovedí štatisticky nelíšilo od GPT-5.6 bez uvažovania. S78 Medzi rozhodovacími modelmi navzájom boli však veľké rozdiely. Na JudgeBench mali pri otázke Choice presnosť od 66,6 % pri Kev-4B po 84,6 % pri d1-ultra. S78

Najväčší posun priniesla referenčná odpoveď, ktorú pre každú úlohu raz pripravil generatívny model. S ňou dosiahlo jedenásť modelov na JudgeBench 90,3 až 93,4 %. Preprint to vyhodnotil ako štatisticky nerozlíšiteľné od Opusu 5.5 s 94,7 % aj od GPT-5.6 s uvažovaním s 93,1 %. S78 Na sade PPE, kde sa vyberá najlepšia zo 16 odpovedí, vyšla jedna referencia od GPT-5.6 spolu so 16 volaniami Jevu na 0,0051 USD za úlohu. GPT-5.6 s uvažovaním stál 0,0827 USD a Opus 0,1308 USD. S78 Cena GPT-5.6 je však v práci len predpoklad, pretože nebolo známe, akú úroveň služby brána použila. S78

Bez referencie rozhodovacie modely pri hľadaní správnej odpovede medzi viacerými kandidátmi výrazne zaostali za GPT-5.6 s uvažovaním aj za Opusom. S78

Dobrá kalibrácia, slabšia odolnosť voči podvrhnutému textu

Jev 1.14 mal chybu kalibrácie (ECE) 0,019, generatívni hodnotitelia od 0,038 do 0,087. S78 Jeho pravdepodobnosti teda v tomto teste lepšie zodpovedali tomu, ako často mal model pravdu. Čo to znamená pri nastavovaní prahov, opisuje sprievodca confidence a kalibrácia.

Slabým miestom je text podstrčený do hodnotenej odpovede. Keď sa na jej koniec pridala poznámka adresovaná hodnotiteľovi, Jev 1.14 pri otázke Choice otočil 23,3 % inak správnych verdiktov, generatívni hodnotitelia 0,4 až 2,3 %. S78 Keď sa otázka položila ako kontrolný zoznam, klesol tento podiel pri Jeve na 4,9 %. S78 Odolnosť sa medzi rozhodovacími modelmi veľmi líšila: pri piatich najodolnejších bola 0,0 až 4,7 %, pri ostatných deviatich 16,7 až 49,0 %. Preprint z toho usudzuje, že nejde o vlastnosť celého prístupu, ale konkrétneho modelu. S78 Podobné riziko opisuje aj článok podvrhnutý text dokáže otočiť rozhodnutie Jevu.

Pri dlhých vstupoch zaostávali najsilnejšie rozhodovacie modely za GPT-5.6 o 10 až 12 bodov. Pri skreslení podľa dĺžky odpovede na RM-Bench stratil Jev 12,9 bodu, podobne ako GPT-5.6 bez uvažovania s 11,3 bodu. S78

Lacný prvý stupeň a limity práce

Preprint vyskúšal aj kaskádu: Jev alebo pplx-decider rozhodne a neisté prípady posunie Opusu. Na LLMBar tak dosiahla 90,7 % pri eskalácii 10 % prípadov, kým samotný Opus 91,7 %. S78 Podobný prístup s iným modelom opisuje článok Jev ako lacný prvý hodnotiteľ.

Práca sama uvádza viaceré obmedzenia. Výsledky pochádzajú z jediného behu v pilotnom rozsahu 80 až 1 925 položiek na sadu. Podvrhnuté texty pochádzajú od autora, nejde o zavedenú testovaciu sadu. Kontrolné zoznamy a referencie vytvorili Haiku 5.5 a GPT-5.6, takže tieto postupy kombinujú rozhodovací a generatívny model. S78

Čo si z toho môže vziať slovenský vývojár

Nasledujúce body sú návrh JEV.sk odvodený z preprintu, nie výsledok merania. Ak e-shop necháva jazykový model písať popisy produktov alebo odpovede zákazníkom a chce ich automaticky kontrolovať, Jev sa podľa výsledkov preprintu hodí najmä tam, kde je k dispozícii vzor správnej odpovede. Bez neho zaostal pri hľadaní správnej odpovede za drahšími modelmi s uvažovaním. S78

Text, ktorý môže ovplyvniť niekto zvonka, napríklad dodávateľ vo feede alebo zákazník v recenzii, treba považovať za nedôveryhodný. Pri otázke Choice v preprinte stačila jedna podstrčená poznámka a Jev otočil takmer štvrtinu správnych verdiktov; formulácia s kontrolným zoznamom tento podiel znížila. S78 Neisté prípady sa oplatí posunúť drahšiemu modelu alebo človeku, ako to robila kaskáda v preprinte.

Pri cene treba počítať s tým, že TypeSafe účtuje Jev 1.14 0,042 USD za milión vstupných tokenov a výstupné tokeny sú zadarmo. S01 Odhad pre vlastný objem dá kalkulačka, rozdiel medzi otázkami Choice, Score a Noul vysvetľuje sprievodca Choice, Score a Noul.