Jev proti 19 jazykovým modelom: preprint ukazuje silné aj slabé stránky

Nový preprint porovnal Jev s 19 všeobecnými jazykovými modelmi na 13 testoch. Autori z Dalian Maritime University a Dalian University of Technology ho podali na arXiv 8. 10. 2026. S46 Pre čitateľa je zaujímavý tým, že nejde o meranie výrobcu: ukazuje, v akých úlohách rozhodovací model drží krok s veľkými modelmi a kde zaostáva. Stále je to však preprint, teda text bez dokončeného recenzného konania.

Čo autori porovnávali

Jev je podľa autorov model typu System One: z ponúknutých možností vyberie jednu a text negeneruje. S46 Porovnali ho s 19 jazykovými modelmi rozdelenými na šesť najsilnejších, sedem reprezentatívnych a šesť malých. S46 Testov bolo 13 a pokrývali znalosti, uvažovanie a dva viacjazyčné súbory. S46

Jev a najsilnejšie modely autori vyhodnotili sami, každý v jednom behu. Tam, kde použili publikované skóre, berú ho len na hrubé porovnanie, pretože sa líši v zadaniach a nastaveniach. S46

Kde Jev drží krok

V MMLU-Redux dosiahol Jev 95,0 % proti mediánu šiestich najsilnejších modelov 93,2 % a v ARC-Challenge 97,6 % proti 95,5 %. S46 Vo viacjazyčných testoch bol pod mediánom: MMLU-ProX 83,2 % proti 84,5 % a MMMLU 85,0 % proti 88,6 %. S46

Autori z toho vyvodzujú, že špecializovaný rozhodovací model môže pri rozhodnutiach závislých najmä od znalostí dosiahnuť úroveň všeobecných jazykových modelov. S46

Kde zaostáva

Najväčší rozdiel nastal v MathQA: Jev dosiahol 75,0 % a medián najsilnejších modelov 92,7 %. Autori uvádzajú, že skončil pod všetkými 19 porovnávanými modelmi. S46 Zaostal aj v MMLU-Pro, kde mal 82,3 % proti mediánu 88,1 %. S46

Záver autorov je opatrný: rozhodovací model zvládne samostatne mnohé obmedzené rozhodnutia, no úlohy s viackrokovým výpočtom stále vyžadujú všeobecný jazykový model. S46

Čo preprint nemeria

Preprint nehodnotí ceny, latenciu ani kalibráciu. S46 Z jeho čísel preto nevieme odhadnúť, koľko by rozhodovanie stálo ani ako rýchlo by prebehlo. Jev síce vracia rozdelenie pravdepodobností medzi možnosťami, ale autori ho nevyhodnocovali. V budúcej práci chcú skúmať, či môže signalizovať, kedy treba otázku postúpiť modelu s uvažovaním. S46 Túto tému rozoberá sprievodca o confidence a kalibrácii.

Čísla navyše pochádzajú z akademických testov s výberom odpovede, nie z reálnych dát e-shopu. JEV.sk nič z toho nemeral.

Čo z toho plynie pre e-shop

Výsledky sú len smerový údaj, nie dôkaz, že Jev zvládne vašu prevádzku. Návrh JEV.sk: otázky, ktoré sa opierajú o význam textu, napríklad zaradenie správy zákazníka alebo reklamácie, sú príbuzné úlohám, v ktorých Jev v preprinte obstál. Výpočty ceny, DPH či lehôt nechajte bežnému kódu, lebo práve matematický test MathQA dopadol najhoršie. S46

Praktické pravidlo preto znie: rozdeľte rozhodovanie na dve vrstvy. Kód nech počíta a porovnáva čísla a dátumy, Jev nech posúdi význam správy a pri nízkej istote nech prípad prevezme človek alebo silnejší model. Takéto rozdelenie je vlastný návrh JEV.sk, preprint ho netestoval.

Pred nasadením si model overte na vlastných správach. Náklady odhadnete v kalkulačke a typy otázok Choice, Score a Noul vysvetľuje sprievodca Choice, Score a Noul.