Kde Jev nestačí: rozhodnutia, ktoré potrebujú medzikroky

Rozhodovací model Jev odpovedá jedným prechodom a nepíše si medzikroky. Nový preprint hľadá, kde má tento prístup hranicu. Autori z Case Western Reserve University, Georgia Institute of Technology, Columbia University a japonského NII LLMC zistili, že model spoľahlivo nájde a vyberie záznam, no chybuje pri rozhodnutiach, ktoré jazykový model zvládne až po rozpísaní postupu. S59 Verzia v1 na arXiv nesie dátum 18. 10. 2026 a ide o preprint bez ukončeného recenzného konania. S59 Pre vývojára je to praktická otázka: ktoré rozhodnutia v aplikácii môže zveriť Jevu a ktoré nie.

Čo autori skúmali

Rozhodovací model autori chápu ako model, ktorý po jedinom prechode vráti pravdepodobnosti jednotlivých možností a negeneruje text. Testovali jev-1.13.0 cez API a popri ňom 23 konfigurácií otvorených modelov v štýle Jevu. Na porovnanie použili jazykový model Qwen3.8-27B v režime premýšľania. S59

Prvú časť tvorí umelo zostavená sada, v ktorej sa mení vždy len jeden faktor: dĺžka kontextu od 1 000 do 20 000 tokenov a počet možností od 2 do 64. S59 Druhá časť stojí na reálnych rozhodovacích úlohách zo súborov JevBench, PubMedQA, Banking77 a HelpSteer2. Po vyradení ostalo 738 položiek, z toho 646 riešiteľných jedným prechodom a 92, ktoré vyžadujú uvažovanie. S59

Nájsť záznam áno, poskladať stav nie

Pri vyhľadaní a výbere záznamu odpovedal Jev správne vo všetkých 105 testovaných kombináciách, aj pri 20 000 tokenoch a 64 možnostiach. S59

Problém nastal pri sledovaní stavu. Model dostal záznam udalostí zoradený podľa dní, v ktorom sa sledovaný používateľ opakovane pridával k projektom a odchádzal z nich. Medzi jeho záznamami boli aj záznamy iných používateľov. Úlohou bolo určiť, v ktorých projektoch je používateľ na konci. S59 Pri jednej zmene bol Jev úspešný na 100 %, pri šestnástich zmenách na 64 % (kontext do 8 000 tokenov). S59 Zo 145 chybných odpovedí bolo 134 starším stavom toho istého používateľa a iba 3 si pomýlili používateľa. S59 Model teda záznamy našiel, no nesprávne z nich poskladal výsledok.

Lepšie zadanie nepomohlo. Varianty s pokynom postupovať krok za krokom, s opísaným postupom alebo s pomenovaním chyby dosiahli pri 16 zmenách 54 až 64 %, pôvodné znenie 61 %. S59 Pomohla až úprava vstupu. Keď v ňom ostali len záznamy sledovaného používateľa, presnosť bola 100 %. Keď záznamy ostatných používateľov nahradil nesúvisiaci text, bola 99 %. S59 Vadili teda podobné záznamy iných ľudí, nie samotná dĺžka textu.

Zastarané zhrnutie model prevezme

Druhá slabina sa týka overovania. Keď mal Jev okrem záznamov aj hotové zhrnutie stavu a zhrnutie bolo správne, uspel vo všetkých 30 kombináciách. Pri zastaranom zhrnutí zvolil zastaraný stav v 61 až 100 % položiek, ktoré ho ponúkali. S59 Správne zhrnutia prijal v 91 % prípadov, zastarané však odmietol len v 62 %. S59 Podľa autorov žiadny z testovaných rozhodovacích modelov zhrnutia spoľahlivo neoveruje. S59

Jazykový model s premýšľaním obe úlohy zvládol. Qwen3.8-27B pri kontexte do 8 000 tokenov vyriešil 96 % položiek s viacerými zmenami a odmietol 95 % zastaraných zhrnutí. Ten istý model, čítaný jedným prechodom, dosiahol 77 a 74 %. S59

Podobný rozdiel ukázali reálne úlohy. Jev mal 97,5 % pri položkách riešiteľných jedným prechodom a 73,9 % pri položkách, ktoré vyžadujú uvažovanie, celkovo 94,6 %. S59 Na najťažšej časti sady JevBench dosiahol 73,1 %, model s premýšľaním 99,2 %. S59

Istota modelu takúto chybu neprezradí

Hodnota istoty (confidence) pomáha odhaliť chyby, ktoré model urobí sám. Ukazovateľ AUROC, ktorý meria, nakoľko istota oddeľuje správne odpovede od chybných, bol 0,83 pri úlohách so sledovaním stavu a 0,94 pri reálnych úlohách. Pri chybách prevzatých zo zastaraného zhrnutia klesol na 0,53 (záznamy do 4 000 tokenov), čo je takmer úroveň náhody. S59

Jev navyše len zriedka využil výslovnú možnosť prípad odovzdať. Zvolil ju pri 1,6 % reálnych úloh a pri 3 zo svojich 40 chýb. S59 Tréning otvorených modelov na odovzdávanie pomohol len čiastočne a chyby zo zastaraného vstupu nezachytil ani on. S59

Čo z toho plynie pre slovenský e-shop

Autori odporúčajú, aby rozhodnutia s medzikrokmi, najmä kontrolu vstupu, ktorý model sám nevypočítal, robil model, ktorý svoju úvahu vypisuje. Jev v ich pohľade patrí na koniec reťazca: rýchlo vyberá z možností, keď je stav už spočítaný a preverený modelom, ktorý uvažuje. S59

Vlastný návrh JEV.sk: história objednávky s niekoľkými zmenami stavu pripomína záznamy z pokusu. Aktuálny stav objednávky preto nech určí kód z databázy, nie Jev z výpisu udalostí. Ak modelu posielate kontext, odfiltrujte záznamy iných objednávok a zákazníkov; v preprinte práve takéto zúženie vstupu zvýšilo presnosť na 100 %. S59 Zhrnutie od iného systému neberte ako overené len preto, že ho Jev potvrdil. Prah istoty zo sprievodcu confidence a kalibrácia tento typ chyby podľa preprintu nezachytí. Ako sa líšia typy otázok, vysvetľuje stránka Choice, Score a Noul.

Čo preprint nemeria

Autori skúmali izolované rozhodnutia, každé položené a vyhodnotené raz. V agentoch sa chyby pri opakovaných volaniach môžu hromadiť, čo štúdia nemerala. S59 Testovaný bol jev-1.13.0. Od 14. 10. 2026 je dostupný aj jev-1.14.0, alias jev-latest však stále smeruje na jev-1.13.0. S01 Či novšia verzia hranicu posúva, preprint neskúma a JEV.sk nič z toho nemeral.