Jev v AI agentoch: rýchlejšie rozhodnutia ešte neznamenajú lepší výsledok

Kto chce v AI agentovi nahradiť výber ďalšieho kroku lacným rozhodovacím modelom, mal by sa pozerať na viac než cenu jedného rozhodnutia. Ukazuje to nový preprint autorov z Nanjing University a Technical University of Munich, podaný na arXiv 9. 10. 2026. Do piatich rodín agentov vložili model jev-1.13.0 a merali, či sa lacnejšie a rýchlejšie rozhodnutia premietnu do úspešne dokončených úloh. S47 Ide o preprint, teda prácu bez dokončeného recenzného konania.

Ako bol pokus postavený

Autori použili dve testovacie prostredia. AndroidWorld obsahuje úlohy v mobilných aplikáciách a štúdia z neho vzala 116 typov úloh. ALFWorld simuluje práce v domácnosti a autori použili všetkých 134 úloh z jednej validačnej sady. S47 V prvom prostredí skúšali agentov T3A, AutoDroid a FastAgent, v druhom agentov ReAct a Reflexion. Každý agent mal pôvodnú verziu a verziu s Jevom. V ALFWorld pribudla aj kontrolná varianta, v ktorej rovnaký zoznam možností dostal na výber jazykový model. S47 Každú konfiguráciu spustili trikrát, čo dalo spolu 4 500 behov. S47

Jev nahradil iba krok výberu akcie, jednou požiadavkou na každý krok. Opis prostredia, história aj samotné vykonanie akcie ostali pôvodné. Voľný text, zhrnutia a reflexie naďalej tvoril jazykový model gpt-5.6-luna, ktorý zároveň rozhodoval v pôvodných verziách agentov. S47

Rozhodnutie zlacnelo, úloha nie vždy

Pri jednotlivom rozhodnutí boli úspory veľké. Naprieč všetkými piatimi rodinami agentov klesla priemerná cena rozhodnutia o 66,1 až 78,4 % a jeho čas o 73,9 až 81,5 %. Rozhodnutie trvalo 1,04 až 1,75 s namiesto 4,13 až 8,13 s. Počet tokenov na jedno rozhodnutie pritom stúpol o 53,5 až 134,9 %. S47

Podiel úspešne dokončených úloh však v niektorých agentoch klesol. V ALFWorld bol rozdiel malý: ReAct mal 96,02 % namiesto 97,51 % a Reflexion 98,01 % namiesto 99,75 %. S47 Pri mobilných úlohách bol pokles citeľnejší. T3A klesol z 57,47 % na 44,25 %, FastAgent z 50,00 % na 31,90 % a AutoDroid z 18,68 % na 16,38 %. S47 Štatisticky jednoznačné boli podľa autorov len poklesy pri T3A a FastAgent, pri ostatných agentoch interval rozdielu zahŕňa nulu. S47

Časť úspor pohltila pomocná práca jazykového modelu. V agentovi ReAct sa čas rozhodovania skrátil z 68,31 s na 17,25 s, no pribudlo 17,23 s pomocného uvažovania. S47 Autori preto prepočítali aj náklady na jednu úspešne dokončenú úlohu vrátane neúspešných pokusov. ReAct tak zlacnel zo 7,93 na 3,96 tisíciny dolára (mUSD) a AutoDroid z 27,93 na 9,93. Pri T3A cena za úspech naopak stúpla zo 68,70 na 73,97, hoci interval tejto zmeny zahŕňa aj nulu. S47 Čas potrebný na jeden úspech sa predĺžil pri T3A z 370,6 s na 430,2 s a pri FastAgent z 239,4 s na 377,8 s. S47

Kde agent s Jevom zlyhával

Autori ručne prešli záznamy vybraných behov. V úlohách, v ktorých verzia s Jevom opakovane prehrávala, sa častejšie objavovalo neúspešné zotavenie z chyby: v 40 z 57 behov s Jevom oproti 3 z 57 pri pôvodnej verzii. Neúčinné hľadanie sa vyskytlo v 29 behoch oproti 2. S47 Medzi typické chyby patril výber nesprávneho predmetu alebo nejednoznačne označeného prepínača, zotrvanie pri predpoklade, ktorý prostredie už vyvrátilo, a predčasné vyhlásenie úlohy za hotovú, hoci cieľ splnený nebol. S47

Poučný je agent Reflexion. S Jevom uspel na prvý pokus v 95,27 % prípadov, pôvodná verzia v 93,53 %. Z neúspešných prvých pokusov však verzia s Jevom napravila 11 z 19, kým pôvodná 25 z 26. S47 Rýchlejší výber teda pomohol pri bežnom postupe, no slabšie zvládal situácie, keď sa niečo pokazilo.

Čo preprint nemeria

Autori skúmali len vybrané rodiny agentov v mobilných aplikáciách a v úlohách z domácnosti. Agenti dostávali textový opis prostredia a vyberali z obmedzenej sady akcií. Tri opakovania na tých istých úlohách zachytávajú iba rozptyl medzi behmi, nie správanie v nových prostrediach. Ceny a časy navyše závisia od verzií modelov a podmienok služby. S47 Nejde o úlohy z e-shopu a JEV.sk nič z toho nemeral.

Čo z toho plynie pre slovenský e-shop

Autori odporúčajú posudzovať modely typu Jev podľa úspešne dokončených úloh, schopnosti napraviť chybu a nákladov na jeden dodaný výsledok, nie iba podľa rýchlosti a ceny rozhodnutia. Jev sa podľa nich hodí na jasne vymedzené rozhodovacie role. Za najsľubnejšie považujú systémy, ktoré bežné voľby zlacnia a overovanie sústredia na rozhodnutia ohrozujúce dokončenie úlohy. S47

Vlastný návrh JEV.sk pre e-shop: Jev môže rozhodnúť, do ktorej fronty patrí správa zákazníka alebo aký typ reklamácie ide, no či je objednávka naozaj vybavená, má overiť kód podľa stavu v systéme, nie model. Predčasné vyhlásenie úlohy za hotovú patrilo v preprinte k typickým zlyhaniam. S47 Ak staviate agenta, ktorý postupuje viacerými krokmi, merajte celý tok: koľko prípadov skutočne doriešil a koľko stál jeden vyriešený prípad. Ako s istotou modelu narábať pri rozhodovaní, kedy pokračovať a kedy prípad odovzdať, vysvetľuje sprievodca confidence a kalibrácia. Náklady na samotné rozhodnutia odhadnete v kalkulačke.