Vlastný rozhodovací model namiesto Jevu: čo ukázal preprint tímu PayPal.AI

Tím PayPal.AI zverejnil na arXiv preprint o tom, čo prinesie vlastný rozhodovací model v štýle Jevu namiesto hotovej služby. Prvá časť opisuje interného hodnotiteľa, druhá otvorené modely, ktoré autori porovnali aj s Jevom 1.13.0. S68 Pre tím, ktorý váha medzi vlastnou prevádzkou a volaním API, je to zriedkavý text s konkrétnymi číslami o nákladoch aj presnosti. Ide o preprint, teda o prácu bez recenzného konania.

Prečo si autori postavili vlastného hodnotiteľa

Autori potrebovali roztriediť približne 148 000 záznamov z programovacích relácií AI agentov, skôr než sa dostanú do tréningových dát. Každý záznam dostáva tri otázky s pevnými odpoveďami. S68 Doteraz to robil veľký jazykový model ako hodnotiteľ. Jeden prechod by podľa ich odhadu stál rádovo 1 000 USD a trval asi 73 hodín. S68 Pri kontrole sa navyše ukázalo, že uložené označenia sedeli s novým spoločným verdiktom dvoch hodnotiteľov len v 26,9 % prípadov, v ktorých sa títo dvaja zhodli. S68 A dáta nesmeli opustiť organizáciu. S68

Riešením bol zmrazený základný model so 4 alebo 27 miliardami parametrov, malý adaptér LoRA a výberová hlava, ktorá nepíše text, ale rovno ukáže na jednu z možností. S68 Takýto hodnotiteľ podľa autorov spracuje 1 000 relácií asi za tri minúty na jednej GPU. Pri referenčnej sadzbe to vychádza približne na 0,06 USD, zhruba 1 % nákladov pôvodného riešenia. S68 Na vyváženej sade 200 relácií sa s označeniami veľkého modelu zhodoval v 83 až 85 % pri otázke o programovaní, v 91 až 92,5 % pri druhej otázke a v 68 až 69,5 % pri zaradení do jednej z ôsmich domén. Na 144 reláciách bez prekryvu s tréningovými dátami boli výsledky o 1,5 až 3,8 bodu nižšie. S68

Otvorené modely proti Jevu 1.13.0

Druhá časť skúma otvorené modely, ktoré odpoveď čítajú priamo z výstupnej vrstvy jazykového modelu na pozícii písmena odpovede. Trénujú sa len adaptéry LoRA. S68 Autori vychádzali z verejného postupu a korpusu projektu Eikos s približne 25 000 rozhodnutiami a skúšali modely s 1, 2 a 35 miliardami parametrov. S68 Hodnotili na verejnej časti benchmarku JevBench vo verzii 1.4.2.2, hlavne na 111 ťažkých úlohách. S68

Najväčší model dosiahol 79,3 %, Jev 1.13.0 mal 73,0 %. Rozdiel 6,3 bodu však nie je štatisticky významný, neupravená hodnota p je 0,12. S68 Model s 2 miliardami parametrov dosiahol 61,3 % a model s 1 miliardou 54,1 %. Generatívne jazykové modely mali v tej istej tabuľke 96,4 %, teda o 17,1 bodu viac než najlepší model autorov. S68

Na grafickej karte H100 trvá odpoveď na jednu otázku modelu 2B asi 20,5 ms a modelu 35B asi 83,2 ms. Model 35B potrebuje približne 80 GB pamäte. S68 Verejne je dostupný len model 2B na Hugging Face pod názvom Kailune-AI/pjev-2b, adaptéry pre 1B a 35B autori nezverejnili. S68

Čo treba brať s rezervou

Autori sami vymenúvajú viacero obmedzení. Všetky čísla z JevBench pochádzajú z verejnej časti. Na zapečatenej časti podľa nich systémy dosahujú oveľa horšie výsledky, no taký výsledok neuvádzajú. S68 Každý pokus prebehol s jediným náhodným semienkom a porovnávané systémy vyberali sami. Rozdiely do zhruba 10 bodov na ťažkej sade preto považujú za nerozhodnuté. S68

Autor korpusu 27. 9. 2026 odstránil 1 994 riadkov odvodených z FinEntity, hoci všetky modely z druhej časti sa na nich už učili. S68 Lacný klasifikátor bez jazykového modelu autori neskúšali. Náklady v prvej časti sú čas GPU prepočítaný referenčnou sadzbou, nie skutočná faktúra. S68

Čo z toho plynie pre slovenský e-shop

Preprint netvrdí, že vlastný model je lepší než Jev. Skôr ukazuje situáciu, v ktorej sa oplatí o ňom uvažovať: rozhodnutí je veľmi veľa, otázky sa nemenia a dáta nesmú von. Autori mali presne túto kombináciu. S68 E-shop, ktorý napríklad triedi správy od zákazníkov, musí proti tomu postaviť cenu služby. TypeSafe účtuje 0,042 USD za milión vstupných tokenov a výstupné tokeny sú zadarmo. S01 Koľko by to robilo pri vašom objeme, ukáže kalkulačka. Model 35B s približne 80 GB pamäte S68 zase znamená vlastnú výkonnú GPU a starostlivosť o ňu.

Ak je hlavným dôvodom ochrana dát, pomôže vedieť, že podľa TypeSafe sa Jev neučí na požiadavkách ani odpovediach zákazníkov a nie je doladený na ich dátach. S01 Či to stačí vašim povinnostiam, treba posúdiť samostatne; súvislosti sú v sprievodcovi bezpečnosť a súkromie.

Dve ďalšie poznámky. Preprint porovnával Jev 1.13.0, no alias jev-latest dnes podľa dokumentácie smeruje na jev-1.14.0. S01 Výsledky preto nemusia platiť pre novšiu verziu. Preprint tiež neuvádza, v akom jazyku sú úlohy JevBench, a o slovenčine nehovorí nič. S68 Ako si overiť správanie v slovenčine, opisuje testovanie slovenčiny.

Najužitočnejšie poučenie je možno najjednoduchšie. Autori najprv zistili, že ich drahý hodnotiteľ dával označenia, ktoré sa s novou kontrolou väčšinou nezhodovali. S68 Skôr než začnete meniť model, oplatí sa preto na malej vzorke overiť, ako presné sú vaše súčasné rozhodnutia. To je návrh JEV.sk, nie zistenie preprintu.