Jev ako kontrola odpovedí v RAG: podobná presnosť, viac prepustených chýb

Chatbot nad dokumentáciou alebo produktovým katalógom skladá odpoveď z nájdených pasáží (RAG). Aj tak sa do nej môže dostať tvrdenie, ktoré v pasážach vôbec nie je. Preprint na arXive s dátumom 30. 9. 2026 skúmal, či takúto kontrolu zvládne Jev namiesto veľkého generatívneho modelu. S55 Jeho hodnota je v tom, že nekončí jedným číslom: celková presnosť oboch systémov vyšla podobne, no chybujú každý inak.

Kto a čo porovnával

Autormi sú Alden Do Rosario a Kirollos Atef zo spoločnosti CustomGPT.ai. Prvý autor firmu založil a vedie a jej produkt overovanie tvrdení obsahuje. Autori uvádzajú, že sú platiacimi zákazníkmi oboch dodávateľov a že ani jeden z nich do návrhu, dát ani výsledkov nezasahoval. S55 Ide o preprint, ktorý neprešiel recenzným konaním. JEV.sk prečítal plný text, sám nič netestoval.

Proti sebe stála verzia jev-1.13.0 a model GPT-6 Astra, ktorý pracoval ako binárny klasifikátor pri nízkom a vysokom úsilí uvažovania. Dáta tvorí 495 tvrdení z vývojovej časti benchmarku LLM-AggreFact, po 45 z každého z 11 dátových súborov. Podložených je 297 tvrdení, nepodložených 198. Každé tvrdenie dostali oba systémy, takže porovnanie je párové. S55 Jev dostal tvrdenie a dôkaz ako dve položky stavu (state) a vyberal medzi odpoveďami SUPPORTED a NOT_SUPPORTED. S55

Hlavnou metrikou je makro priemer vyváženej presnosti (balanced accuracy). Jev dosiahol 73,27, Astra 73,83 pri nízkom a 74,11 pri vysokom úsilí. Rozdiel Jevu oproti Astre je −0,56 bodu s 95 % intervalom od −5,6 do 4,5. Autori zdôrazňujú, že rozdiel len nezistili, čo ešte neznamená, že sú systémy rovnocenné. S55

Kde sa systémy líšia

Systémy sa rozišli pri 15,2 % tvrdení. S55 Dôležitejšie je, akým smerom sa mýlia. Nepodložené tvrdenie označil za podložené Jev v 23,23 % prípadov, Astra v 14,14 %. Autori preto lacnejší model opisujú ako benevolentnejšieho strážcu. S55 Pre chatbota je to práve tá nepríjemná chyba: odpoveď s vymysleným údajom prejde kontrolou bez povšimnutia.

Rozdiel v cene je veľký. Náklady autori prepočítali z cenníkov k 20. 9. 2026, nejde o skutočné faktúry. Jev vyšiel na 0,04786 USD za 1 000 tvrdení, Astra na 8,93 USD pri nízkom a 10,70 USD pri vysokom úsilí. S55 Rýchlosť odpovedí štúdia neporovnávala. S55

Kaskáda šetrí, no nie vďaka istote

Autori skúšali aj kaskádu: Jev rozhodne ako prvý a tvrdenia, pri ktorých si nie je istý, pošle Astre. Prah vyberali krížovou validáciou. Kaskáda dosiahla 74,10 pri 2,92 USD za 1 000 tvrdení, v priemere posunula ďalej 29,9 % tvrdení a nepodložené tvrdenie prepustila v 19,22 % prípadov. S55 Vychádza teda približne trikrát lacnejšie než samotná Astra, no chýb prepustí stále viac.

Najpoučnejšia je kontrolná skupina s náhodným výberom. Keď autori poslali Astre náhodne vybraných 30,9 % tvrdení, stálo to 2,81 USD a výsledok bol 73,36. Výber podľa istoty pri rovnakom podiele stál 2,94 USD a dosiahol 74,01. Podľa autorov úspora pochádza z toho, koľko tvrdení sa posunie, nie zo signálu istoty, a pri tejto veľkosti vzorky sa nedá tvrdiť, že smerovanie podľa istoty je lepšie než náhodné. S55 Pravdepodobnosť, ktorú Jev vracia, pritom informáciu nesie: jej AUROC voči správnym označeniam je 0,868. S55

Poučenie ponúka aj prah vybraný na tých istých dátach, na ktorých sa potom meralo. Vyšlo pri ňom 75,82 za 1,62 USD, autori však tento výsledok považujú za príliš optimistický a nahrádzajú ho krížovo overeným. S55

Čo z toho plynie pre slovenský e-shop

Ak e-shop prevádzkuje chatbota, ktorý odpovedá z popisov produktov alebo obchodných podmienok, zo štúdie plynú dve praktické veci. Prvá: celková presnosť nestačí. Treba sledovať, koľko nepodložených odpovedí kontrola pustí ďalej, lebo práve v tom sa Jev a Astra v tomto teste líšili najviac. S55 Druhá: prah na posunutie silnejšiemu modelu treba nastaviť na vlastných dátach a overiť na iných dátach než tých, z ktorých bol vybraný. Ako s istotou pracovať, vysvetľuje sprievodca confidence a kalibrácia. Podobnú kaskádu pri hodnotení opisuje aj starší článok o preprinte s GPT-6.

Pri cene okolo piatich stotín dolára za tisíc tvrdení môže Jev slúžiť ako lacné prvé sito. Kde však prepustená chyba znamená nesprávnu informáciu o záruke alebo cene, výsledky ukazujú, že samotný Jev bol v tejto štúdii priepustnejší. Autori sami odporúčajú overiť postup na vlastnej úlohe skôr, než sa zovšeobecní. S55

Limity štúdie

Autori otvorene vymenúvajú obmedzenia. Ide o jeden benchmark, jednu dvojicu systémov a jeden beh pre každý systém. Použili len vývojovú časť dát, takže nemožno vylúčiť, že ju modely poznali z trénovania. Náklady kaskády sú prepočty bez réžie siete a riadenia. Testovacie prostredie vzniklo s pomocou AI asistentov a opravy počas práce opisuje príloha. S55

Výsledky sa týkajú verzie jev-1.13.0. Podľa dokumentácie je to stále stabilná verzia za aliasom jev-latest, kým jev-1.14.0 je od 14. 10. 2026 dostupný ako náhľad pod aliasom jev-preview. S01 Či sa správanie v novšej verzii zmení, štúdia nehovorí.