Jev ako kontrolór citácií vo finančných výpočtoch: čo ukázal preprint

Jazykový model môže vypočítať správne číslo a pritom ho vziať z nesprávneho riadku tabuľky. Práve tento prípad skúma preprint šiestich autorov, zverejnený na arXiv 6. 10. 2026. Pýtajú sa, či Jev ako lacný kontrolór dokáže posúdiť, že sa výpočet modelu GPT-4.1-mini nad finančnou správou opiera o správny údaj, a čo taká kontrola pridá k obyčajnému porovnaniu čísel. S48 Ide o preprint bez dokončeného recenzného konania. Autori ho opisujú ako prieskumnú štúdiu, pretože znenie otázky pre overovač pripravili až po prezretí skúmaných záznamov. S48

Ako bol pokus postavený

Základom je dátová sada FinQA s otázkami, pri ktorých treba počítať s údajmi z finančných výkazov. Autori z jej testovacej časti vybrali 96 otázok, ktoré stačí vyriešiť jedinou výpočtovou operáciou. S48 GPT-4.1-mini ku každej otázke pripravil dva postupy výpočtu, spolu teda 192 záznamov. S48

Jev mal v pokuse dve úlohy. Cez Choice vyberal odpoveď z piatich číselných možností: správnej hodnoty, jednej susednej hodnoty a troch aritmetických návnad. Cez Noul odpovedal áno alebo nie na otázku, či citovaný údaj podporuje použité hodnoty aj ich úlohu vo finančnom výkaze. S48 Autori použili verziu typesafe/jev-1.13-20260917 cez OpenRouter s TypeSafe ako poskytovateľom. S48 Rozdiel medzi typmi otázok Choice a Noul vysvetľuje sprievodca Choice, Score a Noul.

Správne číslo, nepodložená citácia

Zo 192 záznamov sa so správnym výsledkom zhodovalo 170. Pri ručnej kontrole zdrojov autori označili 153 záznamov za podložené a 37 za nepodložené. S48 Jednoduchá kontrola, ktorá hľadá citovanú hodnotu doslova v texte, zachytila všetkých 27 prípadov, v ktorých výsledok sedel, no citovaný údaj mal nesprávnu úlohu. Zároveň však odmietla 33 záznamov, ktoré boli v poriadku. S48

Pri porovnaní pravidiel autori sledovali, koľko záznamov pravidlo pustí ďalej a koľko z nich má zároveň podloženú citáciu aj správny výsledok. Doslovná kontrola pustila 122 záznamov, z toho 117 obstálo v oboch ohľadoch. Voľnejšie pravidlo, ktoré porovnáva hodnoty na citovanom mieste a autori ho navrhli až dodatočne, pustilo 154 záznamov so 141 úspešnými. S48 Jev s prahom 0,8 pustil 146 záznamov so 142 úspešnými a prijal jeden nepodložený. Pri prahu 0,5 pustil 159 záznamov so 143 úspešnými, no nepodložených prijal šesť. S48

Čistý prínos Jevu oproti číselnému pravidlu je podľa autorov jediný záznam: dva záznamy navyše pri jednej otázke mínus jeden platný záznam, ktorý Jev zadržal pri inej. S48 Bez tej jednej otázky by Jev mal 140 úspešných záznamov oproti 141. S48

Rovnaké číslo na nesprávnom mieste

Druhá časť pokusu bola cielená záťažová skúška. Autori zostrojili 15 dvojíc, v ktorých citácia ukazuje na rovnaké číslo, no s inou finančnou úlohou, napríklad na hodnotu z iného roka. S48 Zo šiestich jasných prípadov nesprávnej úlohy Jev pod prah 0,8 poslal len dva a štyri prijal. Opačná chyba sa objavila tiež: zo šiestich prípadov rovnocenného údaju klesli pod 0,8 dva. Rovnocenný údaj je napríklad konečný zostatok jedného obdobia a počiatočný zostatok nasledujúceho, ktoré vyjadrujú tú istú sumu. S48

Výsledok závisel aj od toho, ako bola tabuľka modelu podaná. Keď autori doplnili výslovné označenia stĺpcov, Jev citlivejšie reagoval na nesúlad obdobia a stavu, no niektoré rovnocenné údaje podporoval menej. S48 V dodatočnom overení na 36 ďalších otázkach výslovné stĺpce odstránili obe prijatia nepodložených citácií, počet zadržaných platných záznamov však stúpol z piatich na šesť. S48

Cena a hranice štúdie

Volania sú lacné. Autori uvádzajú, že rozšírenie s overovačom, teda 196 volaní, stálo 0,01669 USD. S48 Vlastný odhad nákladov pri iných objemoch spravíte v kalkulačke.

Hraníc má štúdia viac a autori ich vymenúvajú sami. Otázky boli vybrané len s jednou výpočtovou operáciou a Jev pri výbere cez Choice trafil 95 z 96 správnych odpovedí, takže ostalo málo priestoru na zlepšenie. S48 Pôvodné označenia podloženosti nevznikali naslepo, dodatočné overenie posudzoval jediný človek a skúšali iba jednu verziu Jevu a jeden alias GPT-4.1-mini. S48 Pri samotnom vydaní odpovede autori na tejto sade prínos nezistili. S48 JEV.sk nič z toho nemeral.

Čo z toho plynie pre slovenský e-shop

Autori odporúčajú brať kontrolu výpočtu a kontrolu citovaného zdroja ako dve samostatné úlohy. Overovač treba hodnotiť z oboch strán: či odmieta nepodložené citácie a zároveň či ponecháva platné rovnocenné údaje. Pri zmenách formy vstupu, napríklad pri pridaní označení stĺpcov, odporúčajú opatrnosť. S48

Vlastný návrh JEV.sk: ak e-shop nechá jazykový model dopĺňať parametre produktov z tabuliek dodávateľov, napríklad hmotnosť alebo rozmery, prvú kontrolu má urobiť kód. Ten overí, že číslo v zdrojovej tabuľke vôbec existuje. Noul môže slúžiť ako druhé sito na otázku, či ide o správny stĺpec. Merajte pritom nielen to, koľko chýb zachytí, ale aj koľko správnych záznamov zbytočne zadrží, a po každej zmene formátu tabuľky meranie zopakujte. Ako zvoliť prah istoty a kedy prípad odovzdať človeku, opisuje sprievodca confidence a kalibrácia.