Štruktúrovaná pamäť v kontexte Jevu: preprint ukázal mierny, nepreukázaný zisk

Traja autori s e-mailovými adresami na doméne abbycare.ai zverejnili 3. 11. 2026 na arXiv preprint o tom, či Jevu pomôže, keď k voľnému opisu prípadu pridáte aj usporiadaný blok faktov. S82 Skúšali to na syntetických prípadoch pacientov, otázka je však všeobecná: posielať do stavu (state) len surový text, alebo aj vopred spracované údaje? Ide o preprint, text nespomína recenzné konanie a autori sami označujú výsledok za smerovo pozitívny, nie za klinické overenie. S82

Ako bol test postavený

Autori pripravili 30 úplne syntetických prípadov z dvanástich medicínskych oblastí a k nim 120 otázok: 56 s výberom z možností, 36 typu áno/nie a 28 hodnotení na päťstupňovej škále. S82 Skutočné záznamy pacientov nepoužili. S82 Každý prípad prebehol v dvoch variantoch. V prvom dostal Jev iba textový opis prípadu. V druhom k nemu pribudol blok pamäte, teda zoznam diagnóz alebo liekov. Každá položka v ňom má normalizovaný názov, stav (aktívne, v minulosti, vyriešené), začiatok, mieru istoty od 0 do 1 pridelenú autormi, zdrojový tvar, príznak záporu a voliteľnú poznámku. S82 Všetky otázky k jednému prípadu išli v jednej požiadavke, spolu to bolo 60 párových volaní. S82 Ako sa jednotlivé typy otázok líšia, vysvetľuje sprievodca Choice, Score a Noul.

Dôležitý detail: pamäť nevznikla automatickým vyťažením z textu. Autori ju vygenerovali synteticky a sami ju opisujú ako horný odhad, pretože skutočná extrakcia by bola pravdepodobne chybovejšia. S82 Volali rozhranie Jevu v skorom prístupe a presnú revíziu modelu si v súbore s výsledkami nezaznamenali. S82 Nie je teda známe, či išlo o verziu jev-1.14.0, na ktorú dnes smeruje alias jev-latest. S01

Výsledky: lepšie pravdepodobnosti, nepreukázaná presnosť

Presnosť stúpla zo 108 zo 120 odpovedí (90,0 %) na 112 zo 120 (93,3 %). S82 Intervaly spoľahlivosti sa prekrývajú: 84,6 až 95,4 % proti 88,9 až 97,8 %. Päť otázok sa s pamäťou zmenilo zo zlej odpovede na správnu a jedna opačne. Presný McNemarov test dal p = 0,219 a autori pripúšťajú, že vzorka je na takéto porovnanie malá. S82

Výraznejšie sa zmenili pravdepodobnosti. Logaritmická strata pri otázkach s výberom klesla z 0,258 na 0,175, Brierovo skóre pri otázkach áno/nie z 0,054 na 0,022 a priemerná odchýlka pri škále z 0,521 na 0,469 stupňa. S82 Pri škále stúpol podiel odpovedí s odchýlkou najviac jeden stupeň z 85,7 % na 92,9 %. Rozdelenie výsledkov podľa typu otázky však autori berú len ako podnet na ďalšie skúmanie. S82

V pásme istoty 0,9 až 1,0 mal variant bez pamäte 55 odpovedí a všetky boli správne. Variant s pamäťou ich mal v tom istom pásme 65 so správnosťou 98,5 %. S82 Pamäť teda posunula viac odpovedí do najvyššej istoty. Ostatné pásma však boli riedke a autori výslovne píšu, že formálnu kalibráciu nepreukázali. S82

Daňou za to boli tokeny. Priemerný vstup na volanie vzrástol z 553,9 na 863,9 tokenu, teda o 310,0 tokenu, čiže o 56,0 %. Priemerná latencia ostala prakticky rovnaká: 0,51 s bez pamäte a 0,50 s s pamäťou. S82

Limity, ktoré autori uvádzajú

Zoznam obmedzení je dlhý a treba ho brať vážne. Dáta sú syntetické a nemusia zachytiť nejasnosti, chyby ani chýbajúce údaje skutočných záznamov. Správne odpovede pripravili autori bez posúdenia lekárom. Test sa robil na jednom modeli a prebehol raz. S82 Autori tiež upozorňujú, že súčasťou zásahu je samotná schéma, takže zisk nemožno pripísať len štruktúre oproti tomu, že údaje vopred odborne normalizoval človek. S82 Ako ďalší krok navrhujú nahradiť vzorovú pamäť výstupom skutočnej extrakcie a porovnať ju so surovými formulármi, vyhľadanými pasážami a súhrnmi. S82

Čo si z toho vziať pre e-shop

Slovenský e-shop zdravotné záznamy nerieši, no podobnú voľbu robí pri každej otázke na Jev: poslať len text správy od zákazníka, alebo k nemu pridať aj usporiadané údaje z objednávkového systému. Návrh JEV.sk z tohto preprintu: ak údaje pridávate, nech majú podobne ako v teste jasný stav a výslovný zápor, napríklad „reklamácia: uzavretá“ alebo „vrátenie: nežiadané“, a nie voľne skopírovanú históriu. Preprint však skúšal pamäť bez chýb, takže prínos pri údajoch vyťažených automaticky z e-mailov si treba overiť na vlastných prípadoch. S82

Náklady sa dajú ľahko vyčísliť. TypeSafe účtuje za vstup 0,042 USD za milión tokenov a výstup je zadarmo. S01 Pri 310 tokenoch navyše na jedno volanie, ako v tomto teste S82, vychádza podľa prepočtu JEV.sk 100 000 volaní približne o 1,30 USD drahšie. Vlastné čísla si dosaďte do kalkulačky. Ak budete podľa istoty rozhodovať, či prípad spracuje systém sám, pozrite si sprievodcu confidence a kalibrácia. Vyššia istota v tomto teste nie je dôkazom dobrej kalibrácie na vašich dátach a preprint slovenské texty neskúmal.