Jev pri kontrole kritérií klinických štúdií: najviac pomohlo priznať chýbajúce údaje

Autori z Čínskej univerzity v Hongkongu a z Capital Medical University zverejnili 26. 10. 2026 na arXiv preprint o tom, či Jev dokáže posúdiť, ktoré podmienky klinickej štúdie konkrétny pacient spĺňa. S72 Ide o preprint a text neuvádza, že by prešiel recenzným konaním. Pre vývojárov je zaujímavý z dvoch dôvodov. Autori pracovali s verziou jev-1.14.0, na ktorú dnes smeruje alias jev-latest S01, a nesledovali len presnosť, ale aj to, či model vie priznať, že na rozhodnutie nemá dosť údajov.

Ako bol test postavený

Každú dvojicu pacient a podmienka mal model zaradiť do jednej triedy: podmienka je splnená (met), nie je splnená (not_met) alebo chýbajú informácie (insufficient). Pri jednom súbore dát pribudla aj trieda pre podmienky, ktoré sa na pacienta nevzťahujú. S72 Jev autori volali cez otázku typu Choice. Model vrátil zvolenú triedu, rozdelenie pravdepodobností medzi povolené triedy a z neho odvodenú istotu, zdôvodnenie však nepíše. S72 Na porovnanie slúžil generatívny model Qwen Flash (alias qwen3.8-flash), ktorý musel odpovedať v pevnej JSON schéme a v hlavnom porovnaní mal vypnuté premýšľanie. S72 Ako sa tieto typy otázok líšia, vysvetľuje sprievodca Choice, Score a Noul.

Dáta pochádzajú z troch zdrojov. Prvým je vzorka k metóde TrialGPT, ktorá spája prevažne syntetické opisy pacientov s kritériami zo skutočných štúdií. Ďalšie dva tvoria upravené otázky nad klinickými záznamami MIMIC-III a MIMIC-IV. S72 Spolu ide o 3 135 podmienok v 734 úlohách, z toho 2 048 podmienok tvorí hlavnú testovaciu časť. S72 Číselné otázky autori vyradili, v MIMIC-III ich bolo 468 a v MIMIC-IV 700. S72 Každá úloha prebehla v dvoch režimoch: buď jedna požiadavka na každú podmienku, alebo všetky podmienky úlohy v jednej dávke. S72

Výsledky: raz nerozhodne, raz výrazne lepšie

Hlavnou metrikou bolo makro-F1. V dávkovom režime mal Jev na súbore TrialGPT 0,652 a Qwen 0,660, na MIMIC-IV 0,807 proti 0,814. Na MIMIC-III bol rozdiel veľký: 0,768 pre Jev a 0,534 pre Qwen. S72 Náskok na MIMIC-III pochádza najmä z triedy chýbajúcich informácií. Jev takéto podmienky zachytil v 56,3 % prípadov, Qwen v 9,9 %. S72

Jev sa medzi režimami menil len málo a pri všetkých troch súboroch zahŕňal interval spoľahlivosti rozdielu nulu. Qwen v dávke získal viac správnych rozhodnutí, autori to však uvádzajú len opisne, bez vlastného intervalu. S72

Výraznejší rozdiel bol v čase. Medián trvania jednej úlohy v dávke bol pri Jeve 1,20 s proti 4,55 s pri TrialGPT, 1,18 s proti 2,80 s pri MIMIC-III a 1,40 s proti 8,90 s pri MIMIC-IV. S72 Autori odhadli aj hornú hranicu nákladov na 1 000 podmienok v dávke: 0,0170 USD proti 0,0645 USD, 0,2045 USD proti 0,4314 USD a 0,0216 USD proti 0,0684 USD. S72 Keď Qwen dostal povolené premýšľanie, medián času úlohy sa predĺžil 2,33- až 4,30-násobne, no zmena makro-F1 nebola preukázateľná, všetky intervaly zahŕňali nulu. S72

Limity, ktoré autori sami uvádzajú

Referenčné označenia pochádzajú zo zdrojových dát a lekári ich neprehodnotili, takže zhoda s nimi ešte nie je klinická správnosť. S72 Každý režim bežal len raz, preto sa nedá oddeliť vplyv ostatných otázok v dávke od bežného kolísania opakovaných volaní. Architektúra ani trénovanie Jevu autorom neboli dostupné, opisujú teda iba jeho rozhranie. S72 Svoj záver formulujú opatrne: Jev vidia ako súčasť prvotného posúdenia, ktorá označí možné medzery v informáciách, a jeho výstupy treba pred rozhodnutím o zaradení pacienta overiť v zdravotnej dokumentácii. S72

Čo si z toho vziať pre e-shop

Slovenský e-shop klinické štúdie nerieši, no tvar úlohy je mu blízky: overiť, či záznam spĺňa podmienku. Môže ísť o to, či reklamácia obsahuje údaje potrebné na vybavenie, alebo či popis produktu z feedu uvádza požadovaný parameter. Návrh JEV.sk z tohto preprintu: medzi možnosti otázky Choice zaraďte aj výslovnú triedu „chýba informácia“. V tomto teste bol práve pri nej najväčší rozdiel medzi modelmi. S72 Číselné podmienky nechajte kódu, podobne ako autori vyradili číselné otázky z hodnotenia. S72

Rozhodnutie modelu berte ako prvé triedenie, nie ako konečný verdikt. Ako nastaviť hranice istoty pre automatické spracovanie a odovzdanie človeku, rozoberá sprievodca confidence a kalibrácia. Pri nákladoch pomôže kalkulačka: TypeSafe účtuje za jev-1.14.0 0,042 USD za milión vstupných tokenov a výstupné tokeny sú zadarmo. S01 Preprint slovenské texty neskúmal, takže pred nasadením si model overte na vlastných dátach. Pri prechode na novú verziu sa oplatí prejsť aj kontrolný zoznam v článku o aliase jev-latest.