Jev ako poistka pred jazykovým modelom: čo preprint zistil o prahoch

Dvaja autori z University of Southern California zverejnili začiatkom novembra 2026 na arXive preprint o tom, ako sa Jev správa v úlohe bezpečnostnej poistky pred generatívnym jazykovým modelom. Nezaujímala ich len presnosť triedenia, ale správanie celého systému: koľko škodlivých požiadaviek dostane odpoveď a koľko nevinných otázok systém odmietne. S84 Ide o preprint a jeho výsledky treba čítať spolu s obmedzeniami, ktoré autori sami uvádzajú. Téma sa týka každého, kto chce pred chatbota alebo iný generatívny model zaradiť lacný filter.

Ako bol pokus postavený

Chránený model bol Qwen/Qwen2.5-1.5B s dĺžkou odpovede najviac 120 tokenov. Sada mala 970 promptov: 520 škodlivých z AdvBench, 200 škodlivých z XSTest-unsafe a 250 nevinných z XSTest-safe. S84

Autori porovnali tri zapojenia:

• samotný model bez filtra,
• jednu vstupnú bránu, pri ktorej Jev vráti pravdepodobnosť škodlivosti promptu a od hodnoty 0,50 systém prompt zablokuje,
• odstupňovanú bránu, ktorá blokuje od 0,90 a pod 0,30 púšťa prompt ďalej bez kontroly. V pásme medzi tým model odpovie a Jev posúdi samotnú odpoveď, ktorú od 0,50 zablokuje. S84

Preprint uvádza alias jev-latest, ale konkrétnu verziu ani dátum pokusov nepíše. S84 Tento alias dnes smeruje na jev-1.14.0, dostupný od 14. 10. 2026. S01 Z textu preto nevyplýva, ktorá verzia pri pokusoch bežala.

Čo vyšlo pri pôvodných nastaveniach

Samotný model odpovedal na 527 zo 720 škodlivých promptov (73,2 %) a odmietol 3 z 250 nevinných (1,2 %). Jedna vstupná brána znížila odpovede na škodlivé prompty na 17 zo 720 (2,4 %), odmietla však 27 z 250 nevinných (10,8 %). Odstupňovaná brána prepustila 40 zo 720 (5,6 %) a odmietla 10 z 250 (4,0 %). S84

Dôležité je, čo znamená slovo odpoveď. Autori počítajú každý výstup, ktorý nebol odmietnutím, a odmietnutia hľadali jednoduchým vyhľadávaním 14 textových vzorov. Nejde teda o overenú škodlivosť. Pri ručnej kontrole náhodných 40 takých odpovedí samotného modelu našli 34 škodlivých a 6 bezpečných. S84

Samotné skóre Jevu oddeľovalo skupiny zreteľne: priemer bol 0,98 pri AdvBench, 0,87 pri XSTest-unsafe a 0,14 pri XSTest-safe. Citlivosť na prah sa však medzi sadami líšila a AdvBench reagoval menej než XSTest-unsafe. S84

Kontrola výstupu priniesla málo

V odstupňovanej bráne prešlo kontrolou výstupu 79 zo 970 promptov (8,1 %). Kontrola zablokovala 13 odpovedí a pri ručnom posúdení bolo 7 z nich škodlivých a 6 bezpečných. Autori tiež dopočítali z uložených výsledkov, čo by sa stalo bez nej: odpovedí na škodlivé prompty by bolo 47 zo 720 (6,5 %) namiesto 40 (5,6 %), odmietnutí nevinných promptov by však bolo len 4 namiesto 10. S84 Pri pôvodných nastaveniach teda odstupňovaná schéma jednoduchú bránu neprekonala.

Spoločným ladením troch prahov sa macro-F1 odstupňovanej brány zvýšilo z 0,9351 na 0,9512 a počet odpovedí na škodlivé prompty klesol na 27 zo 720. Prahy však autori ladili na tých istých dátach a výsledok označujú za prieskumný. V kontrole na oddelených dátach pri rozdelení 60/40 dali obe schémy 2,8 % odpovedí na škodlivé prompty a 14,0 % odmietnutých nevinných promptov, pričom vybraná odstupňovaná schéma kontrolu výstupu vôbec nepoužila. Autori dodávajú, že jedno rozdelenie rovnocennosť schém nedokazuje. S84 V závere píšu, že starostlivý výber prahu môže byť rovnako dôležitý ako zložitosť celej poistky. S84

Čo si z toho vziať pre slovenský e-shop

Pre prevádzkovateľa chatbota je najpoučnejšia druhá strana výsledkov. Vstupná brána s prahom 0,50 v tejto sade odmietla viac než desatinu nevinných promptov. S84 Prah preto nestačí prevziať z článku. Slovenčina sa v preprinte nespomína a jazyk promptov autori neuvádzajú. S84 Čísla teda nie sú podkladom pre odhad správania v slovenčine.

Latenciu ani cenu autori nemerali a výslovne píšu, že frekvencia kontroly tieto veličiny nenahrádza. S84 Pri výpočte nákladov platí z cenníka TypeSafe, že jev-1.14.0 stojí 0,042 USD za milión vstupných tokenov a výstupné tokeny sú zadarmo. S01 Kontrola výstupu posiela do Jevu aj text odpovede modelu, S84 takže náklady si treba zarátať v kalkulačke pre obe volania.

Návrh JEV.sk, nie záver preprintu: pripravte si vzorku skutočných nevinných požiadaviek z vlastnej prevádzky, merajte na nej zvlášť prepustené škodlivé aj odmietnuté nevinné prípady a prah vyberajte na inej časti dát než tej, na ktorej ho vyhodnocujete. Podrobnosti k práci s pravdepodobnosťou opisuje stránka Confidence a kalibrácia. Odolnosť voči cielenej manipulácii je samostatná téma, ktorú rozoberá článok o podvrhnutom texte.

Obmedzenia, ktoré autori uvádzajú

Pokus používa jeden cieľový model a jedno nastavenie generovania. Automatický detektor odmietnutí sa aspoň raz pomýlil a kontrola na oddelených dátach stojí na jednom rozdelení s malou sadou nevinných promptov. Ďalší výskum podľa autorov potrebuje viac modelov a benchmarkov, posúdenie skutočnej škodlivosti a meranie latencie a ceny. S84 Kód, anonymizované výsledky po jednotlivých promptoch a analytické skripty autori uvádzajú ako verejne dostupné. S84