Hľadanie zraniteľností v kóde: preprint Cyber-JEV porovnal Jev s vlastným modelom

Sedem autorov zverejnilo začiatkom novembra 2026 na arXive preprint Cyber-JEV. S80 Zaoberá sa tým, ako zoradiť funkcie zdrojového kódu podľa rizika, že obsahujú bezpečnostnú chybu, aby ľudia pri kontrole začínali tými najpodozrivejšími. Jev 1.13 v ňom slúži ako porovnávací bod pre vlastný doladený otvorený model. S80 Pre vývojára je práca užitočná najmä tým, že ukazuje správanie Jevu v úlohe, kde je hľadaných prípadov veľmi málo, a pripomína, že predvolený prah nemusí dávať zmysel. Ide o preprint, ktorý ešte neprešiel recenziou; článok vychádza z jeho plného textu.

Čo autori postavili

Základom je otvorený model Qwen3.5-4B, ktorý autori doladili metódou LoRA a doplnili o výstup pre binárnu klasifikáciu. S80 Hlavný problém videli v dátach. Čisté porovnávacie súbory obsahujú len málo zraniteľných funkcií, zatiaľ čo veľké archívy opráv obsahujú iba zraniteľné. Po ich zmiešaní sa model môže naučiť rozoznávať, odkiaľ funkcia pochádza, a nie to, či je chybná. S80

Autori preto z každého opravného commitu zostavili malú skupinu: zraniteľnú funkciu, jej opravenú verziu a najviac dve nezmenené funkcie z toho istého súboru. Takto získali 2 829 skupín s 10 099 funkciami. S80 Model sa v rámci skupiny učí hodnotiť zraniteľnú verziu vyššie než ostatné členy. Podľa autorov sa tak vplyvy, ktoré sú spoločné pre celý repozitár, navzájom vyrušia. S80

Potrebu takého postupu dokladajú číslom. Model doladený obvyklým spôsobom len na referenčných dátach dal v 67,2 % dvojíc zraniteľná verzia a oprava vyššie skóre opravenému kódu. S80 Toto číslo sa týka ich vlastného základného variantu, nie Jevu.

Ako dopadol Jev 1.13

Hlavný testovací súbor tvorí 7 270 funkcií z 57 open-source projektov. Zraniteľných je medzi nimi 322, teda 4,43 %. S80 Jev 1.13 autori volali cez oficiálne API s rovnakým zadaním ako pri ostatných modeloch. Preprint však neuvádza znenie otázky ani to, či išlo o Noul, Choice alebo Score. S80

Pri zoraďovaní funkcií dosiahol Jev AUROC 0,743 a súbor piatich modelov Cyber-JEV 0,814. Priemerná presnosť (average precision) vyšla 0,101 oproti 0,197. S80 Pri prísnom limite 1 % falošných poplachov Jev zachytil 7 zraniteľností a Cyber-JEV 33. S80

Pre prax je najzaujímavejší údaj o prahu. Pri predvolenom prahu p > 0,5 vyvolal Jev 4 031 upozornení, čo je viac než polovica všetkých testovaných funkcií. S80 Pri rovnakom počte upozornení Jev prehliadol 39 zraniteľností a Cyber-JEV 16. S80

Autori skúmali aj dvojice zraniteľnej a opravenej funkcie a sledovali, či model vyššie ohodnotí tú chybnú. Jev dal obom verziám rovnakú pravdepodobnosť v 18,8 % dvojíc, teda v 51 z 271. Jeho výsledok 50,7 % preto obsahuje polovičný bod za každú takú remízu. Bez nich vyhral len v 41,3 % dvojíc, Cyber-JEV v 47,6 %. S80 Obe hodnoty sú pod polovicou, takže odlíšiť opravu od chyby bolo v tomto teste ťažké pre oba modely.

Kde sú limity

Autori uvádzajú, že systém nenasadili do CI, nespúšťali ho na po sebe idúcich vydaniach a nehľadali ním nové zraniteľnosti. Testovacie dvojice pochádzajú z historických opráv, nie zo živých pull requestov. S80 Priame porovnanie s nástrojmi ako CodeQL alebo Semgrep na tej istej úlohe chýba a o rýchlosti či presnosti voči nim autori nič netvrdia. Zverejnenie kódu ani váh modelu preprint nespomína. S80

Testovaný bol Jev 1.13. Dokumentácia TypeSafe dnes ako najnovšiu verziu uvádza jev-1.14.0, dostupnú od 14. októbra 2026. S01 Ako by v tejto úlohe obstála novšia verzia, preprint neskúma.

Čo si z toho vziať pre vývojára a e-shop

Bezpečnostná kontrola kódu nie je bežná úloha e-shopu, poučenie z preprintu však platí všade, kde je hľadaných prípadov málo. Keď ich bolo 4,43 %, prah 0,5 označil viac než polovicu funkcií. S80 Nasledujúce odporúčania sú už náš návrh, nie výsledok preprintu. Prah nastavte podľa toho, koľko prípadov dokáže tím naozaj skontrolovať, a overte ho na vlastných dátach. Súvislosti vysvetľuje sprievodca confidence a kalibrácia.

Ak výsledky Jevu používate na zoradenie, počítajte s remízami. Keď dva prípady dostanú rovnakú pravdepodobnosť, poradie medzi nimi musí určiť ďalšie kritérium v kóde, napríklad veľkosť zmeny alebo vek kódu.

Autori svoj model opisujú ako prvý stupeň, ktorý zoradí zmenené funkcie pred hlbšou analýzou. S80 Rovnakú úlohu lacného prvého filtra opisuje aj náš článok o kaskáde hodnotiteľov. Pri dlhých vstupoch, akými sú funkcie zdrojového kódu, treba rátať aj s cenou. Vstupné tokeny stoja 0,042 USD za milión a výstup je zadarmo. S01 Odhad nákladov uľahčí stránka cena a limity.