Podvrhnutý text dokáže otočiť rozhodnutie Jevu: čo zistil preprint

Rozhodovací model môže vrátiť odpoveď v úplne správnom tvare, a predsa nesprávnu, ak ho k nej niekto navedie. Preprint siedmich autorov z čínskych výskumných pracovísk, zverejnený na arXiv 13. 10. 2026, skúma, ako často sa v reálnych aplikáciách postavených na Jeve dá otočiť rozhodnutie programu len úpravou textu, ktorý do modelu prichádza zvonka. Útočník pritom nemení kód aplikácie, interné otázky ani samotný model. S49 Ide o preprint, ktorý ešte neprešiel recenzným konaním. Kto Jevu posiela recenzie, správy zákazníkov alebo texty z feedov, toho sa téma týka priamo.

Čo autori nazývajú únosom rozhodnutia

Autori jav pomenovali Jev Program Decision Hijacking. Útočník upraví niektoré z externých polí s nižšou dôveryhodnosťou, ktoré sa dostanú do otázky pre Jev. Model potom vráti odpoveď, ktorá formálne spĺňa schému, teda platnú hodnotu áno/nie, kategóriu, skóre alebo istotu, no program sa podľa nej zariadi inak, než mal. S49 Podľa modelu hrozby útočník pozná len verejné správanie aplikácie a obsah, ktorý sám ovláda. Zdrojový kód ani interné pokyny nepotrebuje. S49

Ako výskum prebiehal

Autori zozbierali 1 711 jedinečných repozitárov z GitHubu, ktoré pripadali do úvahy. Preskúmali 356 s najvyšším počtom hviezdičiek a 228 z nich označili za potenciálne zraniteľné. S49 Na hľadanie útokov vytvorili nástroj JevProbe. Ten v kóde sleduje, odkiaľ prichádzajú údaje do volania Jevu, overí, že sa tam text zvonka naozaj dostane, a potom skúša varianty podvrhnutého obsahu. Varianty generoval model Qwen3-32B a využíval napríklad vymyslené schválenie, falošný výstup nástroja alebo zmenu rámca situácie. S49 Cieľovou verziou bol jev-1.13.0. Pokusy bežali v izolovanom lokálnom prostredí, bez živých systémov a bez skutočných údajov používateľov. S49

Osem z desiatich pokusov uspelo

Z 2 273 testovaných prípadov sa rozhodnutie otočilo v 1 853, teda v 81,5 %. S49 Až 202 z 228 aplikácií malo podiel otočených rozhodnutí aspoň 80 % a pri 16 aplikáciách to bolo 100 %. S49 Ako potenciálne nebezpečné autori označili 98,6 % otočených rozhodnutí. Najväčšiu skupinu, 92,5 % z nich, tvorilo znečistenie informácií. S49 Pri posudzovaní dopadu im pomáhal jazykový model Gemma-3-27B-IT, čo sami uvádzajú medzi obmedzeniami. S49

Prípad aplikácie TradingAgents ukazuje, prečo samotný prah istoty nestačí. Pri hodnotení dôveryhodnosti finančnej informácie klesla po útoku istota z 0,65 na 0,27, teda pod hranicu 0,5, a aplikácia informáciu namiesto prijatia odmietla. S49 Útok tak posunul presne tú hodnotu, podľa ktorej sa kód rozhodoval.

Iné modely a skúšané obrany

Rovnaké útoky autori skúsili aj s inými modelmi, ktoré do aplikácií dosadili cez adaptér namiesto Jevu. V porovnávacej skupine desiatich aplikácií mal Jev podiel otočených rozhodnutí 79,8 %, ostatné testované modely od 50,7 % do 66,8 %. S49 Autori upozorňujú, že adaptér nezodpovedá natívnemu nastaveniu každého modelu. S49

Existujúce obrany pomohli málo. Bez obrany sa v tejto skupine otočilo 78,7 % rozhodnutí. Najúčinnejšia zo skúšaných metód, ktorá externý text ohraničí oddeľovačmi (Spotlighting-Delimit), podiel znížila na 68,9 %, teda o 9,8 percentuálneho bodu. Prepísanie vstupu inými slovami podiel naopak mierne zvýšilo na 79,8 %. S49 Pre Jev bez obrany pritom preprint na dvoch miestach uvádza mierne odlišné hodnoty, 78,7 % a 79,8 %. S49 Ochrany vnútri modelu autori neskúšali, pretože architektúra ani parametre Jevu nie sú verejné. S49

Hranice štúdie

Skúmali sa len open source aplikácie z GitHubu a výsledky platia pre konkrétne revízie a nastavenia z času pokusov. S49 Medzi opísanými prípadmi nie sú e-shopy ani recenzie. Autori uvádzajú kategórie ako finančné rozhodovanie, presadzovanie prístupových pravidiel, spracovanie obsahu, riadenie služieb, smerovanie agentov a akcie viditeľné navonok. S49 Nálezy oznámili správcom aplikácií a odpovede v čase zverejnenia ešte nemali. Kód nástroja aj dátovú sadu zverejnili na GitHube. S49 JEV.sk nič z toho nemeral.

Čo z toho plynie pre slovenský e-shop

Dokumentácia TypeSafe radí, aby riadenie programu ostalo v kóde, aby prahy istoty zodpovedali riziku konkrétnej akcie a aby neisté prípady išli človeku alebo drahšiemu modelu. S50 Útoky cez vstup ani nedôveryhodný text však táto stránka nerieši. S50

Vlastný návrh JEV.sk: e-shop často posiela do state text, ktorý napísal niekto cudzí, napríklad recenziu, správu k reklamácii, poznámku k objednávke alebo popis z feedu dodávateľa. Taký text treba brať ako potenciálne nepriateľský. Rozhodnutie Jevu nad ním by samo nemalo spustiť vrátenie peňazí, zverejnenie recenzie s odkazom ani zmenu ceny. Keďže prípad TradingAgents ukazuje, že útok hýbe aj istotou, prah nestačí ako jediná poistka. Citlivé kroky nechajte na pravidlá v kóde a na človeka. Externý text zreteľne ohraničte, hoci podľa preprintu to pomôže len čiastočne, a do testovacej sady pridajte aj podvrhnuté vstupy typu „schválené bezpečnostným tímom“. Širší pohľad na riziká ponúka sprievodca bezpečnosť a súkromie a voľbu prahov opisuje confidence a kalibrácia.