Keď sa dáta zmenia: preprint o tom, kedy má rozhodovací model radšej neodpovedať

Rozhodovací model sa zvyčajne vyskúša na vzorke dát a potom sa nasadí. Dáta sa však časom menia: pribudnú nové druhy požiadaviek, posunie sa pomer kategórií alebo sa upraví zoznam možností. Preprint SHIFT-JEV, zverejnený 25. 10. 2026, skúma, čo sa v takej situácii deje s modelmi, ktoré rozdeľujú pravdepodobnosť medzi pevne dané možnosti, a navrhuje, kedy má model radšej neodpovedať. S77 Kto Jevom triedi správy alebo objednávky, dostáva užitočnú pripomienku, že úspešný test pred spustením na dlhú prevádzku nestačí.

Kto a na čom testoval

Autormi sú Muhammad Atif Saeed, Azka Atiq a Akhtar Jamil z National University of Computer & Emerging Sciences v Islamabade, Adarsh Kumar z University of Arkansas at Little Rock, Uzair Iqbal z University of Malaya a Roland Aydin z nemeckého DFKI. Ide o preprint, teda prácu, ktorá zatiaľ neprešla recenzným konaním. S77

Podstatné obmedzenie: výsledky v preprinte pochádzajú z otvorených modelov Qwen3-0.6B, Qwen3-4B-Instruct-2507 a Phi-4-mini-instruct. Autori im dali rozhranie, ktoré napodobňuje Jev, takže model dostane očíslované možnosti a vyberie jednu z nich. Sadu JevBench podľa vlastných slov k dispozícii nemali. S77 Práca teda opisuje modely v štýle Jevu a jej čísla sa nedajú priamo preniesť na samotný Jev.

Autori rozlíšili štyri druhy posunu. Pri zmene domény prišli úlohy z iných oblastí, napríklad otázky bankových klientov zo sady Banking77, finančné správy z Twitteru alebo MMLU. Pri zmene podielov mala sada AG News silno nevyvážené kategórie, v pomere 10 a 100. Nové kategórie zastupovala sada CLINC150 s možnosťou „nič z uvedeného“. Posledný druh menil samotný zoznam možností: ich poradie, znenie, pridal podobne znejúcu nesprávnu možnosť alebo správnu odpoveď celkom vynechal. S77

Kedy je lepšie neodpovedať

Hlavná časť práce sa venuje tomu, kedy sa model má zdržať odpovede. Odpovie len vtedy, keď je odhadované riziko chyby dosť nízke, inak prípad pošle ďalej. Cieľ znel tak, aby chybovosť medzi zodpovedanými vstupmi neprekročila 10 %. S77

Najlepšie obstálo naučené skóre neistoty s certifikovaným prahom: cieľ prekročilo v 3 až 5 z 27 kombinácií prostredia a behu. Prah postavený len na najvyššej pravdepodobnosti ho prekročil v 5 až 15 prípadoch a konformné množiny predikcií v 9 až 14. S77 Pri menšom modeli Qwen3-0.6B mala najvyššia pravdepodobnosť s rovnakou certifikáciou priemernú skutočnú chybovosť 16,0 %, kým naučené skóre 6,4 %. S77

Najmenej prekročení, 3 a 2 z 27, dalo najprísnejšie pravidlo, ktoré na všetky vstupy použije prísnejší z dvoch prahov. Autori ho však vedú ako zistenie získané až dodatočne, ktoré treba ešte potvrdiť. S77

Poučný je aj prípad, keď v zozname chýbala správna odpoveď, takže každá možnosť bola chybná. Väčší model sa vtedy v jednotlivých behoch zdržal odpovede v 14 až 72 % prípadov a autori pripúšťajú, že môže byť potrebný samostatný mechanizmus „nič z uvedeného“. S77

Zmenu v podieloch kategórií odhalí jednoduchý test

Pri sledovaní prúdu dát autori porovnali viacero detektorov. Posun v podieloch kategórií, ktorý detektory založené na istote modelu alebo na vektorovej reprezentácii textu prehliadli, zachytil test χ² nad histogramom predpovedaných kategórií v 95 až 99 % prípadov pri plnej sile posunu. S77 Test však vyvoláva aj falošné poplachy: na dátach bez posunu dosiahli 6 % a 10 %, teda viac než cieľových 5 %. S77 Autori napriek tomu odporúčajú, aby sledovanie zmien v podieloch kategórií bežalo predvolene. S77

Doladenie a jeho hranice

Tretia časť navrhuje priebežné doladenie modelu na nové podmienky. Poistka zmenu prijme len vtedy, keď na odložených príkladoch ukáže štatisticky podložené zlepšenie. Na Qwen3-0.6B dosiahol tento postup presnosť 70,5 % a v každom behu predbehol porovnávané metódy. Na Qwen3-4B naopak zaostal o 0,4 až 1,4 bodu. S77 Doladenie s ukotvením k pôvodnému modelu a škálovaním teploty znížilo pri menšom modeli priemernú chybu kalibrácie pri posune z 0,289 na 0,087. S77 Táto časť sa týka najmä tých, ktorí majú prístup k váham modelu, ako to mali autori pri otvorených modeloch.

Autori sami uvádzajú viaceré limity. Posuny v podieloch kategórií a v zozname možností vytvorili umelo, každý model skúšali v troch behoch a testovali len modely do 4 miliárd parametrov z dvoch rodín. Kód má vyjsť až s finálnou verziou článku. S77

Čo si z toho môže vziať e-shop

Nasledujúce body sú návrh JEV.sk odvodený z preprintu, nie výsledok merania na Jeve. Ak e-shop Jevom triedi správy zákazníkov podľa zámeru, ako opisuje vzor smerovania správ, oplatí sa ukladať predpovedané kategórie a porovnávať ich podiely medzi obdobiami. Keď napríklad pred Vianocami pribudne otázok na doručenie, ide práve o posun v podieloch, ktorý detektory založené na istote modelu v preprinte prehliadli. S77 Keďže test dáva aj falošné poplachy, upozornenie by malo viesť ku kontrole človekom, nie k automatickej zmene nastavení.

Druhý poznatok sa týka prahov. Pri otázkach Choice a Score vracia Jev hodnotu confidence. Dokumentácia TypeSafe radí rozdeliť ju na tri pásma: pri vysokej istote konať automaticky, pri strednej opatrne a pri nízkej prípad odovzdať človeku alebo inému postupu. Prahy majú rásť s rizikom, začínať konzervatívne a overiť sa na vlastných dátach. S06 Preprint k tomu pridáva varovanie: prah certifikovaný len na pôvodných dátach pri prísnejšom cieli 5 % vo väčšine behov neobstál. S77 Viac o prahoch nájdete v sprievodcovi confidence a kalibrácia.

Tretí návrh: ak zoznam možností nemusí obsahovať správnu odpoveď, pridajte do otázky Choice možnosť typu „iné“. Bez nej musí model vybrať niektorú z ponúknutých možností, aj keď sú všetky nesprávne. S77 Ako sa otázky Choice, Score a Noul líšia, vysvetľuje sprievodca Choice, Score a Noul.