Jev pri moderovaní nenávistných príspevkov: čo ukázal nový preprint

Trojica autorov z Cyperskej univerzity zverejnila 2. 10. 2026 na arXiv preprint, ktorý skúma, či rozhodovacie modely dokážu rozpoznať nenávistné príspevky bez toho, aby ich niekto na túto úlohu dotrénoval. Medzi šiestimi skúmanými konfiguráciami je aj Jev vo verzii jev-1.13.0. S42 Ide o preprint bez recenzného konania, no s podrobne opísanou metodikou. Téma sa týka každého, kto na webe zverejňuje recenzie, otázky k produktom alebo komentáre: obsah treba kontrolovať a posielať každý príspevok veľkému jazykovému modelu je drahé.

Ako autori postupovali

Jev volali cez hostované API, ostatných päť rozhodovacích modelov (Laya, Decider, dve varianty SemIf nad Qwen3.5 2B a 4B a Bespoke-Nimble-9B) spúšťali lokálne. Ako porovnanie použili dva komerčné modely, GPT-5.6 Luna a GPT-6 Sol, ďalej špecializovaný moderačný model CoPE, model BART bez trénovania na úlohu a dva klasické klasifikátory natrénované na dátach (TF-IDF s logistickou regresiou a DistilBERT). S42

Testovali na štyroch anglických sadách: Dynamic so 4 120 textami, MHS s 3 203, HateXplain s 1 924 a HateCheck s 3 728 textami. HateCheck tvoria zámerne zostavené testovacie prípady. S42 Pri štatistike autori dáta 10 000-krát prevzorkovali a výsledky upravili Bonferroniho korekciou na počet porovnaní. S42

Ako dopadol Jev

Hlavnou metrikou je macro-F1 na škále od 0 do 1 pri jednoduchej otázke, či je text nenávistný. Výsledky v tomto teste (Jev, GPT-6 Sol, GPT-5.6 Luna) S42:

• Dynamic: 0,826, 0,897 a 0,858,
• MHS: 0,691, 0,682 a 0,691,
• HateXplain: 0,738, 0,776 a 0,677,
• HateCheck: 0,960, 0,976 a 0,974.

Komerčné modely mali najlepší výsledok na troch zo štyroch sád, ale štatisticky významne pred všetkými rozhodovacími modelmi boli len na sade Dynamic. Na MHS ich prekonal lokálny model Decider s hodnotou 0,801. S42 Žiadny model teda nevyhral všade.

Cena a odozva

Rozdiel je hlavne v nákladoch. Na sade HateCheck vyšlo tisíc textov pri Jeve na 0,033 USD, pri GPT-5.6 Luna na 0,120 USD a pri GPT-6 Sol na 1,177 USD. Medián odozvy bol 336 ms pri Jeve, 844 ms pri Lune a 1 426 ms pri Sol; lokálne spúšťaná Laya potrebovala 48 ms. S42 Autori to zhŕňajú tak, že Jev zaostal za GPT-6 Sol o 1,6 bodu macro-F1 pri nákladoch nižších približne o 97 %. S42

TypeSafe AI podľa svojej dokumentácie účtuje 0,042 USD za milión vstupných tokenov a výstupné tokeny nespoplatňuje. S01 Odhad pre vlastný objem príspevkov ukáže sprievodca cena a limity.

Definície a ďalšie otázky výsledok spoľahlivo nezlepšili

Autori skúšali aj dve úpravy, ktoré by človek intuitívne považoval za zlepšenie. Prvou bolo pridať k otázke definíciu nenávistného prejavu z danej sady. Definícia zmenila 2,8 % až 28 % predikcií, no významné zlepšenia a zhoršenia sa vyskytli rovnako často, v ôsmich z 28 porovnaní každé. S42

Druhou úpravou bol rozklad na viac čiastkových otázok, napríklad na koho text mieri a o aký druh správania ide. Výsledok sa významne zlepšil len v 20 % porovnaní a približne v 37 % sa zhoršil. Pri Jeve pritom rozklad zvýšil náklady o 64 % na HateCheck a o 139 % na Dynamic. S42 Prínos rozkladu autori vidia inde: pri spornom príspevku je zaznamenané, ktoré kritérium rozhodlo, čo uľahčuje kontrolu človekom. S42 Samotné čiastkové otázky boli rôzne ťažké. Jev určil cieľovú skupinu na HateCheck s hodnotou 0,989, smerovanie výroku s hodnotou 0,682 a druh správania na Dynamic len s hodnotou 0,538. S42 Ako sa otázky typu Choice a Score skladajú, vysvetľuje sprievodca Choice, Score a Noul.

Čo z toho plynie pre slovenský e-shop

Všetky štyri sady sú v angličtine a autori výslovne píšu, že o iných jazykoch z nich nemožno robiť závery. S42 Výrobca zároveň uvádza, že hlavným jazykom Jevu je angličtina a ostatné jazyky síce testoval, no nie sú optimalizované v rovnakej miere. S01 Čísla zo štúdie sa preto nedajú preniesť na slovenské recenzie ani komentáre. Ako si overiť správanie modelu v slovenčine, opisuje sprievodca testovanie slovenčiny.

Odporúčanie autorov je striedme: dobrý rozhodovací model bez dotrénovania je podľa nich rozumný začiatok, ak ho prevádzkovateľ overí na vzorke označenej podľa vlastných pravidiel moderovania. S42 Pripomínajú aj cenu oboch druhov chýb. Prísny filter môže skryť legitímne príspevky vrátane reakcií, ktoré nenávisti odporujú, a voľný filter nechá dotknuté skupiny bez ochrany. S42

Návrh JEV.sk pre prax: zoberte niekoľko sto skutočných recenzií a komentárov zo svojho webu, ručne ich označte podľa vlastných pravidiel a až na nich porovnajte Jev s modelom, ktorý používate dnes. Sporné prípady nechajte posúdiť človeku. Ako s tým súvisí istota modelu, vysvetľuje sprievodca confidence a kalibrácia; táto štúdia prahy istoty v hlavnom texte nevyhodnocuje. Ďalšie možnosti použitia sú v sprievodcovi Jev pre e-shopy.

Limity štúdie

Okrem jazykového obmedzenia autori uvádzajú, že HateCheck je umelo zostavený, takže nie je isté, ako jeho výsledky platia pre skutočné príspevky. Definíciu pre HateXplain museli nahradiť, pravidlá rozkladu odrážajú ich vlastný výklad a odpovede na čiastkové otázky nikto ručne neoveril. Nevedia ani, či sa testovacie dáta nedostali do trénovania modelov. S42 Ďalšie štúdie o Jeve zhŕňame v prehľade výskumu.