Jev ako hodnotiteľ výsledkov vyhľadávania v portugalčine: čo ukázal preprint

Na arXiv vyšiel 16. októbra 2026 preprint dvoch brazílskych autorov, ktorí skúšali Jev pri vyhľadávaní v portugalčine. Leandro Carísio Fernandes (Câmara dos Deputados) a Jayr Pereira (Universidade Federal do Cariri a Unicamp) riešili dve otázky: či Jev dokáže namiesto ľudí posúdiť, nakoľko dokument zodpovedá dotazu, a či zlepší poradie výsledkov klasického vyhľadávania BM25. S61 Autori pripomínajú, že jazyky iné než angličtina dostávajú vo výskume menej pozornosti a majú menej dát na trénovanie aj vyhodnocovanie. S61 Práve preto je štúdia zaujímavá aj pre slovenské weby. Ide o preprint bez recenzného konania a JEV.sk z neho nič nemeral.

Ako autori Jev použili

Pri hodnotení relevancie dostal Jev do stavu (state) text dotazu a dokumentu a k nemu jednu otázku Choice, v ktorej vyberal stupeň relevancie. Stupne aj ich znenie autori prevzali z pôvodných kolekcií. S61 Kolekcie boli štyri: Quati s webovými pasážami (50 dotazov, 1 933 dvojíc dotaz – dokument), JurisTCU s judikatúrou (150 dotazov, 2 250 dvojíc), NormasTCU s normatívnymi aktmi (46 dotazov, 812 dvojíc) a legislatívny Ulysses-RFCorpus (692 dotazov, 8 205 dvojíc). Referenčné značky pri Quati vytvoril jazykový model, pri JurisTCU tiež, no prešiel ich jeden odborník; pri zvyšných dvoch kolekciách pochádzajú od odborníkov. S61

Pri preraďovaní dostal Jev ku každému kandidátovi otázku, či dokument priamo odpovedá na dotaz. Výslednú pravdepodobnosť autori použili rovno ako skóre, bez spájania so skóre BM25 a bez dodatočnej kalibrácie. S61 V pokyne modelu zdôraznili, aby text dokumentu bral ako obsah na vyhľadanie, nie ako inštrukciu. Jedna požiadavka obsahovala 10 otázok a na jeden dotaz pripadlo 100 požiadaviek, takže sa preraďovalo prvých 1 000 kandidátov z BM25. S61 Pri hodnotení uvádzajú verziu jev-1.13, pri preraďovaní jev-1.13.0. S61

Hodnotenie relevancie: zhoda skôr stredná

Rovnaký stupeň ako referencia zvolil Jev v 52,9 % (Quati) až 64,9 % (Ulysses-RFCorpus) prípadov. Väčšina odchýlok však bola len o jeden stupeň a spolu s presnými zhodami to v každej kolekcii tvorilo aspoň 94,5 % hodnotení. S61 Kvadraticky vážená kappa vyšla od 0,52 na NormasTCU po 0,82 na JurisTCU. Autori ju dávajú do súvisu so zhodou ľudských hodnotiteľov zo staršej literatúry, no upozorňujú, že odlišné kolekcie a postupy priame porovnanie obmedzujú. S61

Užitočnejší je druhý výsledok. Autori zoradili 15 systémov na NormasTCU a 16 na Ulysses-RFCorpus raz podľa Jevových hodnotení a raz podľa referenčných. Obe poradia sa zhodovali s Kendallovým τ od 0,90 do 0,93. S61 Podľa kritéria, ktoré preberajú z literatúry, hodnota aspoň 0,9 znamená prakticky rovnocenné poradie. Pri metrike MRR sa však pozície menili viac, a to aj pri systémoch na čele. S61

Preraďovanie: veľký posun oproti samotnému BM25

Na 50 testovacích dotazoch Quati nad korpusom s miliónom pasáží zvýšil Jev nDCG@10 z 0,3329 na 0,6331, teda o 90,2 %, a MRR z 0,6852 na 0,9033, teda o 31,8 %. S61 Na porovnanie autori citujú staršie publikované číslo 0,6593 pre BM25 s preraďovačom mT5-XL. Sami dodávajú, že východiskové BM25 tam dosiahlo 0,3991 a nastavenia sa líšia, takže nejde o kontrolované porovnanie. S61

Čo to znamená pre slovenský e-shop

Vyhľadávanie v e-shope má často rovnakú stavbu: rýchly fulltext nájde kandidátov a ďalší krok ich zoradí. Preprint ukazuje, že v tomto nastavení Jev poradie z BM25 výrazne zlepšil v jazyku inom než angličtina. S61 Ten istý dvojkrokový postup opisuje aj recept v dokumentácii TypeSafe: BM25 vyberie 30 kandidátov a Jev ich zoradí podľa hodnoty Noul, teda odhadu, že odpoveď na otázku je áno. S62 Recept stojí na 40 dotazoch a jeho 1 200 volaní stálo 0,0645 USD pri modeli jev-1.12 a cenníku z augusta 2026. S62

Návrh JEV.sk: preraďovanie najprv vyskúšajte na vlastnej vzorke dotazov so slovenskými názvami produktov a výsledok porovnajte s doterajším poradím. Majte na pamäti, že preprint nemeral latenciu ani cenu a že preraďovanie nevráti dokument, ktorý prvý krok vôbec nenašiel. S61 Recept TypeSafe to hovorí tiež: pasáž, ktorú rýchle vyhľadávanie nevybralo, už preraďovanie nepridá. S62 Náklady pri vašom počte kandidátov si odhadnite v kalkulačke, zápis otázok vysvetľuje sprievodca Choice, Score a Noul a práci so slovenčinou sa venuje testovanie slovenčiny. Pokyn, aby Jev text dokumentu nebral ako príkaz, súvisí s rizikom, ktoré opísal preprint o podvrhnutom texte.

Limity a verzia modelu

Preraďovanie autori overili len na webových pasážach z Quati, nie na dlhých právnych dokumentoch. Nerobili testy štatistickej významnosti, neporovnali Jev so špecializovanými preraďovačmi za rovnakých podmienok a skúšali len hodnotenie po jednom dokumente s BM25 ako prvým krokom. Poradie systémov analyzovali len na dvoch kolekciách. S61 Výsledky sa týkajú Jevu 1.13. Od 14. októbra 2026 je cez alias jev-preview dostupný jev-1.14.0, kým jev-latest stále smeruje na jev-1.13.0. S01