Jev pri odporúčaní produktov: preprint uprednostnil malý natrénovaný model

Talianski a nemeckí výskumníci zverejnili preprint Decision4Rec, v ktorom skladajú odporúčací systém okolo rozhodovacieho modelu. Medzi testovanými modelmi bol aj Jev vo verzii jev-1.13.0, ktorý volali cez API. S67 Pre e-shopy je výsledok zaujímavý najmä tým, čo nefungovalo: rozhodovací model bez úprav pridal k bežnému odporúčaču len málo a malý otvorený model natrénovaný na skutočných voľbách používateľov Jev vo väčšine nastavení predbehol. S67 Verzia v1 je na arXiv od 19. 10. 2026 a ide o preprint bez ukončeného recenzného konania. S67

Ako je systém poskladaný

Autori z Università degli studi di Bari Aldo Moro a Otto-von-Guericke University Magdeburg chápu rozhodovací model ako jazykový model, ktorý na typovanú otázku vráti pravdepodobnosť pre každú možnosť a nepíše text. S67 Systém má štyri časti. Znalostný graf prepisuje záznamy o správaní do krátkych výrokov na škále daného obchodu, napríklad že sa položka predáva v najlepších 10 %; tento graf sa netrénuje. Skupina agentov navrhne kandidátov a pomocný radiaci model z nich ponechá 30. Rozhodovací model potom vyberá z kandidátov podľa ich textu, výrokov a informácie, ktorý agent ich našiel. Nakoniec sa jeho odpovede spoja so skóre radiaceho modelu. S67

Na jedného používateľa ide jedna požiadavka s dvoma otázkami po 30 možností a výroky jednej možnosti zaberú približne 20 tokenov. S67 Okrem Jevu autori skúšali otvorené modely Kev a vlastné verzie natrénované technikou LoRA s veľkosťou od 0,8B do 27B parametrov. S67 Trénovali na troch zdrojových doménach (Amazon Video Games, Amazon Musical Instruments a vzorka zo Steamu), domény Amazon Industrial and Scientific a MovieLens-1M ostali na overenie. Metrikou bolo NDCG@10 na 2 000 testovacích používateľoch v každej doméne. S67

Kde vznikol zisk

S natrénovaným modelom veľkosti 4B dosiahol celý systém NDCG@10 o 25 % vyššie než najlepší natrénovaný základný model na Amazon Video Games a o 36 % vyššie na Musical Instruments. Na hustom súbore Steam bol rozdiel +1 % a nebol štatisticky významný. S67 Väčšinu zisku však priniesla už skupina agentov s radiacim modelom: bez rozhodovacieho modelu išlo o +17 %, +26 % a −1 %. S67 Na doméne Industrial and Scientific, ktorú rozhodovací model pri tréningu nevidel, dosiahol systém s modelom 4B 131 % výsledku základného modelu SASRecF. S67

Zverejnený model Kev-4B bez tréningu pri preradení 50 najlepších návrhov modelu SASRec nebol v žiadnej sade významne lepší a pomohol približne tým istým používateľom ako náhodné poradie. S67 Keď však dostal správanie zákazníkov vo forme krátkych výrokov, zlepšil sa o 19 a 45 % v dvoch z troch domén. S67

Jev proti malému natrénovanému modelu

Vlastný natrénovaný Kev-0.8B bol lepší než zverejnený Jev v jedenástich z pätnástich nastavení, o 14 až 43 %, a v žiadnom nebol horší. Natrénovaný Kev-4B prekonal Jev v štrnástich z pätnástich. S67 Zverejnený Jev a zverejnený Kev-4B sa v desiatich z pätnástich nastavení významne nelíšili. S67 Autori z toho vyvodzujú, že tréning na skutočných voľbách zavážil omnoho viac než veľkosť alebo cena modelu. S67

Jev odpovedal za 310 až 340 ms a tisíc používateľov stálo 0,15 až 0,22 USD pri cene 0,042 USD za milión vstupných tokenov platnej počas pokusov. Celá časť s Jevom stála 4,89 USD. S67 Natrénovaný Kev-0.8B potreboval 157 až 167 ms na používateľa na jednej GPU s 24 GB pamäte. S67 Autori tiež poslali rovnakých 1 200 požiadaviek znova o niekoľko hodín neskôr. Zhodovalo sa len 0,3 až 0,7 % odpovedí a prvá voľba sa zmenila v 7 % požiadaviek. Na presnosť to malo malý vplyv, výsledok hostovaného modelu však nezávisí len od požiadavky. S67 Ďalšie obmedzenia vidia v tom, že používatelia si Jev nemôžu dotrénovať, jeho výstupy nemožno použiť na tréning lacnejšieho modelu, údaje zákazníkov odchádzajú s každou požiadavkou a verziu môže výrobca stiahnuť. S67

Čo z toho plynie pre slovenský e-shop

Najväčšie zisky sa ukázali v riedkych katalógoch, kde na jednu položku pripadalo v priemere 16 až 32 interakcií. Na hustých dátach zo Steamu a pri základnej verzii MovieLens-1M zisk nebol. S67 Menší e-shop s veľkým sortimentom a malým počtom nákupov na produkt sa podobá skôr riedkym sadám, priamo to však preprint netestoval.

Vlastný návrh JEV.sk: ak zvažujete Jev na odporúčanie súvisiacich produktov, nečakajte zlepšenie od samotného preradenia výsledkov existujúceho odporúčača. Podľa preprintu viac pomohli krátke výroky o predajnosti a správaní zákazníkov a návrhy z viacerých zdrojov. S67 Ak potrebujete, aby zákazník pri opakovanej návšteve videl rovnaké odporúčania, výsledok si uložte, pretože rovnaká požiadavka môže dopadnúť inak. S67 Cenu volaní si môžete prepočítať podľa sprievodcu cena a limity, širší prehľad použitia je na stránke Jev pre e-shopy.

Limity preprintu

Cieľová položka bola medzi 30 kandidátmi len približne u 9 až 25 % používateľov, takže preradenie ostatným pomôcť nemôže. S67 Každý model sa trénoval jedenkrát, základné modely autori implementovali sami a overenie na nových používateľoch ešte prebieha. S67 Testovaný bol jev-1.13.0. Alias jev-latest dnes smeruje na jev-1.14.0, dostupný od 14. 10. 2026, pri rovnakej cene 0,042 USD za milión vstupných tokenov. S01 Či by novšia verzia dopadla inak, preprint neskúma a JEV.sk nič z toho nemeral.