Ktoré príklady dať jazykovému modelu do promptu? Preprint skúšal modely v štýle Jevu

Kto triedi texty jazykovým modelom, do promptu mu často pridá niekoľko už vyriešených príkladov. Tento postup sa volá in-context learning a výsledok veľmi závisí od toho, ktoré ukážky model dostane. Preprint troch autorov z Jilinskej univerzity v Číne, zverejnený 31. 10. 2026, skúma, či pri ich výbere pomôže rozhodovací model, ktorý pri každom kandidátovi odhadne, nakoľko je užitočný. S81 Ide o preprint, teda prácu, ktorá zatiaľ neprešla recenzným konaním. Pre vývojára je otázka praktická: lepšie zvolené ukážky môžu zvýšiť presnosť malého a lacného modelu bez toho, aby sa model menil.

Nejde o hosťovaný Jev od TypeSafe

Autori sa na Jev od TypeSafe AI odvolávajú ako na rozhodovací model, ktorý vracia pravdepodobnostné úsudky. Práca však neuvádza, že by pracovala s jeho API. V pokusoch nasadila dva otvorené modely tretích strán zverejnené na Hugging Face: NeoJev so 4 miliardami parametrov a JEV s 9 miliardami. S81 Výsledky preto nehovoria priamo o modeli jev-1.14.0, ktorý TypeSafe ponúka cez svoje API. S01 O tom, ako si tímy stavajú vlastné rozhodovacie modely, sme písali aj pri preprinte tímu PayPal.AI.

Ako výber prebiehal

Postup má dva kroky. Najprv bežný model na vektorové reprezentácie viet nájde 20 trénovacích príkladov, ktoré sú zadaniu najbližšie. Potom rozhodovací model pri každom z nich odpovie na otázku áno/nie, či by bol užitočnou a relevantnou ukážkou. Pravdepodobnosť odpovede „áno“ slúži ako skóre užitočnosti. S81 Konečnú zostavu ukážok autori neberú jednoducho podľa poradia, ale hľadajú najlepšiu kombináciu lúčovým prehľadávaním so šírkou 4. S81

Háčik je v nákladoch. Každý kandidát znamená ďalšie volanie rozhodovacieho modelu a autori to označujú za podstatnú výpočtovú záťaž. Navrhli preto destiláciu: hodnotenia od modelu JEV-9B poslúžili ako učebné dáta pre malú neurónovú sieť typu MLP, ktorá potom užitočnosť odhaduje sama. Túto sieť nazvali DisJEV, obdobnú sieť naučenú z modelu NeoJev DisNeoJEV. S81

Ako porovnanie slúžil výber podľa významovej podobnosti (kNN) a dve ďalšie metódy, ConE a DiSP. Úlohy pokrývali klasifikáciu otázok (TREC), sentiment (SST-2, SST-5), témy správ (AG News) a vzťah dvoch viet (MNLI). Ukážky dostávali modely Llama3.2-1B, Qwen3-1.7B, Llama3.1-8B a Qwen3-8B, v hlavnom pokuse vždy štyri. S81

Čo vyšlo

Na všetkých štyroch modeloch mal DisJEV vyšší priemer než výber podľa podobnosti, a to o 2,99, 3,68, 0,43 a 1,68 bodu. Pri Qwen3-1.7B to bolo 77,12 oproti 73,44. S81 Variant DisNeoJEV dopadol v tomto teste ešte o niečo lepšie, pri tom istom modeli na 77,68. S81 Metódy ConE a DiSP podľa autorov prinášali nekonzistentné zlepšenie a pri niektorých modeloch výsledok dokonca zhoršili. S81

Priemer však zakrýva veľké rozdiely medzi úlohami. Pri Qwen3-1.7B priniesol DisJEV výrazný skok v TREC (85,20 oproti 72,40) a v MNLI (74,85 oproti 69,95). Pri SST-2 a AG News naopak skončil tesne pod výberom podľa podobnosti. S81 Pri väčších modeloch DeepSeek-V4-Flash a Qwen3.8-Flash, ktoré autori volali cez API a skúšali na 500 vzorkách, bol zisk menší než dva body. Sami ho označujú za pomerne skromný. S81

Malá sieť sa s pôvodným rozhodovacím modelom zhodla v poradí dvojíc kandidátov približne v 70 % prípadov. S81 Keď ju autori trénovali len na štyroch úlohách a skúšali na piatej, zaostala za plnou verziou o 1,43 a 1,70 bodu, stále však bola nad výberom podľa podobnosti. S81 Autori zároveň píšu, že účinnosť závisí od konkrétneho jazykového modelu aj od povahy úlohy. S81

Čo z toho plynie pre slovenský e-shop

Ak e-shop triedi správy od zákazníkov malým jazykovým modelom s niekoľkými príkladmi v prompte, práca naznačuje, že najpodobnejšie príklady nemusia byť najužitočnejšie. Zároveň však ukazuje, že prínos sa líši od úlohy k úlohe a pri silnejších modeloch je malý. S81 Ak triedenie stavíte priamo na rozhodovacom modeli, pozrite si skôr vzor smerovania správ podľa zámeru.

Nasledujúce je vlastný návrh JEV.sk, nie výsledok práce. S hosťovaným Jevom by sa podobné hodnotenie dalo položiť ako otázka áno/nie pri každom kandidátovi. TypeSafe účtuje vstupné tokeny za 0,042 USD za milión a výstup je zadarmo. S01 Každý kandidát je však samostatné hodnotenie s vlastným vstupom, takže náklady rastú s počtom kandidátov na jednu správu. Odhad si môžete spraviť v kalkulačke. Skôr než takú vrstvu nasadíte, porovnajte na vlastných správach, či vôbec prekoná obyčajný výber podľa podobnosti.