Zložené skóre s Jevom: viac kritérií, váhy v kóde a čo súčet zakryje

V dokumentácii TypeSafe je vzor nazvaný composite scoring, teda zložené skóre. Zložitý úsudok sa v ňom rozdelí na samostatné hľadiská, Jev každé z nich posúdi vlastnou otázkou Score a celkové poradie vypočíta až váš kód podľa váh, ktoré určíte vy. S76 Pre e-shop, ktorý porovnáva položky podľa viacerých kritérií naraz, je to užitočná schéma: model posudzuje význam textu a o tom, čo je dôležitejšie, rozhoduje prehľadný kód. Vážený súčet má však slabé miesto, o ktorom stránka o vzore nehovorí.

Príklad z dokumentácie: triedenie životopisov

Ukážka hodnotí životopisy uchádzačov o prácu. Jedna požiadavka obsahuje text životopisu a štyri otázky Score: hĺbku znalosti Pythonu, vedenie tímu, návrh systémov a široký záber uchádzača. Jev ich vyhodnotí paralelne a vráti štyri skóre. S76 Kód každé z nich vydelí štyrmi, aby bolo v rozsahu od 0 do 1, a výsledky sčíta s váhami. S76

Váhy sa menia podľa pozície. Pri seniornom vývojárovi bez riadiacej roly (v ukážke senior IC) majú Python a návrh systémov po 40 %, vedenie tímu a široký záber po 10 %. Pri vedúcom vývojového tímu má vedenie tímu 40 %, široký záber 25 %, návrh systémov 20 % a Python 15 %. S76 Súčet váh je v oboch prípadoch 100 %.

Výhodu vidí dokumentácia v tom, že váhy sú priamo v kóde, takže pri každom výsledku je jasné, ako vznikol. Keď poradie najlepších uchádzačov nesedí s očakávaním, upravíte váhy a čiastkové skóre ostanú zachované. S76 Že zmena váh nevyžaduje nové volanie modelu, stránka výslovne nepíše; vyplýva to z toho, že váhy sa uplatnia až v kóde. S76

Ako sa skóre počíta

Otázka Score obsahuje usporiadaný zoznam opisov úrovní od najnižšej po najvyššiu. Úrovne musia byť aspoň dve, API ich prijme najviac desať a číslujú sa podľa poradia od nuly. S04 Hodnota score v odpovedi nie je jedna vybraná úroveň, ale priemer čísel úrovní vážený ich pravdepodobnosťami. Odpoveď prináša aj pravdepodobnosti jednotlivých úrovní (probabilities), ich opisy (legend) a hodnotu confidence od 0 do 1. S04

Stránka o otázke Score opisuje zložené skóre v troch krokoch: každé skóre vydeliť najvyšším číslom úrovne, teda počtom úrovní mínus jedna, vynásobiť ho váhou a výsledky sčítať. V jej príklade s triedením tiketov dajú normalizované skóre 0,62, 0,64 a 1,0 s váhami 0,6, 0,3 a 0,1 výsledok 0,664. S04 Podľa výrobcu ďalšie otázky v požiadavke odozvu takmer nepredĺžia a stoja len niekoľko tokenov navyše; nameraný údaj k tomu stránka neuvádza. S04

Normalizácia má zmysel najmä vtedy, keď majú hľadiská rôzne dlhé škály. Skóre 2 je pri troch úrovniach vrchol škály, pri piatich jej stred. Bez delenia by hľadisko s dlhšou škálou nenápadne získalo väčšiu váhu, než ste mu chceli dať. To je náš prepočet, nie údaj výrobcu.

Čo vážený súčet zakryje

Dokumentácia k Score upozorňuje, že rovnaké skóre môže vzniknúť z rôznych rozdelení pravdepodobnosti. Hodnota 1,0 môže znamenať, že všetka pravdepodobnosť je na úrovni 1, ale aj to, že polovica pripadá na úroveň 0 a polovica na úroveň 2. Preto radí čítať spolu so skóre aj probabilities a confidence. S04 Ani vysoká istota pritom neznamená, že odpoveď je správna; opisuje len samotnú odpoveď modelu. S04 Stránka o vzore zložené skóre istotu vôbec nespomína a s každým hľadiskom pracuje ako s jedným číslom. S76

V zloženom skóre sa tento problém prehĺbi. Z váženého súčtu štyroch priemerov už nevyčítate, či model niektoré hľadisko posúdil jednoznačne, alebo váhal medzi krajnými úrovňami. Náš návrh: popri celkovom skóre ukladajte aj confidence každej otázky. Položku, pri ktorej má hľadisko s vysokou váhou nízku istotu, nezaraďte do poradia automaticky, ale označte ju na kontrolu. Nízka istota podľa dokumentácie často znamená, že sa úrovne pri danom vstupe prekrývajú, otázka meria viac vecí naraz alebo v stave chýbajú podrobnosti. S04 Ako s istotou pracovať, opisuje sprievodca confidence a kalibrácia.

Ako písať úrovne pre jednotlivé hľadiská

Dokumentácia odporúča, aby každá otázka Score merala len jedno hľadisko a viacdielne úsudky sa rozdelili na samostatné otázky. S04 To je presne princíp zloženého skóre. Úrovne majú opisovať konkrétne situácie, nie mieru typu „trochu“ či „veľmi“. S04 Model totiž dostane len opisy úrovní a každú posúdi oproti stavu samostatne, bez znalosti jej čísla aj susedných úrovní. S04 Čísla namiesto opisov fungujú zle: v príklade z dokumentácie dali úrovne „0“, „1“ a „2“ skóre 0,55 pri istote 0,33, kým opisné úrovne pre to isté hlásenie dali 0,0 pri istote 1,0. S04 Základné typy otázok vysvetľuje sprievodca Choice, Score a Noul.

Čo to znamená pre slovenský e-shop

Vzor sa hodí všade, kde e-shop radí položky podľa viacerých hľadísk naraz. Náš príklad: pri popisoch produktov z feedov dodávateľov môžu samostatné otázky Score posúdiť úplnosť technických údajov, zrozumiteľnosť textu a zhodu popisu s kategóriou. Kód z nich zostaví poradie, ktoré popisy treba prepísať ako prvé, a váhy môže redakcia meniť bez zásahu do otázok. Toto použitie dokumentácia neopisuje, ide o náš návrh postavený na jej schéme. S76

Všetky otázky idú v jednej požiadavke so spoločným textom. S76 TypeSafe účtuje vstupné tokeny za 0,042 USD za milión pri jev-1.14.0 aj jev-1.13.0 a výstup je zadarmo. S01 Odhad pre vlastný objem spravíte v kalkulačke; ako zoskupiť viac otázok do jednej požiadavky, sme opísali v článku o vzore fan-out.

Dokumentácia nehovorí nič o slovenčine a výrobca sám radí overiť úrovne na vlastných dátach. S04 Pri slovenských textoch preto opisy úrovní aj váhy nastavte až po skúške na vzorke; postup opisuje sprievodca testovanie slovenčiny.