Triedenie správ od zákazníkov s Jevom: vzor smerovania podľa zámeru

TypeSafe v dokumentácii opisuje vzor s názvom intent routing, teda smerovanie podľa zámeru. Stojí na myšlienke, že rôzne druhy požiadaviek sa oplatí vybavovať rôznymi spôsobmi. Jev v ňom stojí na vstupe ako rýchly a lacný triedič a za ním čaká pevný kód, špecializovaný jazykový model alebo človek. S58 Pre e-shop, do ktorého denne prichádzajú otázky na stav balíka, žiadosti o vrátenie aj sťažnosti, ide o jeden z najpriamočiarejších spôsobov, ako rozhodovací model zapojiť. Článok vzor rozoberá podľa dokumentácie výrobcu; JEV.sk ho nemeral.

Dve otázky v jednej požiadavke

Príklad v dokumentácii pochádza zo zákazníckej podpory. Jedna požiadavka na TypeSafe obsahuje dve otázky naraz. S58 Prvá je typu Choice a určuje hlavný zámer správy zo štyroch možností: order_status pre otázku na existujúcu objednávku, product_question pre otázku na produkt pred kúpou, return_exchange pre vrátenie alebo výmenu a complaint pre nespokojného zákazníka, ktorý chce nápravu. S58 Druhá otázka je typu Score a hodnotí zložitosť na stupnici od 0 do 2. Nula znamená jednoduché vyhľadanie alebo bežný postup, jednotka si vyžaduje úsudok či viac krokov a dvojka označuje neobvyklý prípad, pri ktorom môže byť potrebná eskalácia. S58

Položiť obe otázky v jednej požiadavke má praktický dôvod. Dokumentácia k otázke Choice radí poslať naraz všetky otázky, ktoré môže kód potrebovať, pretože sa vyhodnocujú súbežne. Oneskorenie preto narastie len málo, tokeny však pribudnú. S03 Rozdiel medzi typmi otázok vysvetľuje sprievodca Choice, Score a Noul.

O ceste rozhoduje kód, nie model

Jev vráti iba odpovede. Kam správa pokračuje, určí vaša aplikácia podľa pravidiel, ktoré dokumentácia uvádza v tomto poradí: S58

1. Keď je istota (confidence) pri zámere nižšia ako 0,5, správu dostane človek.
2. order_status vybaví pevný kód, ktorý objednávku vyhľadá bez jazykového modelu.
3. product_question ide jazykovému modelu zameranému na produkty.
4. return_exchange ide modelu zameranému na vrátenia.
5. complaint ide človeku, ak je zložitosť vyššia ako 1 alebo istota pri zložitosti nižšia ako 0,5. Inak ju spracuje model určený na riešenie sťažností.

Drahšie zdroje sa tak podľa dokumentácie zapoja iba vtedy, keď ich požiadavka skutočne potrebuje. S58 K dodatočnej kontrole istoty pri zložitosti stránka dodáva, že čo znamená nízka istota, treba posúdiť podľa kontextu systému a podľa toho, čo je pri rozhodnutí v hre. S58

Čo v skutočnosti znamená prah 0,5

Istota je číslo od 0 do 1 odvodené z rozloženia pravdepodobností. Hodnota 1 znamená, že celá pravdepodobnosť pripadla jednej možnosti, hodnota 0 rovnomerné rozloženie. S06 Pri otázke Choice s n možnosťami dokumentácia uvádza vzorec (p_max − 1/n) / (1 − 1/n), kde p_max je najvyššia pravdepodobnosť. S06 Ak doň dosadíme štyri zámery z príkladu, istote 0,5 zodpovedá najvyššia pravdepodobnosť 0,625. Je to náš prepočet zo vzorca, nie údaj výrobcu. Prah 0,5 teda neznamená, že model váha medzi dvoma možnosťami pol na pol.

Konkrétne hodnoty prahov výrobca za univerzálne nepovažuje. Správne hranice podľa neho závisia od domény a od výkonu modelu pri danom použití, preto odporúča začať opatrne a overiť ich na vlastných dátach. S06 Stránka zároveň netvrdí, že istota zodpovedá skutočnej presnosti. S06 Podrobnejšie to rozoberá sprievodca confidence a kalibrácia.

Čo si z toho môže vziať slovenský e-shop

Štyri kategórie z príkladu sa dajú na podporu bežného slovenského e-shopu preniesť takmer bez úprav. Nasledujúce body sú návrhom JEV.sk, nie súčasťou dokumentácie.

• Stav objednávky nechajte kódu. Vzor posiela order_status priamo na vyhľadanie bez jazykového modelu. S58 Keď správa obsahuje číslo objednávky, odpoveď poskladá databáza so šablónou a generatívny model netreba.
• Opisy možností píšte tak, aby ich od seba oddelili. Model nevidí identifikátor otázky, ale vidí názvy možností a ich opisy. S03 Možnosti, ktoré sa ľahko pomýlia, môžete namiesto krátkeho reťazca opísať objektom s poľami, napríklad čo možnosť pokrýva, na čo neslúži a ukážky vstupov. S03 U nás by sa to hodilo napríklad pri rozlíšení vrátenia tovaru a reklamácie vady.
• Počítajte so správami mimo zoznamu. Keď zoznam nemusí pokryť každý vstup, dokumentácia odporúča pridať možnosť other alebo „žiadna z uvedených“. Zároveň priznáva, že tá v mnohých prípadoch nemusí fungovať dobre, a ako alternatívu ponúka samostatnú otázku Noul, ktorá overí, či sa hodí niektorá z možností. S03 Choice prijme až 255 možností. S03
• Model nesmie sám uzavrieť prípad. Vzor necháva zložité sťažnosti človeku. S58 Ako píšeme aj v sprievodcovi Jev pre e-shopy, výsledok triedenia je návrh smerovania, nie rozhodnutie o nároku zákazníka.

Triedenie je lacné, no nie zadarmo. TypeSafe účtuje 0,042 USD za milión vstupných tokenov a výstup je bezplatný. S01 Každá ďalšia možnosť pridá niekoľko tokenov a každá ďalšia otázka tiež. S03 Na príbuznú myšlienku, Jev ako dispečera pred drahšími agentmi, nadväzuje aj náš článok Jev ako dispečer v systéme viacerých agentov.

Kde vzor nestačí

Dokumentácia ukazuje kostru, nie hotový systém. Neuvádza, ako presne Jev určuje zámer v slovenčine, ani nemenuje konkrétnu verziu modelu použitú v príklade. S58 Pred nasadením preto odporúčame prejsť vzorku skutočných správ, porovnať výsledok s ručným zatriedením a až podľa toho nastaviť prahy. Ako pristupovať k slovenským textom, opisuje sprievodca testovanie slovenčiny.