Vercel pridal záložný model pre neisté rozhodnutia Jevu: ako to funguje

Vercel 6. 10. 2026 pridal do služby AI Gateway funkciu, ktorá sa priamo týka rozhodovacieho modelu Jev: keď odpoveď prvého modelu nesplní podmienku istoty, ktorú si sami nastavíte, brána celé rozhodnutie zopakuje s iným modelom. Funkcia je zatiaľ v beta verzii. S43 Poistka, ktorú by inak bolo treba napísať vo vlastnom kóde, sa tak dá opísať jedným objektom v požiadavke. Má však pravidlá, ktoré treba poznať skôr, než ju nasadíte do prevádzky.

Dva druhy záložných modelov

AI Gateway vie prejsť na iný model aj vtedy, keď prvý pri vykonaní zlyhá. Nová funkcia rieši odlišný prípad: prvý model odpovie úspešne, no odpoveď je neistá. S44 V zozname providerOptions.gateway.models sa oba prípady líšia tvarom položky. Obyčajný názov modelu je záloha pre chybu. Objekt s poľom when je podmienená záloha, ktorá sa spustí len vtedy, keď podmienka na odpovedi prvého modelu platí. Požiadavky bez podmieneného objektu sa správajú ako doteraz. S44

Podmienený objekt môže byť v požiadavke iba jeden a musí stáť v zozname na prvom mieste. Za ním môžu nasledovať obyčajné zálohy pre prípad chyby. Brána vykoná najviac dve úspešné kolá: po zopakovaní už podmienku nekontroluje a vráti výsledok záložného modelu bez miešania s odpoveďami z prvého kola. Záložný model dostane rovnaký state a všetky pôvodné otázky, nielen tú neistú. S44

Podmienky: istota pri Choice a Score, pravdepodobnosť pri Noul

Pri otázkach Choice a Score sa používa confidenceBelow. Pri otázkach áno/nie (Vercel ich volá Boolean, v API kompatibilnom s TypeSafe ide o Noul) sa namiesto toho zadáva uzavretý interval probabilityBetween pre pravdepodobnosť kladnej odpovede. confidenceBelow pri otázke Noul použiť nemožno; brána takú požiadavku odmietne chybou 400 ešte pred spustením modelu. S44

Ak pole question vynecháte, podmienka platí pre všetky otázky daného typu a na spustenie zálohy stačí jedna neistá odpoveď. Podmienky sa dajú skladať cez any, all a atLeast, pričom každá skupina môže mať 1 až 20 podmienok a vnorenie najviac päť úrovní. S44 Dôležitý detail: keď odpoveď Choice alebo Score nemá konečnú hodnotu istoty, confidenceBelow sa vyhodnotí ako splnená a brána zapíše dôvod confidence_unavailable. Podmienka sa splní aj vtedy, keď model odpoveď na otázku odmietol. S44

Čo v skutočnosti znamená prah 0,6

Príklady v dokumentácii Vercelu používajú prah 0,6 pre istotu a interval 0,4 až 0,6 pre pravdepodobnosť. S44 Hodnota 0,6 sa objavuje aj vo vzore smerovania podľa istoty v dokumentácii TypeSafe. Ten na príklade hlasového bankovníctva posiela prípady pod touto hranicou človeku a pri citlivých akciách vyžaduje vyššiu istotu. S35

Treba však vedieť, že confidence nie je pravdepodobnosť víťaznej možnosti. TypeSafe ju opisuje ako mieru toho, nakoľko je rozdelenie pravdepodobností sústredené, na škále od 0 do 1. Pri Choice sa počíta ako (p_max - 1/n) / (1 - 1/n), kde n je počet možností. S06 Vlastný prepočet JEV.sk podľa tohto vzorca: pri troch možnostiach a pravdepodobnosti víťaza 0,6 vyjde istota 0,4, takže pri prahu 0,6 by taká odpoveď išla na záložný model.

Dokumentácia TypeSafe zdôrazňuje, že správne prahy závisia od domény. S06 Vercel odporúča zaznamenať si, pri akých hodnotách istoty prvý model robí chyby, a nastaviť najužší prah, ktorý zachytí chyby, pri ktorých sa oplatí zaplatiť druhé kolo. S44 Viac o tom píšeme v sprievodcovi confidence a kalibrácia.

Cena, odozva a pasca s nulovou istotou

Keď sa záloha spustí, platíte obe kolá. Keďže bežia za sebou, sčíta sa aj ich odozva. Ak záložný model zlyhá, požiadavka skončí chybou, výsledok prvého modelu sa nevráti a prvé kolo sa aj tak účtuje. S44 Samotný Jev stojí podľa TypeSafe 0,042 USD za milión vstupných tokenov a výstupné tokeny sa neúčtujú. S01 Záložný model sa však platí podľa vlastného cenníka, preto výsledná cena závisí najmä od toho, ako často sa podmienka splní. Pri odhade pomôže sprievodca cena a limity.

Ak je záloha jazykový model, jeho odpoveď nemá hodnotu istoty, pretože vracia jednu štruktúrovanú hodnotu bez rozdelenia pravdepodobností. V API kompatibilnom s TypeSafe (POST /typesafe/v1/systemone) brána vtedy vráti confidence: 0 a prázdne probabilities. Podľa dokumentácie to znamená, že hodnota nie je k dispozícii, nie že by istota bola nulová. S44 Kód, ktorý nízku istotu posiela na ručnú kontrolu, by bez úpravy mohol každý taký výsledok považovať za neistý. Ktorý model odpovedal, zistíte z poľa model alebo z provider_metadata.gateway.routing; pri spustenej zálohe aj z hlavičiek x-ai-gateway-decision-fallback-*. S44

Čo z toho plynie pre slovenský e-shop

Príklady v dokumentácii Vercelu ukazujú triedenie požiadaviek zákazníkov do tímov, napríklad platby, technické problémy a prístup k účtu. S44 V e-shope ide o podobnú úlohu ako triedenie správ na reklamácie, dopravu a faktúry: jasné prípady vybaví Jev a nejasné prevezme iný model bez vlastnej logiky opakovania.

Pred nasadením si overte tri veci. Po prvé, ukladajte si zoznam triggeredBy z odpovede, aby ste videli, ako často a pri ktorých otázkach sa záloha spúšťa; od toho sa odvíja cena aj odozva. S44 Po druhé, ak výsledky čítate cez API kompatibilné s TypeSafe, ošetrite nulovú istotu po zálohe zvlášť. Po tretie, oficiálny SDK od TypeSafe pole providerOptions pri behu odovzdá, no v statickom type požiadavky ho zatiaľ nemá, preto ho treba doplniť cez pomocný objekt. S44 Ako sa Jev volá cez API a brány, opisuje sprievodca API a integrácia. Podobnú kaskádu z pohľadu výskumu sme rozoberali v článku Jev ako lacný prvý hodnotiteľ.

Funkcia je v beta verzii a JEV.sk ju neskúšal. Všetko uvedené vychádza z dokumentácie Vercelu a TypeSafe.