Confidence nie je záruka pravdy

Čo vracia model a čo z toho vyvodzuje aplikácia

Pri Choice a Score sa confidence počíta z rozloženia pravdepodobností. Vyjadruje jeho sústredenosť, nie nezávislé overenie odpovede. Prahy sa majú prispôsobiť konkrétnej úlohe a následkom chyby. S06

TypeSafe opisuje tréning RLCD ako snahu získavať dobre kalibrované rozhodnutia. Kalibrácia sa hodnotí naprieč skupinou predpovedí; nie je zárukou, že konkrétna odpoveď s vysokou pravdepodobnosťou bude správna. S09

Náš návrh overovania

Najskôr pripravte ručne vyhodnotené príklady. Osobitne vyčleňte dáta na návrh otázok, nastavenie prahov a záverečný test. Pri malej vzorke nepoužívajte desatinné percentá ako dôkaz vysokej istoty.

Sledujte presnosť automaticky prijatých prípadov a ich podiel. Model, ktorý predá človeku skoro všetko, môže mať vysokú presnosť malej automatickej časti, ale mizerný praktický prínos. Naopak, veľký podiel automatizácie môže skrývať priveľa drahých chýb.

Simulátor na JEV.sk

Simulátor na JEV.sk vysvetľuje tento kompromis na ručne vytvorených hodnotách. Prepína jednoznačný dopyt, nejasný dopyt a zámerne sebavedomý omyl. Žiadne číslo v simulácii nie je nameranou pravdepodobnosťou Jevu a simulácia model neoveruje.

Automatické rozhodnutie má mať vopred stanovené hranice. Na presuny peňazí, mazanie dát a zmeny oprávnení samotný prah nestačí. Odporúčame nezávislé pravidlá a schválenie.