Testy Jevu: čo čísla dokazujú a čo nie

Tri rôzne druhy dôkazov

Marketingový sľub, externý experiment a vlastné prevádzkové meranie nesmú vyzerať rovnako. Každý test na JEV.sk má uviesť autora, dátum, model, vzorku, jazyk, nastavenie a obmedzenia. Návrh testu sa nesmie prezentovať ako hotový benchmark.

Banking77: klasifikácia v angličtine

OpenRouter 22. 9. 2026 porovnal Jev 1.13 a Claude Opus 5 na 3 080 výrokoch Banking77 (40 na každý zámer). Jev dosiahol presnosť 81,0 % (interval 79,6 – 82,3 %), Opus 84,4 % (83,1 – 85,6 %). Medián odozvy bol 175 ms pri Jeve a 2 266 ms pri Opuse, 95. percentil 270 ms a 3 004 ms. Cena na tisíc požiadaviek vyšla 0,11 a 2,42 USD. S18 S29

Kaskáda oboch modelov s prahom 0,90 dosiahla podľa článku 84,0 % za 0,69 USD na tisíc požiadaviek. Je to výsledok jednej anglickej klasifikačnej úlohy, ktorý zverejnil poskytovateľ prístupu k obom modelom, nie univerzálna presnosť. S29

Český test na vibecoding.cz

Patrick Zandl 19. 9. 2026 opísal použitie Jevu na interné prelinkovanie 209 článkov webu vibecoding.cz, z ktorých 139 nemalo odkaz z iného článku. Po predvýbere 15 najbližších kandidátov podľa embeddingov posúdil Jev 3 135 dvojíc. Celý prvý beh podľa autora stál 0,16 USD, medián odozvy bol 309 ms a 95. percentil 414 ms. Na vzorke 150 dvojíc sa Jev zhodol s modelom Opus v 126 prípadoch (84 %) a podľa hodnotenia modelom Sonnet bolo 99 % odkazov odporučených nad zvoleným prahom skutočne súvisiacich. S27

Ide o jeden web, jednu úlohu a češtinu, nie slovenčinu. Referenciou boli iné jazykové modely, nie ručné hodnotenie ľuďmi. Test preto ukazuje praktickú použiteľnosť a náklady, nie všeobecnú presnosť. S27

Údaje výrobcu

Launch materiály TypeSafe prezentujú veľmi výrazné zrýchlenie a zníženie ceny vo vybraných pracovných postupoch. Na JEV.sk ich uvádzame ako tvrdenia výrobcu, nie ako sľub každému zákazníkovi. S10

Naša zatiaľ nevykonaná skúška

Navrhujeme test slovenských produktov a správ: rovnaká ručne určená pravda, uložená verzia zadania, rovnaké vstupy pre všetky modely. Výsledky majú ukázať aj zlyhania a mieru eskalácie. Namiesto ceny tokenu preferujeme cenu správne vybaveného prípadu.

Vlastné testy cez API JEV.sk zatiaľ nevykonal. Preto tu nenájdete odznak „otestované“, hviezdičkové hodnotenia ani recenzie.