Tests von Jev: was die Zahlen belegen und was nicht

Drei verschiedene Arten von Belegen

Ein Marketingversprechen, ein externes Experiment und eine eigene Messung im Betrieb dürfen nicht gleich aussehen. Jeder Test auf JEV.sk muss Autor, Datum, Modell, Stichprobe, Sprache, Einstellungen und Einschränkungen nennen. Ein Testentwurf darf nicht als fertiger Benchmark präsentiert werden.

Banking77: Klassifikation auf Englisch

OpenRouter verglich am 22. September 2026 Jev 1.13 und Claude Opus 5 an 3.080 Äußerungen aus Banking77 (40 pro Intent). Jev erreichte eine Genauigkeit von 81,0 % (Intervall 79,6–82,3 %), Opus 84,4 % (83,1–85,6 %). Der Median der Antwortzeit lag bei 175 ms für Jev und 2.266 ms für Opus, das 95. Perzentil bei 270 ms bzw. 3.004 ms. Die Kosten pro tausend Anfragen betrugen 0,11 bzw. 2,42 USD. S18 S29

Die Kaskade beider Modelle mit einem Schwellenwert von 0,90 erreichte laut dem Artikel 84,0 % für 0,69 USD pro tausend Anfragen. Das ist das Ergebnis einer einzigen englischsprachigen Klassifikationsaufgabe, veröffentlicht von einem Anbieter, der Zugang zu beiden Modellen bietet – keine universelle Genauigkeit. S29

Tschechischer Test auf vibecoding.cz

Patrick Zandl beschrieb am 19. September 2026 den Einsatz von Jev für die interne Verlinkung von 209 Artikeln der Website vibecoding.cz, von denen 139 keinen Link aus einem anderen Artikel hatten. Nach einer Vorauswahl der 15 nächstgelegenen Kandidaten anhand von Embeddings bewertete Jev 3.135 Paare. Der gesamte erste Durchlauf kostete laut dem Autor 0,16 USD, der Median der Antwortzeit lag bei 309 ms und das 95. Perzentil bei 414 ms. In einer Stichprobe von 150 Paaren stimmte Jev in 126 Fällen (84 %) mit dem Modell Opus überein, und laut einer Bewertung durch das Modell Sonnet waren 99 % der oberhalb des gewählten Schwellenwerts empfohlenen Links tatsächlich thematisch verwandt. S27

Es handelt sich um eine Website, eine Aufgabe und Tschechisch, nicht Slowakisch. Als Referenz dienten andere Sprachmodelle, keine manuelle Bewertung durch Menschen. Der Test zeigt daher praktische Einsetzbarkeit und Kosten, keine allgemeine Genauigkeit. S27

Angaben des Herstellers

Die Materialien von TypeSafe zur Markteinführung präsentieren eine sehr deutliche Beschleunigung und Kostensenkung in ausgewählten Arbeitsabläufen. Auf JEV.sk führen wir sie als Herstellerangaben auf, nicht als Versprechen an jeden Kunden. S10

Unsere noch nicht durchgeführte Prüfung

Wir schlagen einen Test mit slowakischen Produkten und Nachrichten vor: dieselbe manuell festgelegte Referenz, eine gespeicherte Version der Aufgabenstellung, dieselben Eingaben für alle Modelle. Die Ergebnisse sollen auch Fehlschläge und die Eskalationsrate zeigen. Statt des Tokenpreises bevorzugen wir die Kosten pro korrekt bearbeitetem Fall.

Eigene Tests über die API hat JEV.sk bisher nicht durchgeführt. Deshalb finden Sie hier weder ein Siegel „getestet“ noch Sternebewertungen oder Rezensionen.