Jev gegen 19 Sprachmodelle: Ein Preprint zeigt Stärken und Schwächen

Ein neuer Preprint hat Jev mit 19 allgemeinen Sprachmodellen auf 13 Tests verglichen. Autoren der Dalian Maritime University und der Dalian University of Technology haben ihn am 8. Oktober 2026 bei arXiv eingereicht. S46 Interessant ist er, weil es keine Messung des Herstellers ist: Er zeigt, bei welchen Aufgaben ein Entscheidungsmodell mit großen Modellen mithält und wo es zurückliegt. Es bleibt jedoch ein Preprint, also ein Text ohne abgeschlossenes Begutachtungsverfahren.

Was die Autoren verglichen haben

Laut den Autoren ist Jev ein Modell vom Typ System One: Es wählt eine der angebotenen Optionen aus und erzeugt keinen Text. S46 Sie verglichen es mit 19 Sprachmodellen, aufgeteilt in sechs der stärksten, sieben repräsentative und sechs kleine. S46 Es gab 13 Tests, die Wissen, logisches Schließen und zwei mehrsprachige Sätze abdeckten. S46

Jev und die stärksten Modelle haben die Autoren selbst ausgewertet, jeweils in einem einzigen Durchlauf. Wo sie veröffentlichte Werte verwendeten, dienen diese nur dem groben Vergleich, weil sie sich in Aufgabenstellungen und Einstellungen unterscheiden. S46

Wo Jev mithält

Bei MMLU-Redux erreichte Jev 95,0 % gegenüber einem Median von 93,2 % der sechs stärksten Modelle, bei ARC-Challenge 97,6 % gegenüber 95,5 %. S46 In den mehrsprachigen Tests lag es unter dem Median: MMLU-ProX 83,2 % gegenüber 84,5 % und MMMLU 85,0 % gegenüber 88,6 %. S46

Daraus schließen die Autoren, dass ein spezialisiertes Entscheidungsmodell bei Entscheidungen, die vor allem vom Wissen abhängen, das Niveau allgemeiner Sprachmodelle erreichen kann. S46

Wo es zurückliegt

Der größte Abstand zeigte sich bei MathQA: Jev erreichte 75,0 %, der Median der stärksten Modelle lag bei 92,7 %. Die Autoren berichten, dass es unter allen 19 verglichenen Modellen landete. S46 Auch bei MMLU-Pro lag es zurück, mit 82,3 % gegenüber einem Median von 88,1 %. S46

Das Fazit der Autoren ist vorsichtig: Ein Entscheidungsmodell kann viele eng begrenzte Entscheidungen allein bewältigen, Aufgaben mit mehrstufiger Berechnung erfordern jedoch weiterhin ein allgemeines Sprachmodell. S46

Was der Preprint nicht misst

Der Preprint bewertet weder Preise noch Latenz oder Kalibrierung. S46 Aus seinen Zahlen lässt sich daher nicht abschätzen, was eine Entscheidung kosten würde oder wie schnell sie ablaufen würde. Jev liefert zwar eine Wahrscheinlichkeitsverteilung über die Optionen, die Autoren haben sie aber nicht ausgewertet. In künftiger Arbeit wollen sie untersuchen, ob sie anzeigen kann, wann eine Frage an ein Modell mit Schlussfolgern weitergereicht werden sollte. S46 Dieses Thema behandelt der Leitfaden zu Confidence und Kalibrierung.

Außerdem stammen die Zahlen aus akademischen Multiple-Choice-Tests, nicht aus realen Onlineshop-Daten. JEV.sk hat nichts davon gemessen.

Was das für einen Onlineshop bedeutet

Die Ergebnisse sind nur ein Richtwert, kein Beweis, dass Jev Ihren Betrieb bewältigt. Ein Vorschlag von JEV.sk: Fragen, die sich auf die Bedeutung eines Textes stützen, etwa die Einordnung einer Kundennachricht oder einer Reklamation, sind verwandt mit den Aufgaben, bei denen Jev im Preprint bestand. Berechnungen von Preisen, Mehrwertsteuer oder Fristen überlassen Sie gewöhnlichem Code, denn gerade der mathematische Test MathQA fiel am schlechtesten aus. S46

Die praktische Regel lautet daher: Teilen Sie die Entscheidung in zwei Schichten. Der Code rechnet und vergleicht Zahlen und Daten, Jev beurteilt die Bedeutung der Nachricht, und bei geringer Sicherheit übernimmt ein Mensch oder ein stärkeres Modell den Fall. Diese Aufteilung ist ein eigener Vorschlag von JEV.sk; der Preprint hat sie nicht getestet.

Prüfen Sie das Modell vor dem Einsatz an Ihren eigenen Nachrichten. Die Kosten schätzen Sie im Kostenrechner, und die Fragetypen Choice, Score und Noul erklärt der Leitfaden Choice, Score und Noul.