Jev als Bewerter von Suchergebnissen auf Portugiesisch: Was ein Preprint zeigt

Am 16. Oktober 2026 erschien auf arXiv ein Preprint zweier brasilianischer Autoren, die Jev für die Suche auf Portugiesisch ausprobiert haben. Leandro Carísio Fernandes (Câmara dos Deputados) und Jayr Pereira (Universidade Federal do Cariri und Unicamp) untersuchten zwei Fragen: ob Jev anstelle von Menschen beurteilen kann, wie gut ein Dokument zu einer Anfrage passt, und ob er die Rangfolge der klassischen BM25-Suche verbessert. S61 Die Autoren erinnern daran, dass andere Sprachen als Englisch in der Forschung weniger Aufmerksamkeit erhalten und über weniger Daten für Training und Evaluierung verfügen. S61 Gerade deshalb ist die Studie auch für slowakische Websites interessant. Es handelt sich um einen Preprint ohne Begutachtung, und JEV.sk hat daraus nichts selbst gemessen.

Wie die Autoren Jev eingesetzt haben

Für die Relevanzbewertung erhielt Jev im Zustand (state) den Text der Anfrage und des Dokuments sowie eine einzige Choice-Frage, in der er eine Relevanzstufe auswählte. Die Stufen und ihren Wortlaut übernahmen die Autoren aus den ursprünglichen Kollektionen. S61 Es gab vier Kollektionen: Quati mit Webpassagen (50 Anfragen, 1.933 Paare aus Anfrage und Dokument), JurisTCU mit Rechtsprechung (150 Anfragen, 2.250 Paare), NormasTCU mit normativen Akten (46 Anfragen, 812 Paare) und das legislative Ulysses-RFCorpus (692 Anfragen, 8.205 Paare). Bei Quati erstellte ein Sprachmodell die Referenzlabels, bei JurisTCU ebenfalls, doch ein Fachexperte prüfte sie; bei den übrigen zwei Kollektionen stammen sie von Fachleuten. S61

Beim Umsortieren erhielt Jev zu jedem Kandidaten die Frage, ob das Dokument die Anfrage direkt beantwortet. Die resultierende Wahrscheinlichkeit verwendeten die Autoren unmittelbar als Score, ohne Kombination mit dem BM25-Score und ohne zusätzliche Kalibrierung. S61 In der Anweisung betonten sie, dass das Modell den Dokumenttext als zu durchsuchenden Inhalt behandeln soll, nicht als Anweisung. Eine Anfrage an die API enthielt 10 Fragen, und pro Suchanfrage fielen 100 solcher Anfragen an, sodass die ersten 1.000 BM25-Kandidaten umsortiert wurden. S61 Für die Bewertung nennen sie die Version jev-1.13, für das Umsortieren jev-1.13.0. S61

Relevanzbewertung: eher mittlere Übereinstimmung

Dieselbe Stufe wie die Referenz wählte Jev in 52,9 % (Quati) bis 64,9 % (Ulysses-RFCorpus) der Fälle. Die meisten Abweichungen betrugen jedoch nur eine Stufe, und zusammen mit den exakten Treffern machten sie in jeder Kollektion mindestens 94,5 % der Bewertungen aus. S61 Das quadratisch gewichtete Kappa lag zwischen 0,52 bei NormasTCU und 0,82 bei JurisTCU. Die Autoren setzen es in Beziehung zur Übereinstimmung menschlicher Bewerter aus früherer Literatur, warnen aber, dass unterschiedliche Kollektionen und Verfahren einen direkten Vergleich einschränken. S61

Nützlicher ist das zweite Ergebnis. Die Autoren ordneten 15 Systeme bei NormasTCU und 16 bei Ulysses-RFCorpus einmal nach Jevs Bewertungen und einmal nach den Referenzbewertungen. Beide Rangfolgen stimmten mit einem Kendalls τ von 0,90 bis 0,93 überein. S61 Nach dem Kriterium, das sie aus der Literatur übernehmen, bedeutet ein Wert von mindestens 0,9 praktisch gleichwertige Rangfolgen. Bei der Metrik MRR änderten sich die Positionen jedoch stärker, auch bei den Systemen an der Spitze. S61

Umsortieren: großer Sprung gegenüber reinem BM25

Bei 50 Testanfragen aus Quati über einem Korpus mit einer Million Passagen steigerte Jev nDCG@10 von 0,3329 auf 0,6331, also um 90,2 %, und MRR von 0,6852 auf 0,9033, also um 31,8 %. S61 Zum Vergleich zitieren die Autoren einen früher veröffentlichten Wert von 0,6593 für BM25 mit dem Reranker mT5-XL. Sie fügen selbst hinzu, dass das BM25 dort als Ausgangswert 0,3991 erreichte und die Konfigurationen sich unterscheiden, sodass es kein kontrollierter Vergleich ist. S61

Was das für einen slowakischen Onlineshop bedeutet

Die Suche in einem Onlineshop ist oft gleich aufgebaut: Eine schnelle Volltextsuche findet Kandidaten, und ein zweiter Schritt ordnet sie. Der Preprint zeigt, dass Jev in diesem Aufbau die BM25-Rangfolge in einer anderen Sprache als Englisch deutlich verbessert hat. S61 Dasselbe zweistufige Vorgehen beschreibt auch ein Rezept in der Dokumentation von TypeSafe: BM25 wählt 30 Kandidaten aus, und Jev ordnet sie nach dem Noul-Wert, also der Schätzung, dass die Antwort auf die Frage Ja lautet. S62 Das Rezept stützt sich auf 40 Anfragen, und seine 1.200 Aufrufe kosteten 0,0645 USD mit dem Modell jev-1.12 und der Preisliste vom August 2026. S62

Vorschlag von JEV.sk: Probieren Sie das Umsortieren zuerst mit einer eigenen Stichprobe von Anfragen mit slowakischen Produktnamen aus und vergleichen Sie das Ergebnis mit Ihrer bisherigen Rangfolge. Bedenken Sie, dass der Preprint weder Latenz noch Kosten gemessen hat und dass das Umsortieren kein Dokument zurückholt, das der erste Schritt gar nicht gefunden hat. S61 Das Rezept von TypeSafe sagt dasselbe: Eine Passage, die die schnelle Suche nicht ausgewählt hat, kann das Umsortieren nicht hinzufügen. S62 Die Kosten für Ihre Zahl an Kandidaten schätzen Sie im Kostenrechner ab, wie man Fragen formuliert, erklärt der Leitfaden Choice, Score und Noul, und dem Umgang mit dem Slowakischen widmet sich Slowakisch testen. Die Anweisung, den Dokumenttext nicht als Befehl zu behandeln, hängt mit dem Risiko zusammen, das der Preprint über eingeschleusten Text beschrieben hat.

Grenzen und Modellversion

Das Umsortieren prüften die Autoren nur an Webpassagen aus Quati, nicht an langen juristischen Dokumenten. Sie führten keine Signifikanztests durch, verglichen Jev nicht unter gleichen Bedingungen mit spezialisierten Rerankern und testeten nur die Bewertung jeweils eines Dokuments mit BM25 als erstem Schritt. Die Rangfolge der Systeme analysierten sie nur an zwei Kollektionen. S61 Die Ergebnisse betreffen Jev 1.13. Seit dem 14. Oktober 2026 ist über den Alias jev-preview jev-1.14.0 verfügbar, während jev-latest weiterhin auf jev-1.13.0 zeigt. S01