Jev bei der Moderation hasserfüllter Beiträge: Was ein neuer Preprint zeigt

Drei Autoren der Universität Zypern haben am 2. Oktober 2026 auf arXiv einen Preprint veröffentlicht, der untersucht, ob Entscheidungsmodelle hasserfüllte Beiträge erkennen können, ohne dass jemand sie für diese Aufgabe nachtrainiert. Unter den sechs untersuchten Konfigurationen ist auch Jev in der Version jev-1.13.0. S42 Es handelt sich um einen Preprint ohne Begutachtungsverfahren, aber mit ausführlich beschriebener Methodik. Das Thema betrifft alle, die auf ihrer Website Bewertungen, Produktfragen oder Kommentare veröffentlichen: Die Inhalte müssen geprüft werden, und jeden Beitrag an ein großes Sprachmodell zu schicken, ist teuer.

Wie die Autoren vorgingen

Jev riefen sie über die gehostete API auf, die übrigen fünf Entscheidungsmodelle (Laya, Decider, zwei SemIf-Varianten auf Basis von Qwen3.5 2B und 4B sowie Bespoke-Nimble-9B) liefen lokal. Zum Vergleich nutzten sie zwei kommerzielle Modelle, GPT-5.6 Luna und GPT-6 Sol, außerdem das spezialisierte Moderationsmodell CoPE, das Modell BART ohne aufgabenspezifisches Training und zwei klassische, auf Daten trainierte Klassifikatoren (TF-IDF mit logistischer Regression sowie DistilBERT). S42

Getestet wurde auf vier englischen Datensätzen: Dynamic mit 4.120 Texten, MHS mit 3.203, HateXplain mit 1.924 und HateCheck mit 3.728 Texten. HateCheck besteht aus gezielt konstruierten Testfällen. S42 Für die Statistik zogen die Autoren 10.000-mal Stichproben aus den Daten und korrigierten die Ergebnisse mit einer Bonferroni-Korrektur für die Zahl der Vergleiche. S42

Wie Jev abschnitt

Die Hauptmetrik ist Macro-F1 auf einer Skala von 0 bis 1 für die einfache Frage, ob ein Text hasserfüllt ist. Ergebnisse in diesem Test (Jev, GPT-6 Sol, GPT-5.6 Luna) S42:

• Dynamic: 0,826, 0,897 und 0,858,
• MHS: 0,691, 0,682 und 0,691,
• HateXplain: 0,738, 0,776 und 0,677,
• HateCheck: 0,960, 0,976 und 0,974.

Die kommerziellen Modelle erzielten auf drei der vier Datensätze das beste Ergebnis, statistisch signifikant vor allen Entscheidungsmodellen lagen sie aber nur auf dem Datensatz Dynamic. Auf MHS übertraf sie das lokal betriebene Modell Decider mit 0,801. S42 Kein Modell gewann also überall.

Kosten und Latenz

Der Unterschied liegt vor allem bei den Kosten. Auf dem Datensatz HateCheck kosteten tausend Texte mit Jev 0,033 USD, mit GPT-5.6 Luna 0,120 USD und mit GPT-6 Sol 1,177 USD. Der Median der Antwortzeit lag bei 336 ms für Jev, 844 ms für Luna und 1.426 ms für Sol; die lokal betriebene Laya brauchte 48 ms. S42 Die Autoren fassen das so zusammen, dass Jev bei um etwa 97 % niedrigeren Kosten 1,6 Macro-F1-Punkte hinter GPT-6 Sol lag. S42

Laut seiner Dokumentation berechnet TypeSafe AI 0,042 USD pro Million Eingabe-Token und stellt Ausgabe-Token nicht in Rechnung. S01 Eine Schätzung für Ihr eigenes Beitragsvolumen zeigt der Leitfaden Preise und Limits.

Definitionen und Zusatzfragen verbesserten das Ergebnis nicht zuverlässig

Die Autoren probierten auch zwei Anpassungen aus, die man intuitiv für Verbesserungen halten würde. Die erste bestand darin, der Frage die Definition von Hassrede aus dem jeweiligen Datensatz hinzuzufügen. Die Definition änderte 2,8 % bis 28 % der Vorhersagen, signifikante Verbesserungen und Verschlechterungen traten aber gleich häufig auf, jeweils in acht von 28 Vergleichen. S42

Die zweite Anpassung war die Zerlegung in mehrere Teilfragen, etwa gegen wen sich der Text richtet und um welche Art von Verhalten es geht. Das Ergebnis verbesserte sich nur in 20 % der Vergleiche signifikant und verschlechterte sich in etwa 37 %. Bei Jev erhöhte die Zerlegung zudem die Kosten um 64 % auf HateCheck und um 139 % auf Dynamic. S42 Den Nutzen der Zerlegung sehen die Autoren an anderer Stelle: Bei einem strittigen Beitrag ist festgehalten, welches Kriterium den Ausschlag gab, was die Prüfung durch einen Menschen erleichtert. S42 Die Teilfragen selbst waren unterschiedlich schwer. Jev bestimmte die Zielgruppe auf HateCheck mit einem Wert von 0,989, die Stoßrichtung der Aussage mit 0,682 und die Art des Verhaltens auf Dynamic nur mit 0,538. S42 Wie sich Fragen vom Typ Choice und Score zusammensetzen, erklärt der Leitfaden Choice, Score und Noul.

Was das für einen slowakischen Onlineshop bedeutet

Alle vier Datensätze sind auf Englisch, und die Autoren schreiben ausdrücklich, dass sich daraus keine Schlüsse über andere Sprachen ziehen lassen. S42 Der Hersteller gibt zudem an, dass Englisch die Hauptsprache von Jev ist und andere Sprachen zwar getestet, aber nicht im gleichen Maße optimiert sind. S01 Die Zahlen der Studie lassen sich daher nicht auf slowakische Bewertungen oder Kommentare übertragen. Wie Sie das Verhalten des Modells auf Slowakisch prüfen, beschreibt der Leitfaden Slowakisch testen.

Die Empfehlung der Autoren ist zurückhaltend: Ein gutes Entscheidungsmodell ohne Nachtraining sei ein vernünftiger Ausgangspunkt, sofern der Betreiber es an einer Stichprobe prüft, die nach den eigenen Moderationsregeln gekennzeichnet ist. S42 Sie erinnern auch an den Preis beider Fehlerarten. Ein strenger Filter kann legitime Beiträge ausblenden, auch Reaktionen, die sich gegen Hass stellen, und ein lockerer Filter lässt die betroffenen Gruppen ohne Schutz. S42

Ein Vorschlag von JEV.sk für die Praxis: Nehmen Sie einige hundert echte Bewertungen und Kommentare von Ihrer Website, kennzeichnen Sie sie von Hand nach Ihren eigenen Regeln und vergleichen Sie erst daran Jev mit dem Modell, das Sie heute verwenden. Strittige Fälle sollte ein Mensch beurteilen. Wie das mit der Sicherheit des Modells zusammenhängt, erklärt der Leitfaden Confidence und Kalibrierung; diese Studie wertet Schwellenwerte für die Sicherheit im Haupttext nicht aus. Weitere Einsatzmöglichkeiten finden Sie im Leitfaden Jev für Onlineshops.

Grenzen der Studie

Neben der sprachlichen Einschränkung nennen die Autoren, dass HateCheck künstlich zusammengestellt ist, sodass unklar bleibt, wie seine Ergebnisse für echte Beiträge gelten. Die Definition für HateXplain mussten sie ersetzen, die Regeln der Zerlegung spiegeln ihre eigene Auslegung wider, und die Antworten auf die Teilfragen hat niemand von Hand überprüft. Sie wissen auch nicht, ob die Testdaten in das Training der Modelle gelangt sind. S42 Weitere Studien zu Jev fassen wir in der Übersicht zur Forschung zusammen.