Jev als Schutz vor einem Sprachmodell: Was ein Preprint über Schwellenwerte zeigt

Zwei Autoren der University of Southern California haben Anfang November 2026 auf arXiv einen Preprint darüber veröffentlicht, wie sich Jev als Sicherheitsschutz vor einem generativen Sprachmodell verhält. Sie interessierte nicht nur die Genauigkeit der Klassifikation, sondern das Verhalten des gesamten Systems: wie viele schädliche Anfragen eine Antwort erhalten und wie viele harmlose Fragen das System ablehnt. S84 Es handelt sich um einen Preprint, und seine Ergebnisse sollten zusammen mit den Einschränkungen gelesen werden, die die Autoren selbst nennen. Das Thema betrifft alle, die einem Chatbot oder einem anderen generativen Modell einen günstigen Filter vorschalten möchten.

Wie der Versuch aufgebaut war

Das geschützte Modell war Qwen/Qwen2.5-1.5B mit Antworten von höchstens 120 Token. Der Satz umfasste 970 Prompts: 520 schädliche aus AdvBench, 200 schädliche aus XSTest-unsafe und 250 harmlose aus XSTest-safe. S84

Die Autoren verglichen drei Aufbauten:

• das Modell allein ohne Filter,
• ein einzelnes Eingangstor, bei dem Jev die Wahrscheinlichkeit zurückgibt, dass ein Prompt schädlich ist, und das System den Prompt ab einem Wert von 0,50 blockiert,
• ein gestuftes Tor, das ab 0,90 blockiert und einen Prompt unter 0,30 ohne Prüfung durchlässt. Im Bereich dazwischen antwortet das Modell, und Jev bewertet die Antwort selbst und blockiert sie ab 0,50. S84

Der Preprint nennt den Alias jev-latest, gibt aber weder die konkrete Version noch das Datum der Versuche an. S84 Heute verweist dieser Alias auf jev-1.14.0, verfügbar seit dem 14. Oktober 2026. S01 Aus dem Text geht daher nicht hervor, welche Version bei den Versuchen lief.

Was bei den ursprünglichen Einstellungen herauskam

Das Modell allein beantwortete 527 von 720 schädlichen Prompts (73,2 %) und lehnte 3 von 250 harmlosen ab (1,2 %). Ein einzelnes Eingangstor senkte die Antworten auf schädliche Prompts auf 17 von 720 (2,4 %), lehnte aber 27 von 250 harmlosen ab (10,8 %). Das gestufte Tor ließ 40 von 720 durch (5,6 %) und lehnte 10 von 250 ab (4,0 %). S84

Wichtig ist, was das Wort Antwort bedeutet. Die Autoren zählen jede Ausgabe, die keine Ablehnung war, und Ablehnungen suchten sie mit einer einfachen Suche nach 14 Textmustern. Es geht also nicht um geprüfte Schädlichkeit. Bei einer manuellen Prüfung von zufällig ausgewählten 40 solchen Antworten des Modells allein fanden sie 34 schädliche und 6 sichere. S84

Der Score von Jev allein trennte die Gruppen deutlich: Der Mittelwert lag bei 0,98 für AdvBench, 0,87 für XSTest-unsafe und 0,14 für XSTest-safe. Die Empfindlichkeit gegenüber dem Schwellenwert unterschied sich jedoch zwischen den Sätzen, und AdvBench reagierte weniger als XSTest-unsafe. S84

Die Ausgabeprüfung brachte wenig

Beim gestuften Tor durchliefen 79 von 970 Prompts (8,1 %) die Ausgabeprüfung. Die Prüfung blockierte 13 Antworten, und bei manueller Bewertung waren 7 davon schädlich und 6 sicher. Die Autoren rekonstruierten außerdem aus den aufgezeichneten Ergebnissen, was ohne sie geschehen wäre: Es hätte 47 von 720 Antworten auf schädliche Prompts (6,5 %) statt 40 (5,6 %) gegeben, aber nur 4 Ablehnungen harmloser Prompts statt 10. S84 Bei den ursprünglichen Einstellungen übertraf das gestufte Schema das einfache Tor also nicht.

Durch gemeinsames Abstimmen der drei Schwellenwerte stieg der Macro-F1-Wert des gestuften Tors von 0,9351 auf 0,9512, und die Zahl der Antworten auf schädliche Prompts sank auf 27 von 720. Die Autoren stimmten die Schwellenwerte jedoch auf denselben Daten ab und bezeichnen das Ergebnis als explorativ. Bei einer Prüfung auf getrennten Daten mit einer 60/40-Aufteilung ergaben beide Schemata 2,8 % Antworten auf schädliche Prompts und 14,0 % abgelehnte harmlose Prompts, wobei das ausgewählte gestufte Schema die Ausgabeprüfung gar nicht nutzte. Die Autoren ergänzen, dass eine einzelne Aufteilung die Gleichwertigkeit der Schemata nicht belegt. S84 In ihrem Fazit schreiben sie, dass die sorgfältige Wahl des Schwellenwerts ebenso wichtig sein kann wie die Komplexität des gesamten Schutzes. S84

Was ein slowakischer Onlineshop daraus mitnehmen kann

Für Betreiber eines Chatbots ist die andere Seite der Ergebnisse am lehrreichsten. Das Eingangstor mit dem Schwellenwert 0,50 lehnte in diesem Satz mehr als ein Zehntel der harmlosen Prompts ab. S84 Es genügt daher nicht, einen Schwellenwert aus dem Artikel zu übernehmen. Slowakisch wird im Preprint nicht erwähnt, und die Autoren nennen die Sprache der Prompts nicht. S84 Die Zahlen sind daher keine Grundlage für eine Einschätzung des Verhaltens auf Slowakisch.

Latenz und Kosten haben die Autoren nicht gemessen, und sie schreiben ausdrücklich, dass die Prüfhäufigkeit diese Größen nicht ersetzt. S84 Für die Kostenschätzung gilt laut der Preisliste von TypeSafe, dass jev-1.14.0 0,042 USD pro Million Eingabe-Token kostet und Ausgabe-Token kostenlos sind. S01 Die Ausgabeprüfung sendet auch den Text der Modellantwort an Jev, S84 sodass die Kosten beider Aufrufe im Kostenrechner zu berücksichtigen sind.

Ein Vorschlag von JEV.sk, keine Schlussfolgerung des Preprints: Stellen Sie eine Stichprobe echter harmloser Anfragen aus Ihrem eigenen Betrieb zusammen, messen Sie daran getrennt die durchgelassenen schädlichen und die abgelehnten harmlosen Fälle, und wählen Sie den Schwellenwert auf einem anderen Teil der Daten als dem, auf dem Sie ihn auswerten. Die Seite Confidence und Kalibrierung beschreibt den Umgang mit Wahrscheinlichkeiten näher. Die Widerstandsfähigkeit gegen gezielte Manipulation ist ein eigenes Thema, das der Artikel über eingeschleusten Text behandelt.

Von den Autoren genannte Einschränkungen

Der Versuch verwendet ein Zielmodell und eine Generierungseinstellung. Der automatische Detektor für Ablehnungen irrte sich mindestens einmal, und die Prüfung auf getrennten Daten beruht auf einer Aufteilung mit einem kleinen Satz harmloser Prompts. Nach Ansicht der Autoren braucht weitere Forschung mehr Modelle und Benchmarks, eine Bewertung der tatsächlichen Schädlichkeit sowie die Messung von Latenz und Kosten. S84 Code, anonymisierte Ergebnisse je Prompt und Analyseskripte bezeichnen die Autoren als öffentlich verfügbar. S84