Wenn sich die Daten ändern: Preprint dazu, wann ein Entscheidungsmodell besser schweigt

Ein Entscheidungsmodell wird meist an einer Datenstichprobe ausprobiert und dann eingesetzt. Mit der Zeit ändern sich die Daten jedoch: Neue Arten von Anfragen kommen hinzu, das Verhältnis der Kategorien verschiebt sich oder die Liste der Optionen wird angepasst. Der Preprint SHIFT-JEV, veröffentlicht am 25. Oktober 2026, untersucht, was in einer solchen Situation mit Modellen geschieht, die Wahrscheinlichkeit auf fest vorgegebene Optionen verteilen, und schlägt vor, wann ein Modell besser nicht antworten sollte. S77 Wer mit Jev Nachrichten oder Bestellungen sortiert, erhält eine nützliche Erinnerung daran, dass ein erfolgreicher Test vor dem Start für den langfristigen Betrieb nicht ausreicht.

Wer was getestet hat

Die Autoren sind Muhammad Atif Saeed, Azka Atiq und Akhtar Jamil von der National University of Computer & Emerging Sciences in Islamabad, Adarsh Kumar von der University of Arkansas at Little Rock, Uzair Iqbal von der University of Malaya und Roland Aydin vom deutschen DFKI. Es handelt sich um einen Preprint, also eine Arbeit, die noch kein Begutachtungsverfahren durchlaufen hat. S77

Eine wesentliche Einschränkung: Die Ergebnisse im Preprint stammen von den offenen Modellen Qwen3-0.6B, Qwen3-4B-Instruct-2507 und Phi-4-mini-instruct. Die Autoren gaben ihnen eine Schnittstelle, die Jev nachahmt, sodass das Modell nummerierte Optionen erhält und eine davon auswählt. Den Datensatz JevBench hatten sie nach eigener Aussage nicht zur Verfügung. S77 Die Arbeit beschreibt also Modelle im Stil von Jev, und ihre Zahlen lassen sich nicht direkt auf Jev selbst übertragen.

Die Autoren unterschieden vier Arten von Verschiebung. Bei einer Domänenverschiebung kamen Aufgaben aus anderen Bereichen, etwa Fragen von Bankkunden aus dem Datensatz Banking77, Finanznachrichten von Twitter oder MMLU. Bei einer Verschiebung der Anteile hatte der Datensatz AG News stark unausgewogene Kategorien, im Verhältnis 10 und 100. Neue Kategorien vertrat der Datensatz CLINC150 mit der Option „keine der genannten“. Die letzte Art veränderte die Optionsliste selbst: ihre Reihenfolge und Formulierung, fügte eine ähnlich klingende falsche Option hinzu oder ließ die richtige Antwort ganz weg. S77

Wann Nichtantworten besser ist

Der Hauptteil der Arbeit befasst sich damit, wann sich das Modell einer Antwort enthalten sollte. Es antwortet nur, wenn das geschätzte Fehlerrisiko niedrig genug ist, andernfalls gibt es den Fall weiter. Ziel war, dass die Fehlerquote unter den beantworteten Eingaben 10 % nicht überschreitet. S77

Am besten schnitt ein gelernter Unsicherheitswert mit zertifiziertem Schwellenwert ab: Er überschritt das Ziel in 3 bis 5 von 27 Kombinationen aus Umgebung und Durchlauf. Ein Schwellenwert, der nur auf der höchsten Wahrscheinlichkeit beruht, überschritt es in 5 bis 15 Fällen, konforme Vorhersagemengen in 9 bis 14. S77 Beim kleineren Modell Qwen3-0.6B hatte die höchste Wahrscheinlichkeit bei gleicher Zertifizierung eine durchschnittliche tatsächliche Fehlerquote von 16,0 %, der gelernte Wert dagegen 6,4 %. S77

Die wenigsten Überschreitungen, 3 und 2 von 27, ergab die strengste Regel, die auf alle Eingaben den strengeren von zwei Schwellenwerten anwendet. Die Autoren führen sie jedoch als nachträglich gewonnenen Befund, der noch bestätigt werden muss. S77

Aufschlussreich ist auch der Fall, in dem die richtige Antwort in der Liste fehlte, sodass jede Option falsch war. Das größere Modell enthielt sich dann in den einzelnen Durchläufen in 14 bis 72 % der Fälle einer Antwort, und die Autoren räumen ein, dass ein eigener Mechanismus „keine der genannten“ nötig sein könnte. S77

Ein einfacher Test erkennt veränderte Kategorienanteile

Zur Überwachung des Datenstroms verglichen die Autoren mehrere Detektoren. Eine Verschiebung der Kategorienanteile, die Detektoren auf Basis der Modellsicherheit oder der Vektordarstellung des Textes übersahen, erkannte ein χ²-Test über dem Histogramm der vorhergesagten Kategorien bei voller Stärke der Verschiebung in 95 bis 99 % der Fälle. S77 Der Test löst allerdings auch Fehlalarme aus: Auf Daten ohne Verschiebung erreichten sie 6 % und 10 %, also mehr als die angestrebten 5 %. S77 Die Autoren empfehlen dennoch, die Überwachung von Änderungen der Kategorienanteile standardmäßig laufen zu lassen. S77

Nachtrainieren und seine Grenzen

Der dritte Teil schlägt ein fortlaufendes Nachtrainieren des Modells auf neue Bedingungen vor. Eine Sicherung übernimmt eine Änderung nur, wenn sie auf zurückgehaltenen Beispielen eine statistisch belegte Verbesserung zeigt. Bei Qwen3-0.6B erreichte dieses Verfahren eine Genauigkeit von 70,5 % und übertraf die verglichenen Methoden in jedem Durchlauf. Bei Qwen3-4B lag es dagegen 0,4 bis 1,4 Punkte zurück. S77 Das Nachtrainieren mit Verankerung am ursprünglichen Modell und Temperaturskalierung senkte beim kleineren Modell den durchschnittlichen Kalibrierungsfehler unter Verschiebung von 0,289 auf 0,087. S77 Dieser Teil betrifft vor allem diejenigen, die Zugriff auf die Modellgewichte haben, wie ihn die Autoren bei offenen Modellen hatten.

Die Autoren nennen selbst mehrere Grenzen. Die Verschiebungen der Kategorienanteile und der Optionsliste erzeugten sie künstlich, jedes Modell prüften sie in drei Durchläufen, und getestet wurden nur Modelle mit bis zu 4 Milliarden Parametern aus zwei Familien. Der Code soll erst mit der finalen Fassung des Artikels erscheinen. S77

Was ein Onlineshop daraus mitnehmen kann

Die folgenden Punkte sind ein Vorschlag von JEV.sk, abgeleitet aus dem Preprint, kein Ergebnis einer Messung an Jev. Wenn ein Onlineshop mit Jev Kundennachrichten nach Anliegen sortiert, wie im Muster zur Nachrichtenweiterleitung beschrieben, lohnt es sich, die vorhergesagten Kategorien zu speichern und ihre Anteile zwischen Zeiträumen zu vergleichen. Wenn etwa vor Weihnachten mehr Fragen zur Zustellung eingehen, ist das genau die Art von Anteilsverschiebung, die Detektoren auf Basis der Modellsicherheit im Preprint übersahen. S77 Da der Test auch Fehlalarme liefert, sollte eine Warnung zu einer Prüfung durch einen Menschen führen, nicht zu einer automatischen Änderung der Einstellungen.

Die zweite Erkenntnis betrifft Schwellenwerte. Bei Choice- und Score-Fragen gibt Jev einen Wert confidence zurück. Die Dokumentation von TypeSafe rät, ihn in drei Bereiche zu teilen: bei hoher Sicherheit automatisch handeln, bei mittlerer vorsichtig und bei niedriger den Fall an einen Menschen oder ein anderes Verfahren übergeben. Schwellenwerte sollen mit dem Risiko steigen, konservativ beginnen und an eigenen Daten überprüft werden. S06 Der Preprint ergänzt eine Warnung: Ein nur auf den ursprünglichen Daten zertifizierter Schwellenwert hielt beim strengeren Ziel von 5 % in den meisten Durchläufen nicht stand. S77 Mehr zu Schwellenwerten finden Sie im Leitfaden Confidence und Kalibrierung.

Der dritte Vorschlag: Wenn die Optionsliste die richtige Antwort möglicherweise nicht enthält, ergänzen Sie die Choice-Frage um eine Option wie „Sonstiges“. Ohne sie muss das Modell eine der angebotenen Optionen wählen, auch wenn alle falsch sind. S77 Wie sich Choice-, Score- und Noul-Fragen unterscheiden, erklärt der Leitfaden Choice, Score und Noul.