Optionsnamen können Definitionen übersteuern: Was ein neuer Preprint zeigt

Ein Preprint vom 1. Oktober 2026 untersucht, was passiert, wenn ein typisiertes Entscheidungsmodell Optionen mit einem kurzen Namen und einer längeren Beschreibung der Regel erhält. Die Autoren von der University of Southern California behaupten, dass die meisten getesteten Modelle vor allem den Namen der Optionen folgen und nicht den Definitionen, die der Entwickler geschrieben hat. S45 Wer die Liste der Optionen für eine Frage vom Typ Choice zusammenstellt, erhält damit eine praktische Warnung. Es handelt sich jedoch um einen Preprint zu Modellen mit offenen Gewichten; Jev selbst haben die Autoren nicht gemessen. S45

Was die Autoren untersucht haben

Ein typisiertes Entscheidungsmodell liefert für jede vom Aufrufer vorgegebene Option eine Wahrscheinlichkeit. Jede Option hat einen kurzen Namen und eine schriftliche Definition mit der Regel. S45 Die Autoren fragten, welches von beidem das Ergebnis stärker beeinflusst, und nannten die Neigung, dem Namen zu folgen, option-label bias. S45

Sie testeten vier Modelle mit offenen Gewichten: drei aus der laya-Familie und das Modell von. Sie nutzten elf Klassifikationsaufgaben und eine eigene synthetische Testsammlung namens PolicyBench, in der die Regel ausschließlich in den Definitionen steht. Als Kontrolle ergänzten sie außerdem die Sprachmodelle Qwen2.5, Llama und Mistral. S45

Was die Zahlen zeigen

Beim Modell laya-td änderte das Entfernen aller Definitionen die Genauigkeit kaum: 0,8559 gegenüber 0,8487 mit Definitionen. Die Definitionen allein, ohne aussagekräftige Namen, ergaben 0,7971. S45 Widersprachen sich Name und Definition, sank die Genauigkeit von laya-td auf 0,1357. S45

Auf der Kontrollversion PolicyBench-XF erhöhte die Umbenennung der Optionen in neutrale A und B die Genauigkeit von laya-td um 0,1511 (Intervall von 0,1377 bis 0,1646). Die Autoren bezeichnen diesen Wert als ihre Hauptgröße. Beim Sprachmodell Qwen2.5-7B betrug der Unterschied +0,1203. S45

Das Modell von verhielt sich umgekehrt. Bei allen Benennungen lag seine Genauigkeit bei 0,8511, und nach dem Entfernen der Definitionen fiel sie auf 0,5102; es schöpfte also ausschließlich aus den Definitionen. Als die Autoren einen Namen einfügten, der der Definition widersprach, sank die Genauigkeit bei den Klassifikationsaufgaben von 0,8511 auf 0,2281. S45

Interessant ist der Mechanismus. Als die Autoren den Namen aus der Eingabe der laya-Modelle entfernten, verschwand der Unterschied vollständig. Die Ursache liegt daher ihrer Ansicht nach nicht im eingeschränkten Entscheidungskopf des Modells, sondern in der Art, wie die Optionen in die Eingabe gerendert werden. S45

Confidence kann in die Irre führen

Der Preprint berührt auch den Wert der Confidence. Für laya-td betrug die Fläche unter der ROC-Kurve (AUROC) des Confidence-Scores 0,8123 bei übereinstimmenden Namen und 0,2433 bei irreführenden. Ein Wert unter 0,50 bedeutet, dass die Confidence bei Fehlern in die entgegengesetzte Richtung zeigt. S45 Die Autoren warnen daher, dass allein ein Schwellenwert für die Confidence nicht ausreicht; mehr dazu im Leitfaden zu Confidence und Kalibrierung. S45

Was die Autoren empfehlen

Der erste Schritt ist ein Test mit zwei Aufrufen: dieselbe Frage zweimal stellen, mit unterschiedlichen Optionsnamen und unveränderten Definitionen. Unterscheiden sich die Wahrscheinlichkeitsverteilungen, beeinflussen die Namen die Entscheidung. S45

Steht die Regel in den Definitionen, empfehlen die Autoren beliebige Namen wie A und B, sofern die Aufgabe es zulässt. Müssen die Namen eine Bedeutung tragen, schlagen sie eine Korrektur über einen leeren Zustand und den Vergleich zweier Darstellungen vor. S45 Die bloße Anweisung, die Namen zu ignorieren, half nur wenig: eine Verbesserung um 0,0138, die laut den Autoren beliebige Namen nicht ersetzt. S45

Folgen für einen slowakischen Onlineshop

Ein typischer Fall ist das Einsortieren von Kundennachrichten in Kategorien wie Reklamation, Rücksendung oder Frage zum Versand. Steht die Regel, wann eine Nachricht zur Reklamation gehört, in der Definition der Option, und klingt der Name ähnlich wie der Inhalt der Nachricht, kann laut Preprint der Name anstelle der Regel entscheiden. Das gilt für die Modelle, die die Autoren getestet haben. S45

Die Autoren haben Jev nicht gemessen, weil es ein gehostetes kommerzielles Modell ist, und ihre Schlüsse zum Mechanismus gelten für offene Implementierungen. S45 Ob sich das auch bei Jev zeigt, lässt sich der Quelle daher nicht entnehmen. JEV.sk hat nichts davon gemessen. Der Test mit zwei Aufrufen ist dennoch ein günstiges Verfahren, das ein Entwickler mit eigenen Daten durchführen kann; wie Optionen geschrieben werden, erklärt der Leitfaden zu Choice, Score und Noul, und typische Einsätze in Onlineshops beschreibt die Seite Jev für Onlineshops.

Grenzen der Studie

PolicyBench ist eine synthetische, nach Vorlagen erstellte Sammlung, es fehlt also die Natürlichkeit echter Daten. Die Definitionen sind eigene Formulierungen der Autoren, und ein anderer Wortlaut würde die absoluten Zahlen verschieben. Das Modell laya-ml lag nahe am Zufallsniveau, weshalb die Autoren daraus keine Schlüsse ziehen. Latenz und Kosten haben sie nicht gemessen. S45 Da es sich um einen Preprint handelt, hat der Text kein Begutachtungsverfahren durchlaufen.