Eingeschleuster Text kann Jev-Entscheidungen kippen: Was ein neuer Preprint zeigt

Ein Entscheidungsmodell kann eine Antwort in völlig korrekter Form liefern und trotzdem falsch liegen, wenn jemand es dorthin lenkt. Ein Preprint von sieben Autoren aus chinesischen Forschungseinrichtungen, am 13. Oktober 2026 auf arXiv veröffentlicht, untersucht, wie oft sich in realen Anwendungen auf Basis von Jev eine Programmentscheidung allein dadurch kippen lässt, dass Text verändert wird, der von außen ins Modell gelangt. Der Angreifer ändert dabei weder den Anwendungscode noch die internen Fragen oder das Modell selbst. S49 Es handelt sich um einen Preprint, der noch kein Peer-Review durchlaufen hat. Wer Bewertungen, Kundennachrichten oder Feed-Texte an Jev schickt, ist von dem Thema direkt betroffen.

Was die Autoren Entscheidungsentführung nennen

Die Autoren nennen das Phänomen Jev Program Decision Hijacking. Der Angreifer verändert einige der externen Felder mit geringerer Vertrauenswürdigkeit, die in eine Frage an Jev einfließen. Das Modell liefert dann eine Antwort, die formal dem Schema entspricht, also einen gültigen Ja/Nein-Wert, eine Kategorie, einen Score oder eine Konfidenz, doch das Programm handelt danach anders, als es sollte. S49 Laut Bedrohungsmodell kennt der Angreifer nur das öffentliche Verhalten der Anwendung und die Inhalte, die er selbst kontrolliert. Quellcode oder interne Anweisungen braucht er nicht. S49

Wie die Untersuchung ablief

Die Autoren sammelten 1.711 eindeutige infrage kommende Repositories von GitHub. Die 356 mit den meisten Sternen untersuchten sie und stuften 228 davon als potenziell verwundbar ein. S49 Für die Suche nach Angriffen entwickelten sie das Werkzeug JevProbe. Es verfolgt im Code, woher die Daten für einen Jev-Aufruf stammen, prüft, ob Text von außen tatsächlich dorthin gelangt, und probiert dann Varianten eingeschleuster Inhalte aus. Die Varianten erzeugte das Modell Qwen3-32B; genutzt wurden etwa eine erfundene Freigabe, eine gefälschte Werkzeugausgabe oder eine umgedeutete Situation. S49 Zielversion war jev-1.13.0. Die Versuche liefen in einer isolierten lokalen Umgebung, ohne Live-Systeme und ohne echte Nutzerdaten. S49

Acht von zehn Versuchen gelangen

Von 2.273 getesteten Fällen kippte die Entscheidung in 1.853, also in 81,5 %. S49 Ganze 202 von 228 Anwendungen hatten eine Kipprate von mindestens 80 %, bei 16 Anwendungen lag sie bei 100 %. S49 Als potenziell unsicher stuften die Autoren 98,6 % der gekippten Entscheidungen ein. Die größte Gruppe, 92,5 % davon, war Informationsverunreinigung. S49 Bei der Bewertung der Auswirkungen half ihnen das Sprachmodell Gemma-3-27B-IT, was sie selbst unter den Einschränkungen nennen. S49

Der Fall der Anwendung TradingAgents zeigt, warum ein Konfidenz-Schwellenwert allein nicht ausreicht. Bei der Beurteilung der Vertrauenswürdigkeit einer Finanzinformation sank die Konfidenz nach dem Angriff von 0,65 auf 0,27, also unter die Grenze von 0,5, und die Anwendung lehnte die Information ab, statt sie anzunehmen. S49 Der Angriff verschob damit genau den Wert, nach dem der Code entschied.

Andere Modelle und erprobte Abwehrmaßnahmen

Dieselben Angriffe probierten die Autoren auch mit anderen Modellen aus, die sie über einen Adapter anstelle von Jev in die Anwendungen einsetzten. In der Vergleichsgruppe von zehn Anwendungen hatte Jev eine Kipprate von 79,8 %, die übrigen getesteten Modelle lagen zwischen 50,7 % und 66,8 %. S49 Die Autoren weisen darauf hin, dass der Adapter nicht der nativen Konfiguration jedes Modells entspricht. S49

Bestehende Abwehrmaßnahmen halfen wenig. Ohne Abwehr kippten in dieser Gruppe 78,7 % der Entscheidungen. Die wirksamste der erprobten Methoden, die externen Text mit Trennzeichen einfasst (Spotlighting-Delimit), senkte die Rate auf 68,9 %, also um 9,8 Prozentpunkte. Das Umformulieren der Eingabe erhöhte die Rate dagegen leicht auf 79,8 %. S49 Für Jev ohne Abwehr nennt der Preprint an zwei Stellen leicht abweichende Werte, 78,7 % und 79,8 %. S49 Schutzmaßnahmen im Inneren des Modells testeten die Autoren nicht, weil weder die Architektur noch die Parameter von Jev öffentlich sind. S49

Grenzen der Studie

Untersucht wurden nur Open-Source-Anwendungen von GitHub, und die Ergebnisse gelten für bestimmte Revisionen und Konfigurationen zum Zeitpunkt der Versuche. S49 Unter den beschriebenen Fällen sind weder Onlineshops noch Bewertungen. Die Autoren nennen Kategorien wie finanzielle Entscheidungen, Durchsetzung von Zugriffsregeln, Inhaltsverarbeitung, Steuerung von Diensten, Routing von Agenten und nach außen sichtbare Aktionen. S49 Die Befunde meldeten sie den Betreuern der Anwendungen, Antworten lagen zum Zeitpunkt der Veröffentlichung noch nicht vor. Den Code des Werkzeugs und den Datensatz veröffentlichten sie auf GitHub. S49 JEV.sk hat nichts davon selbst gemessen.

Was das für einen slowakischen Onlineshop bedeutet

Die Dokumentation von TypeSafe empfiehlt, die Programmsteuerung im Code zu belassen, Konfidenz-Schwellenwerte am Risiko der jeweiligen Aktion auszurichten und unsichere Fälle an einen Menschen oder ein teureres Modell zu übergeben. S50 Angriffe über die Eingabe oder nicht vertrauenswürdigen Text behandelt diese Seite allerdings nicht. S50

Eigener Vorschlag von JEV.sk: Ein Onlineshop schickt oft Text in den state, den jemand Fremdes geschrieben hat, etwa eine Bewertung, eine Nachricht zu einer Reklamation, eine Bestellnotiz oder eine Beschreibung aus dem Feed eines Lieferanten. Solchen Text sollten Sie als potenziell feindlich behandeln. Eine Jev-Entscheidung darüber sollte nicht von sich aus eine Rückerstattung, die Veröffentlichung einer Bewertung mit Link oder eine Preisänderung auslösen. Da der Fall TradingAgents zeigt, dass ein Angriff auch die Konfidenz verschiebt, reicht ein Schwellenwert als einzige Absicherung nicht aus. Überlassen Sie heikle Schritte Regeln im Code und einem Menschen. Grenzen Sie externen Text deutlich ab, auch wenn das laut Preprint nur teilweise hilft, und nehmen Sie eingeschleuste Eingaben wie „vom Sicherheitsteam freigegeben“ in Ihren Testsatz auf. Einen breiteren Blick auf die Risiken bietet der Leitfaden Sicherheit und Datenschutz, die Wahl von Schwellenwerten beschreibt Confidence und Kalibrierung.