Jev in KI-Agenten: Schnellere Entscheidungen bedeuten nicht automatisch bessere Ergebnisse

Wer in einem KI-Agenten die Auswahl des nächsten Schritts durch ein günstiges Entscheidungsmodell ersetzen will, sollte auf mehr achten als auf den Preis einer einzelnen Entscheidung. Das zeigt ein neuer Preprint von Autoren der Nanjing University und der Technischen Universität München, der am 9. Oktober 2026 bei arXiv eingereicht wurde. Sie bauten das Modell jev-1.13.0 in fünf Agentenfamilien ein und maßen, ob sich günstigere und schnellere Entscheidungen in erfolgreich abgeschlossenen Aufgaben niederschlagen. S47 Es handelt sich um einen Preprint, also um eine Arbeit ohne abgeschlossenes Begutachtungsverfahren.

Wie der Versuch aufgebaut war

Die Autoren nutzten zwei Testumgebungen. AndroidWorld enthält Aufgaben in mobilen Apps; die Studie übernahm daraus 116 Aufgabentypen. ALFWorld simuliert Hausarbeiten, und die Autoren verwendeten alle 134 Aufgaben aus einem Validierungsdatensatz. S47 In der ersten Umgebung erprobten sie die Agenten T3A, AutoDroid und FastAgent, in der zweiten die Agenten ReAct und Reflexion. Jeder Agent hatte eine ursprüngliche Version und eine Version mit Jev. In ALFWorld kam zusätzlich eine Kontrollvariante hinzu, in der ein Sprachmodell dieselbe Liste von Optionen zur Auswahl erhielt. S47 Jede Konfiguration lief dreimal, insgesamt 4.500 Durchläufe. S47

Jev ersetzte nur den Schritt der Aktionsauswahl, mit einer Anfrage pro Schritt. Die Beschreibung der Umgebung, der Verlauf und die eigentliche Ausführung der Aktion blieben unverändert. Freien Text, Zusammenfassungen und Reflexionen erzeugte weiterhin das Sprachmodell gpt-5.6-luna, das in den ursprünglichen Agentenversionen auch die Entscheidungen traf. S47

Die Entscheidung wurde billiger, die Aufgabe nicht immer

Bei der einzelnen Entscheidung waren die Einsparungen groß. Über alle fünf Agentenfamilien hinweg sanken die durchschnittlichen Kosten einer Entscheidung um 66,1 bis 78,4 % und ihre Dauer um 73,9 bis 81,5 %. Eine Entscheidung dauerte 1,04 bis 1,75 s statt 4,13 bis 8,13 s. Zugleich stieg die Zahl der Token pro Entscheidung um 53,5 bis 134,9 %. S47

Der Anteil erfolgreich abgeschlossener Aufgaben sank jedoch bei einigen Agenten. In ALFWorld war der Unterschied gering: ReAct erreichte 96,02 % statt 97,51 % und Reflexion 98,01 % statt 99,75 %. S47 Bei mobilen Aufgaben fiel der Rückgang deutlicher aus. T3A sank von 57,47 % auf 44,25 %, FastAgent von 50,00 % auf 31,90 % und AutoDroid von 18,68 % auf 16,38 %. S47 Statistisch eindeutig waren laut den Autoren nur die Rückgänge bei T3A und FastAgent; bei den übrigen Agenten schließt das Intervall der Differenz die Null ein. S47

Ein Teil der Einsparungen wurde durch Hilfsarbeit des Sprachmodells aufgezehrt. Im Agenten ReAct verkürzte sich die Entscheidungszeit von 68,31 s auf 17,25 s, es kamen aber 17,23 s zusätzlichen Hilfsdenkens hinzu. S47 Die Autoren berechneten deshalb auch die Kosten pro erfolgreich abgeschlossener Aufgabe einschließlich gescheiterter Versuche. ReAct wurde so von 7,93 auf 3,96 Tausendstel Dollar (mUSD) günstiger und AutoDroid von 27,93 auf 9,93. Bei T3A stiegen die Kosten pro Erfolg dagegen von 68,70 auf 73,97, wobei das Intervall dieser Änderung auch die Null einschließt. S47 Die Zeit für einen Erfolg verlängerte sich bei T3A von 370,6 s auf 430,2 s und bei FastAgent von 239,4 s auf 377,8 s. S47

Wo der Agent mit Jev scheiterte

Die Autoren gingen die Protokolle ausgewählter Durchläufe manuell durch. Bei Aufgaben, die die Jev-Version wiederholt verlor, trat häufiger eine gescheiterte Fehlerbehebung auf: in 40 von 57 Durchläufen mit Jev gegenüber 3 von 57 bei der ursprünglichen Version. Wirkungslose Suche kam in 29 Durchläufen gegenüber 2 vor. S47 Zu den typischen Fehlern gehörten die Wahl des falschen Gegenstands oder eines mehrdeutig beschrifteten Schalters, das Festhalten an einer Annahme, die die Umgebung bereits widerlegt hatte, und das vorzeitige Erklären einer Aufgabe für erledigt, obwohl das Ziel nicht erreicht war. S47

Aufschlussreich ist der Agent Reflexion. Mit Jev war er im ersten Versuch in 95,27 % der Fälle erfolgreich, die ursprüngliche Version in 93,53 %. Von den gescheiterten ersten Versuchen korrigierte die Jev-Version jedoch 11 von 19, die ursprüngliche 25 von 26. S47 Die schnellere Auswahl half also im normalen Ablauf, kam aber schlechter mit Situationen zurecht, in denen etwas schiefging.

Was der Preprint nicht misst

Die Autoren untersuchten nur ausgewählte Agentenfamilien in mobilen Apps und bei Haushaltsaufgaben. Die Agenten erhielten eine Textbeschreibung der Umgebung und wählten aus einer begrenzten Menge von Aktionen. Drei Wiederholungen auf denselben Aufgaben erfassen nur die Streuung zwischen den Durchläufen, nicht das Verhalten in neuen Umgebungen. Preise und Zeiten hängen zudem von Modellversionen und Dienstbedingungen ab. S47 Es handelt sich nicht um Aufgaben aus einem Onlineshop, und JEV.sk hat nichts davon gemessen.

Was daraus für einen slowakischen Onlineshop folgt

Die Autoren empfehlen, Modelle vom Typ Jev nach erfolgreich abgeschlossenen Aufgaben, der Fähigkeit zur Fehlerbehebung und den Kosten pro geliefertem Ergebnis zu beurteilen, nicht nur nach Geschwindigkeit und Preis einer Entscheidung. Ihrer Ansicht nach eignet sich Jev für klar umrissene Entscheidungsrollen. Als besonders vielversprechend sehen sie Systeme, die Routineentscheidungen günstig machen und die Überprüfung auf Entscheidungen konzentrieren, die den Abschluss der Aufgabe gefährden. S47

Ein eigener Vorschlag von JEV.sk für einen Onlineshop: Jev kann entscheiden, in welche Warteschlange eine Kundennachricht gehört oder um welche Art von Reklamation es sich handelt. Ob eine Bestellung aber wirklich erledigt ist, sollte Code anhand des Status im System prüfen, nicht das Modell. Das vorzeitige Erklären einer Aufgabe für erledigt gehörte im Preprint zu den typischen Fehlern. S47 Wenn Sie einen Agenten bauen, der in mehreren Schritten vorgeht, messen Sie den gesamten Ablauf: wie viele Fälle er tatsächlich gelöst hat und was ein gelöster Fall gekostet hat. Wie Sie die Sicherheit des Modells nutzen, um zu entscheiden, wann es weitergeht und wann ein Fall abgegeben wird, erklärt der Leitfaden Confidence und Kalibrierung. Die Kosten der Entscheidungen selbst schätzen Sie im Kostenrechner ab.