Jev für Produktempfehlungen: Preprint sieht kleines trainiertes Modell vorn

Italienische und deutsche Forschende haben den Preprint Decision4Rec veröffentlicht, in dem sie ein Empfehlungssystem rund um ein Entscheidungsmodell aufbauen. Zu den getesteten Modellen gehörte auch Jev in der Version jev-1.13.0, die sie über die API aufriefen. S67 Für Onlineshops ist das Ergebnis vor allem wegen dessen interessant, was nicht funktionierte: Das Entscheidungsmodell in der veröffentlichten Form brachte einem gängigen Empfehlungssystem wenig, und ein kleines offenes Modell, das auf echten Entscheidungen von Nutzern trainiert wurde, lag in den meisten Einstellungen vor Jev. S67 Version v1 ist seit dem 19. Oktober 2026 auf arXiv; es handelt sich um einen Preprint ohne abgeschlossenes Begutachtungsverfahren. S67

Wie das System aufgebaut ist

Die Autoren von der Università degli studi di Bari Aldo Moro und der Otto-von-Guericke University Magdeburg verstehen unter einem Entscheidungsmodell ein Sprachmodell, das auf eine typisierte Frage für jede Option eine Wahrscheinlichkeit zurückgibt und keinen Text schreibt. S67 Das System besteht aus vier Teilen. Ein Wissensgraph schreibt Verhaltensprotokolle in kurze Aussagen auf der Skala des jeweiligen Shops um, etwa dass sich ein Artikel unter den besten 10 % verkauft; dieser Graph wird nicht trainiert. Eine Gruppe von Agenten schlägt Kandidaten vor, und ein Hilfsmodell für das Ranking behält 30 davon. Das Entscheidungsmodell wählt dann unter den Kandidaten anhand ihres Textes, der Aussagen und der Information, welcher Agent sie gefunden hat. Zuletzt werden seine Antworten mit dem Wert des Ranking-Modells kombiniert. S67

Pro Nutzer wird eine Anfrage mit zwei Fragen zu je 30 Optionen gestellt, und die Aussagen zu einer Option umfassen etwa 20 Token. S67 Neben Jev testeten die Autoren die offenen Kev-Modelle und eigene, mit LoRA trainierte Versionen mit 0,8B bis 27B Parametern. S67 Trainiert wurde auf drei Quelldomänen (Amazon Video Games, Amazon Musical Instruments und eine Stichprobe aus Steam), die Domänen Amazon Industrial and Scientific und MovieLens-1M blieben für die Überprüfung reserviert. Gemessen wurde NDCG@10 an 2.000 Testnutzern je Domäne. S67

Woher der Gewinn kam

Mit einem trainierten 4B-Modell erreichte das Gesamtsystem bei Amazon Video Games ein um 25 % höheres NDCG@10 als das beste trainierte Vergleichsmodell und bei Musical Instruments ein um 36 % höheres. Beim dichten Datensatz Steam betrug der Unterschied +1 % und war statistisch nicht signifikant. S67 Den Großteil des Gewinns brachte jedoch bereits die Agentengruppe mit dem Ranking-Modell: Ohne Entscheidungsmodell lagen die Werte bei +17 %, +26 % und −1 %. S67 In der Domäne Industrial and Scientific, die das Entscheidungsmodell im Training nicht gesehen hatte, erreichte das System mit dem 4B-Modell 131 % des Ergebnisses des Vergleichsmodells SASRecF. S67

Das veröffentlichte Modell Kev-4B ohne Training war beim Umsortieren der 50 besten Vorschläge des Modells SASRec in keinem Datensatz signifikant besser und half ungefähr denselben Nutzern wie eine zufällige Reihenfolge. S67 Als es jedoch das Kundenverhalten in Form kurzer Aussagen erhielt, verbesserte es sich in zwei von drei Domänen um 19 und 45 %. S67

Jev gegen ein kleines trainiertes Modell

Das selbst trainierte Kev-0.8B war in elf von fünfzehn Einstellungen besser als das veröffentlichte Jev, um 14 bis 43 %, und in keiner schlechter. Das trainierte Kev-4B übertraf Jev in vierzehn von fünfzehn. S67 Das veröffentlichte Jev und das veröffentlichte Kev-4B unterschieden sich in zehn von fünfzehn Einstellungen nicht signifikant. S67 Die Autoren folgern daraus, dass das Training auf echten Entscheidungen weit mehr ausmachte als Größe oder Preis des Modells. S67

Jev antwortete in 310 bis 340 ms, und tausend Nutzer kosteten 0,15 bis 0,22 USD bei dem während der Versuche geltenden Preis von 0,042 USD pro Million Eingabe-Token. Der gesamte Teil mit Jev kostete 4,89 USD. S67 Das trainierte Kev-0.8B benötigte 157 bis 167 ms pro Nutzer auf einer einzelnen GPU mit 24 GB Speicher. S67 Die Autoren schickten außerdem dieselben 1.200 Anfragen einige Stunden später erneut. Nur 0,3 bis 0,7 % der Antworten stimmten überein, und die erste Wahl änderte sich bei 7 % der Anfragen. Auf die Genauigkeit hatte das geringen Einfluss, das Ergebnis des gehosteten Modells hängt aber nicht allein von der Anfrage ab. S67 Weitere Einschränkungen sehen sie darin, dass Nutzer Jev nicht nachtrainieren können, seine Ausgaben nicht zum Training eines günstigeren Modells verwendet werden dürfen, Kundendaten mit jeder Anfrage nach außen gehen und der Hersteller eine Version zurückziehen kann. S67

Was das für einen slowakischen Onlineshop bedeutet

Die größten Gewinne zeigten sich in dünn besetzten Katalogen mit durchschnittlich 16 bis 32 Interaktionen pro Artikel. Bei den dichten Daten von Steam und bei der Grundversion von MovieLens-1M gab es keinen Gewinn. S67 Ein kleinerer Onlineshop mit breitem Sortiment und wenigen Käufen pro Produkt ähnelt eher den dünn besetzten Datensätzen, direkt getestet hat der Preprint das jedoch nicht.

Eigener Vorschlag von JEV.sk: Wenn Sie Jev für Empfehlungen verwandter Produkte in Betracht ziehen, erwarten Sie keine Verbesserung allein durch das Umsortieren der Ergebnisse eines bestehenden Empfehlungssystems. Laut Preprint halfen kurze Aussagen über Verkaufszahlen und Kundenverhalten sowie Vorschläge aus mehreren Quellen mehr. S67 Wenn Kunden bei einem erneuten Besuch dieselben Empfehlungen sehen sollen, speichern Sie das Ergebnis, denn dieselbe Anfrage kann anders ausfallen. S67 Die Kosten der Aufrufe können Sie mit dem Leitfaden Preise und Limits berechnen, einen breiteren Überblick über Einsatzmöglichkeiten bietet die Seite Jev für Onlineshops.

Grenzen des Preprints

Der Zielartikel war nur bei etwa 9 bis 25 % der Nutzer unter den 30 Kandidaten, sodass das Umsortieren den übrigen nicht helfen kann. S67 Jedes Modell wurde einmal trainiert, die Vergleichsmodelle haben die Autoren selbst implementiert, und die Überprüfung an neuen Nutzern läuft noch. S67 Getestet wurde jev-1.13.0. Der Alias jev-latest verweist inzwischen auf jev-1.14.0, verfügbar seit dem 14. Oktober 2026, zum gleichen Preis von 0,042 USD pro Million Eingabe-Token. S01 Ob die neuere Version anders abschneiden würde, untersucht der Preprint nicht, und JEV.sk hat nichts davon gemessen.