Jev und Zeitreihen: klare Formen ja, bei reinen Zahlen nahe am Zufall

Das Entscheidungsmodell Jev ist für Fragen zu Text gebaut. Ein neuer Preprint untersucht, was passiert, wenn man ihm stattdessen eine Zahlenreihe schickt: Sensormesswerte, Aktienkurse oder ein Ereignisprotokoll. Autoren der Hong Kong University of Science and Technology (Guangzhou) haben Aufgaben aus dem Bereich Zeitreihen in Fragen mit festen Optionen umgewandelt und daran jev-1.13.0 getestet. S69 Das Ergebnis ist uneinheitlich: Bei ausgeprägten Kurvenformen und bei Ereignistypen unterscheidet das Modell durchaus etwas, bei den meisten Zahlenreihen antwortet es jedoch ungefähr auf Zufallsniveau. S69 Für einen slowakischen Onlineshop, der überlegt, mit Jev Absatz oder Preisentwicklung vorherzusagen, ist das eine nützliche Warnung.

Wie die Autoren die Aufgaben aufgebaut haben

Der Preprint stammt von Jianye Wang, Kexin Zhang, Jiayin Xiong und Hao Xue. S69 Sie ordneten die Beobachtungen chronologisch im state an, bei Bedarf mit Kanalnamen und Zeitstempeln, und ergänzten jede Aufgabe um eine feste Frage. Die Zahlen liest das Modell als gewöhnliche Token. S69 Aufgaben mit zwei Ausgängen wurden als Noul gestellt, Aufgaben mit mehreren Klassen als Choice. S69 Wie die Eingabe genau aussah, etwa Rundung oder Fensterlänge, gibt der Text nicht an. S69

Getestet wurden sechs Aufgabengruppen: 41 zweiklassige und 86 mehrklassige univariate Datensätze aus dem UCR-Archiv, 17 multivariate UEA-Datensätze, fünf EasyTPP-Datensätze mit Ereignisfolgen, acht ETT-Einstellungen und die täglichen Schlusskurse dreier Aktien (AAPL, BA, CAT). S69 Bei ETT lautete die Frage, ob die Öltemperatur innerhalb von 24 Stunden steigt. Bei den Aktien ging es darum, ob der Kurs nach einer fest gewählten Zahl von Handelsschritten steigt. S69

Die Autoren geben die Ergebnisse in zwei Metriken an, Genauigkeit (ACC) und AUC. S69 AUC zeigt, ob das Modell richtigen Antworten höhere Wahrscheinlichkeiten gibt als falschen. Ein Wert von 0,5 entspricht zufälligem Raten.

Wo Jev bestand und wo nicht

Am besten schnitten Datensätze mit klaren Formen ab. Bei SyntheticControl erreichte Jev eine Genauigkeit von 0,81 und eine AUC von 0,9978, bei SmoothSubspace eine Genauigkeit von 0,90 und eine AUC von 0,9815. S69 Bei den EasyTPP-Ereignisfolgen lag die mittlere AUC bei 0,7028, im Datensatz Taobao erreichte er eine Genauigkeit von 0,6343 und eine AUC von 0,8241. S69

Am anderen Ende stehen Aktien und industrielle Messungen. Bei den drei Aktien betrug die mittlere AUC 0,5040 und die Genauigkeit 0,5034, also praktisch Zufall. S69 Bei ETT lag die mittlere AUC bei 0,5900, und die Genauigkeit blieb nach Angaben der Autoren in den meisten Einstellungen um 0,5. S69 Auch die meisten numerischen Klassifikationsaufgaben lagen nahe am Zufall: Der Median der AUC betrug 0,5047 bei den mehrklassigen UCR-Datensätzen und 0,4986 bei UEA. S69 Schwach waren auch physiologische Signale wie EKG. Als mögliche Erklärung nennen die Autoren fehlendes Domänenwissen und eine unzureichende Erfassung der Signalmerkmale, eine eindeutige Ursache legen sie jedoch nicht fest. S69

Gute Rangfolge heißt noch keine gute Entscheidung

Bemerkenswert ist die Lücke zwischen AUC und Genauigkeit. Beim Datensatz GunPoint lag die AUC bei 0,7215, die Genauigkeit aber nur bei 0,52. Bei BasicMotions betrug die AUC 0,7671 und die Genauigkeit 0,30. S69 Die Wahrscheinlichkeiten ordnen richtige Antworten also manchmal höher ein, die daraus abgeleitete endgültige Auswahl geht aber trotzdem daneben. Die Autoren sehen darin einen Grund, Schwellenwerte bei Fragen mit zwei Ausgängen und die Vergleichbarkeit der Werte zwischen Klassen zu untersuchen. Direkt gemessen haben sie das im Preprint nicht. S69

Was das für einen slowakischen Onlineshop bedeutet

Die verlockende Idee lautet: Man schickt Jev die täglichen Verkaufszahlen eines Produkts der letzten Wochen und fragt, ob sie nächste Woche steigen. Die Aufgaben mit Aktien und Öltemperatur hatten genau diese Form, eine Zahlenreihe und die Frage, ob der Wert steigt, und die Ergebnisse lagen dort nahe am Zufall. S69 Eigener Vorschlag von JEV.sk: Berechnen Sie Trend, Saisonalität und Vorjahresvergleich im Code oder mit einer üblichen statistischen Methode. Überlassen Sie Jev die Fragen zu Text, etwa ob eine Kundennachricht eine verspätete Sendung meldet. Wenn Sie dennoch ein Zahlensignal nutzen möchten, geben Sie statt roher Zahlen eine bereits berechnete Beschreibung in den state („Absatz in 14 Tagen um 30 % gesunken“). Auch das ist nur ein Vorschlag, der Preprint hat dieses Vorgehen nicht erprobt.

Die Lücke zwischen AUC und Genauigkeit hat noch eine praktische Folge. Wer die Wahrscheinlichkeiten von Jev zum Sortieren nutzt, sollte einen Schwellenwert festlegen und an eigenen Daten prüfen, statt sich nur auf die wahrscheinlichste Option zu verlassen. Wie man mit Konfidenz und Schwellenwerten arbeitet, beschreibt der Leitfaden Confidence und Kalibrierung. Den Unterschied zwischen den Fragetypen erklärt die Seite Choice, Score und Noul.

Grenzen des Preprints

Es handelt sich um einen Preprint, und getestet wurde nur ein einziges Modell. Die Autoren haben Jev weder mit einem anderen Modell noch mit üblichen Zeitreihenmethoden verglichen, daher ist unklar, wie einfache Statistik abgeschnitten hätte. S69 Preis und Antwortgeschwindigkeit haben sie nicht gemessen. S69 Getestet wurde jev-1.13.0. Seit dem 14. Oktober 2026 ist jev-1.14.0 verfügbar, und der Alias jev-latest zeigt inzwischen darauf. S01 Ob die neuere Version Zeitreihen besser bewältigt, untersucht der Preprint nicht, und JEV.sk hat es nicht gemessen.