Welche Beispiele gehören in den Prompt? Ein Preprint testet Modelle im Stil von Jev

Wer Texte mit einem Sprachmodell klassifiziert, fügt dem Prompt oft einige bereits gelöste Beispiele hinzu. Dieses Vorgehen heißt In-Context-Learning, und das Ergebnis hängt stark davon ab, welche Beispiele das Modell erhält. Ein Preprint von drei Autoren der Universität Jilin in China, veröffentlicht am 31. Oktober 2026, untersucht, ob bei der Auswahl ein Entscheidungsmodell hilft, das für jeden Kandidaten schätzt, wie nützlich er ist. S81 Es handelt sich um einen Preprint, also um eine Arbeit, die noch kein Peer-Review durchlaufen hat. Für Entwickler ist die Frage praktisch: Besser gewählte Beispiele können die Genauigkeit eines kleinen, günstigen Modells erhöhen, ohne das Modell selbst zu verändern.

Es geht nicht um den gehosteten Jev von TypeSafe

Die Autoren beziehen sich auf Jev von TypeSafe AI als Entscheidungsmodell, das probabilistische Urteile liefert. Die Arbeit gibt jedoch nicht an, mit dessen API gearbeitet zu haben. In den Versuchen kamen zwei offene Modelle von Drittanbietern zum Einsatz, die auf Hugging Face veröffentlicht sind: NeoJev mit 4 Milliarden Parametern und JEV mit 9 Milliarden. S81 Die Ergebnisse sagen daher nicht direkt etwas über das Modell jev-1.14.0 aus, das TypeSafe über seine API anbietet. S01 Wie Teams eigene Entscheidungsmodelle bauen, haben wir auch beim Preprint des Teams von PayPal.AI beschrieben.

Wie die Auswahl ablief

Das Verfahren hat zwei Schritte. Zuerst findet ein gängiges Modell für Satzvektoren die 20 Trainingsbeispiele, die der Eingabe am nächsten sind. Dann beantwortet das Entscheidungsmodell für jedes davon eine Ja/Nein-Frage: Wäre es ein nützliches und relevantes Beispiel? Die Wahrscheinlichkeit der Antwort „Ja“ dient als Nützlichkeitswert. S81 Die endgültige Zusammenstellung übernehmen die Autoren nicht einfach in der Rangfolge, sondern suchen die beste Kombination per Strahlsuche (Beam Search) mit der Breite 4. S81

Der Haken sind die Kosten. Jeder Kandidat bedeutet einen weiteren Aufruf des Entscheidungsmodells, was die Autoren als erhebliche Rechenlast bezeichnen. Sie schlugen deshalb eine Destillation vor: Die Bewertungen des Modells JEV-9B dienten als Trainingsdaten für ein kleines neuronales Netz vom Typ MLP, das die Nützlichkeit danach selbst schätzt. Dieses Netz nannten sie DisJEV, das entsprechende, vom Modell NeoJev gelernte Netz DisNeoJEV. S81

Zum Vergleich dienten die Auswahl nach semantischer Ähnlichkeit (kNN) und zwei weitere Methoden, ConE und DiSP. Die Aufgaben umfassten die Klassifikation von Fragen (TREC), Stimmung (SST-2, SST-5), Nachrichtenthemen (AG News) und die Beziehung zwischen zwei Sätzen (MNLI). Die Beispiele erhielten die Modelle Llama3.2-1B, Qwen3-1.7B, Llama3.1-8B und Qwen3-8B, im Hauptversuch jeweils vier. S81

Was herauskam

Auf allen vier Modellen erreichte DisJEV einen höheren Durchschnitt als die Auswahl nach Ähnlichkeit, und zwar um 2,99, 3,68, 0,43 und 1,68 Punkte. Bei Qwen3-1.7B waren es 77,12 gegenüber 73,44. S81 Die Variante DisNeoJEV schnitt in diesem Test noch etwas besser ab, beim selben Modell mit 77,68. S81 Die Methoden ConE und DiSP brachten laut den Autoren uneinheitliche Verbesserungen und verschlechterten das Ergebnis bei einigen Modellen sogar. S81

Der Durchschnitt verdeckt jedoch große Unterschiede zwischen den Aufgaben. Bei Qwen3-1.7B brachte DisJEV einen deutlichen Sprung bei TREC (85,20 gegenüber 72,40) und bei MNLI (74,85 gegenüber 69,95). Bei SST-2 und AG News lag es dagegen knapp unter der Auswahl nach Ähnlichkeit. S81 Bei den größeren Modellen DeepSeek-V4-Flash und Qwen3.8-Flash, die die Autoren über APIs aufriefen und an 500 Stichproben prüften, lag der Gewinn unter zwei Punkten. Die Autoren selbst bezeichnen ihn als relativ bescheiden. S81

Das kleine Netz stimmte mit dem ursprünglichen Entscheidungsmodell bei der Reihenfolge von Kandidatenpaaren in ungefähr 70 % der Fälle überein. S81 Als die Autoren es nur auf vier Aufgaben trainierten und an der fünften prüften, lag es 1,43 und 1,70 Punkte hinter der vollen Version, blieb aber weiterhin über der Auswahl nach Ähnlichkeit. S81 Die Autoren schreiben zudem, dass die Wirksamkeit vom konkreten Sprachmodell und von der Art der Aufgabe abhängt. S81

Was das für einen slowakischen Onlineshop bedeutet

Wenn ein slowakischer Onlineshop Kundennachrichten mit einem kleinen Sprachmodell und einigen Beispielen im Prompt sortiert, legt die Arbeit nahe, dass die ähnlichsten Beispiele nicht unbedingt die nützlichsten sind. Zugleich zeigt sie, dass der Nutzen von Aufgabe zu Aufgabe schwankt und bei stärkeren Modellen gering ist. S81 Wenn Sie die Sortierung direkt auf einem Entscheidungsmodell aufbauen, sehen Sie sich eher das Muster der Weiterleitung nach Absicht an.

Das Folgende ist ein eigener Vorschlag von JEV.sk, kein Ergebnis der Arbeit. Mit dem gehosteten Jev ließe sich eine ähnliche Bewertung als Ja/Nein-Frage für jeden Kandidaten stellen. TypeSafe berechnet 0,042 USD pro Million Eingabe-Token, die Ausgabe ist kostenlos. S01 Jeder Kandidat ist jedoch eine eigene Bewertung mit eigener Eingabe, sodass die Kosten mit der Zahl der Kandidaten pro Nachricht steigen. Eine Schätzung können Sie im Kostenrechner vornehmen. Bevor Sie eine solche Schicht einführen, vergleichen Sie an Ihren eigenen Nachrichten, ob sie die einfache Auswahl nach Ähnlichkeit überhaupt übertrifft.