Zusammengesetzte Bewertung mit Jev: mehrere Kriterien, Gewichte im Code und was die Summe verbirgt

Die Dokumentation von TypeSafe beschreibt ein Muster namens Composite Scoring, also eine zusammengesetzte Bewertung. Ein komplexes Urteil wird dabei in einzelne Kriterien zerlegt, Jev beurteilt jedes davon mit einer eigenen Score-Frage, und erst Ihr Code berechnet die Gesamtrangfolge anhand von Gewichten, die Sie selbst festlegen. S76 Für einen Onlineshop, der Artikel nach mehreren Kriterien zugleich vergleicht, ist das ein nützliches Schema: Das Modell beurteilt die Bedeutung des Textes, und übersichtlicher Code entscheidet, was wichtiger ist. Die gewichtete Summe hat jedoch eine Schwachstelle, die auf der Seite zum Muster nicht erwähnt wird.

Das Beispiel aus der Dokumentation: Lebensläufe sichten

Das Beispiel bewertet Lebensläufe von Bewerbern. Eine einzige Anfrage enthält den Text des Lebenslaufs und vier Score-Fragen: Tiefe der Python-Kenntnisse, Teamführung, Systementwurf und die Breite der Fähigkeiten des Bewerbers. Jev wertet sie parallel aus und liefert vier Scores. S76 Der Code teilt jeden davon durch vier, damit er zwischen 0 und 1 liegt, und addiert die Ergebnisse mit Gewichten. S76

Die Gewichte hängen von der Stelle ab. Für einen erfahrenen Entwickler ohne Führungsrolle (im Beispiel Senior IC) erhalten Python und Systementwurf je 40 %, Teamführung und Breite der Fähigkeiten je 10 %. Für die Leitung eines Entwicklungsteams erhält die Teamführung 40 %, die Breite der Fähigkeiten 25 %, der Systementwurf 20 % und Python 15 %. S76 In beiden Fällen ergeben die Gewichte zusammen 100 %.

Den Vorteil sieht die Dokumentation darin, dass die Gewichte direkt im Code stehen und daher bei jedem Ergebnis klar ist, wie es zustande kam. Passt die Reihenfolge der besten Bewerber nicht zu den Erwartungen, passen Sie die Gewichte an, und die Einzelscores bleiben erhalten. S76 Dass eine Änderung der Gewichte keinen neuen Modellaufruf erfordert, schreibt die Seite nicht ausdrücklich; es ergibt sich daraus, dass die Gewichte erst im Code angewendet werden. S76

Wie der Score berechnet wird

Eine Score-Frage enthält eine geordnete Liste von Stufenbeschreibungen von der niedrigsten bis zur höchsten. Es müssen mindestens zwei Stufen sein, die API akzeptiert höchstens zehn, und sie werden nach ihrer Position ab null nummeriert. S04 Der Wert score in der Antwort ist keine einzelne ausgewählte Stufe, sondern der mit den Wahrscheinlichkeiten gewichtete Mittelwert der Stufennummern. Die Antwort liefert außerdem die Wahrscheinlichkeiten der einzelnen Stufen (probabilities), ihre Beschreibungen (legend) und einen Wert confidence von 0 bis 1. S04

Die Seite zur Score-Frage beschreibt die zusammengesetzte Bewertung in drei Schritten: jeden Score durch die höchste Stufennummer teilen, also durch die Anzahl der Stufen minus eins, mit einem Gewicht multiplizieren und die Ergebnisse addieren. In ihrem Beispiel zur Ticket-Sortierung ergeben normalisierte Scores von 0,62, 0,64 und 1,0 mit den Gewichten 0,6, 0,3 und 0,1 den Wert 0,664. S04 Laut Herstellerangabe verlängern zusätzliche Fragen in einer Anfrage die Antwortzeit kaum und kosten nur wenige Token mehr; einen Messwert dazu nennt die Seite nicht. S04

Die Normalisierung ist vor allem dann sinnvoll, wenn Kriterien unterschiedlich lange Skalen haben. Ein Score von 2 ist bei drei Stufen das obere Ende der Skala, bei fünf ihre Mitte. Ohne die Division würde ein Kriterium mit längerer Skala unbemerkt mehr Gewicht erhalten, als Sie ihm geben wollten. Das ist unsere eigene Rechnung, keine Herstellerangabe.

Was die gewichtete Summe verbirgt

Die Dokumentation zu Score weist darauf hin, dass derselbe Score aus unterschiedlichen Wahrscheinlichkeitsverteilungen entstehen kann. Ein Wert von 1,0 kann bedeuten, dass die gesamte Wahrscheinlichkeit auf Stufe 1 liegt, aber auch, dass die Hälfte auf Stufe 0 und die Hälfte auf Stufe 2 entfällt. Sie empfiehlt daher, zusammen mit dem Score auch probabilities und confidence zu lesen. S04 Auch eine hohe Confidence bedeutet nicht, dass die Antwort richtig ist; sie beschreibt nur die Antwort des Modells selbst. S04 Die Seite zum Muster der zusammengesetzten Bewertung erwähnt die Confidence überhaupt nicht und behandelt jedes Kriterium als eine einzige Zahl. S76

Bei einer zusammengesetzten Bewertung verschärft sich dieses Problem. Aus der gewichteten Summe von vier Mittelwerten lässt sich nicht mehr ablesen, ob das Modell ein Kriterium eindeutig beurteilt oder zwischen den äußeren Stufen geschwankt hat. Unser Vorschlag: Speichern Sie neben dem Gesamtscore auch die confidence jeder Frage. Einen Artikel, bei dem ein hoch gewichtetes Kriterium eine niedrige Confidence hat, sollten Sie nicht automatisch einordnen, sondern zur Prüfung markieren. Laut Dokumentation bedeutet eine niedrige Confidence oft, dass sich die Stufen bei der jeweiligen Eingabe überschneiden, die Frage mehr als eine Sache misst oder im State Details fehlen. S04 Wie man mit der Confidence arbeitet, beschreibt der Leitfaden Confidence und Kalibrierung.

Wie man Stufen für einzelne Kriterien formuliert

Die Dokumentation empfiehlt, dass jede Score-Frage nur ein Kriterium misst und mehrteilige Urteile in getrennte Fragen aufgeteilt werden. S04 Genau das ist das Prinzip der zusammengesetzten Bewertung. Die Stufen sollen konkrete Situationen beschreiben, keine Ausprägungen wie „etwas“ oder „sehr“. S04 Das Modell erhält nämlich nur die Stufenbeschreibungen und beurteilt jede für sich gegen den State, ohne ihre Nummer oder die benachbarten Stufen zu kennen. S04 Zahlen statt Beschreibungen funktionieren schlecht: In einem Beispiel aus der Dokumentation ergaben die Stufen „0“, „1“ und „2“ einen Score von 0,55 bei einer Confidence von 0,33, während beschreibende Stufen für denselben Bericht 0,0 bei einer Confidence von 1,0 ergaben. S04 Die grundlegenden Fragetypen erklärt der Leitfaden Choice, Score und Noul.

Was das für einen slowakischen Onlineshop bedeutet

Das Muster passt überall dort, wo ein Onlineshop Artikel nach mehreren Kriterien zugleich ordnet. Unser Beispiel: Bei Produktbeschreibungen aus Lieferanten-Feeds können getrennte Score-Fragen die Vollständigkeit der technischen Daten, die Verständlichkeit des Textes und die Übereinstimmung der Beschreibung mit der Kategorie beurteilen. Der Code bildet daraus eine Reihenfolge, welche Beschreibungen zuerst überarbeitet werden sollten, und die Redaktion kann die Gewichte ändern, ohne die Fragen anzufassen. Diese Anwendung beschreibt die Dokumentation nicht; es ist unser Vorschlag auf Grundlage ihres Schemas. S76

Alle Fragen gehen in einer einzigen Anfrage mit gemeinsamem Text. S76 TypeSafe berechnet Eingabe-Token mit 0,042 USD pro Million, sowohl bei jev-1.14.0 als auch bei jev-1.13.0, und die Ausgabe ist kostenlos. S01 Eine Schätzung für Ihr eigenes Volumen liefert der Kostenrechner; wie man mehrere Fragen in einer Anfrage bündelt, beschreibt unser Artikel zum Fan-out-Muster.

Die Dokumentation sagt nichts über Slowakisch, und der Hersteller rät selbst, die Stufen an eigenen Daten zu prüfen. S04 Bei slowakischen Texten sollten Sie die Stufenbeschreibungen und Gewichte daher erst nach einem Versuch an einer Stichprobe festlegen; das Vorgehen beschreibt der Leitfaden Slowakisch testen.