Kundennachrichten mit Jev sortieren: das Muster der Weiterleitung nach Absicht

TypeSafe beschreibt in seiner Dokumentation ein Muster namens Intent Routing, also die Weiterleitung nach Absicht. Es beruht auf der Idee, dass es sich lohnt, unterschiedliche Arten von Anfragen auf unterschiedliche Weise zu bearbeiten. Jev steht dabei am Eingang als schneller und günstiger Klassifikator, dahinter warten fester Code, ein spezialisiertes Sprachmodell oder ein Mensch. S58 Für einen Onlineshop, bei dem täglich Fragen zum Paketstatus, Rückgabewünsche und Beschwerden eingehen, ist das einer der direktesten Wege, ein Entscheidungsmodell einzusetzen. Der Artikel erläutert das Muster anhand der Herstellerdokumentation; JEV.sk hat es nicht gemessen.

Zwei Fragen in einer Anfrage

Das Beispiel in der Dokumentation stammt aus dem Kundensupport. Eine einzige Anfrage an TypeSafe enthält zwei Fragen zugleich. S58 Die erste ist eine Choice-Frage und bestimmt die Hauptabsicht der Nachricht aus vier Optionen: order_status für eine Frage zu einer bestehenden Bestellung, product_question für eine Frage zu einem Produkt vor dem Kauf, return_exchange für Rückgabe oder Umtausch und complaint für einen unzufriedenen Kunden, der Abhilfe möchte. S58 Die zweite ist eine Score-Frage und bewertet die Komplexität auf einer Skala von 0 bis 2. Null steht für eine einfache Abfrage oder ein Standardverfahren, eins erfordert Urteilsvermögen oder mehrere Schritte, und zwei kennzeichnet einen ungewöhnlichen Fall, bei dem eine Eskalation nötig sein kann. S58

Beide Fragen in einer Anfrage zu stellen, hat einen praktischen Grund. Die Dokumentation zur Choice-Frage rät, alle Fragen, die der Code brauchen könnte, auf einmal zu senden, weil sie parallel ausgewertet werden. Die Latenz steigt dadurch nur wenig, es kommen aber Token hinzu. S03 Den Unterschied zwischen den Fragetypen erklärt der Leitfaden Choice, Score und Noul.

Über den Weg entscheidet der Code, nicht das Modell

Jev liefert nur Antworten. Wohin die Nachricht weitergeht, bestimmt Ihre Anwendung nach Regeln, die die Dokumentation in dieser Reihenfolge aufführt: S58

1. Liegt die Sicherheit (confidence) bei der Absicht unter 0,5, erhält ein Mensch die Nachricht.
2. order_status erledigt fester Code, der die Bestellung ohne Sprachmodell nachschlägt.
3. product_question geht an ein auf Produkte ausgerichtetes Sprachmodell.
4. return_exchange geht an ein auf Rückgaben ausgerichtetes Modell.
5. complaint geht an einen Menschen, wenn die Komplexität über 1 liegt oder die Sicherheit bei der Komplexität unter 0,5. Andernfalls bearbeitet sie ein Modell, das für die Lösung von Beschwerden bestimmt ist.

Teurere Ressourcen kommen laut Dokumentation so nur dann zum Einsatz, wenn eine Anfrage sie wirklich braucht. S58 Zur zusätzlichen Prüfung der Sicherheit bei der Komplexität ergänzt die Seite, dass die Bedeutung einer niedrigen Sicherheit nach dem Kontext des Systems und danach zu beurteilen ist, was bei der Entscheidung auf dem Spiel steht. S58

Was der Schwellenwert 0,5 tatsächlich bedeutet

Die Sicherheit ist eine Zahl von 0 bis 1, die aus der Verteilung der Wahrscheinlichkeiten abgeleitet wird. Der Wert 1 bedeutet, dass die gesamte Wahrscheinlichkeit auf eine Option entfällt, der Wert 0 eine gleichmäßige Verteilung. S06 Für eine Choice-Frage mit n Optionen nennt die Dokumentation die Formel (p_max − 1/n) / (1 − 1/n), wobei p_max die höchste Wahrscheinlichkeit ist. S06 Setzt man die vier Absichten aus dem Beispiel ein, entspricht einer Sicherheit von 0,5 eine höchste Wahrscheinlichkeit von 0,625. Das ist unsere eigene Berechnung aus der Formel, keine Angabe des Herstellers. Ein Schwellenwert von 0,5 bedeutet also nicht, dass das Modell zwischen zwei Optionen halbe-halbe schwankt.

Konkrete Schwellenwerte hält der Hersteller nicht für allgemeingültig. Die richtigen Grenzen hängen seiner Ansicht nach von der Domäne und von der Leistung des Modells im jeweiligen Einsatz ab, deshalb empfiehlt er, vorsichtig zu beginnen und sie an eigenen Daten zu überprüfen. S06 Die Seite behauptet zudem nicht, dass die Sicherheit der tatsächlichen Genauigkeit entspricht. S06 Ausführlicher behandelt das der Leitfaden Confidence und Kalibrierung.

Was ein slowakischer Onlineshop daraus mitnehmen kann

Die vier Kategorien aus dem Beispiel lassen sich fast unverändert auf den Support eines gewöhnlichen slowakischen Onlineshops übertragen. Die folgenden Punkte sind ein Vorschlag von JEV.sk, nicht Teil der Dokumentation.

• Überlassen Sie den Bestellstatus dem Code. Das Muster schickt order_status direkt an eine Abfrage ohne Sprachmodell. S58 Enthält eine Nachricht eine Bestellnummer, setzen Datenbank und Vorlage die Antwort zusammen, ein generatives Modell ist nicht nötig.
• Schreiben Sie Optionsbeschreibungen so, dass sie die Optionen voneinander abgrenzen. Das Modell sieht die Kennung der Frage nicht, wohl aber die Namen der Optionen und ihre Beschreibungen. S03 Leicht verwechselbare Optionen können Sie statt mit einer kurzen Zeichenkette mit einem Objekt beschreiben, etwa mit Feldern dazu, was die Option abdeckt, wofür sie nicht gedacht ist, und mit Beispieleingaben. S03 Bei uns würde das zum Beispiel bei der Unterscheidung zwischen einer Warenrückgabe und einer Reklamation wegen eines Mangels helfen.
• Rechnen Sie mit Nachrichten außerhalb der Liste. Wenn die Liste nicht jede Eingabe abdecken kann, empfiehlt die Dokumentation eine Option other oder „keine der genannten“. Zugleich räumt sie ein, dass diese in vielen Fällen nicht gut funktionieren muss, und bietet als Alternative eine eigene Noul-Frage an, die prüft, ob eine der Optionen passt. S03 Choice akzeptiert bis zu 255 Optionen. S03
• Das Modell darf einen Fall nicht selbst abschließen. Das Muster überlässt komplexe Beschwerden einem Menschen. S58 Wie wir auch im Leitfaden Jev für Onlineshops schreiben, ist das Ergebnis der Einordnung ein Vorschlag für die Weiterleitung, keine Entscheidung über den Anspruch des Kunden.

Die Einordnung ist günstig, aber nicht kostenlos. TypeSafe berechnet 0,042 USD pro Million Eingabe-Token, die Ausgabe ist kostenfrei. S01 Jede weitere Option fügt einige Token hinzu, ebenso jede weitere Frage. S03 An einen verwandten Gedanken, Jev als Dispatcher vor teureren Agenten, knüpft auch unser Artikel Jev als Dispatcher für mehrere Agenten an.

Wo das Muster nicht ausreicht

Die Dokumentation zeigt ein Gerüst, kein fertiges System. Sie gibt weder an, wie genau Jev die Absicht auf Slowakisch bestimmt, noch nennt sie die im Beispiel verwendete Modellversion. S58 Vor dem Einsatz empfehlen wir daher, eine Stichprobe echter Nachrichten durchzugehen, das Ergebnis mit einer manuellen Einordnung zu vergleichen und erst danach die Schwellenwerte festzulegen. Wie man mit slowakischen Texten umgeht, beschreibt der Leitfaden Slowakisch testen.