Confidence ist keine Garantie für die Wahrheit

Was das Modell zurückgibt und was die Anwendung daraus ableitet

Bei Choice und Score wird confidence aus der Wahrscheinlichkeitsverteilung berechnet. Der Wert drückt aus, wie stark diese Verteilung konzentriert ist, und ist keine unabhängige Überprüfung der Antwort. Schwellenwerte sollen an die konkrete Aufgabe und an die Folgen eines Fehlers angepasst werden. S06

TypeSafe beschreibt das RLCD-Training als Versuch, gut kalibrierte Entscheidungen zu erhalten. Kalibrierung wird über eine Gruppe von Vorhersagen hinweg bewertet; sie garantiert nicht, dass eine konkrete Antwort, der das Modell eine hohe Wahrscheinlichkeit zuweist, richtig ist. S09

Unser Vorschlag zur Überprüfung

Bereiten Sie zuerst manuell bewertete Beispiele vor. Halten Sie getrennte Daten für den Entwurf der Fragen, die Festlegung der Schwellenwerte und den abschließenden Test bereit. Verwenden Sie bei einer kleinen Stichprobe keine Prozentwerte mit Nachkommastellen als Beleg für hohe Gewissheit.

Beobachten Sie die Genauigkeit der automatisch angenommenen Fälle und deren Anteil. Ein Modell, das fast alles an einen Menschen weitergibt, kann im kleinen automatisierten Teil eine hohe Genauigkeit erreichen, aber einen dürftigen praktischen Nutzen haben. Umgekehrt kann ein hoher Automatisierungsanteil zu viele teure Fehler verbergen.

Simulator auf JEV.sk

Der Simulator auf JEV.sk erklärt diesen Kompromiss anhand manuell erstellter Werte. Er wechselt zwischen einer eindeutigen Anfrage, einer unklaren Anfrage und einem absichtlich selbstsicheren Irrtum. Keine Zahl in der Simulation ist eine gemessene Wahrscheinlichkeit von Jev, und die Simulation überprüft das Modell nicht.

Eine automatische Entscheidung braucht vorab festgelegte Grenzen. Für Geldtransfers, das Löschen von Daten und Änderungen von Berechtigungen reicht ein Schwellenwert allein nicht aus. Wir empfehlen unabhängige Regeln und eine Freigabe.