Vercel ergänzt ein Ausweichmodell für unsichere Jev-Entscheidungen

Am 6. Oktober 2026 hat Vercel seinem Dienst AI Gateway eine Funktion hinzugefügt, die das Entscheidungsmodell Jev direkt betrifft: Erfüllt die Antwort des ersten Modells eine von Ihnen festgelegte Konfidenzbedingung nicht, wiederholt das Gateway die gesamte Entscheidung mit einem anderen Modell. Die Funktion befindet sich noch in der Beta-Phase. S43 Eine Absicherung, die sonst im eigenen Code stecken müsste, lässt sich damit über ein einziges Objekt in der Anfrage beschreiben. Sie folgt jedoch Regeln, die Sie kennen sollten, bevor Sie sie produktiv einsetzen.

Zwei Arten von Ausweichmodellen

AI Gateway kann auch dann auf ein anderes Modell wechseln, wenn das erste bei der Ausführung scheitert. Die neue Funktion deckt einen anderen Fall ab: Das erste Modell antwortet erfolgreich, aber die Antwort ist unsicher. S44 In der Liste providerOptions.gateway.models unterscheiden sich beide Fälle durch die Form des Eintrags. Ein einfacher Modellname ist ein Ausweichmodell für Fehler. Ein Objekt mit dem Feld when ist ein bedingtes Ausweichmodell, das nur läuft, wenn die Bedingung für die Antwort des ersten Modells zutrifft. Anfragen ohne bedingtes Objekt verhalten sich wie bisher. S44

Eine Anfrage darf nur ein bedingtes Objekt enthalten, und es muss an erster Stelle der Liste stehen. Danach können einfache Ausweichmodelle für Fehler folgen. Das Gateway führt höchstens zwei erfolgreiche Durchläufe aus: Nach der Wiederholung prüft es die Bedingung nicht erneut und gibt das Ergebnis des Ausweichmodells zurück, ohne Antworten aus dem ersten Durchlauf beizumischen. Das Ausweichmodell erhält denselben state und alle ursprünglichen Fragen, nicht nur die unsichere. S44

Bedingungen: Konfidenz bei Choice und Score, Wahrscheinlichkeit bei Noul

Bei Choice- und Score-Fragen wird confidenceBelow verwendet. Bei Ja/Nein-Fragen (Vercel nennt sie Boolean, in der TypeSafe-kompatiblen API heißen sie Noul) geben Sie stattdessen mit probabilityBetween einen geschlossenen Bereich für die Wahrscheinlichkeit einer positiven Antwort an. confidenceBelow lässt sich bei einer Noul-Frage nicht verwenden; das Gateway lehnt eine solche Anfrage mit dem Fehler 400 ab, bevor das Modell läuft. S44

Lassen Sie das Feld question weg, gilt die Bedingung für alle Fragen dieses Typs, und schon eine unsichere Antwort löst das Ausweichmodell aus. Bedingungen lassen sich mit any, all und atLeast kombinieren; jede Gruppe darf 1 bis 20 Bedingungen enthalten, verschachtelt höchstens fünf Ebenen tief. S44 Ein wichtiges Detail: Hat eine Choice- oder Score-Antwort keinen endlichen Konfidenzwert, gilt confidenceBelow als erfüllt, und das Gateway vermerkt den Grund confidence_unavailable. Die Bedingung ist auch dann erfüllt, wenn das Modell die Antwort auf die Frage verweigert hat. S44

Was ein Schwellenwert von 0,6 tatsächlich bedeutet

Die Beispiele in der Dokumentation von Vercel verwenden einen Schwellenwert von 0,6 für die Konfidenz und einen Bereich von 0,4 bis 0,6 für die Wahrscheinlichkeit. S44 Der Wert 0,6 taucht auch im Muster für konfidenzbasiertes Routing in der Dokumentation von TypeSafe auf. Am Beispiel eines Sprach-Bankings gibt es Fälle unterhalb dieser Grenze an einen Menschen ab und verlangt bei heiklen Aktionen eine höhere Konfidenz. S35

Beachten Sie jedoch, dass confidence nicht die Wahrscheinlichkeit der gewinnenden Option ist. TypeSafe beschreibt sie als Maß dafür, wie konzentriert die Wahrscheinlichkeitsverteilung ist, auf einer Skala von 0 bis 1. Bei Choice wird sie als (p_max - 1/n) / (1 - 1/n) berechnet, wobei n die Anzahl der Optionen ist. S06 Eigene Rechnung von JEV.sk nach dieser Formel: Bei drei Optionen und einer Gewinnerwahrscheinlichkeit von 0,6 ergibt sich eine Konfidenz von 0,4, sodass eine solche Antwort bei einem Schwellenwert von 0,6 an das Ausweichmodell ginge.

Die Dokumentation von TypeSafe betont, dass die richtigen Schwellenwerte von der Domäne abhängen. S06 Vercel empfiehlt, festzuhalten, bei welchen Konfidenzwerten das erste Modell Fehler macht, und den engsten Schwellenwert zu wählen, der die Fehler erfasst, für die sich ein zweiter Durchlauf lohnt. S44 Mehr dazu lesen Sie im Leitfaden Confidence und Kalibrierung.

Kosten, Latenz und die Falle mit der Konfidenz null

Läuft das Ausweichmodell, zahlen Sie für beide Durchläufe. Da sie nacheinander laufen, addiert sich auch ihre Latenz. Scheitert das Ausweichmodell, endet die Anfrage mit einem Fehler, das Ergebnis des ersten Modells wird nicht zurückgegeben, und der erste Durchlauf wird trotzdem berechnet. S44 Jev selbst kostet laut TypeSafe 0,042 USD pro Million Eingabe-Token, Ausgabe-Token werden nicht berechnet. S01 Das Ausweichmodell wird jedoch nach seinen eigenen Preisen abgerechnet, sodass die Gesamtkosten vor allem davon abhängen, wie oft die Bedingung erfüllt ist. Bei der Schätzung hilft der Leitfaden Preise und Limits.

Ist das Ausweichmodell ein Sprachmodell, hat seine Antwort keinen Konfidenzwert, weil es einen einzelnen strukturierten Wert ohne Wahrscheinlichkeitsverteilung liefert. In der TypeSafe-kompatiblen API (POST /typesafe/v1/systemone) gibt das Gateway dann confidence: 0 und leere probabilities zurück. Laut Dokumentation bedeutet das, dass der Wert nicht verfügbar ist, nicht dass die Konfidenz null wäre. S44 Code, der Ergebnisse mit niedriger Konfidenz zur manuellen Prüfung weiterleitet, könnte ohne Anpassung jedes solche Ergebnis als unsicher behandeln. Welches Modell geantwortet hat, erfahren Sie aus dem Feld model oder aus provider_metadata.gateway.routing; wenn das Ausweichmodell gelaufen ist, auch aus den Headern x-ai-gateway-decision-fallback-*. S44

Was das für einen slowakischen Onlineshop bedeutet

Die Beispiele in der Dokumentation von Vercel zeigen, wie Kundenanfragen auf Teams verteilt werden, etwa Abrechnung, technische Probleme und Kontozugang. S44 In einem Onlineshop ist das eine ähnliche Aufgabe wie das Sortieren von Nachrichten nach Reklamationen, Versand und Rechnungen: Jev erledigt die eindeutigen Fälle, die unklaren übernimmt ein anderes Modell, ohne dass Sie eine eigene Wiederholungslogik brauchen.

Prüfen Sie vor dem Einsatz drei Dinge. Erstens: Speichern Sie die Liste triggeredBy aus der Antwort, damit Sie sehen, wie oft und bei welchen Fragen das Ausweichmodell läuft; davon hängen Kosten und Latenz ab. S44 Zweitens: Wenn Sie Ergebnisse über die TypeSafe-kompatible API auslesen, behandeln Sie die Konfidenz null nach einem Ausweichdurchlauf gesondert. Drittens: Das offizielle SDK von TypeSafe reicht das Feld providerOptions zur Laufzeit weiter, führt es aber im statischen Anfragetyp noch nicht, daher muss es über ein Zwischenobjekt übergeben werden. S44 Wie Jev über APIs und Gateways aufgerufen wird, beschreibt der Leitfaden API-Integration. Eine ähnliche Kaskade aus Sicht der Forschung haben wir im Artikel Jev als günstiger erster Bewerter besprochen.

Die Funktion befindet sich in der Beta-Phase, und JEV.sk hat sie nicht ausprobiert. Alle Angaben beruhen auf der Dokumentation von Vercel und TypeSafe.