Vercel 为 Jev 的不确定判断加入备用模型：工作原理

2026年10月6日，Vercel 在其 AI Gateway 服务中加入了一项与决策模型 Jev 直接相关的功能：当第一个模型的回答未满足您自行设定的置信度条件时，网关会用另一个模型重新执行整个判断。该功能目前仍为 beta 版。S43 原本需要写在自己代码里的安全兜底，现在只需在请求中用一个对象来描述。不过，它有一些规则，最好在投入生产之前了解清楚。

两种备用模型

当第一个模型执行失败时，AI Gateway 同样可以切换到另一个模型。新功能处理的是另一种情况：第一个模型成功作答，但回答并不确定。S44 在 providerOptions.gateway.models 列表中，这两种情况通过条目的形式区分。普通的模型名称是针对错误的备用模型。带有 when 字段的对象则是条件备用模型，只有当条件对第一个模型的回答成立时才会运行。不含条件对象的请求，行为与以前相同。S44

一个请求只能包含一个条件对象，并且它必须位于列表的第一位。其后可以跟随用于错误情况的普通备用模型。网关最多执行两轮成功的调用：重新执行之后不再检查条件，并直接返回备用模型的结果，不会混入第一轮的回答。备用模型会收到相同的 state 和全部原始问题，而不仅仅是那个不确定的问题。S44

条件：Choice 和 Score 看置信度，Noul 看概率

Choice 和 Score 问题使用 confidenceBelow。对于是/否问题（Vercel 称为 Boolean，在与 TypeSafe 兼容的 API 中称为 Noul），则改为用 probabilityBetween 为肯定回答的概率设定一个闭区间。confidenceBelow 不能用于 Noul 问题；网关会在模型运行之前以 400 错误拒绝此类请求。S44

如果省略 question 字段，条件将适用于该类型的所有问题，只要有一个回答不确定就会触发备用模型。条件可以通过 any、all 和 atLeast 组合；每组可包含 1 到 20 个条件，嵌套最多五层。S44 一个重要细节：当 Choice 或 Score 的回答没有有限的置信度值时，confidenceBelow 视为满足，网关会记录原因 confidence_unavailable。当模型拒绝回答该问题时，条件同样视为满足。S44

阈值 0.6 实际意味着什么

Vercel 文档中的示例对置信度使用 0.6 的阈值，对概率使用 0.4 到 0.6 的区间。S44 0.6 这个数值也出现在 TypeSafe 文档中按置信度路由的模式里。该模式以语音银行为例，把低于这一界限的情况转交人工处理，并对敏感操作要求更高的置信度。S35

但需要注意，confidence 并不是胜出选项的概率。TypeSafe 将其描述为概率分布集中程度的度量，取值范围为 0 到 1。对于 Choice，其计算公式为 (p_max - 1/n) / (1 - 1/n)，其中 n 为选项数量。S06 JEV.sk 按此公式自行换算：在三个选项、胜出概率为 0.6 的情况下，置信度为 0.4，因此在阈值为 0.6 时，这样的回答会被交给备用模型。

TypeSafe 的文档强调，合适的阈值取决于具体领域。S06 Vercel 建议记录第一个模型在哪些置信度值上出错，并设定能捕获那些值得为第二轮付费的错误的最窄阈值。S44 更多内容请参阅指南 confidence 与校准。

费用、延迟与零置信度陷阱

备用模型一旦运行，您需要为两轮调用付费。由于两轮依次执行，延迟也会叠加。如果备用模型失败，请求以错误结束，第一个模型的结果不会返回，而第一轮仍然计费。S44 根据 TypeSafe 的说明，Jev 本身每百万输入 token 收费 0.042 美元，输出 token 不收费。S01 但备用模型按其自身价格计费，因此最终费用主要取决于条件被满足的频率。估算时可参考指南 价格与限制。

如果备用模型是语言模型，它的回答没有置信度值，因为它返回的是单一的结构化值，没有概率分布。在与 TypeSafe 兼容的 API（POST /typesafe/v1/systemone）中，网关此时会返回 confidence: 0 和空的 probabilities。根据文档，这表示该值不可用，而不是置信度为零。S44 把低置信度结果送去人工审核的代码，如果不加修改，可能会把每个这样的结果都当作不确定。哪个模型给出了回答，可以从 model 字段或 provider_metadata.gateway.routing 中得知；备用模型运行时，还可以从 x-ai-gateway-decision-fallback-* 响应头中得知。S44

对斯洛伐克网店意味着什么

Vercel 文档中的示例展示了如何把客户请求分配给不同团队，例如账单、技术问题和账户访问。S44 在网店中，这与把消息分为退换货申请、配送和发票是类似的任务：Jev 处理明确的情况，不明确的情况由另一个模型接手，无需自己编写重试逻辑。

部署前请检查三件事。第一，保存响应中的 triggeredBy 列表，以便了解备用模型运行的频率以及针对哪些问题；费用和延迟都取决于此。S44 第二，如果您通过与 TypeSafe 兼容的 API 读取结果，请单独处理备用模型之后出现的零置信度。第三，TypeSafe 官方 SDK 在运行时会传递 providerOptions 字段，但其静态请求类型中尚未包含该字段，因此需要通过一个中间对象传入。S44 如何通过 API 和网关调用 Jev，请参阅指南 API 集成。我们曾在文章 Jev 作为低成本的第一道评判 中从研究角度讨论过类似的级联方式。

该功能仍为 beta 版，JEV.sk 尚未试用。以上内容均基于 Vercel 和 TypeSafe 的文档。