用 Jev 分拣客户消息：按意图路由的模式

TypeSafe 在文档中介绍了一种名为 intent routing（按意图路由）的模式。它的出发点是：不同类型的请求值得用不同的方式处理。在这种模式中，Jev 位于入口处，充当快速、低成本的分类器，其后是固定代码、专门的语言模型或人工。S58 对于每天都会收到包裹状态询问、退货请求和投诉的网店来说，这是使用决策模型最直接的方式之一。本文依据厂商文档解析这一模式；JEV.sk 并未对其进行测量。

一次请求中的两个问题

文档中的示例来自客户支持场景。发往 TypeSafe 的一次请求同时包含两个问题。S58 第一个是 Choice 问题，从四个选项中确定消息的主要意图：order_status 表示询问已有订单，product_question 表示购买前询问产品，return_exchange 表示退货或换货，complaint 表示客户不满并希望得到解决。S58 第二个是 Score 问题，在 0 到 2 的量表上评估复杂度。0 表示简单查询或常规流程，1 表示需要判断或多个步骤，2 表示不寻常的情况，可能需要升级处理。S58

在一次请求中同时提出两个问题有其实际原因。Choice 问题的文档建议一次性发送代码可能需要的所有问题，因为这些问题是并行评估的。因此延迟只会略有增加，但 token 会增多。S03 各类问题的区别见指南Choice、Score 和 Noul。

决定路径的是代码，而不是模型

Jev 只返回答案。消息接下来去往何处，由您的应用程序按照文档列出的以下顺序规则决定：S58

1. 当意图的置信度（confidence）低于 0.5 时，消息转交人工处理。
2. order_status 由固定代码处理，不经语言模型直接查询订单。
3. product_question 交给专注于产品的语言模型。
4. return_exchange 交给专注于退换货的模型。
5. complaint 在复杂度高于 1 或复杂度置信度低于 0.5 时转交人工处理；否则由专门处理投诉的模型处理。

根据文档，这样只有在请求确实需要时才会动用更昂贵的资源。S58 关于对复杂度置信度的额外检查，该页面补充说明：低置信度意味着什么，应结合系统的上下文以及该决策的利害关系来判断。S58

阈值 0.5 实际意味着什么

置信度是根据概率分布得出的 0 到 1 之间的数值。值为 1 表示全部概率落在一个选项上，值为 0 表示均匀分布。S06 对于有 n 个选项的 Choice 问题，文档给出的公式为 (p_max − 1/n) / (1 − 1/n)，其中 p_max 是最高概率。S06 将示例中的四个意图代入公式，置信度 0.5 对应的最高概率为 0.625。这是我们根据公式自行换算的结果，并非厂商给出的数据。因此，阈值 0.5 并不表示模型在两个选项之间五五开。

厂商并不认为具体的阈值是通用的。它认为合适的界限取决于领域以及模型在具体用途中的表现，因此建议从保守的设置开始，并用自己的数据加以检验。S06 该页面也没有声称置信度与实际准确率相符。S06 更详细的讨论见指南confidence 与校准。

斯洛伐克网店可以从中借鉴什么

示例中的四个类别几乎无需修改即可用于一家普通斯洛伐克网店的客户支持。以下几点是 JEV.sk 的建议，并非文档内容。

• 把订单状态交给代码。 该模式将 order_status 直接送去查询，不经语言模型。S58 当消息中包含订单号时，回复由数据库和模板拼合而成，无需生成式模型。
• 选项描述要能把各选项区分开。 模型看不到问题的标识符，但能看到选项名称及其描述。S03 容易混淆的选项可以不用简短字符串，而改用对象来描述，例如包含该选项涵盖什么、不适用于什么以及输入示例等字段。S03 在我们这里，这例如适用于区分商品退货和质量缺陷投诉。
• 为列表之外的消息做好准备。 当列表可能无法覆盖所有输入时，文档建议添加 other 或“以上都不是”选项。同时它也承认，这一选项在许多情况下可能效果不佳，并提出另一种做法：单独使用一个 Noul 问题，检查是否有任一选项适用。S03 Choice 最多可接受 255 个选项。S03
• 模型不得自行结案。 该模式将复杂投诉交给人工。S58 正如我们在指南面向网店的 Jev中所写，分类结果只是路由建议，而不是对客户诉求的裁定。

分类成本低，但并非免费。TypeSafe 按每百万输入 token 0.042 USD 收费，输出免费。S01 每增加一个选项会增加几个 token，每增加一个问题也是如此。S03 与之相关的思路，即让 Jev 在更昂贵的智能体之前担任调度者，也是我们的文章Jev 担任多智能体调度所讨论的内容。

这一模式的不足之处

文档展示的是一个框架，而不是成品系统。它既没有说明 Jev 判断斯洛伐克语消息意图的准确程度，也没有指明示例中使用的具体模型版本。S58 因此，在部署之前，我们建议先抽取一批真实消息，将结果与人工分类进行比较，然后再设定阈值。如何处理斯洛伐克语文本，见指南斯洛伐克语测试。