不止一个正确答案时：关于 Jev 概率的一篇预印本

2026年10月21日，arXiv 上发布了一篇预印本，讨论一种在实践中比想象中更常见的情况：选项列表中正确的不止一个。作者 Rushab Munot（署名为独立研究者）将 jev-1.13.0 与另外两个决策模型进行了比较。根据他的结果，Choice 问题返回的概率能够为正确选项排序，却无法说明其中每一个究竟有多正确。S60 凡是从一次 Choice 结果中同时选出多个类别的人，例如为一条消息指定两个部门，都需要注意这一点。这是一篇未经同行评审的预印本，JEV.sk 没有对其中任何内容做过测量。

作者研究了什么

Choice 为每个选项返回一个概率，所有数值之和为 1，答案是数值最高的选项。S03 这篇预印本考察的是：当正确选项有多个时，能否从这样的分布中读出全部正确选项，以及单一阈值能否把它们与错误选项分开。S60

作者通过 TypeSafe API 调用 Jev，并通过 Vercel AI Gateway 调用 Liquid d1 和 GPT-6 Luna Decisions 两个模型。这两个模型的厂商不公布版本号，因此结果描述的是该网关在2026年10月提供的版本。S60 数据来自三个英文数据集。工具选择数据集 MetaTool 共有 4,287 条查询，其中 497 条有两个正确工具。作者从 HotpotQA 中使用了 7,405 个列表，这些问题的答案需要两段文字。第三个数据集是欧洲人权法院（ECtHR）的 1,000 个案件，每个列表含十个条款，其中 192 个案件有两到四个被违反的条款。S60

第二个正确选项往往分到很少

主要测量针对恰好有两个正确选项的列表。对 Jev 而言，两个正确选项中较高与较低的概率平均相差：MetaTool 上 74 个百分点，HotpotQA 上 60 个，ECtHR 上 58 个。S60 即使两个正确选项都排在所有错误选项之前，在 Jev 的这类列表中，仍有 31%至50%的情况下其中一个得到的概率低于均匀分配时应得的份额（1/n）。三个模型合计为 28%至50%。S60 作者提醒，低于 1/n 的数值本身并不等于错误，因为正确选项的相关程度不一定相同。S60

HotpotQA 中一个必须依靠两段文字才能回答的问题可以说明这一点：Jev 给其中一段 0.93，另一段只有 0.07。S60

另一项测试发送了同一个正确选项的五个完全相同的副本。合理的做法是把概率平均分给它们。对 Jev 而言，最高与最低副本平均相差 17 至 26 个百分点，其余两个模型则相差 37 至 79 个百分点。这两个模型还在 76%至98%的回答中选择了第一个副本。S60 在 ECtHR 上，Jev 有 56%的回答选择了最后一个副本；作者认为位置效应既取决于模型，也取决于数据。S60

一个阈值找不全整组答案

想从列表中选出全部正确选项，就需要一个阈值。预印本中，针对列表概率的最佳阈值在 0.02 至 0.08 之间，明显低于 TypeSafe 文档示例中的 0.25。S60 在该示例中，当第二个团队的概率超过 0.25 时，代码会把消息抄送给这个团队。S03 即便采用最佳阈值，Jev 完全命中正确选项集合的比例也不超过：MetaTool 上 0.57，HotpotQA 上 0.62，ECtHR 上 0.52。S60

把列表换成针对每个选项单独提问的是非题也没有帮助。在 9 个模型与数据集组合中，有 8 个的整组准确率下降，Jev 降至 0.31、0.29 和 0.44。S60 这些问题的总体校准误差看起来不错，为 3 至 9 个百分点，但 46%至78%的回答落在 0 至 0.1 区间，而该区间中至少 92%是错误选项。去掉这一区间后，误差升至 8 至 18 个百分点。S60

这对斯洛伐克网店意味着什么

常见情形是：顾客在一条消息里同时处理退货和发票问题，或者某件商品同时属于两个类别。如果系统按照 Choice 概率上的固定阈值来添加第二个类别，根据这篇预印本，正确的第二个选项可能只得到很低的数值，在上面的例子中是 0.07。S60 JEV.sk 的建议是：用自己已标注的消息（其中包括有多个正确答案的情况）来设定选择多个类别的阈值，不要把文档示例中的数值当作起点。Choice 问题的写法见指南Choice、Score 和 Noul，阈值的使用见置信度与校准，消息分拣本身见关于按意图路由的文章。

第二个陷阱是列表中没有任何正确选项。在没有“以上都不是”选项时，各模型的平均置信度在 HotpotQA 上为 0.49 至 0.71，在 MetaTool 和 ECtHR 上为 0.74 至 0.87。S60 针对这种情况，TypeSafe 文档建议在 Choice 之外再加一个单独的 Noul 问题，例如消息是否提到了你的任何产品，并且只在 Noul 回答为“是”时才读取 Choice 的答案。S03 另外值得一提的是，GPT-6 Luna Decisions 拒绝回答了 11.7%的列表和问题，而 Jev 和 Liquid d1 都没有拒绝任何一个。S60 即使只有一个正确答案，列表的构成也会产生影响，这一点在早先一篇关于选项列表的预印本中已有体现。

模型版本与研究局限

这些结果适用于 jev-1.13.0。自2026年10月14日起，jev-1.14.0 也可通过别名 jev-preview 使用，而 jev-latest 仍指向 jev-1.13.0。S01 作者只研究了三个托管模型和三个英文数据集，正确集合由各数据集自身的标签确定。他每个数据集只测试了一个阈值，每个选项只用一个是非题；没有研究按样本设定的阈值，也没有研究固定数量的选择。其他存在多个正确答案的任务，例如医学诊断，未纳入研究。S60 他的结论很审慎：Choice 的概率适合用来排序，而不应被当作某个选项正确的概率估计。S60