多一个选项就会改变 Jev 的概率：一篇新预印本的发现

一篇于2026年10月12日发布在 arXiv 上的预印本，关注的是决策模型中一个容易被忽视的性质：当问题中再加入第三个选项时，两个选项之间的概率比是否保持不变。来自 AltSlate Labs LLP 公司的作者研究了模型 jev-1.13.0，并认为在他们的研究中，该模型不满足这一条件。S54 凡是对 confidence 设置阈值，或在不同类别列表之间比较数值的人，都应当了解这一点。这只是一篇预印本，JEV.sk 没有对其中任何内容做过测量。

作者测量了什么、如何测量

在决策理论中，这一性质称为无关选项独立性（IIA）。S54 作者预先登记了五项假设，并在第一次测量调用之前冻结了数据条目、干扰选项和分析代码。在 200 个条目上进行的试点运行没有计入验证性检验。S54

他们使用了分类数据集 BANKING77 和 CLINC150，各 1,000 个条目，另以 AG News 的 500 个条目作为对照。总共发送了 299,463 次调用，其中包括检查模型在运行期间是否发生变化的调用，作者报告的总成本为 6.79 美元。每次调用都固定指定了模型版本。S54 每种选项组合都运行了两次，以便把真实的偏移与运行之间的正常波动区分开。S54

偏移是在所谓的争议条目上跟踪的，即正确答案和最强的错误答案都至少获得 0.05 的条目，共有 647 个。S54 作者随后在这一对选项之外再加入一个选项：来自完全不同领域的主题、随机类别、与其中一个选项相近的类别，或者错误选项的改写版本。S54

结果显示了什么

仅加入一个选项，就在全部十个主要组合中改变了概率比。在对数几率尺度上，系统性偏移达到 0.20 至 0.52 nat，而两次相同运行之间的波动为 0.15 至 0.17。S54 即使来自其他领域的选项最多只获得 0.1% 的概率，概率比也会发生变化。S54

变化的方向并不总是不利的。与错误答案相近的类别使概率比向正确答案一侧移动了 +0.099 nat。错误选项的改写版本获得的份额，约占它与原错误选项合计份额的三分之一。S54

效应随列表长度增加而增大。作者最多尝试了 255 个选项；当他们用无关类别把列表填充到 255 项时，准确率从 0.853 降至 0.814。S54

有两项发现较为令人安心。当他们在同一次调用中给 Choice 问题附加 1 至 128 个无关的是/否问题时，概率的平均变化在每种条件下都小于 0.0006。S54 而为每个选项单独提一个是/否问题，得到的分数不受其他选项影响，但在挑选答案时，准确率比使用 Choice 低 0.087。S54 因此在作者看来，Jev 为某个选项返回的数值应放在整个列表的背景下理解，而不是该选项本身的属性。S54

对斯洛伐克网店意味着什么

常见的部署是把客户留言分到“投诉”“配送”或“发票”等类别，并设定一个 confidence 阈值，超过阈值时系统自行处理。作者建议只在同一个选项组合内比较概率，并在列表每次变化后重新调整阈值。S54 如果网店新增一个类别，按照预印本的结果，原有类别之间的概率比也可能随之变化，因此需要在自己的数据上重新检查阈值。S54

作者的其他建议包括：去掉几乎相同的选项，不要用偏离主题的类别填充列表，用 Choice 挑选答案，并通过单独的是/否问题获得可比较的分数。他们认为，相互独立的问题可以放在一次调用中发送。当概率确实重要时，他们建议对重复运行以及选项的两种排列顺序取平均。S54 Choice 问题的写法见指南 Choice、Score 与 Noul，阈值的使用见指南 confidence 与校准，网店中的典型用法见页面 Jev 与网店。此前一篇关于选项名称的预印本同样关注选项的组织方式，但研究的是其他模型。

适用于哪个版本

这些结果适用于 jev-1.13.0。TypeSafe AI 于2026年10月14日发布了标识为 jev-1.14.0 的 Jev 1.14，可通过别名 jev-preview 使用，而别名 jev-latest 仍指向 jev-1.13.0。S01 作者本人也提醒，较新的版本可能表现不同。S54

研究的局限

作者只测试了一个模型版本和一种任务类型：归入单一类别，且选项只有名称、没有较长的说明。S54 材料由语言模型而非人工检查，改写后的选项同样由语言模型起草。偏移分析只覆盖争议条目，约占全部条目的四分之一。他们没有直接研究列表影响结果的机制，他们的解释是根据模型的行为推断出来的。S54 由于这只是预印本，文本尚未经过同行评审。