选项顺序一换，Jev 的答案变化比准确率显示的更大

在 Choice 问题中调换选项顺序时，Jev 的平均准确率几乎不变。不过，一篇新的预印本表明，这个稳定的数字背后藏着另一个问题：模型在某种顺序下答对的题目，换一种顺序后常常会答错。S70 因此，用 Jev 对消息、订单或商品进行分类的人，不应只凭一个准确率数字来检验自己的方案。

作者研究了什么

这篇预印本的作者是腾讯 Foundation Model Department 的 Mingyang Song、Mao Zheng、Zhiyuan Ma 和 Xinpeng Zhou。S70 第一版于 2026年10月26日提交，2026年10月27日又发布了第二版。本文中的数字均来自第二版。S71 作者想知道：一个直接在给定选项之间分配概率的模型，是否较少受到选项排列顺序的影响。S70

他们通过原生决策接口使用 Jev 1.13 和 Jev 1.14，并将其与六个生成式模型（包括 Claude Sonnet 5.5、GPT-6.1-sol 和 Gemini 3.8 Flash）以及 12 个 Jev 的开源仿制模型进行比较。S70 主数据集共有 1,700 道题：1,200 道来自 SuperGPQA，500 道来自 LEXam，每道题有 4、8、16 或 32 个选项。S70 每道题向模型提问八次：原始顺序、倒序以及六种随机顺序。题目措辞和选项内容保持不变。S70 作为对照，作者还把同一道题按不变的顺序发送了八次。S70

准确率不动，错误在转移

根据摘要，Jev 在不同顺序之间的准确率差异不到两个百分点。但它至少答错过一次的题目集合扩大了 27.3% 至 28.5%。S70 也就是说，错误并不停留在同一批题目上，每换一种顺序，出错的题目都会有所不同。

最能说明问题的是重复提问与重新排序的对比。在相同顺序下重复提问时，Jev 失去了最初答对题目中的 8.8% 至 9.2%；调换选项顺序时则失去了 27.0% 至 27.8%。S70 开源仿制模型在重复提问时几乎不变，只失去 0 至 1.3% 的正确答案，但在重新排序时失去了 23.2% 至 64.2%。S70 因此，对同一请求给出相同答案，并不能说明模型在另一种顺序下的表现。

在这项研究中，Jev 既没有明显优于其他模型，也没有明显逊色。在它答对的题目中，有 72.2% 至 73.0% 在全部八种呈现方式下都保持了正确答案。四个生成式模型保持得更多，为 75.7% 至 88.9%，另有两个更少。S70 因此，作者写道，他们没有发现 Jev 具有普遍优势。S70

投票和一致性帮助有限

一个简单的补救办法是：用几种顺序发送同一道题，取出现次数最多的答案。对 Jev 来说，与单次呈现的平均准确率相比，1.13 版提高了 0.96 个百分点，1.14 版提高了 1.01 个百分点。生成式模型的提升幅度在 0.46 至 5.63 个百分点之间。S70 一致性也不能证明答案正确。Jev 在 57.7% 至 59.1% 的题目上于全部八种呈现中选择了同一个选项，而这些答案中正确的占 62.1% 至 63.3%，即有 36.7% 至 37.9% 是错误的。S70

这对斯洛伐克网店意味着什么

预印本中的数据集是高难度的专业测试题，而不是商品归类或客户消息，因此这些数字不能直接套用。不过，预印本确实表明：重复提问时的稳定性，并不能说明换一种选项顺序时的稳定性。S70

以下是 JEV.sk 自己的建议，预印本并未测试：在用自己的数据检验 Jev 时，例如把商品分配到类目，请用几种不同的选项顺序发送同样的样例。要追踪哪些具体案例改变了答案，而不只看平均准确率。用相同输入重复调用无法替代这项检查。在生产环境中，请按固定顺序发送选项，以便长期比较结果。那些在顺序变化时答案翻转的案例，适合转交人工处理或采用更严格的阈值。阈值的用法见指南confidence 与校准，问题类型见页面Choice、Score 和 Noul。

每多一种顺序就多一次请求。TypeSafe 对输入 token 按每百万 0.042 美元收费，输出 token 免费。S01 多次发送同一道题需要多少费用，可以用成本计算器算一算。

预印本的局限

这是一篇预印本。结果只适用于一套固定的任务和八种呈现方式，而且领域、语言、难度和选项数量是一起变化的。S70 选项标识随内容一起移动，因此该研究无法区分位置的影响和标识的影响。S70 Jev 的构建和训练方式并未公开，因此作者没有确定差异的原因。此外，各模型在训练和接口上都不同，所以它们之间的比较并不是因果性的。S70

测试的是 1.13 和 1.14 两个版本，预印本没有指出两者之间的明确胜者。S70 别名 jev-latest 目前指向 jev-1.14.0，文档提醒别名可能会切换到新版本。需要稳定答案的人应使用具体的版本 ID。S01