同一案例，不同决策：关于 Choice 与 Noul 一致性的预印本

一篇于2026年10月28日发布在 arXiv 上的预印本，探讨了决策模型中一个容易被忽视的问题：把同一个案例一次以 Choice 问题、另一次以 Noul 问题交给模型时，能否得到相同的决策？来自浙江大学和 vivo 公司的作者给出的回答是：并非总能如此，而且他们把答案之间的不一致视为决策出错的有用信号。S73 对于依赖概率阈值的开发者来说，这意味着一种简单的防护手段。这是一篇未经同行评审的预印本，JEV.sk 没有对其中任何内容做过测量。

作者研究了什么

他们把不同问题类型之间的一致性理解为：同一个状态无论以哪种问题类型交给模型，都应得出相同的决策。S73 为此，他们构建了名为 PrimaCons 的测试集，包含四个维度。S73

• 互补。 在 HaluEval 数据集上，模型先被问回答是否包含幻觉，再反过来被问回答是否符合事实，此外还收到一个二元 Choice 问题。S73
• 标签层级。 模型在 2 类、6 类和 12 类三个层级上对 PKU-SafeRLHF 数据集中的不安全样本进行分类。S73
• 弃答。 在 AbstentionBench 上，模型可以在 Choice 问题中选择“无法回答”这一选项，也可以通过 Noul 问题表达不可回答性。S73
• 标签描述。 模型把 AG News 中四个类别的新闻分别通过带名称的 Choice、带描述的 Choice，以及针对每个类别单独提出的 Noul 问题进行归类。S73

每个维度有 6,000 个条目用于校准，测试部分同样有 6,000 个条目，只有层级维度为 4,000 个。S73 被评估的模型标记为 JevK5-2B、JevK5-4B 和 JevK5-9B。预印本既没有提到 TypeSafe AI，也没有提到厂商文档中列出的标识 jev-1.13.0 和 jev-1.14.0，因此从文中无法看出这是否就是 TypeSafe AI 通过其 API 提供的模型。S73 S01

结果显示了什么

据作者称，四个维度、三种规模上都出现了不一致。S73 在互补维度上，正向与反向表述的 Noul 问题之间的平均差异（反向答案换算为 1 − p 之后）在 2B 模型上为 0.1858，4B 为 0.1360，9B 为 0.0892。S73 也就是说，较大的模型回答更一致，但差异并未消失。

在层级维度上，分类越细，不一致越大。以 4B 模型为例，分布之间的距离在两类时为 0.0870，六类时为 0.5329，十二类时为 0.6323。S73 在弃答维度上，Choice 与 Noul 在最终决策上出现分歧的比例，2B 为 36.54%，4B 为 26.69%，9B 为 17.18%。S73 在第四个维度上，带描述的 Choice 与带名称的 Choice 差别不大，2B 上为 0.0917；但针对各类别单独提出的 Noul 问题给出了明显不同的分布，2B 上的距离为 0.4386。S73

对实践最有意义的一点是：作者用正向与反向 Noul 问题之间的差异按风险对案例排序，并报告这种方法预测错误决策的 ROC-AUC 为 0.91。S73

Cprc 校准器及其薄弱之处

作者还提出了补救方法。Cprc 校准器是一个附加在冻结模型上的小型残差网络，用来计算对 logits 的修正。它在三个维度的校准数据上训练，第四个维度留作验证。S73 在留出的标签描述维度上，2B 模型的准确率从 84.90% 升至 87.42%，9B 从 88.02% 升至 89.75%，4B 仅从 84.08% 升至 84.12%。S73 摘要中的“+2.97%”是相对增幅，按绝对值计算，2B 的提升为 2.52 个百分点。据作者称，延迟增加了 0.75%。S73

文本也存在不足。第一部分的结果来自校准数据，部分基线数值在不同表格之间略有出入，而且 2B 模型在弃答维度上的差距在校准后反而从 0.1884 扩大到 0.2260。S73 预印本没有单独的局限性章节，并且只评估了一个模型系列的三种规模。S73

对斯洛伐克网店意味着什么

该校准器直接作用于模型的 logits。S73 根据文档，Noul 问题的答案是一个数字，即回答“是”的概率，没有单独的 confidence 值。S05 因此，通过 API 调用 Jev 的人，从这篇预印本中更适合借鉴的是不一致检查本身，而不是校准器。以下是 JEV.sk 的建议，而非作者的推荐：对于敏感的决策，例如客户留言是否属于投诉，或聊天机器人的回答是否与商品参数相符，可以用含义相反的方式把问题问两遍。如果换算后结果明显不一致，就把该案例转交人工处理。

Noul 文档同时提醒不要使用否定式表述，因为它会把含义颠倒，读取该值的代码随后就会把它理解反了。文档建议让高值代表“是”，并以 0.7 和 0.3 作为初始阈值，介于两者之间的值交给人工处理。S05 因此，两个检查问题都应写成内容相反的肯定陈述，例如“该回答符合事实。”和“该回答包含编造的信息。”，而不是双重否定。Choice 与 Noul 问题的区别见指南 Choice、Score 与 Noul，阈值的设置见指南 confidence 与校准。

第二个问题并非免费。TypeSafe AI 按输入 token 收费，每百万 0.042 美元，输出 token 免费。S01 因此每增加一个检查问题，都会增加输入 token；在您的用量下需要多少费用，可以用成本计算器查看。标签描述维度的结果还表明，为 Choice 设定的阈值不宜未经验证就套用到单独的 Noul 问题上。S73 选项组合如何改变概率，也是一篇较早的预印本关注的重点。

涉及哪个版本

根据文档，别名 jev-latest 指向自2026年10月14日起可用的 jev-1.14.0，jev-1.13.0 也仍在提供。S01 由于预印本没有提及其中任何一个版本，其数值无法直接对应到 API 目前返回的模型。因此，在自己的数据上检查答案的一致性，比直接沿用预印本中的具体数值更为稳妥。