Jev 能否取代语言模型担任评判？一篇预印本比较了 14 个模型

如果需要自动判断语言模型的两个回答中哪个更好，通常的做法是再让一个生成式模型担任评判。Scale AI 的 Shreyas Subramanian 于 2026年10月31日发布了一篇预印本，研究决策模型能否胜任这项工作：这类模型在一次前向计算中以概率形式给出结果，不生成任何文本。S78 在接受研究的 14 个模型中就有 Jev 1.14 本身，因此结论并不只适用于仿照它设计的模型。对于正在考虑以更低成本评估 AI 输出的人来说，这篇论文清楚地展示了这类评判在哪些情况下站得住、在哪些情况下不行。

比较了什么，如何比较

这是一篇预印本，即尚未经过同行评审的论文。除 Jev 外，研究还纳入了 Perplexity AI 的 pplx-decider 1.2、Cloudflare 的 Clef 模型以及 DReX-Max 等。Jev 使用的是日期标记为 20261014 的正式发布版本。S78 TypeSafe 表示，Jev 1.14 自 2026年10月14日起可用。S01

另一方是生成式评判模型：Claude Haiku 5.5、不推理和中等推理两种设置下的 GPT-5.6，以及开启推理的 Claude Opus 5.5。它们同样只需给出裁决和概率，不附理由。S78 研究基于十一个任务集，其中包括 JudgeBench、LLMBar、RM-Bench 和 RewardBench 2。每个模型都会以两种顺序收到成对的回答，以检验它是否受哪个回答排在前面的影响。S78

没有参考答案时，与不推理的 GPT-5.6 相当

在 14 个决策模型中，有五个（包括 Jev 1.14）在五个涵盖成对比较和四选一最佳回答的任务集上，与不推理的 GPT-5.6 在统计上没有差别。S78 不过，决策模型彼此之间差距很大。在 JudgeBench 上，Choice 问题的准确率从 Kev-4B 的 66.6% 到 d1-ultra 的 84.6% 不等。S78

提升最大的是参考答案：由生成式模型为每个任务预先生成一次。有了参考答案，十一个模型在 JudgeBench 上达到 90.3% 至 93.4%。预印本认为，这与 Opus 5.5 的 94.7% 以及开启推理的 GPT-5.6 的 93.1% 在统计上无法区分。S78 在需要从 16 个回答中选出最佳者的 PPE 任务集上，一次 GPT-5.6 参考答案加 16 次 Jev 调用，每个任务的成本为 0.0051 美元；开启推理的 GPT-5.6 为 0.0827 美元，Opus 为 0.1308 美元。S78 不过，GPT-5.6 的价格在论文中只是一个假设，因为无法得知网关使用的是哪个服务等级。S78

在没有参考答案的情况下，决策模型在从多个候选回答中找出正确答案时，明显落后于开启推理的 GPT-5.6 和 Opus。S78

校准良好，但对注入文本的抵抗力较弱

Jev 1.14 的校准误差（ECE）为 0.019，而生成式评判模型在 0.038 至 0.087 之间。S78 也就是说，在这次测试中，它给出的概率更接近模型实际答对的频率。这对设定阈值意味着什么，可参阅指南confidence 与校准。

薄弱环节在于被塞进待评回答中的文本。当回答末尾被附上一段写给评判者的说明时，Jev 1.14 在 Choice 问题上推翻了 23.3% 原本正确的裁决，而生成式评判模型为 0.4% 至 2.3%。S78 当问题改为清单形式提出时，Jev 的这一比例降至 4.9%。S78 各决策模型的抵抗力差异很大：最稳健的五个为 0.0% 至 4.7%，其余九个为 16.7% 至 49.0%。预印本据此认为，这取决于具体模型，而不是整个方法的特性。S78 类似的风险也见于文章注入文本可翻转 Jev 的判断。

在长输入上，最强的决策模型比 GPT-5.6 落后 10 至 12 个百分点。在 RM-Bench 的回答长度偏差测试中，Jev 损失了 12.9 个百分点，与不推理的 GPT-5.6 的 11.3 个百分点相近。S78

低成本的第一道关口与研究的局限

预印本还尝试了级联方案：由 Jev 或 pplx-decider 先做判断，把不确定的案例交给 Opus。在 LLMBar 上，当 10% 的案例被升级处理时，准确率达到 90.7%，而单独使用 Opus 为 91.7%。S78 使用另一种模型的类似做法，可参阅文章Jev 作为低成本的第一道评判。

论文本身列出了多项局限。结果来自一次性运行，属于试点规模，每个任务集 80 至 1,925 条。注入文本由论文作者自行编写，并非来自公认的测试集。清单和参考答案由 Haiku 5.5 和 GPT-5.6 生成，因此这些方法结合了决策模型与生成式模型。S78

斯洛伐克开发者可以从中得到什么

以下几点是 JEV.sk 根据这篇预印本提出的建议，并非测量结果。如果网店让语言模型撰写商品描述或客户回复，并希望自动检查这些内容，那么根据预印本的结果，Jev 最适合用在有标准答案可供对照的场景。没有标准答案时，它在找出正确答案方面落后于更昂贵的推理模型。S78

外部人员可以影响的文本，例如供应商在数据源中的内容或顾客的评价，应视为不可信。在预印本中，针对 Choice 问题，只需一段塞进去的说明，Jev 就推翻了将近四分之一的正确裁决；改用清单形式后，这一比例下降。S78 不确定的案例值得交给更昂贵的模型或转交人工处理，就像预印本中的级联方案那样。

在成本方面需要注意：TypeSafe 对 Jev 1.14 按每百万输入 token 0.042 美元收费，输出 token 免费。S01 可以用成本计算器估算自己的用量，指南Choice、Score 与 Noul则解释了各类问题的区别。