Jev 作为低成本的第一道评判：与 GPT-6 级联的预印本有何发现

2026年9月22日，arXiv 上发布了一篇由四位作者撰写的预印本，研究 Jev 能否胜任评判者的角色，即判断两个 AI 回答中哪个更好，或者某个回答是否有事实依据。S34 这是一篇未经同行评审的预印本，但描述了研究方法，还专门用一章讨论局限。它对实践的意义主要在于：它不是把 Jev 当作大模型的替代品来测试，而是把它当作一道低成本的初筛，能够说出自己什么时候没有把握。

作者测了什么、怎么测

作者测试的是 Jev 1.13.0 版本，数据采集于2026年9月21日。他们将其与 16 个基于生成式模型和奖励模型的评判者进行了比较。其中最强的是采用低推理强度设置的 GPT-6 Astra。S34 他们使用了四个主要数据集：来自 RewardBench 的 400 对、来自 JudgeBench 的 350 对、来自 HaluEval 的 240 条判断（针对附带参考文本的问题），以及 150 条来自先前实验、已有现成标注的条目。S34

本次测试的结果（Jev 对比 GPT-6 Astra）S34：

• RewardBench：92.2% 对 93.5%；
• HaluEval：87.5% 对 86.7%；
• 先前实验中的条目：94.0% 对 96.7%；
• JudgeBench：78.6% 对 93.1%。

真正拉开差距的是价格和速度。每千次评判，Jev 的费用为 0.044 美元，GPT-6 Astra 为 12.182 美元，相当于对比模型费用的 0.36%。响应时间中位数为 0.152 秒对 1.885 秒。S34

Jev 的短板在哪里

JudgeBench 上的巨大差距并非偶然。作者将其归因于需要重新演算解题过程的任务，以及错误答案写得篇幅长、说服力强的情形。S34 这一点在 RM-Bench 数据集上看得很清楚：当两个回答风格相同时，Jev 的准确率为 84.0%；但当被拒绝的回答是更精心雕琢的那一个时，准确率降到了 74.8%。S34

第二个发现与顺序有关。作者对调两个回答的顺序后，RewardBench 上有 3.25% 的判断发生了变化，JudgeBench 上则为 11.14%。不过，Jev 并没有偏向第一个位置，它选择第一个位置的比例分别为 48.9% 和 48.4%，因此这并不是简单的位置偏差。S34

这与厂商自己承认的弱点相吻合，我们在安全与隐私指南中对此做过总结：精确计算和逐步核验应交给其他工具。

级联：有把握的采纳，没把握的上交

研究中最重要的部分揭示了 Jev 的错误集中在哪里。对于 Jev 在置信度至少为 0.9 时会直接采纳的条目，两个模型几乎没有差别（95.8% 对 96.5%）。而对于它会转交出去的条目，GPT-6 Astra 领先 15 个百分点（67.9% 对 82.6%）。S34

作者据此搭建了级联流程。Jev 以两种顺序分别评判每一对回答，并对概率取平均。如果置信度至少为 0.9，就采用它的判定，否则由 GPT-6 Astra 决定。阈值是事先在 96 对试点样本上选定的，并在扩大测试之前固定下来。S34 在 510 对新样本上，级联采纳了 53.7% 的 Jev 判定，准确率达到 92.5%，而单独使用 GPT-6 Astra 为 93.1%；其费用为单独使用 GPT-6 Astra 时的 56.8%。S34

厂商文档也描述了类似的模式。决策既依据答案、也依据置信度进行路由；低于下限的案例转交人工处理；阈值的严格程度应取决于出错后果的严重性。在一个银行业示例中，低风险操作只需 0.6 的置信度，而高风险操作只有在置信度高于 0.85 时，系统才会自行执行。S35 关于置信度的更多内容，请参阅 confidence 与校准指南。

对网店和开发者意味着什么

在斯洛伐克，用大语言模型生成商品描述或客户回复的人，往往还会再用一个昂贵的模型来检查。这项研究提示了一种更便宜的做法：先让 Jev 做第一轮检查，只在判定没有把握时才调用更贵的模型。不过，研究的数据也显示了这种做法的边界。在该研究中，Jev 会被精心包装的错误答案误导，在需要重新演算过程的任务上表现也较差。S34 因此，对计算、价格或库存情况的核查仍应交给代码。

作者最后建议：以两种顺序评判每一对回答，在自己的选择集上确定阈值，并在选定阈值时未用过的条目上加以验证。他们认为，在把方法用于新任务之前，应先做一次小规模的本地验证。S34 因此，这项研究中的 0.9 阈值并不是通用设置。

研究的局限

作者列出了多项局限。他们只评估了一个闭源的 Jev 版本，也无法确定测试集是否出现在训练数据中。从算力角度看，这一比较并不对等。他们没有测试专业领域，而且阈值在不同任务之间的迁移效果参差不齐。S34 有争议的 183 个条目由一名同时也是合著者的人员独自进行了盲评。S34 作者认为，基于置信度的路由适用于第一个模型有能力但没有把握的场景；而在模型高度自信却判断错误的场景中，它就会失效。S34

我们在研究概览中汇总了关于 Jev 的其他研究。