Jev 用于核查 RAG 回答：准确率相近，但放过更多错误

基于文档或商品目录的聊天机器人，会根据检索到的段落拼出回答（RAG）。即便如此，回答中仍可能出现段落里根本没有的断言。arXiv 上一篇日期为 2026年9月30日的预印本研究了 Jev 能否代替大型生成式模型承担这类核查。S55 它的价值在于没有停留在单一数字上：两个系统的总体准确率相近，但各自犯的错误不同。

谁比较了什么

作者是 CustomGPT.ai 公司的 Alden Do Rosario 和 Kirollos Atef。第一作者创办并领导该公司，其产品包含断言核查功能。作者表示，他们是两家供应商的付费客户，两家供应商都没有参与研究设计、数据或结果。S55 这是一篇未经同行评审的预印本。JEV.sk 阅读了全文，本身未做任何测试。

参与比较的是 jev-1.13.0 版本和 GPT-6 Astra，后者作为二分类器，在低推理强度和高推理强度下运行。数据为 LLM-AggreFact 基准开发集中的 495 条断言，从 11 个数据集中各取 45 条。其中有依据的断言 297 条，缺乏依据的 198 条。每条断言都交给两个系统，因此是成对比较。S55 Jev 以状态（state）中的两个条目接收断言和证据，并在 SUPPORTED 与 NOT_SUPPORTED 两个答案之间作出选择。S55

主要指标是宏平均的平衡准确率（balanced accuracy）。Jev 得分 73.27，Astra 在低强度下为 73.83，高强度下为 74.11。Jev 与 Astra 的差值为 −0.56 分，95% 区间为 −5.6 至 4.5。作者强调，这只说明未能检测到差异，并不意味着两个系统等效。S55

两个系统的差别在哪里

两个系统在 15.2% 的断言上意见不一。S55 更重要的是出错的方向。把缺乏依据的断言判为有依据，Jev 的比例为 23.23%，Astra 为 14.14%。因此作者把较便宜的模型称为更宽松的把关者。S55 对聊天机器人来说，这正是令人头疼的错误：带有编造信息的回答会悄无声息地通过核查。

价格差距很大。作者根据 2026年9月20日的价目表计算成本，并非实际账单。Jev 每 1,000 条断言为 0.04786 美元，Astra 在低强度下为 8.93 美元，高强度下为 10.70 美元。S55 该研究没有比较响应速度。S55

级联省钱，但并非得益于置信度

作者还尝试了级联方案：由 Jev 先做判断，把没有把握的断言转给 Astra。阈值通过交叉验证选定。级联方案得分 74.10，每 1,000 条断言成本 2.92 美元，平均转交 29.9% 的断言，并在 19.22% 的情况下放过了缺乏依据的断言。S55 因此它比单独使用 Astra 便宜约三倍，但放过的错误仍然更多。

最有启发性的是随机选择的对照组。作者随机挑选 30.9% 的断言交给 Astra 时，成本为 2.81 美元，得分 73.36。按置信度选择、转交比例相同时，成本为 2.94 美元，得分 74.01。作者认为，节省来自转交断言的数量，而非置信度信号；在这一样本量下，也无法断言按置信度路由优于随机路由。S55 不过，Jev 返回的概率确实包含信息：它相对于正确标签的 AUROC 为 0.868。S55

在同一批数据上选定阈值、再在同一批数据上测量，也是一个教训。这样得到的结果是 75.82，成本 1.62 美元，但作者认为该结果过于乐观，并以交叉验证的结果取而代之。S55

对斯洛伐克网店意味着什么

如果网店运营的聊天机器人根据商品描述或交易条款作答，这项研究给出两点实用启示。第一，只看总体准确率是不够的。需要跟踪核查放过了多少缺乏依据的回答，因为在本次测试中，Jev 与 Astra 恰恰在这一点上差别最大。S55 第二，转交给更强模型的阈值应在自己的数据上设定，并用不同于选定阈值所用的数据加以验证。如何使用置信度，可参阅指南置信度与校准。关于评估中的类似级联，另见此前关于 GPT-6 预印本的文章。

每千条断言约 0.05 美元的价格，使 Jev 可以充当廉价的第一道筛子。但如果放过的错误意味着关于保修或价格的错误信息，结果显示，在这项研究中单独使用 Jev 时更为宽松。作者自己也建议，在推广之前先在自己的任务上验证这一做法。S55

研究的局限

作者坦率列出了局限：只有一个基准、一对系统，每个系统只运行一次。他们只使用了数据的开发集，因此无法排除模型在训练中见过这些数据的可能。级联成本是重新推算的结果，不含网络和调度开销。测试环境是在 AI 助手的帮助下搭建的，附录记录了工作过程中所做的修正。S55

这些结果针对的是 jev-1.13.0 版本。根据文档，它仍是 jev-latest 别名背后的稳定版本，而 jev-1.14.0 自 2026年10月14日起以 jev-preview 别名作为预览版提供。S01 至于新版本的表现是否会有变化，该研究没有说明。