Jev 用于核查财务计算中的引用：一篇预印本的发现

语言模型可能算出了正确的数字，却是从表格中错误的一行取来的。2026年10月6日在 arXiv 上发布的一篇由六位作者撰写的预印本，研究的正是这种情况。他们探讨：Jev 作为低成本的核查器，能否判断 GPT-4.1-mini 针对财务报告所做的计算依据的是正确的数值，以及这种核查相对于单纯的数字比对能带来什么。S48 这是一篇尚未完成同行评审的预印本。作者称之为探索性研究，因为核查问题的措辞是在查看所研究的记录之后才确定的。S48

实验是如何设计的

研究基于 FinQA 数据集，其中的问题需要用财务报表中的数值进行计算。作者从其测试部分挑选了 96 个只需一次计算运算即可解答的问题。S48 GPT-4.1-mini 为每个问题生成两条计算过程，共 192 条记录。S48

Jev 在实验中承担两项任务。通过 Choice，它从五个数值选项中选出答案：正确值、一个相邻值和三个算术干扰项。通过 Noul，它以“是”或“否”回答：所引用的证据是否支持所用的数值及其在财务报表中的角色。S48 作者通过 OpenRouter、以 TypeSafe 为提供方，使用了 typesafe/jev-1.13-20260917 版本。S48 Choice 与 Noul 两类问题的区别，可参阅指南Choice、Score 与 Noul。

数字正确，引用却没有依据

在 192 条记录中，有 170 条与正确结果一致。在人工核对来源时，作者将 153 条记录判定为有依据，37 条为无依据。S48 一种在文本中逐字查找所引用数值的简单检查，发现了全部 27 个结果正确、但所引数值角色错误的情况。但与此同时，它也否决了 33 条本来没有问题的记录。S48

在比较各项规则时，作者统计了规则放行的记录数，以及其中引用有依据且结果正确的记录数。逐字检查放行了 122 条记录，其中 117 条两方面都合格。一种比对引用位置数值的较宽松规则（作者事后才提出）放行了 154 条记录，其中 141 条合格。S48 阈值为 0.8 的 Jev 放行了 146 条记录，其中 142 条合格，并接受了一条无依据的记录。阈值为 0.5 时，它放行了 159 条记录，其中 143 条合格，但接受了六条无依据的记录。S48

据作者介绍，Jev 相对于数值规则的净收益只有一条记录：在一个问题上多出两条记录，减去在另一个问题上被 Jev 扣下的一条有效记录。S48 如果去掉这一个问题，Jev 的合格记录为 140 条，而规则为 141 条。S48

同一个数字，放错了位置

实验的第二部分是一项有针对性的压力测试。作者构造了 15 组对照，其中引用指向同一个数字，但其财务角色不同，例如指向另一年份的数值。S48 在六个明确的角色错误案例中，Jev 只将两个判为低于 0.8 的阈值，另外四个被接受。相反的错误同样出现：在六个等价事实案例中，有两个低于 0.8。等价事实的例子是：某一期间的期末余额与下一期间的期初余额，它们表示同一金额。S48

结果还取决于表格以何种形式提供给模型。作者加入明确的列标签后，Jev 对期间和状态不一致的反应更敏感，但对部分等价事实的支持有所下降。S48 在针对另外 36 个问题的后续核查中，明确的列标签消除了两次对无依据引用的接受，但被扣下的有效记录数从五条增至六条。S48

成本与研究的局限

调用成本很低。作者报告称，核查器扩展实验共 196 次调用，花费 0.01669 USD。S48 其他用量下的成本可用成本计算器自行估算。

作者自己列出了研究的若干局限。所选问题只涉及一次计算运算，而 Jev 通过 Choice 选出了 96 个正确答案中的 95 个，改进空间很小。S48 最初的依据标注并非盲评，后续核查只由一人判定，而且只尝试了一个 Jev 版本和一个 GPT-4.1-mini 别名。S48 对于答案的实际发布，作者在这组数据上未发现收益。S48 JEV.sk 没有对此进行任何测量。

这对斯洛伐克网店意味着什么

作者建议把计算核查与所引来源的核查作为两项独立的任务。评估核查器应从两方面入手：它是否否决无依据的引用，以及是否保留有效的等价事实。对于输入形式的改变，例如添加列标签，他们建议谨慎对待。S48

JEV.sk 自己的建议：如果网店让语言模型根据供应商表格填写商品参数，例如重量或尺寸，第一道检查应由代码完成，确认该数字确实存在于来源表格中。Noul 可以作为第二道筛选，判断是否取自正确的列。衡量时不仅要看它发现了多少错误，还要看它不必要地扣下了多少正确记录；每次更改表格格式后，都应重新测量。如何选择置信度阈值、何时转交人工处理，可参阅指南confidence 与校准。