Jev 的边界：需要中间步骤的决策

决策模型 Jev 只需一次前向计算即可作答，不会写出中间步骤。一篇新的预印本试图找出这种方式的边界。来自 Case Western Reserve University、Georgia Institute of Technology、Columbia University 以及日本 NII LLMC 的作者发现，该模型能可靠地找到并选出某条记录，但在一些决策上会出错，而这类决策语言模型要先写出推理过程才能处理好。S59 arXiv 上 v1 版本的日期为2026年10月18日，这是一篇尚未完成同行评审的预印本。S59 对开发者来说，这是一个很实际的问题：应用中的哪些决策可以交给 Jev，哪些不可以。

作者研究了什么

作者将决策模型定义为：经过一次前向计算就返回各个选项的概率、不生成文本的模型。他们通过 API 测试了 jev-1.13.0，同时测试了 23 种 Jev 风格开源模型的配置。作为对照，他们使用了开启思考模式的语言模型 Qwen3.8-27B。S59

第一部分是人工构造的数据集，每次只改变一个因素：上下文长度从 1,000 到 20,000 个 token，选项数量从 2 到 64。S59 第二部分基于 JevBench、PubMedQA、Banking77 和 HelpSteer2 中的真实决策任务。经过筛除后剩下 738 个条目，其中 646 个可以一次计算解决，92 个需要推理。S59

能找到记录，却拼不出状态

在查找和选择记录时，Jev 在全部 105 个测试组合中都回答正确，即使在 20,000 个 token 和 64 个选项的情况下也是如此。S59

问题出在状态追踪上。模型收到一份按天排序的事件日志，其中被追踪的用户多次加入和退出项目。在该用户的记录之间还夹杂着其他用户的记录。任务是判断该用户最终属于哪些项目。S59 只有一次变化时，Jev 的正确率为 100%；有十六次变化时为 64%（上下文不超过 8,000 个 token）。S59 在 145 个错误回答中，有 134 个是同一用户较早的状态，只有 3 个把用户弄混了。S59 也就是说，模型找到了记录，却从中拼出了错误的结果。

改进提示并没有帮助。要求逐步推理、描述处理步骤或点明错误类型的几种变体，在 16 次变化时达到 54% 到 64%，而原始表述为 61%。S59 只有修改输入才有效。当输入中只保留被追踪用户的记录时，准确率为 100%。当其他用户的记录被替换为无关文本时，准确率为 99%。S59 因此，造成干扰的是其他人的相似记录，而不是文本长度本身。

模型会照搬过时的摘要

第二个弱点与核查有关。当 Jev 除日志外还收到一份现成的状态摘要，且摘要正确时，它在全部 30 个组合中都答对了。当摘要已过时，在提供了过时状态的条目中，它有 61% 到 100% 选择了过时状态。S59 它接受了 91% 的正确摘要，却只拒绝了 62% 的过时摘要。S59 作者认为，所测试的决策模型中没有一个能可靠地核查摘要。S59

开启思考模式的语言模型则能处理这两类任务。在上下文不超过 8,000 个 token 时，Qwen3.8-27B 解决了 96% 的多次变化条目，并拒绝了 95% 的过时摘要。同一个模型若以一次计算的方式读出结果，则分别为 77% 和 74%。S59

真实任务也显示出类似的差距。Jev 在可一次计算解决的条目上达到 97.5%，在需要推理的条目上为 73.9%，总体为 94.6%。S59 在 JevBench 最难的部分，它达到 73.1%，而思考模式模型为 99.2%。S59

模型的置信度暴露不了这类错误

置信度（confidence）有助于发现模型自身造成的错误。衡量置信度区分正确与错误回答能力的指标 AUROC，在状态追踪任务上为 0.83，在真实任务上为 0.94。对于从过时摘要继承来的错误，它降到 0.53（日志不超过 4,000 个 token），几乎等同于随机水平。S59

此外，Jev 很少使用明确的“转交”选项。它只在 1.6% 的真实任务和自身 40 个错误中的 3 个上选择了该选项。S59 对开源模型进行转交训练只起到部分作用，同样没能发现来自过时输入的错误。S59

这对斯洛伐克网店意味着什么

作者建议，需要中间步骤的决策，尤其是核查并非由模型自己计算出的输入，应交给会写出推理过程的模型。在他们看来，Jev 应位于链条末端：当状态已由能推理的模型计算并核查之后，再由它在选项之间快速做出选择。S59

JEV.sk 自己的建议：包含多次状态变化的订单历史，与实验中的日志相似。因此，订单的当前状态应由代码从数据库中确定，而不是由 Jev 从事件列表中推断。如果要向模型发送上下文，请过滤掉其他订单和客户的记录；在该预印本中，正是这种缩小输入范围的做法把准确率提高到了 100%。S59 不要因为 Jev 确认过，就把其他系统生成的摘要视为已核查。根据该预印本，置信度与校准指南中的置信度阈值无法发现这类错误。各种问题类型的区别，请参阅 Choice、Score 和 Noul 页面。

该预印本没有衡量什么

作者研究的是孤立的决策，每个决策只提出并评分一次。在智能体中，错误可能会在多次调用中累积，而这项研究没有对此进行测量。S59 被测试的是 jev-1.13.0。自2026年10月14日起，jev-1.14.0 也已可用，但 jev-latest 别名仍指向 jev-1.13.0。S01 新版本是否会推移这一边界，该预印本没有研究，JEV.sk 也没有测量过其中任何内容。