独立指南 · 我们不是 TypeSafe AI资料已核实 · 2026年10月18日SKENDE中文
JEV.sk
研究 · 2026年10月12日

AI 智能体中的 Jev:决策更快,结果未必更好

2026年10月9日的一篇预印本把 Jev 接入五类 AI 智能体。单次决策更便宜了,但部分任务的成功率有所下降。这对开发者意味着什么。

如果打算在 AI 智能体中用低成本的决策模型来替代“选择下一步”这一环节,就不应只看单次决策的价格。南京大学和慕尼黑工业大学的作者于2026年10月9日提交到 arXiv 的一篇新预印本说明了这一点。他们把 jev-1.13.0 模型接入五个智能体家族,测量更便宜、更快的决策能否转化为成功完成的任务。S47 这是一篇预印本,即尚未完成同行评审的研究。

实验是如何设计的

作者使用了两个测试环境。AndroidWorld 包含移动应用中的任务,研究从中选取了 116 种任务类型。ALFWorld 模拟家务劳动,作者使用了其中一个验证集的全部 134 项任务。S47 在第一个环境中,他们测试了 T3A、AutoDroid 和 FastAgent 智能体;在第二个环境中测试了 ReAct 和 Reflexion 智能体。每个智能体都有原始版本和接入 Jev 的版本。在 ALFWorld 中还增加了一个对照版本,让语言模型从同一份选项清单中作出选择。S47 每种配置运行三次,共计 4,500 次运行。S47

Jev 只替代了选择动作这一步,每一步发送一次请求。对环境的描述、历史记录以及动作本身的执行都保持不变。自由文本、摘要和反思仍由语言模型 gpt-5.6-luna 生成,该模型在原始版本的智能体中同时负责决策。S47

决策变便宜了,任务却不一定

就单次决策而言,节省幅度很大。在全部五个智能体家族中,单次决策的平均成本下降了 66.1% 至 78.4%,耗时下降了 73.9% 至 81.5%。一次决策耗时 1.04 至 1.75 秒,而原来需要 4.13 至 8.13 秒。与此同时,每次决策的 token 数量增加了 53.5% 至 134.9%。S47

然而,部分智能体成功完成任务的比例有所下降。在 ALFWorld 中差距很小:ReAct 为 96.02%,原来为 97.51%;Reflexion 为 98.01%,原来为 99.75%。S47 在移动任务中,下降更为明显。T3A 从 57.47% 降至 44.25%,FastAgent 从 50.00% 降至 31.90%,AutoDroid 从 18.68% 降至 16.38%。S47 据作者称,只有 T3A 和 FastAgent 的下降在统计上是明确的;其余智能体差值的区间包含零。S47

部分节省被语言模型的辅助工作抵消了。在 ReAct 智能体中,决策时间从 68.31 秒缩短到 17.25 秒,但新增了 17.23 秒的辅助推理。S47 因此,作者还计算了每个成功完成任务的成本,其中包括失败的尝试。按此计算,ReAct 从千分之 7.93 美元降至千分之 3.96 美元(mUSD),AutoDroid 从 27.93 降至 9.93。相反,T3A 每次成功的成本从 68.70 升至 73.97,不过这一变化的区间也包含零。S47 每次成功所需时间方面,T3A 从 370.6 秒延长到 430.2 秒,FastAgent 从 239.4 秒延长到 377.8 秒。S47

接入 Jev 的智能体在哪里失败

作者人工检查了部分运行的记录。在 Jev 版本反复失利的任务中,错误恢复失败出现得更频繁:接入 Jev 的运行中有 57 次里的 40 次,而原始版本为 57 次里的 3 次。无效搜索出现在 29 次运行中,对比为 2 次。S47 典型错误包括选错物品或选中标注含糊的开关、坚持一个已被环境否定的假设,以及在目标尚未达成时过早宣布任务完成。S47

Reflexion 智能体的情况值得关注。接入 Jev 后,它首次尝试的成功率为 95.27%,原始版本为 93.53%。但在首次尝试失败的情况中,Jev 版本修正了 19 次中的 11 次,而原始版本修正了 26 次中的 25 次。S47 也就是说,更快的选择在正常流程中有帮助,但在出现问题时应对得更差。

这篇预印本没有测量什么

作者只研究了移动应用和家务任务中选定的智能体家族。这些智能体接收的是环境的文字描述,并从有限的动作集合中作出选择。在相同任务上重复三次,只能反映不同运行之间的波动,而不能反映在新环境中的表现。此外,价格和耗时取决于模型版本和服务条件。S47 这些并不是电商任务,JEV.sk 也没有测量其中任何内容。

这对斯洛伐克网店意味着什么

作者建议,评估 Jev 这类模型时应看成功完成的任务、从错误中恢复的能力以及每个交付结果的成本,而不仅仅看决策的速度和价格。他们认为,Jev 适合承担界定清晰的决策角色。他们认为最有前景的是这样的系统:让常规选择变得便宜,并把核查集中在可能妨碍任务完成的决策上。S47

JEV.sk 针对网店的自有建议:Jev 可以判断客户消息应归入哪个处理队列,或属于哪类退换货申请;但订单是否真正处理完毕,应由代码根据系统中的状态来核查,而不是交给模型。在这篇预印本中,过早宣布任务完成正是典型的失败之一。S47 如果您构建的是分多个步骤推进的智能体,请衡量整个流程:它实际解决了多少个案例,以及每个已解决案例的成本是多少。关于如何利用模型的置信度来决定继续处理还是转交,请参阅指南置信度与校准。决策本身的成本可以用成本计算器来估算。

来源与核实程度

本文依据核查日期时所列的来源撰写,并非 JEV.sk 的自有测试,也不保证服务的当前状态。