Jev 对比 19 个语言模型：预印本揭示的优势与短板

一篇新预印本在 13 项测试中，将 Jev 与 19 个通用语言模型进行了对比。来自大连海事大学和大连理工大学的作者于 2026年10月8日把它提交到 arXiv。S46 它值得关注，是因为这并非厂商自己的测量：它显示了决策模型在哪些任务上能与大型模型并驾齐驱，又在哪些任务上落后。不过它仍然只是预印本，也就是同行评审尚未完成的文本。

作者比较了什么

据作者介绍，Jev 是一种 System One 类型的模型：它从给定的选项中选出一个，不生成文本。S46 他们把它与 19 个语言模型作了比较，这些模型分为六个最强的、七个有代表性的和六个小型模型。S46 测试共 13 项，涵盖知识、推理和两套多语言测试集。S46

Jev 和最强的几个模型由作者自己评测，每个模型只运行一次。凡是使用已公布分数的地方，作者只把它们当作粗略比较，因为这些分数在提示和设置上各不相同。S46

Jev 能跟上的地方

在 MMLU-Redux 上，Jev 得分 95.0%，六个最强模型的中位数为 93.2%；在 ARC-Challenge 上，Jev 得分 97.6%，中位数为 95.5%。S46 在多语言测试中，Jev 低于中位数：MMLU-ProX 为 83.2%，中位数为 84.5%；MMMLU 为 85.0%，中位数为 88.6%。S46

作者据此认为，在主要依赖知识的决策上，专门的决策模型可以达到通用语言模型的水平。S46

落后的地方

最大的差距出现在 MathQA：Jev 得分 75.0%，最强模型的中位数为 92.7%。作者指出，它的成绩低于全部 19 个参与比较的模型。S46 在 MMLU-Pro 上它也落后，得分 82.3%，中位数为 88.1%。S46

作者的结论相当谨慎：决策模型可以独立处理许多范围明确的决策，但需要多步计算的任务仍然要用通用语言模型。S46

预印本没有衡量的内容

这篇预印本没有评估价格、延迟或校准。S46 因此，仅凭其数字，无法估算一次决策要花多少钱，也无法估算它运行得有多快。Jev 确实会返回各选项的概率分布，但作者没有对其进行评估。他们打算在今后的工作中研究，它能否提示何时应把问题转交给具备推理能力的模型。S46 关于这一主题，可参阅关于 confidence 与校准的指南。

此外，这些数字来自学术性的选择题测试，而不是真实网店的数据。JEV.sk 没有测量其中任何内容。

这对网店意味着什么

这些结果只是方向性的参考，并不能证明 Jev 能胜任您的业务。JEV.sk 的建议是：依赖文本含义的问题，例如对客户留言或投诉进行归类，与 Jev 在预印本中表现尚可的任务相近。价格、增值税或期限的计算请交给普通代码，因为恰恰是数学测试 MathQA 的结果最差。S46

因此，实用的做法是把决策分成两层。由代码负责计算并比较数字和日期，由 Jev 判断留言的含义，信心较低时再由人工或更强的模型接手。这种分工是 JEV.sk 自己的建议，预印本并未对其进行测试。

上线之前，请先用您自己的留言检验模型。费用可以在成本计算器中估算，Choice、Score 和 Noul 这几种问题类型则在指南 Choice、Score 与 Noul 中作了说明。