自建决策模型替代 Jev：PayPal.AI 预印本的发现

PayPal.AI 的一个团队在 arXiv 上发布了一篇预印本，探讨与现成服务相比，自建 Jev 风格的决策模型能带来什么。第一部分介绍一个内部评判模型，第二部分介绍几款开放模型，作者也将它们与 Jev 1.13.0 做了比较。S68 对于正在权衡自行部署还是调用 API 的团队来说，这是少见的、同时给出成本和准确率具体数字的文本。需要说明的是，这是一篇预印本，即未经同行评审的工作。

作者为何自建评判模型

作者需要在约 148,000 条 AI 智能体编程会话记录进入训练数据之前对其进行分拣。每条记录要回答三个答案固定的问题。S68 此前这项工作由一个充当评判者的大型语言模型完成。据他们估算，跑一遍的成本在 1,000 美元量级，耗时约 73 小时。S68 检查还发现，在两位新评判者意见一致的情况下，已存储的标签与二者共同结论相符的比例仅为 26.9%。S68 此外，这些数据不得离开组织。S68

解决方案是一个冻结的基础模型（40 亿或 270 亿参数）、一个小型 LoRA 适配器，以及一个不生成文字、而是直接指向某个选项的选择头。S68 据作者介绍，这个评判模型在单块 GPU 上约三分钟即可处理 1,000 个会话。按参考费率计算约为 0.06 美元，大致相当于原方案成本的 1%。S68 在一个包含 200 个会话的均衡数据集上，它与大模型标签的一致率为：编程相关问题 83% 至 85%，第二个问题 91% 至 92.5%，在八个领域中归类时 68% 至 69.5%。在与训练数据没有重叠的 144 个会话上，结果低 1.5 至 3.8 个百分点。S68

开放模型对比 Jev 1.13.0

第二部分研究的开放模型，直接在答案字母所在位置从语言模型的输出层读取答案，只训练 LoRA 适配器。S68 作者以 Eikos 项目公开的方法和语料库（约 25,000 条决策）为基础，测试了 10 亿、20 亿和 350 亿参数的模型。S68 评估使用 JevBench 基准 1.4.2.2 版的公开部分，重点是其中 111 道难题。S68

最大的模型得分 79.3%，Jev 1.13.0 为 73.0%。不过 6.3 个百分点的差距在统计上并不显著，未校正的 p 值为 0.12。S68 20 亿参数的模型得分 61.3%，10 亿参数的模型为 54.1%。在同一张表中，生成式语言模型得分 96.4%，比作者最好的模型高 17.1 个百分点。S68

在 H100 显卡上，2B 模型回答单个问题约需 20.5 ms，35B 模型约需 83.2 ms。35B 模型需要约 80 GB 内存。S68 公开发布的只有 2B 模型，位于 Hugging Face，名称为 Kailune-AI/pjev-2b；1B 和 35B 的适配器作者没有公开。S68

需要审慎看待之处

作者自己列出了多项局限。所有 JevBench 数字都来自公开部分。据他们称，各系统在封存部分的表现要差得多，但他们没有报告这类结果。S68 每次实验只用了一个随机种子，对比系统也由作者自行挑选。因此，他们将难题集上约 10 个百分点以内的差异视为尚无定论。S68

2026年9月27日，语料库作者删除了 1,994 行源自 FinEntity 的数据，而第二部分的所有模型此前都已用这些数据训练过。S68 作者没有尝试不依赖语言模型的低成本分类器。第一部分的成本是按参考费率换算的 GPU 时间，而非实际账单。S68

对斯洛伐克网店意味着什么

这篇预印本并没有声称自建模型优于 Jev。它更多是指出了值得考虑自建的情形：决策数量非常多、问题固定不变、数据必须留在内部。作者恰好具备这三个条件。S68 比如一家需要分拣客户消息的网店，就必须把这些与服务价格放在一起比较。TypeSafe 对每百万输入 token 收费 0.042 美元，输出 token 免费。S01 按您的使用量会花多少，可以用成本计算器查看。而约需 80 GB 内存的 35B 模型S68，则意味着要自备高性能 GPU 并负责维护。

如果主要出于数据保护的考虑，值得了解的是：据 TypeSafe 介绍，Jev 不使用客户的请求或响应进行训练，也没有在客户数据上做微调。S01 这是否足以满足您的义务，需要另行评估；相关背景见安全与隐私指南。

另有两点说明。预印本比较的是 Jev 1.13.0，但根据文档，别名 jev-latest 目前指向 jev-1.14.0。S01 因此，这些结果未必适用于新版本。预印本也没有说明 JevBench 题目使用何种语言，对斯洛伐克语更是只字未提。S68 如何检验模型在斯洛伐克语中的表现，可参阅斯洛伐克语测试。

最有用的启示或许也是最简单的。作者首先发现，他们昂贵的评判模型给出的标签大多与新的检查结果不符。S68 因此，在更换模型之前，值得先用一个小样本检验您当前决策的准确程度。这是 JEV.sk 的建议，而非预印本的结论。