Jev 的测试：数字能证明什么，不能证明什么

三种不同的证据

营销承诺、外部实验和自己的实际运行测量，不能看起来是一回事。JEV.sk 上的每项测试都应注明作者、日期、模型、样本、语言、设置和局限。测试方案不能当作已完成的基准测试来展示。

Banking77：英语分类任务

OpenRouter 于2026年9月22日在 Banking77 的 3080 条语句（每个意图 40 条）上比较了 Jev 1.13 和 Claude Opus 5。Jev 的准确率为 81.0%（区间 79.6%–82.3%），Opus 为 84.4%（83.1%–85.6%）。响应时间中位数方面，Jev 为 175 ms，Opus 为 2266 ms；第 95 百分位数分别为 270 ms 和 3004 ms。每千次请求的费用分别为 0.11 美元和 2.42 美元。S18 S29

据该文章介绍，两个模型以 0.90 为阈值组成的级联达到了 84.0%，每千次请求的费用为 0.69 美元。这是一项英语分类任务的结果，由同时提供这两个模型接入服务的平台发布，并不代表普遍的准确率。S29

vibecoding.cz 上的捷克语测试

Patrick Zandl 于2026年9月19日介绍了用 Jev 为 vibecoding.cz 网站的 209 篇文章建立站内互链的做法，其中 139 篇此前没有来自其他文章的链接。在按嵌入向量（embedding）预选出 15 个最接近的候选后，Jev 评估了 3135 对文章。据作者称，第一轮完整运行的费用为 0.16 美元，响应时间中位数为 309 ms，第 95 百分位数为 414 ms。在 150 对的样本中，Jev 与 Opus 模型在 126 个案例上结论一致（84%）；根据 Sonnet 模型的评估，高于所选阈值而被推荐的链接中有 99% 确实相关。S27

这只涉及一个网站、一项任务，而且是捷克语，不是斯洛伐克语。参照基准是其他语言模型，而不是人工评估。因此，该测试展示的是实际可用性和成本，而不是普遍的准确率。S27

厂商数据

TypeSafe 的发布材料称，在选定的工作流程中可实现非常显著的提速和成本降低。JEV.sk 把这些列为厂商说法，而不是对每位客户的承诺。S10

我们尚未进行的测试

我们提议测试斯洛伐克语的商品信息和消息：使用同一套人工确定的标准答案，保存问题定义的版本，并为所有模型提供相同的输入。结果还应展示失败案例和升级处理的比例。相比 token 单价，我们更看重每个正确处理案例的成本。

JEV.sk 尚未通过 API 进行自己的测试。因此，这里没有“已测试”徽章、星级评分或评价。