用 Jev 评判葡萄牙语搜索结果：一篇预印本的发现

2026年10月16日，arXiv 上发布了一篇由两位巴西作者撰写的预印本，他们尝试将 Jev 用于葡萄牙语检索。Leandro Carísio Fernandes（Câmara dos Deputados）和 Jayr Pereira（Universidade Federal do Cariri 与 Unicamp）研究了两个问题：Jev 能否代替人工判断文档与查询的匹配程度，以及它能否改进经典 BM25 检索给出的排序。S61 作者指出，英语以外的语言在研究中受到的关注较少，可用于训练和评估的数据也更少。S61 正因如此，这项研究对斯洛伐克网站同样有参考价值。这是一篇未经同行评审的预印本，JEV.sk 没有据此进行任何测量。

作者如何使用 Jev

在相关性判断中，Jev 的 state 包含查询文本和文档文本，并附带一个 Choice 问题，由它从中选择相关性等级。等级及其措辞沿用了原始数据集。S61 共使用四个数据集：网页段落数据集 Quati（50 个查询，1,933 个查询–文档对）、判例数据集 JurisTCU（150 个查询，2,250 对）、规范性文件数据集 NormasTCU（46 个查询，812 对），以及立法数据集 Ulysses-RFCorpus（692 个查询，8,205 对）。Quati 的参考标注由语言模型生成；JurisTCU 同样如此，但经过一位领域专家审核；其余两个数据集的标注来自专家。S61

在重排序中，Jev 针对每个候选文档回答“该文档是否直接回答了查询”这一问题。作者将得到的概率直接用作分数，没有与 BM25 分数结合，也没有做额外校准。S61 他们在指令中强调，模型应把文档文本当作待检索的内容，而不是指令。每个请求包含 10 个问题，每个查询需要 100 个请求，因此对 BM25 的前 1,000 个候选进行了重排序。S61 相关性判断使用的版本标注为 jev-1.13，重排序为 jev-1.13.0。S61

相关性判断：一致性中等

Jev 选出与参考标注相同等级的比例在 52.9%（Quati）到 64.9%（Ulysses-RFCorpus）之间。不过，大多数偏差只差一个等级，加上完全一致的情况，在每个数据集中都至少占判断总数的 94.5%。S61 二次加权 kappa 从 NormasTCU 的 0.52 到 JurisTCU 的 0.82 不等。作者将其与早期文献中人工评估者之间的一致性相比照，但提醒说，数据集和流程不同，限制了直接比较。S61

第二个结果更有实用价值。作者分别依据 Jev 的判断和参考判断，对 NormasTCU 上的 15 个系统和 Ulysses-RFCorpus 上的 16 个系统进行排名。两种排名的 Kendall τ 为 0.90 至 0.93。S61 按照作者引用的文献标准，至少 0.9 即表示排名实际上等价。不过在 MRR 指标下，位次变化更大，排名靠前的系统也有变动。S61

重排序：相比单独使用 BM25 大幅提升

在 Quati 的 50 个测试查询、包含一百万段落的语料上，Jev 将 nDCG@10 从 0.3329 提高到 0.6331，即提升 90.2%；将 MRR 从 0.6852 提高到 0.9033，即提升 31.8%。S61 作为参照，作者引用了此前发表的 BM25 加 mT5-XL 重排序器的结果 0.6593。他们也指出，那项研究中的 BM25 基线为 0.3991，配置也不同，因此这并非受控比较。S61

对斯洛伐克网店意味着什么

网店搜索往往采用相同结构：快速全文检索找出候选，再由第二步进行排序。这篇预印本表明，在这种设置下，Jev 在英语以外的语言中明显改进了 BM25 的排序。S61 TypeSafe 文档中的一份食谱也描述了同样的两步流程：BM25 选出 30 个候选，Jev 按 Noul 值排序，即对问题答案为“是”的估计。S62 该食谱基于 40 个查询，其 1,200 次调用在模型 jev-1.12 和 2026年8月价目下花费 0.0645 美元。S62

JEV.sk 的建议：先用自己的一批含斯洛伐克语商品名称的查询样本试验重排序，并与现有排序对比。请注意，这篇预印本没有测量延迟和成本，而且重排序无法找回第一步根本没有检索到的文档。S61 TypeSafe 的食谱也这样说明：快速检索未选中的段落，重排序无法再加入。S62 可以在成本计算器中按您的候选数量估算费用；如何编写问题，请参阅指南Choice、Score 与 Noul；关于斯洛伐克语的使用，请参阅斯洛伐克语测试。让 Jev 不把文档文本当作命令的指令，与关于注入文本的预印本所描述的风险有关。

局限与模型版本

作者只在 Quati 的网页段落上评估了重排序，没有在较长的法律文档上评估。他们没有进行统计显著性检验，没有在相同条件下将 Jev 与专用重排序器比较，也只测试了以 BM25 为第一步、逐个文档打分的方式。系统排名分析仅覆盖两个数据集。S61 这些结果针对 Jev 1.13。自2026年10月14日起，可通过别名 jev-preview 使用 jev-1.14.0，而 jev-latest 仍指向 jev-1.13.0。S01