把 Jev 放在语言模型之前作防护：预印本对阈值的发现

两位来自 University of Southern California 的作者于 2026年11月初在 arXiv 上发布了一篇预印本，研究 Jev 作为生成式语言模型前置安全防护时的表现。他们关注的不只是分类准确率，还有整个系统的行为：有多少有害请求得到了回答，系统又拒绝了多少无害问题。S84 这是一篇预印本，其结果应结合作者自己说明的局限来阅读。任何想在聊天机器人或其他生成式模型之前加一道低成本过滤器的人，都与这一主题相关。

实验如何设计

受保护的模型是 Qwen/Qwen2.5-1.5B，回答长度最多 120 个 token。数据集共有 970 条提示词：来自 AdvBench 的 520 条有害提示词、来自 XSTest-unsafe 的 200 条有害提示词，以及来自 XSTest-safe 的 250 条无害提示词。S84

作者比较了三种配置：

• 不加过滤器的模型本身；
• 单一输入门：Jev 返回提示词有害的概率，数值达到 0.50 时系统拦截该提示词；
• 分级门：达到 0.90 时拦截，低于 0.30 时不经检查直接放行。在两者之间的区间，模型先作答，再由 Jev 评估答案本身，达到 0.50 时拦截。S84

预印本写明使用别名 jev-latest，但没有说明具体版本和实验日期。S84 目前该别名指向 jev-1.14.0，自 2026年10月14日起可用。S01 因此，从文中无法判断实验时运行的是哪个版本。

原始设置下的结果

模型本身回答了 720 条有害提示词中的 527 条（73.2%），拒绝了 250 条无害提示词中的 3 条（1.2%）。单一输入门把对有害提示词的回答降到 720 条中的 17 条（2.4%），但拒绝了 250 条无害提示词中的 27 条（10.8%）。分级门放行了 720 条中的 40 条（5.6%），拒绝了 250 条中的 10 条（4.0%）。S84

这里“回答”一词的含义很重要。作者把所有不属于拒绝的输出都计算在内，而拒绝是通过简单搜索 14 种文本模式来识别的。因此，这并不是经过核实的有害性。在对模型本身的此类回答随机抽取 40 条进行人工检查时，他们发现 34 条有害、6 条安全。S84

Jev 自身的评分对各组区分得很清楚：平均值在 AdvBench 上为 0.98，在 XSTest-unsafe 上为 0.87，在 XSTest-safe 上为 0.14。不过，不同数据集对阈值的敏感度并不相同，AdvBench 的反应小于 XSTest-unsafe。S84

输出复查作用有限

在分级门中，970 条提示词里有 79 条（8.1%）经过了输出复查。复查拦截了 13 条回答，人工评估后其中 7 条有害、6 条安全。作者还根据记录的结果重建了没有复查时的情况：对有害提示词的回答将是 720 条中的 47 条（6.5%），而不是 40 条（5.6%），但无害提示词被拒绝的只有 4 条，而不是 10 条。S84 由此可见，在原始设置下，分级方案并没有超过简单的输入门。

联合调整三个阈值后，分级门的 macro-F1 从 0.9351 提高到 0.9512，对有害提示词的回答数降至 720 条中的 27 条。不过，作者是在同一批数据上调整阈值的，并将这一结果称为探索性结果。在按 60/40 划分的独立数据检查中，两种方案对有害提示词的回答比例都是 2.8%，被拒绝的无害提示词比例都是 14.0%，而且被选中的分级方案完全没有使用输出复查。作者补充说，一次划分并不能证明两种方案等效。S84 他们在结论中写道，仔细选择阈值可能与整个防护方案的复杂程度同样重要。S84

对斯洛伐克网店的启示

对聊天机器人的运营者来说，最有启发的是结果的另一面。在这组数据中，阈值为 0.50 的输入门拒绝了超过十分之一的无害提示词。S84 因此，仅照搬论文中的阈值是不够的。预印本没有提到斯洛伐克语，作者也没有说明提示词的语言。S84 所以这些数字不能作为估计斯洛伐克语表现的依据。

作者没有测量延迟和成本，并明确指出复查频率不能替代这些指标。S84 估算成本时，根据 TypeSafe 的价目表，jev-1.14.0 每百万输入 token 收费 0.042 美元，输出 token 免费。S01 输出复查还会把模型回答的文本发送给 Jev，S84 因此应在成本计算器中计入两次调用的费用。

以下是 JEV.sk 的建议，并非预印本的结论：从自己的业务中准备一批真实的无害请求样本，在样本上分别统计被放行的有害案例和被拒绝的无害案例，并在与评估数据不同的另一部分数据上选择阈值。关于如何使用概率，Confidence 与校准页面有更详细的说明。针对定向操纵的抵抗能力是另一个主题，可参阅关于注入文本的文章。

作者说明的局限

实验只使用了一个目标模型和一种生成设置。自动拒绝检测器至少出错过一次，独立数据检查也只基于一次划分，且无害提示词集合较小。作者认为，后续研究需要更多模型和基准，需要评估实际有害性，并测量延迟和成本。S84 作者表示，代码、匿名化的逐条提示词结果和分析脚本均已公开。S84