用 Jev 审核仇恨言论：一篇新预印本有何发现

2026年10月2日，塞浦路斯大学的三位作者在 arXiv 上发布了一篇预印本，研究决策模型能否在无人针对该任务进行微调的情况下识别仇恨帖子。在所研究的六种配置中，也包括 jev-1.13.0 版本的 Jev。S42 这是一篇未经同行评审的预印本，但对研究方法有详细说明。这个话题与所有在网站上发布评价、商品问答或评论的人都相关：内容需要审核，而把每条帖子都交给大语言模型处理，成本很高。

作者是怎么做的

他们通过托管 API 调用 Jev，其余五个决策模型（Laya、Decider、基于 Qwen3.5 2B 和 4B 的两个 SemIf 变体，以及 Bespoke-Nimble-9B）则在本地运行。作为对比，他们使用了两个商业模型 GPT-5.6 Luna 和 GPT-6 Sol，还有专门的审核模型 CoPE、未经任务训练的 BART 模型，以及两个用数据训练的传统分类器（TF-IDF 加逻辑回归，以及 DistilBERT）。S42

测试使用了四个英文数据集：Dynamic 含 4,120 条文本，MHS 含 3,203 条，HateXplain 含 1,924 条，HateCheck 含 3,728 条。HateCheck 由刻意构造的测试用例组成。S42 在统计方面，作者对数据进行了 10,000 次重抽样，并按比较次数对结果做了 Bonferroni 校正。S42

Jev 的表现

主要指标是 macro-F1，取值范围为 0 到 1，针对的是“文本是否属于仇恨言论”这一简单问题。本次测试的结果（Jev、GPT-6 Sol、GPT-5.6 Luna）S42：

• Dynamic：0.826、0.897 和 0.858；
• MHS：0.691、0.682 和 0.691；
• HateXplain：0.738、0.776 和 0.677；
• HateCheck：0.960、0.976 和 0.974。

商业模型在四个数据集中的三个上取得了最好成绩，但只有在 Dynamic 数据集上，它们才在统计上显著领先所有决策模型。在 MHS 上，本地运行的 Decider 模型以 0.801 超过了它们。S42 也就是说，没有哪个模型在所有数据集上都胜出。

成本与延迟

差别主要体现在成本上。在 HateCheck 数据集上，每千条文本的费用为：Jev 0.033 美元，GPT-5.6 Luna 0.120 美元，GPT-6 Sol 1.177 美元。响应时间中位数为：Jev 336 毫秒，Luna 844 毫秒，Sol 1,426 毫秒；本地运行的 Laya 只需 48 毫秒。S42 作者的总结是：Jev 的 macro-F1 比 GPT-6 Sol 低 1.6 个点，而成本低约 97%。S42

根据 TypeSafe AI 的文档，其收费为每百万输入 token 0.042 美元，输出 token 不收费。S01 针对您自己的帖子量进行估算，可参阅价格与限制指南。

定义和额外问题并未可靠地改善结果

作者还尝试了两种直觉上应当有帮助的调整。第一种是在问题中加入相应数据集对仇恨言论的定义。定义改变了 2.8% 到 28% 的预测，但显著改善和显著变差出现的频率相同，在 28 次比较中各占 8 次。S42

第二种调整是拆分为多个子问题，例如文本针对的是谁、涉及哪类行为。结果只在 20% 的比较中显著改善，而在约 37% 的比较中变差。对 Jev 而言，拆分还使成本在 HateCheck 上增加了 64%，在 Dynamic 上增加了 139%。S42 作者认为拆分的价值在别处：对于有争议的帖子，它会记录是哪一条标准起了决定作用，从而便于人工复核。S42 各个子问题的难度也不同。Jev 在 HateCheck 上识别目标群体的得分为 0.989，识别言论指向的得分为 0.682，而在 Dynamic 上识别行为类型的得分只有 0.538。S42 Choice 和 Score 类问题如何组合，请参阅 Choice、Score 与 Noul 指南。

对斯洛伐克网店意味着什么

四个数据集全部是英文的，作者明确指出无法据此对其他语言得出结论。S42 厂商同时表示，Jev 的主要语言是英语，其他语言虽经过测试，但优化程度不同。S01 因此，这项研究的数据不能直接套用到斯洛伐克语的评价或评论上。如何检验模型在斯洛伐克语中的表现，请参阅斯洛伐克语测试指南。

作者的建议较为审慎：他们认为，未经微调的优秀决策模型是一个合理的起点，前提是运营者用按照自身审核规则标注的样本对其进行验证。S42 他们还提醒两类错误都有代价。过严的过滤可能隐藏正当的帖子，包括反驳仇恨言论的回应；过松的过滤则让受影响的群体得不到保护。S42

JEV.sk 对实践的建议：从自己的网站上取几百条真实的评价和评论，按照自己的规则手工标注，然后再用它们比较 Jev 与您目前使用的模型。有争议的案例交给人工判断。这与模型置信度的关系，请参阅 confidence 与校准指南；这项研究的正文并未评估置信度阈值。更多应用场景见 Jev 用于网店指南。

研究的局限

除语言限制外，作者还指出，HateCheck 是人工构造的，因此其结果对真实帖子的适用程度尚不确定。HateXplain 的定义只能用替代版本，拆分规则反映的是作者自己的理解，子问题的回答也没有经过人工核对。他们同样无法确定测试数据是否进入了模型的训练。S42 我们在研究概览中汇总了关于 Jev 的其他研究。