数据变了怎么办：一篇预印本谈决策模型何时最好不作答

决策模型通常先在一份数据样本上试用，然后投入使用。但数据会随时间变化：出现新的请求类型，类别之间的比例发生偏移，或者选项列表被修改。2026年10月25日发布的预印本 SHIFT-JEV 研究了在这种情况下，把概率分配给一组固定选项的模型会发生什么，并提出模型在什么时候最好不作答。S77 对于用 Jev 分拣消息或订单的人来说，这是一个有用的提醒：上线前的测试成功，并不足以支撑长期运行。

谁做了测试，测了什么

作者是来自伊斯兰堡 National University of Computer & Emerging Sciences 的 Muhammad Atif Saeed、Azka Atiq 和 Akhtar Jamil，来自 University of Arkansas at Little Rock 的 Adarsh Kumar，来自 University of Malaya 的 Uzair Iqbal，以及来自德国 DFKI 的 Roland Aydin。这是一篇预印本，也就是尚未经过同行评审的研究。S77

一个重要的限制：预印本中的结果来自开源模型 Qwen3-0.6B、Qwen3-4B-Instruct-2507 和 Phi-4-mini-instruct。作者为它们提供了模仿 Jev 的接口，模型收到带编号的选项后从中选择一个。据作者自述，他们无法使用 JevBench 数据集。S77 因此，这项研究描述的是类 Jev 模型，其数字不能直接套用到 Jev 本身。

作者区分了四种偏移。在领域偏移中，任务来自其他领域，例如 Banking77 数据集中的银行客户问题、来自 Twitter 的财经新闻或 MMLU。在比例偏移中，AG News 数据集的类别严重失衡，比例为 10 和 100。新类别由 CLINC150 数据集代表，其中带有“以上都不是”选项。最后一种偏移改变选项列表本身：调整顺序和措辞，加入一个听起来相似的错误选项，或者干脆去掉正确答案。S77

什么时候不作答更好

研究的主体部分讨论模型何时应当拒答。只有当估计的出错风险足够低时，模型才作答，否则把该案例转交出去。目标是让已作答输入中的错误率不超过 10%。S77

表现最好的是带有认证阈值的学习型不确定性分数：在 27 个“环境与运行”组合中，它有 3 到 5 个超出目标。只基于最高概率的阈值在 5 到 15 个情况下超出目标，保形预测集则为 9 到 14 个。S77 在较小的 Qwen3-0.6B 模型上，采用相同认证的最高概率方法平均实际错误率为 16.0%，而学习型分数为 6.4%。S77

超出次数最少的是最严格的规则，即对所有输入采用两个阈值中更严格的那个，结果为 27 次中 3 次和 2 次。不过作者把它列为事后才得出、仍需确认的发现。S77

正确答案不在列表中、因而每个选项都是错误的情况也很有启发。此时较大的模型在各次运行中拒答的比例为 14% 到 72%，作者也承认可能需要一个专门的“以上都不是”机制。S77

一个简单检验就能发现类别比例的变化

在监控数据流时，作者比较了多种检测器。对于基于模型置信度或文本向量表示的检测器漏掉的类别比例偏移，基于预测类别直方图的 χ² 检验在偏移强度最大时能发现 95% 到 99% 的情况。S77 不过该检验也会产生误报：在没有偏移的数据上，误报率为 6% 和 10%，高于 5% 的目标。S77 尽管如此，作者仍建议默认开启对类别比例变化的监控。S77

微调及其局限

第三部分提出针对新条件持续微调模型。一道保护机制只有在留出样本上显示出有统计依据的改进时，才接受这次更改。在 Qwen3-0.6B 上，这种方法达到 70.5% 的准确率，并在每次运行中都超过了对比方法。而在 Qwen3-4B 上，它落后 0.4 到 1.4 个百分点。S77 结合锚定原始模型和温度缩放的微调，把较小模型在偏移下的平均校准误差从 0.289 降到 0.087。S77 这一部分主要与能够访问模型权重的人有关，就像作者在开源模型上所做的那样。

作者自己列出了多项局限。类别比例和选项列表的偏移是人为构造的，每个模型只运行了三次，而且只测试了来自两个模型家族、参数量最多 40 亿的模型。代码要等到论文定稿版本时才会发布。S77

网店可以从中得到什么

以下几点是 JEV.sk 根据这篇预印本提出的建议，而不是在 Jev 上测量得出的结果。如果网店像消息路由模式中描述的那样，用 Jev 按意图分拣客户消息，就值得保存预测出的类别，并比较不同时期的类别比例。例如圣诞节前关于配送的问题增多，这正是预印本中基于置信度的检测器漏掉的那种比例偏移。S77 由于该检验也会误报，警报应当引出人工核查，而不是自动修改设置。

第二点与阈值有关。对于 Choice 和 Score 问题，Jev 会返回 confidence 值。TypeSafe 文档建议把它分为三个区间：置信度高时自动执行，中等时谨慎处理，低时把案例转交人工处理或其他流程。阈值应随风险提高，从保守值开始，并用自己的数据验证。S06 预印本对此补充了一个警告：仅在原始数据上认证的阈值，在更严格的 5% 目标下，大多数运行中都未能守住。S77 关于阈值的更多内容，请参阅指南置信度与校准。

第三条建议：如果选项列表中可能没有正确答案，请在 Choice 问题中加入“其他”之类的选项。没有它，即使所有选项都是错误的，模型也必须从给出的选项中选一个。S77 Choice、Score 和 Noul 问题有何区别，请参阅指南 Choice、Score 和 Noul。