选项名称可能压过定义：一篇新预印本的发现

一篇发表于2026年10月1日的预印本研究了这样的情形：类型化决策模型拿到的选项带有简短名称和较长的规则说明。来自南加州大学（University of Southern California）的作者称，他们测试的大多数模型主要依据选项名称作答，而不是依据开发者写下的定义。S45 对于编写 Choice 问题选项列表的人来说，这是一条实用的提醒。不过这只是一篇预印本，研究的是开放权重模型；作者并未测量 Jev 本身。S45

作者研究了什么

类型化决策模型会为调用方给出的每个选项返回一个概率。每个选项都有简短名称和包含规则的书面定义。S45 作者想知道两者中哪一个对结果影响更大，并把倾向于遵循名称的现象称为 option-label bias。S45

他们测试了四个开放权重模型：laya 系列的三个模型和模型 von。他们使用了十一项分类任务，以及自建的合成测试集 PolicyBench，其中规则只出现在定义里。作为对照，他们还加入了语言模型 Qwen2.5、Llama 和 Mistral。S45

数字显示了什么

对于模型 laya-td，删除全部定义几乎没有改变准确率：0.8559，而保留定义时为 0.8487。只保留定义、不使用有意义的名称时，结果为 0.7971。S45 当名称与定义相互矛盾时，laya-td 的准确率降至 0.1357。S45

在对照版本 PolicyBench-XF 上，把选项改名为中性的 A 和 B，使 laya-td 的准确率提高了 0.1511（区间为 0.1377 至 0.1646）。作者将这一数值称为主要指标。对于语言模型 Qwen2.5-7B，差值为 +0.1203。S45

模型 von 的表现正好相反。无论如何命名，它的准确率都是 0.8511；删除定义后降至 0.5102，说明它只依据定义。当作者加入与定义矛盾的名称时，它在分类任务上的准确率从 0.8511 降到 0.2281。S45

其机制值得一提。作者从 laya 模型的输入中删去名称后，差异完全消失。因此在他们看来，原因不在于模型受约束的决策头，而在于选项被渲染进输入的方式。S45

Confidence 可能产生误导

预印本还涉及 confidence 数值。对于 laya-td，confidence 分数的 ROC 曲线下面积（AUROC）在名称一致时为 0.8123，在名称具有误导性时为 0.2433。低于 0.50 的数值表示模型出错时 confidence 指向相反方向。S45 因此作者提醒，仅靠 confidence 阈值是不够的；更多内容见指南confidence 与校准。S45

作者的建议

第一步是两次调用测试：用不同的选项名称、不变的定义，把同一个问题问两遍。如果概率分布不同，说明名称在影响决策。S45

如果规则写在定义里，作者建议在任务允许时使用任意名称，例如 A 和 B。如果名称必须承载含义，他们建议通过空状态进行校正，并比较两种渲染方式。S45 单纯加上“忽略名称”的指令帮助很小：只提高了 0.0138，作者认为它不能替代任意名称。S45

对斯洛伐克网店的影响

典型场景是把客户留言分到“投诉”“退货”或“配送咨询”等类别。如果留言何时属于投诉的规则写在选项定义里，而名称又与留言内容相近，那么按照预印本的说法，决定结果的可能是名称而不是规则。这一点适用于作者测试过的模型。S45

作者没有测量 Jev，因为它是托管的商业模型，他们关于机制的结论适用于开放实现。S45 因此，仅凭这一来源无法得知 Jev 是否也有同样表现。JEV.sk 没有对此做过任何测量。不过两次调用测试成本很低，开发者可以在自己的数据上运行；选项的写法见指南 Choice、Score 与 Noul，网店中的典型部署见页面Jev 与网店。

研究的局限

PolicyBench 是按模板构建的合成数据集，缺少真实数据的自然性。定义是作者自己的措辞，换一种写法会改变绝对数值。模型 laya-ml 接近随机水平，因此作者没有据此得出结论。他们也没有测量延迟和成本。S45 由于这只是预印本，文本尚未经过同行评审。