Confidence 并不保证答案正确

模型返回什么，应用又据此得出什么

对于 Choice 和 Score，confidence（置信度）是根据概率分布计算出来的。它反映的是分布的集中程度，而不是对答案的独立核验。阈值应根据具体任务和出错的后果来调整。S06

TypeSafe 把 RLCD 训练描述为一种力求得出良好校准决策的做法。校准是针对一组预测整体评估的；它并不保证某个概率很高的具体答案就一定正确。S09

我们建议的验证方法

首先准备一批经人工评判的示例。把用于设计问题、设定阈值和最终测试的数据分别单独留出。样本较小时，不要把带小数的百分比当作高度确定的证据。

同时跟踪自动接受案例的准确率及其所占比例。一个几乎把所有案例都转交人工的模型，可能在那一小部分自动处理的案例上准确率很高，实际价值却微乎其微。反过来，高自动化比例也可能掩盖太多代价高昂的错误。

JEV.sk 的模拟器

JEV.sk 的模拟器用人工设定的数值来说明这种取舍。它可以在明确的咨询、含糊的咨询和刻意设计的自信错误之间切换。模拟中的任何数字都不是 Jev 的实测概率，模拟也不能验证模型。

自动决策应当有预先设定的边界。对于资金转移、删除数据和更改权限，单靠阈值是不够的。我们建议另设独立的规则和审批。