用 Jev 做组合评分：多项标准、代码中的权重与加权和掩盖的信息

TypeSafe 文档中介绍了一种名为 composite scoring（组合评分）的模式。它把一个复杂判断拆分成若干独立维度，由 Jev 用各自的 Score 问题分别评估，最后由你的代码按照你自己设定的权重计算总体排名。S76 对于需要同时按多项标准比较商品的网店来说，这是一种实用的做法：模型负责理解文本含义，而哪一项更重要则由清晰可读的代码决定。不过，加权和有一个弱点，模式页面并没有提到。

文档中的示例：筛选简历

示例对求职者的简历进行评估。一个请求包含简历文本和四个 Score 问题：Python 知识的深度、团队领导能力、系统设计能力，以及求职者的综合广度。Jev 并行评估这些问题，并返回四个分数。S76 代码把每个分数除以 4，使其落在 0 到 1 之间，然后按权重相加。S76

权重随岗位而变化。对于不担任管理职务的资深开发者（示例中称为 senior IC），Python 和系统设计各占 40%，团队领导和综合广度各占 10%。对于开发团队负责人，团队领导占 40%，综合广度占 25%，系统设计占 20%，Python 占 15%。S76 两种情况下权重之和都是 100%。

文档认为其优势在于权重直接写在代码里，因此每个结果是如何得出的都一目了然。如果排名靠前的求职者与预期不符，可以调整权重，而各维度的单项分数保持不变。S76 页面并没有明确说调整权重无需再次调用模型；这一点是从权重只在代码中应用这一事实推断出来的。S76

分数如何计算

Score 问题包含一组从低到高排列的等级描述。等级至少要有两个，API 最多接受十个，并按位置从零开始编号。S04 响应中的 score 值并不是被选中的某一个等级，而是各等级编号按其概率加权后的平均值。响应还会返回各等级的概率（probabilities）、等级描述（legend）以及取值在 0 到 1 之间的 confidence。S04

Score 页面把组合评分分为三步：将每个分数除以最高等级编号，即等级数减一；乘以权重；再把结果相加。在其工单分拣示例中，归一化分数 0.62、0.64 和 1.0 配以权重 0.6、0.3 和 0.1，得到 0.664。S04 按照厂商说法，在请求中增加问题几乎不会延长响应时间，只多花几个 token；页面没有给出相应的实测数据。S04

当各维度的量表长度不同时，归一化尤其重要。分数 2 在三个等级时是量表的顶端，在五个等级时只是中间。如果不做除法，量表更长的维度会在不知不觉中获得比预期更大的权重。这是我们自己的推算，不是厂商给出的数据。

加权和掩盖了什么

Score 文档指出，相同的分数可能来自不同的概率分布。数值 1.0 可能意味着全部概率都在等级 1 上，也可能是一半在等级 0、一半在等级 2。因此文档建议在看分数的同时也查看 probabilities 和 confidence。S04 即使 confidence 很高，也并不意味着答案正确；它只描述模型给出的答案本身。S04 组合评分的模式页面完全没有提到 confidence，而是把每个维度都当作一个单一数字来处理。S76

在组合评分中，这个问题会更加突出。从四个平均值的加权和中，已经无法看出模型对某个维度的判断是明确的，还是在两端等级之间摇摆。我们的建议是：在保存总分的同时，也保存每个问题的 confidence。如果某个高权重维度的 confidence 偏低，不要自动把该商品排入名次，而应标记出来交给人工检查。文档指出，confidence 偏低通常意味着对于该输入各等级之间存在重叠、问题同时衡量了不止一件事，或者 state 中缺少细节。S04 如何使用 confidence，可参阅指南confidence 与校准。

如何为各维度编写等级

文档建议每个 Score 问题只衡量一个维度，多方面的判断应拆分成独立的问题。S04 这正是组合评分的原理。等级应描述具体情形，而不是“有点”或“非常”这类程度。S04 因为模型只收到等级描述，并且会把每个等级单独与 state 对照评估，既不知道等级的编号，也不知道相邻的等级。S04 用数字代替描述效果很差：在文档的一个示例中，等级“0”“1”“2”得到的分数为 0.55，confidence 为 0.33；而对同一份报告使用描述性等级时，分数为 0.0，confidence 为 1.0。S04 基本问题类型的说明见指南Choice、Score 与 Noul。

对斯洛伐克网店意味着什么

凡是网店需要同时按多个维度给商品排序的地方，这种模式都适用。我们的示例：对于供应商数据源中的商品描述，可以用独立的 Score 问题分别评估技术参数的完整性、文字的易懂程度，以及描述与所属类目的匹配度。代码据此排出哪些描述应优先改写，编辑团队可以调整权重而无需改动问题。文档并未描述这种用法，这是我们基于其方案提出的建议。S76

所有问题都放在同一个请求中，共用一段文本。S76 TypeSafe 对 jev-1.14.0 和 jev-1.13.0 的输入 token 均按每百万 0.042 美元计费，输出免费。S01 你可以用成本计算器估算自己的用量；如何把多个问题合并到一个请求中，见我们关于 fan-out 模式的文章。

文档没有提到斯洛伐克语，厂商自己也建议用自己的数据检验等级设置。S04 因此对于斯洛伐克语文本，应先在样本上试验，再确定等级描述和权重；具体步骤见指南斯洛伐克语测试。