提示词里该放哪些示例？一篇预印本测试了 Jev 风格模型

用语言模型对文本分类时，人们常会在提示词中加入几个已经解答好的示例。这种做法称为上下文学习（in-context learning），其效果在很大程度上取决于模型拿到的是哪些示例。中国吉林大学三位作者于 2026年10月31日发布了一篇预印本，研究一个能为每个候选示例估计其有用程度的决策模型，是否有助于挑选这些示例。S81 这是一篇预印本，即尚未经过同行评审的工作。对开发者来说，这个问题很实际：选得更好的示例可以在不改动模型本身的情况下，提高小型廉价模型的准确率。

这里说的不是 TypeSafe 托管的 Jev

作者把 TypeSafe AI 的 Jev 称为一种给出概率判断的决策模型。但论文并未说明自己使用了它的 API。实验中采用的是两款发布在 Hugging Face 上的第三方开放模型：40 亿参数的 NeoJev 和 90 亿参数的 JEV。S81 因此，这些结果并不能直接说明 TypeSafe 通过其 API 提供的 jev-1.14.0 模型。S01 关于团队如何自建决策模型，本站在介绍 PayPal.AI 团队预印本的文章中也有论述。

挑选过程如何进行

方法分两步。首先，一个常见的句向量模型找出与输入最接近的 20 个训练示例。然后，决策模型针对其中每一个回答一个是/否问题：它是否是一个有用且相关的示例？回答“是”的概率被用作有用程度得分。S81 作者并不是简单按排名顺序取最终的示例组合，而是用宽度为 4 的束搜索（beam search）寻找最佳组合。S81

问题在于成本。每个候选都意味着再调用一次决策模型，作者称之为相当大的计算负担。因此他们提出了蒸馏：JEV-9B 模型给出的评分被用作训练数据，训练一个小型 MLP 神经网络，之后由它自行估计有用程度。他们把这个网络命名为 DisJEV，把从 NeoJev 模型学来的对应网络命名为 DisNeoJEV。S81

作为对照，作者使用了按语义相似度挑选（kNN）以及另外两种方法 ConE 和 DiSP。任务涵盖问题分类（TREC）、情感（SST-2、SST-5）、新闻主题（AG News）以及两个句子之间的关系（MNLI）。接收示例的模型为 Llama3.2-1B、Qwen3-1.7B、Llama3.1-8B 和 Qwen3-8B，主实验中每次给四个示例。S81

结果如何

在全部四个模型上，DisJEV 的平均分都高于按相似度挑选，分别高出 2.99、3.68、0.43 和 1.68 分。在 Qwen3-1.7B 上为 77.12 对 73.44。S81 在本次测试中，DisNeoJEV 变体表现还要略好一些，在同一模型上达到 77.68。S81 据作者介绍，ConE 和 DiSP 带来的改进并不稳定，在部分模型上甚至让结果变差。S81

不过，平均值掩盖了不同任务之间的巨大差异。在 Qwen3-1.7B 上，DisJEV 在 TREC（85.20 对 72.40）和 MNLI（74.85 对 69.95）上有明显提升；而在 SST-2 和 AG News 上，它反而略低于按相似度挑选。S81 在作者通过 API 调用、并用 500 个样本评估的更大模型 DeepSeek-V4-Flash 和 Qwen3.8-Flash 上，提升不到两分。作者自己也称之为相对有限。S81

在候选对的先后顺序上，小型网络与原始决策模型的一致率约为 70%。S81 当作者只在四个任务上训练它、并在第五个任务上评估时，它比完整版本低 1.43 和 1.70 分，但仍高于按相似度挑选。S81 作者还写道，效果取决于具体的语言模型以及任务的性质。S81

对斯洛伐克网店意味着什么

如果一家斯洛伐克网店用小型语言模型加上提示词中的几个示例来分拣客户消息，这篇论文表明，最相似的示例未必最有用。同时它也显示，收益因任务而异，而且在更强的模型上很小。S81 如果您打算直接基于决策模型做分拣，不妨先看看按意图路由的模式。

以下是 JEV.sk 自己的建议，并非论文的结果。使用托管的 Jev 时，可以针对每个候选提出一个是/否问题，进行类似的评分。TypeSafe 按输入 token 收费，每百万 0.042 美元，输出免费。S01 但每个候选都是一次单独的评分，带有各自的输入，因此成本会随每条消息的候选数量增加。您可以在成本计算器中做个估算。在部署这样一层之前，请先用您自己的消息比较一下，它是否真能胜过简单的按相似度挑选。