Jev 评估临床试验入组条件：关键在于承认信息不足

来自香港中文大学和首都医科大学的作者于2026年10月26日在 arXiv 上发布了一篇预印本，研究 Jev 能否判断某位患者满足临床试验的哪些条件。S72 这是一篇预印本，文中没有说明它已通过同行评审。对开发者来说，它有两点值得关注。作者使用的是 jev-1.14.0 版本，也就是 jev-latest 别名目前指向的版本 S01；而且他们不仅关注准确率，还关注模型能否承认自己没有足够信息来作出判断。

测试是如何设计的

对于每一组“患者—条件”，模型需要归入一个类别：条件已满足（met）、未满足（not_met）或信息不足（insufficient）。其中一个数据集还增加了一个类别，用于不适用于该患者的条件。S72 作者通过 Choice 问题调用 Jev。模型返回所选类别、在允许类别上的概率分布以及由此推导出的置信度，但不会写出理由。S72 用于对比的是生成式模型 Qwen Flash（别名 qwen3.8-flash），它必须按固定的 JSON 模式作答，并且在主要比较中关闭了思考模式。S72 这几种问题类型有何区别，可参阅指南 Choice、Score 和 Noul。

数据来自三个来源。第一个是 TrialGPT 方法的样本，它把以合成为主的患者摘要与真实试验中的条件配对。另外两个是基于 MIMIC-III 和 MIMIC-IV 临床记录改编的问题。S72 合计 3,135 个条件，分布在 734 个任务中，其中 2,048 个条件构成主要测试部分。S72 作者排除了数值类问题，MIMIC-III 中有 468 个，MIMIC-IV 中有 700 个。S72 每个任务都以两种模式运行：要么每个条件单独发送一次请求，要么把任务的全部条件放在一个批次中发送。S72

结果：有时打平，有时明显领先

主要指标是宏 F1。在批量模式下，Jev 在 TrialGPT 上为 0.652，Qwen 为 0.660；在 MIMIC-IV 上为 0.807 对 0.814。在 MIMIC-III 上差距很大：Jev 为 0.768，Qwen 为 0.534。S72 Jev 在 MIMIC-III 上的领先主要来自“信息不足”这一类别。Jev 识别出此类条件的比例为 56.3%，Qwen 为 9.9%。S72

Jev 在两种模式之间变化很小，三个数据集上差值的置信区间都包含零。Qwen 在批量模式下多得到了一些正确判断，但作者只作了描述性报告，没有为此给出单独的区间。S72

更明显的差别在于时间。批量模式下单个任务耗时的中位数，在 TrialGPT 上 Jev 为 1.20 秒、Qwen 为 4.55 秒，在 MIMIC-III 上为 1.18 秒对 2.80 秒，在 MIMIC-IV 上为 1.40 秒对 8.90 秒。S72 作者还估算了批量模式下每 1,000 个条件的成本上限：0.0170 美元对 0.0645 美元，0.2045 美元对 0.4314 美元，以及 0.0216 美元对 0.0684 美元。S72 当允许 Qwen 思考时，任务耗时中位数增加到原来的 2.33 至 4.30 倍，但宏 F1 的变化无法得到证实：所有区间都包含零。S72

作者自己指出的局限

参考标签来自源数据，未经临床医生复核，因此与这些标签一致并不等于临床上正确。S72 每种模式只运行了一次，所以无法把批次中其他问题的影响与重复调用的正常波动区分开。作者无法获知 Jev 的架构和训练方式，因此只描述了它的接口。S72 他们的结论措辞谨慎：他们把 Jev 视为初步评估的一部分，用于标出可能的信息缺口；在决定是否让患者入组之前，必须对照病历核实其输出。S72

斯洛伐克网店可以借鉴什么

斯洛伐克网店并不涉及临床试验，但任务的形式并不陌生：检查一条记录是否满足某个条件。例如，一份退换货申请是否包含处理所需的信息，或者 feed 中的商品描述是否写明了所需参数。JEV.sk 根据这篇预印本提出的建议是：在 Choice 问题的选项中明确加入“信息不足”这一类别。在这项测试中，两个模型恰恰在这一类别上差别最大。S72 数值条件交给代码处理，这与作者把数值类问题排除在评估之外的做法类似。S72

请把模型的判断当作初步分拣，而不是最终结论。如何为自动处理和转交人工处理设定置信度阈值，可参阅指南 confidence 与校准。估算成本时可以使用 成本计算器：TypeSafe 对 jev-1.14.0 按每百万输入 token 收取 0.042 美元，输出 token 免费。S01 这篇预印本没有研究斯洛伐克语文本，因此在部署前请用自己的数据验证模型。切换到新版本时，也值得看一看关于 jev-latest 别名 一文中的检查清单。