独立指南 · 我们不是 TypeSafe AI资料已核实 · 2026年10月18日SKENDE中文
JEV.sk
研究 · 2026年10月14日

注入文本可翻转 Jev 的判断:一篇新预印本的发现

2026年10月13日的预印本发现,在 228 个应用中,注入文本使 Jev 的判断在 81.5% 的案例中被翻转,常见防御效果有限。

决策模型可能返回格式完全正确的答案,但如果有人刻意引导,答案依然可能是错的。一篇由七位来自中国研究机构的作者撰写、于2026年10月13日发布在 arXiv 上的预印本,研究了在基于 Jev 构建的真实应用中,仅仅修改从外部进入模型的文本,能以多高的频率翻转程序的决策。攻击者既不修改应用代码,也不改动内部问题或模型本身。S49 这是一篇尚未经过同行评审的预印本。凡是把评论、客户消息或商品数据源文本发送给 Jev 的人,都与这一话题直接相关。

作者所说的“决策劫持”是什么

作者将这一现象命名为 Jev Program Decision Hijacking。攻击者修改某些可信度较低、会进入 Jev 问题中的外部字段。模型随后返回一个在形式上符合 schema 的答案,即有效的是/否值、类别、分数或置信度,但程序据此采取了与应有做法不同的行动。S49 根据威胁模型,攻击者只了解应用的公开行为以及自己能控制的内容,既不需要源代码,也不需要内部指令。S49

研究是如何进行的

作者从 GitHub 收集了 1711 个不重复的候选代码仓库。他们检查了星标最多的 356 个,并将其中 228 个标记为可能存在漏洞。S49 为了寻找攻击方式,他们开发了名为 JevProbe 的工具。该工具在代码中追踪传入 Jev 调用的数据来自何处,确认外部文本确实能到达那里,然后尝试各种注入内容的变体。这些变体由 Qwen3-32B 模型生成,例如使用伪造的批准、虚假的工具输出或重新设定的情境。S49 目标版本为 jev-1.13.0。实验在隔离的本地环境中进行,不涉及线上系统,也不使用真实用户数据。S49

十次尝试中有八次成功

在 2273 个测试案例中,有 1853 个案例的决策被翻转,即 81.5%。S49 228 个应用中多达 202 个的翻转率至少为 80%,其中 16 个应用达到 100%。S49 作者将 98.6% 被翻转的决策归为潜在不安全。其中最大的一类是信息污染,占 92.5%。S49 在评估影响时,他们借助了语言模型 Gemma-3-27B-IT,作者本人也将此列为局限之一。S49

TradingAgents 应用的案例说明了为什么仅靠置信度阈值并不够。在判断一条财务信息是否可信时,攻击后置信度从 0.65 降至 0.27,低于 0.5 的门槛,应用因此拒绝而不是接受了这条信息。S49 也就是说,攻击恰恰改变了代码据以做出决定的那个数值。

其他模型与所试防御

作者还用其他模型进行了同样的攻击,这些模型通过适配器代替 Jev 接入应用。在由十个应用组成的对比组中,Jev 的翻转率为 79.8%,其他被测模型在 50.7% 到 66.8% 之间。S49 作者指出,该适配器并不对应每个模型的原生配置。S49

现有防御帮助不大。在该组中,不加防御时有 78.7% 的决策被翻转。所试方法中最有效的一种是用分隔符包裹外部文本(Spotlighting-Delimit),它将比例降至 68.9%,即下降 9.8 个百分点。相反,对输入进行改写却使比例略升至 79.8%。S49 对于不加防御的 Jev,预印本在两处给出了略有不同的数值:78.7% 和 79.8%。S49 作者没有测试模型内部的防护措施,因为 Jev 的架构和参数都未公开。S49

研究的局限

研究只涉及 GitHub 上的开源应用,结果适用于实验当时的特定版本和配置。S49 所描述的案例中没有网店,也没有商品评论。作者列出的类别包括财务决策、访问规则执行、内容处理、服务控制、智能体路由以及对外可见的操作。S49 他们已将发现告知各应用的维护者,截至发布时尚未收到回复。工具代码和数据集已在 GitHub 上公开。S49 JEV.sk 没有对上述任何内容进行测量。

这对斯洛伐克网店意味着什么

TypeSafe 的文档建议:程序控制应保留在代码中,置信度阈值应与具体操作的风险相匹配,不确定的情况应交给人工或更昂贵的模型处理。S50 不过,该页面并未讨论通过输入发起的攻击或不可信文本。S50

JEV.sk 的建议:网店经常把外人写的文本放进 state,例如商品评论、关于退换货申请的消息、订单备注或供应商数据源中的描述。这类文本应被视为可能带有敌意。Jev 基于此类文本做出的判断,不应自行触发退款、发布带链接的评论或修改价格。既然 TradingAgents 的案例表明攻击同样会改变置信度,阈值就不足以作为唯一的防线。敏感步骤应交给代码中的规则和人工处理。应清楚地界定外部文本,尽管根据预印本这只能起到部分作用;还应在测试集中加入诸如“已获安全团队批准”之类的注入输入。指南安全与隐私提供了更全面的风险视角,confidence 与校准则介绍了如何选择阈值。

来源与核实程度

本文依据核查日期时所列的来源撰写,并非 JEV.sk 的自有测试,也不保证服务的当前状态。