那次注入是被忽略了,不是被拒绝了

一项针对十一个开放权重智能体、约 33,000 条轨迹的审计发现:在那些失败的间接提示注入里,InjecAgent 上有 76.3%、AgentDojo 上有 80.3% 只是被智能体忽略了,而真正的拒绝只占 18.0% 与 17.2%。于是,低攻击成功率多半是沉默,而不是一条守住了的指令边界——又因为只有「拒绝」会留下痕迹,拒绝率监控大约只能看到你的智能体所挡住的尝试中的五分之一。同一篇论文还报告,仅改动系统提示就让十一个智能体中的九个的攻击成功率出现显著变化,这说明:你记在模型账上的那份稳健性,其实是脚手架在扛。

作者 智能体 AI 维基 16 分钟读完

你的智能体那个提示注入分数,量的多半是沉默。一项针对约 33,000 条轨迹的审计发现:在那些失败的间接注入里,InjecAgent 上有 76.3%、AgentDojo 上有 80.3% 只是被智能体忽略了——真正的拒绝分别是 18.0% 与 17.2%——而「被忽略」恰恰是唯一一种不留下任何可供你统计的痕迹的结果。你当作稳健性去引用的那个数字,其实是「恰好没被触发的攻击」的数量;而修法的第一步,是去量三种结果而不是两种。

一眼概览

那篇论文是 Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents(arXiv:2610.23254,Farhan Zarif 等,2026 年 10 月发布)。它对两套标准注入基准里的失败重新打了标签——十一个 2B 到 14B 参数的开放权重智能体,由一个不知标签的 LLM 评判者评分——并追问每一次失败究竟是什么。

一次失败注入的结果InjecAgentAgentDojo攻击成功率如何记它
被忽略——没照做,也没提起 76.3% 80.3% 算一次防住
真正的拒绝——认出来并谢绝 18.0% 17.2% 算一次防住
其他失败形态 5.7% 2.5% 算一次防住
What happened in the injections that did not succeed Two stacked bars, each covering the attacks that failed. On InjecAgent, 76.3 percent were ignored by the agent, 18.0 percent were genuine refusals, and 5.7 percent fell into other failure categories. On AgentDojo, 80.3 percent were ignored, 17.2 percent were genuine refusals, and 2.5 percent were other failures. Both bars are dominated by the ignored segment, which an attack-success-rate metric counts as a defence. Share of failed injections, by outcome Eleven open-weight agents, 2 to 14B parameters, about 33,000 audited trajectories InjecAgent Ignored 76.3% 18.0% AgentDojo Ignored 80.3% 17.2% Ignored Genuine refusal Other failure
五次失败里有四次是智能体没反应。五分之一才是那条边界在干活。
Three outcomes and what each one tells you A three by three matrix. Ignored: counted as a defence by attack success rate, invisible to refusal monitoring, and tells you nothing about the instruction boundary. Genuine refusal: counted as a defence, visible to refusal monitoring, and tells you the boundary held. Recognised then complied: not counted as a defence, visible in the trace, and tells you the boundary is absent. Legend: informative about the boundary, not informative. What each outcome is worth Scored as a defence? Visible to monitoring? What it tells you Ignored Yes No Nothing about the boundary Genuine refusal Yes Yes The boundary held Recognised, complied No Yes, in the trace The boundary is absent Informative Not informative
只有中间那一行在两个方向上都带信息。而最上面那一行,才是这个指标的主要成分。

为什么「被忽略」不是一次防住

这个区分是机械的,不是哲学的。当智能体执行了攻击者的那个动作,注入就算成功。当智能体处理了那条指令、判定它不正当、并把这件事说出来,它就算被拒绝。而当那条指令只是躺在上下文里、从未成为一个候选动作时,它就算被忽略——可能因为工具返回在它之前被截断了,可能因为脚手架的提示把模型紧紧钉在用户任务上,可能因为模型的注意力从未把它浮出来,也可能因为被注入的指令引用了一个不在工具清单里的工具。

上述每一个理由都是配置的属性,而不是模型判断力的属性。改一改脚手架——更长的工具返回窗口、再挂一件工具、一条邀请模型「拿你找到的任何东西去帮忙」的系统提示——于是同一个模型、同一份权重、同一次攻击,现在触发了。这就是一条边界与一次巧合之间的差别,而攻击成功率分辨不出两者,因为它们都产出一个零。

作者把它说得像论文能说的那样直白:小型智能体在这些基准上显得安全,是因为默认脚手架让被注入的指令没被触发,而不是因为它们的指令边界稳固。如果你一直把低 ASR 读作「这个小模型可以放心带工具跑」的证据,那么证据并不支持这个结论。它支持的是一个更弱的结论:在这个脚手架下、在这些任务上,大多数攻击没有点着。

监控上的后果,一道除法就够了

这是明天就会改变你某项运营动作的那部分。如果你把拒绝当作「有人尝试注入」的信号来监控——而监控拒绝正是标准建议,因为拒绝是唯一一种会把自己写进对话记录的事件——那么就用这篇论文自己的数字做那道除法。拒绝在 InjecAgent 上占失败的 18.0%,在 AgentDojo 上占 17.2%。所以在你的智能体所挡住的每一次尝试里,你大约只观测到五分之一。

这不是一个你可以靠乘个系数抹平的校准误差,因为缺失的那五分之四不是随机抽样。它们是因配置原因而失败的那些尝试,也就是说,它们恰恰是一次配置改动就能转化为成功的那个群体。你的面板对那些「离能跑通只差一次部署」的攻击是瞎的。

所以仪器必须把三种结果分开,而不是两种,而其中只有一种是免费的。成功与拒绝都在轨迹里可见。被忽略必须去检测:被注入的那条指令必须是你知道的,也就是说你需要一个 canary。在你的智能体会读的那些不可信通道里埋一条无害而显眼的指令——一个被抓取的网页、一个工单正文、一个预发租户里的工具返回——然后把每一次运行标成「照做了」「拒绝了」或者「都不是」。第三个桶就是你的被忽略率,而它正是「有人把上下文窗口开大时」会动的那个数字。生产中的拒绝监控讲怎么把检测器建起来;这篇论文是「为什么那个检测器需要第三个桶」的论证。

扛着那份稳健性的是脚手架

这篇论文的第二个结果影响更远。固定模型、只改系统提示,在配对 McNemar 检验下让十一个智能体中的九个的攻击成功率出现了显著变化——这里用配对检验是对的,因为它比较的是同一批题目在两种条件下的表现,而不是两个互相独立的准确率数字。关于这篇论文的二手综述描述了一次跨度从 0.2% 到 43%(InjecAgent 上)的配置摆动;我们无法确认那个区间指的是哪个智能体、哪一对提示,所以请把那个具体数字当作指示性的,把配对检验的结果当作那个发现。

无论如何,后果是同一个,而且对任何发布或消费安全数字的人都不好受。一个注入稳健性分数是(模型、系统提示、工具清单、截断策略)这个四元组的属性,而这个分数最终只被归到其中一项的账上。用厂商自己的脚手架测出来的厂商稳健性声明,对你的部署说明得极少;而你自己的测量,在一次提示改动上线的那一刻就不再有效。这与评估方差与统计效力是同一结构,只是把采样方差换成了提示方差——而提示方差既更大,也更容易被无意引入。

认出来不等于顶住了

还有一个发现值得单独拎出来,因为它破掉了很多团队正在建的一道防线。审计里有些智能体识别出了注入,然后照样执行了——论文把一个「既认出来也拒绝」的智能体,与一个「认出了攻击却依然照做」的智能体作了对照。

如果一个智能体能叙述「这看起来像一条被注入的指令」然后去照办,那么一个盯着「是否认出来」的监控器盯的就是错误的变量。检测与行为是可分离的,而模型关于某次攻击的自述并不是它对此做了什么的证据。唯一可信的信号是动作:有没有一次与被注入意图相符的工具调用被提出来?这就是「把检查放到模型的自述之外」的论据,也正是监控器完整性与当那项检查必须动手时所讲的事;同样也是为什么能力对倾向是正确的框架:能注意到的能力,对「是否倾向于谢绝」什么都没说。

拿它来做什么

四件事,按见效顺序排列。

  • 加上第三个桶。把「照做了/拒绝了/都不是」做成仪器,并在每一条不可信通道里放一条 canary 指令。在你拿到被忽略率之前,你并不知道自己的哪个分数是一条边界、哪个是一次巧合。
  • 每次脚手架改动都重跑注入套题。一次系统提示改动、新增一件工具、或者改掉工具返回的截断方式,都是对你那个稳健性数字的改动。像对待换模型那样给它设闸,而不是像对待一次文案修订。
  • 别再把低 ASR 读成一次防住——包括你自己的。把它成对地报出来:攻击成功率,以及失败里有多大比例是真正的拒绝。只给一个不给另一个,描述的是半套系统。
  • 把强制点放到模型之外。「被忽略对被拒绝」的分裂,就是「根本不要依赖模型的指令边界」的实证依据。收紧凭据、给写入设闸,并把那条边界当作额外赠品——提示注入防御里有那些层。

对这篇论文最诚实的总结比头条更窄,也更有用:它没有证明小型智能体不安全,也没有证明那些基准是错的。它证明的是,那些基准所报告的那个量是两件非常不同的东西之和,而更大的那一项恰好由你的配置控制、而你的监控看不见。

常见问题

这是不是说 InjecAgent 和 AgentDojo 坏了?

不是。两者量的都是它们声称要量的东西——攻击者的那个动作有没有发生。差距在于结果怎么被读:「一减攻击成功率」被报成了「防住了」,而它其实是「没有成功」,而这是两个不同的群体,稳定性也不同。

这些发现适用于前沿模型,还是只适用于 2B–14B 的开放权重智能体?

这项审计只覆盖小型开放权重智能体,所以那些具体百分比不该被搬运。而机制——一次失败的攻击可能是沉默而不是一个决定——并不依赖规模,而便宜的做法是去量你自己的被忽略率,而不是假定一个数字。

高被忽略率真的算坏事吗?攻击毕竟失败了。

它这一次失败了,而原因不是你设计的、也不在你的跟踪范围内。高被忽略率意味着有一大群攻击正坐在「离成功只差一次配置改动」的位置上,那是一种脆弱,而不是一道防线。

不拿攻击去打生产,我怎么量被忽略率?

用无害的 canary。被注入的指令可以是某件无害而显眼的事——往一个临时文件写一个特定字符串、调用一个空操作工具——这样你既能检测到照做,又不会制造风险;并且在一个带生产脚手架的预发租户里跑。

既然系统提示能把分数挪那么多,我是不是该把调系统提示当作一道防线?

调它,但别把它记进账。一条抑制触发的提示既是一项真实的缓解,也是一项脆弱的缓解——它会被下一次编辑抹掉,而且在版本历史里它根本不以安全控制的身份出现。那就把它写成一项控制,并配上一个测试。

延伸阅读

本站:

来源: