你的智能体那个提示注入分数,量的多半是沉默。一项针对约 33,000 条轨迹的审计发现:在那些失败的间接注入里,InjecAgent 上有 76.3%、AgentDojo 上有 80.3% 只是被智能体忽略了——真正的拒绝分别是 18.0% 与 17.2%——而「被忽略」恰恰是唯一一种不留下任何可供你统计的痕迹的结果。你当作稳健性去引用的那个数字,其实是「恰好没被触发的攻击」的数量;而修法的第一步,是去量三种结果而不是两种。
一眼概览
那篇论文是 Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents(arXiv:2610.23254,Farhan Zarif 等,2026 年 10 月发布)。它对两套标准注入基准里的失败重新打了标签——十一个 2B 到 14B 参数的开放权重智能体,由一个不知标签的 LLM 评判者评分——并追问每一次失败究竟是什么。
| 一次失败注入的结果 | InjecAgent | AgentDojo | 攻击成功率如何记它 |
|---|---|---|---|
| 被忽略——没照做,也没提起 | 76.3% | 80.3% | 算一次防住 |
| 真正的拒绝——认出来并谢绝 | 18.0% | 17.2% | 算一次防住 |
| 其他失败形态 | 5.7% | 2.5% | 算一次防住 |
为什么「被忽略」不是一次防住
这个区分是机械的,不是哲学的。当智能体执行了攻击者的那个动作,注入就算成功。当智能体处理了那条指令、判定它不正当、并把这件事说出来,它就算被拒绝。而当那条指令只是躺在上下文里、从未成为一个候选动作时,它就算被忽略——可能因为工具返回在它之前被截断了,可能因为脚手架的提示把模型紧紧钉在用户任务上,可能因为模型的注意力从未把它浮出来,也可能因为被注入的指令引用了一个不在工具清单里的工具。
上述每一个理由都是配置的属性,而不是模型判断力的属性。改一改脚手架——更长的工具返回窗口、再挂一件工具、一条邀请模型「拿你找到的任何东西去帮忙」的系统提示——于是同一个模型、同一份权重、同一次攻击,现在触发了。这就是一条边界与一次巧合之间的差别,而攻击成功率分辨不出两者,因为它们都产出一个零。
作者把它说得像论文能说的那样直白:小型智能体在这些基准上显得安全,是因为默认脚手架让被注入的指令没被触发,而不是因为它们的指令边界稳固。如果你一直把低 ASR 读作「这个小模型可以放心带工具跑」的证据,那么证据并不支持这个结论。它支持的是一个更弱的结论:在这个脚手架下、在这些任务上,大多数攻击没有点着。
监控上的后果,一道除法就够了
这是明天就会改变你某项运营动作的那部分。如果你把拒绝当作「有人尝试注入」的信号来监控——而监控拒绝正是标准建议,因为拒绝是唯一一种会把自己写进对话记录的事件——那么就用这篇论文自己的数字做那道除法。拒绝在 InjecAgent 上占失败的 18.0%,在 AgentDojo 上占 17.2%。所以在你的智能体所挡住的每一次尝试里,你大约只观测到五分之一。
这不是一个你可以靠乘个系数抹平的校准误差,因为缺失的那五分之四不是随机抽样。它们是因配置原因而失败的那些尝试,也就是说,它们恰恰是一次配置改动就能转化为成功的那个群体。你的面板对那些「离能跑通只差一次部署」的攻击是瞎的。
所以仪器必须把三种结果分开,而不是两种,而其中只有一种是免费的。成功与拒绝都在轨迹里可见。被忽略必须去检测:被注入的那条指令必须是你知道的,也就是说你需要一个 canary。在你的智能体会读的那些不可信通道里埋一条无害而显眼的指令——一个被抓取的网页、一个工单正文、一个预发租户里的工具返回——然后把每一次运行标成「照做了」「拒绝了」或者「都不是」。第三个桶就是你的被忽略率,而它正是「有人把上下文窗口开大时」会动的那个数字。生产中的拒绝监控讲怎么把检测器建起来;这篇论文是「为什么那个检测器需要第三个桶」的论证。
扛着那份稳健性的是脚手架
这篇论文的第二个结果影响更远。固定模型、只改系统提示,在配对 McNemar 检验下让十一个智能体中的九个的攻击成功率出现了显著变化——这里用配对检验是对的,因为它比较的是同一批题目在两种条件下的表现,而不是两个互相独立的准确率数字。关于这篇论文的二手综述描述了一次跨度从 0.2% 到 43%(InjecAgent 上)的配置摆动;我们无法确认那个区间指的是哪个智能体、哪一对提示,所以请把那个具体数字当作指示性的,把配对检验的结果当作那个发现。
无论如何,后果是同一个,而且对任何发布或消费安全数字的人都不好受。一个注入稳健性分数是(模型、系统提示、工具清单、截断策略)这个四元组的属性,而这个分数最终只被归到其中一项的账上。用厂商自己的脚手架测出来的厂商稳健性声明,对你的部署说明得极少;而你自己的测量,在一次提示改动上线的那一刻就不再有效。这与评估方差与统计效力是同一结构,只是把采样方差换成了提示方差——而提示方差既更大,也更容易被无意引入。
认出来不等于顶住了
还有一个发现值得单独拎出来,因为它破掉了很多团队正在建的一道防线。审计里有些智能体识别出了注入,然后照样执行了——论文把一个「既认出来也拒绝」的智能体,与一个「认出了攻击却依然照做」的智能体作了对照。
如果一个智能体能叙述「这看起来像一条被注入的指令」然后去照办,那么一个盯着「是否认出来」的监控器盯的就是错误的变量。检测与行为是可分离的,而模型关于某次攻击的自述并不是它对此做了什么的证据。唯一可信的信号是动作:有没有一次与被注入意图相符的工具调用被提出来?这就是「把检查放到模型的自述之外」的论据,也正是监控器完整性与当那项检查必须动手时所讲的事;同样也是为什么能力对倾向是正确的框架:能注意到的能力,对「是否倾向于谢绝」什么都没说。
拿它来做什么
四件事,按见效顺序排列。
- 加上第三个桶。把「照做了/拒绝了/都不是」做成仪器,并在每一条不可信通道里放一条 canary 指令。在你拿到被忽略率之前,你并不知道自己的哪个分数是一条边界、哪个是一次巧合。
- 每次脚手架改动都重跑注入套题。一次系统提示改动、新增一件工具、或者改掉工具返回的截断方式,都是对你那个稳健性数字的改动。像对待换模型那样给它设闸,而不是像对待一次文案修订。
- 别再把低 ASR 读成一次防住——包括你自己的。把它成对地报出来:攻击成功率,以及失败里有多大比例是真正的拒绝。只给一个不给另一个,描述的是半套系统。
- 把强制点放到模型之外。「被忽略对被拒绝」的分裂,就是「根本不要依赖模型的指令边界」的实证依据。收紧凭据、给写入设闸,并把那条边界当作额外赠品——提示注入防御里有那些层。
对这篇论文最诚实的总结比头条更窄,也更有用:它没有证明小型智能体不安全,也没有证明那些基准是错的。它证明的是,那些基准所报告的那个量是两件非常不同的东西之和,而更大的那一项恰好由你的配置控制、而你的监控看不见。
常见问题
这是不是说 InjecAgent 和 AgentDojo 坏了?
不是。两者量的都是它们声称要量的东西——攻击者的那个动作有没有发生。差距在于结果怎么被读:「一减攻击成功率」被报成了「防住了」,而它其实是「没有成功」,而这是两个不同的群体,稳定性也不同。
这些发现适用于前沿模型,还是只适用于 2B–14B 的开放权重智能体?
这项审计只覆盖小型开放权重智能体,所以那些具体百分比不该被搬运。而机制——一次失败的攻击可能是沉默而不是一个决定——并不依赖规模,而便宜的做法是去量你自己的被忽略率,而不是假定一个数字。
高被忽略率真的算坏事吗?攻击毕竟失败了。
它这一次失败了,而原因不是你设计的、也不在你的跟踪范围内。高被忽略率意味着有一大群攻击正坐在「离成功只差一次配置改动」的位置上,那是一种脆弱,而不是一道防线。
不拿攻击去打生产,我怎么量被忽略率?
用无害的 canary。被注入的指令可以是某件无害而显眼的事——往一个临时文件写一个特定字符串、调用一个空操作工具——这样你既能检测到照做,又不会制造风险;并且在一个带生产脚手架的预发租户里跑。
既然系统提示能把分数挪那么多,我是不是该把调系统提示当作一道防线?
调它,但别把它记进账。一条抑制触发的提示既是一项真实的缓解,也是一项脆弱的缓解——它会被下一次编辑抹掉,而且在版本历史里它根本不以安全控制的身份出现。那就把它写成一项控制,并配上一个测试。
延伸阅读
本站:
- 生产中的拒绝监控——那个检测器,以及现在该给它加第三个桶的理由。
- 提示注入防御——「不要依赖模型那条边界」的分层论证。
- 用平实的话讲提示注入——从头讲这个概念。
- 指令层级——当那条边界存在时,它本该是什么。
- 评估方差与统计效力——为什么配对检验是这里正确的仪器。
- 能力对倾向——为什么认出一次攻击不等于谢绝它。