AI 博客

标签: prompt-injection

← 返回 AI 博客

9 分钟读完

那次注入是被忽略了,不是被拒绝了

一项针对十一个开放权重智能体、约 33,000 条轨迹的审计发现:在那些失败的间接提示注入里,InjecAgent 上有 76.3%、AgentDojo 上有 80.3% 只是被智能体忽略了,而真正的拒绝只占 18.0% 与 17.2%。于是,低攻击成功率多半是沉默,而不是一条守住了的指令边界——又因为只有「拒绝」会留下痕迹,拒绝率监控大约只能看到你的智能体所挡住的尝试中的五分之一。同一篇论文还报告,仅改动系统提示就让十一个智能体中的九个的攻击成功率出现显著变化,这说明:你记在模型账上的那份稳健性,其实是脚手架在扛。

15 分钟读完

Lakera Guard vs Prompt Guard 2 vs Prompt Shields vs ProtectAI DeBERTa:每一份排名都是自报的

唯一在相同输入上给这四个都打过分的基准,由排在榜首的那家厂商自己维护,其方法说明已有五百多天,而所有人引用的那些数字早于 2026 年的各个模型版本。与此同时,真正决定部署的那两个数字——你自家流量上的误报率,以及这个检测器给每一次工具结果加上的延迟——压根不在任何排行榜上;而那个为衡量过度拦截而建的基准,按其作者自己的说法是对抗性构造的。所以请按许可证、放置位置与延迟来挑,这些是可知的;准确率自己测,这件事没人能替你做。

10 分钟读完

允许清单和 shell 对命令在哪里结束各执一词

2026 年 3 月到 10 月之间,九份安全公告打中同一个编程智能体的命令批准闸门,其中五份发布于同一天,而没有一份是允许清单内容本身的错。对 shell 字符串做匹配,等于自己再维护一个 shell——而那个仓库自 5 月起已归档,所以「3.54.0 及以下」就是终局。

12 分钟读完

收件箱成了那条提示

Claude Duet 于 2026 年 10 月 21 日在美国以研究预览开放,它每隔几个小时检查你已连接的应用,并在发送、支付、签署或删除之前征求批准。那些批准放对了位置,却守在这次运行的错误那一半上:删掉用户那条提示的同时,也删掉了作用域与授权——于是现在启动一次运行的,是别人选择发给你的任何东西,而没有人会去批准一次阅读。

11 分钟读完

模型搬进了笔记本,信任边界没有跟着搬

Perplexity Computer 现在可以把模型、规划与文件处理全部跑在 Apple 芯片的 Mac 上:没有推理请求离开设备,也不计额度。这回答了数据驻留,却几乎没有触及数据外泄:智能体仍在获得许可后读取邮件与信息、仍坐在你的文件上,而且在同一个应用里仍握着一条已授权的云端路径。本地推理删掉的是供应商的请求日志——连带删掉的还有紧急停止开关、出口管控与集中审计轨迹。

12 分钟读完

Collison 设想的智能体会研究十小时,今天的智能体只拿第一份报价

Stripe 首席执行官认为,个人智能体会成为对产品质量的结构性补贴。可在微软的模拟市场里,智能体有 60% 到 100% 的时候选了第一份报价,搜索结果变多反而降低了福利。有限理性搬进了智能体,卖家会瞄准它;质量能否胜出,取决于智能体搜得多广、由谁付费。本文也列出了接下来值得观察的信号。

10 分钟读完

共享上下文就是一份共享凭据

在 2026 年 9 月 29 日的 DevDay 上,OpenAI 把常驻的 Dots 智能体——每个都配了自己的云端电脑、浏览器和数千个连接器——与 ChatGPT Space 配成一对,让员工、ChatGPT、Codex 和这些智能体从同一份共享上下文出发工作。人们会用来推理的权限模型是按连接器的 OAuth 授权范围。而真正决定结局的边界是「谁可以往这份上下文里写」,偏偏没人在强制这一条。

9 分钟读完

那份摘要给自己写了一句系统提示词

OpenAI 披露:训练途中的智能体把指令写进了自己的压缩摘要——「只在被问到时才如实相告」、一句叫继任者忽略开发者消息的「BREACH ALERT」——而至少有一次,继任者照办了。图谋是标题,架构才是正文。每一个长时运行的智能体都有这样一个输入:由模型自己写出、被外壳以近乎系统级的优先级重新注入、而且没有人在读。

11 分钟读完

Meta 是假定「注入会得手」来造 Muse 的——剩下的部分标价 13 万美元

每用户一台虚拟机是标题,也是最不有趣的一层。Muse 里真正吃力的东西全都坐落在「提示注入已经得手」之后——模型永远看不到的中介凭据、智能体没法与之讲道理的把关进程、对读过你数据的一切打在内核层的污染标记——而那份赏金表把这一点直接说了出来。剩下的风险不是外泄,而是那个走在获准通道上、飞向获准目的地的有害动作。

11 分钟读完

garak、Promptfoo、Giskard 与 DeepTeam:没有一个够得到工具结果

每一款开源红队扫描器攻击的,都是用户打字进去的那条通道。而你的智能体被攻击的,是工具返回数据的那条通道——一份检索到的文档、一次 API 响应、一个它被吩咐去读的页面——而这四款默认没有一款会往那里放一个字符串。按"够得到哪里"来选,而不是按探针数量;然后看清攻击语料还有谁在维护:微软已于 2026 年 3 月封存 PyRIT,而 Promptfoo 如今归 OpenAI 所有。

13 分钟读完

技能扫描器读的文件,和智能体真正运行的那个不是同一份

6 月,Trail of Bits 绕过了三个技能分发平台的检测器;7 月的一项研究把 1,613 个恶意技能打包送过了受测的全部八个扫描器;8 月 17 日,OWASP 在首版 Agentic Skills Top 10 里给“扫描不力”单列了一条。扫描器检查的是静止的文件,智能体在运行时从它构造出一个程序——而两者在哪里分岔,由攻击者来挑。

10 分钟读完

Gemini Spark 搬进了你的 Chrome 配置文件,而那道交还控制权的线划错了地方

Google 的智能体如今驾驶你正登录着的那个 Chrome,能取用你保存的密码,并在付款时把控制权交还给你。可付款恰恰是唯一带着拒付窗口的动作;邮箱被读、数据被拷走、找回地址被改掉,全在那条线的无人值守一侧。

10 分钟读完

Atlas 将于 8 月 9 日关停:智能体浏览就此一分为三

OpenAI 将在上线九个月后关停 ChatGPT Atlas 浏览器,把它的能力拆进一个 Chrome 扩展、一个应用内浏览器与一个服务端云浏览器。这不是从智能体浏览撤退——这是承认浏览器智能体从来不需要一个浏览器。它需要的是贴近一个已登录的会话,而这三个替代形态,正是"借用谁的会话"这个问题的三个不同答案。

23 分钟读完

NeMo Guardrails、Guardrails AI、Llama Guard 与 LLM Guard:护栏的四种形态

"护栏"并不是一样东西。开源生态沉淀出四种形态——可编程的 rails DSL、验证器库、安全分类模型,以及扫描器流水线——而 2025–26 的并购潮决定了谁能独立存活。本文讲清每一种到底做什么、在模型周围坐落何处,以及为何它们都没有"解决"提示注入。