GUI 智能体用一个干净的 API 换来了一张截图加一只鼠标——并且每一步都在为此付费。
每步可靠性是复利的,所以 GUI 操控里的工程问题不是让每一步更聪明,而是减少「必须做对的步数」:每步 97% 时,一次 40 步的任务只有 29.6% 会完成;每步 99.5% 时则有 81.8%——这 2.8 倍的摆幅,是用「可寻址的目标、键盘动作,以及每个动作之后一次显式检查」买来的,不是用一个更好的模型买来的。下面所有内容都在服务于这一个数字。
步骤 1定位才是瓶颈:知道该点什么,与知道它在哪里。
这是两种不同的本领,而智能体失手在第二种上。语义定位(「我该点『提交』」)相对容易;空间定位——在这一次渲染、这个分辨率、这套主题下,给出那个按钮的像素坐标——才是 OSWorld 一类基准显示出差距的地方。专门的定位测试集之所以存在,恰恰因为占主导的错误是元素定位、而不是规划:智能体知道正确的动作,却点在一个移动过的按钮旁边十个像素处。
厂商文档如今以自己给出的补救措施的形状,把这件事说了出来。Anthropic 的电脑操作参考文档对桌面任务推荐 1024×768 或 1280×720、对网页推荐 1280×800 或 1366×768,警告不要超过 1920×1080;而当点击打偏时,它建议的第一件事是启用 zoom——当前 toolset 里一个以全分辨率重新捕捉某块区域的成员。这串建议的顺序就是那个发现:「将要点下去的那一点上的分辨率」是一根比「围着这次点击做提示词工程」更大的杠杆。另外请注意,toolset 更高的那个上限并非处处可用;你拿到哪个工具版本取决于托管平台,而这本身就是一个可移植性问题。
步骤 2像素定位是通用的;DOM 与无障碍树定位是可寻址的——两者都要用。
一张截图在原生应用、Citrix 会话、游戏——任何有屏幕的东西——上都管用,但坐标对布局、DPI 与滚动都很脆弱。DOM 或无障碍树给出的是稳定、可寻址的元素句柄,而它只存在于网页与被插桩过的应用上。强的模式是混合:凡有无障碍树之处,优先用它拿一个健壮的目标 id;没有之处,退回像素定位;并把截图与树交叉核对,这样一份过期的 DOM 就不会把点击指向一个视觉上已经挪位的元素。
# perceive -> ground -> act -> verify, one GUI step shot = screen.capture() tree = a11y.tree() # stable handles where available tgt = agent.ground(goal, shot, tree) # element id OR (x, y) ui.click(tgt); ui.type(text) assert screen.capture() != shot # did anything happen at all?
动作空间很小——点击、双击、输入、滚动、按键、拖拽,加上几种等待——但失效空间极大:一次点在了空处的点击、一个抢走焦点的模态框、一个仍在加载的页面。每个动作都需要一次显式的「它到底生效了没有」检查,而文档对此说得很直白:「Claude 有时会表现得仿佛自己的动作已经成功,而没有显式去检查结果。」一个跳过核验的智能体,会满怀信心地在一次空操作之上再垒二十步。
坐标是以截图像素返回的、原点在左上角;所以如果你在发送前缩了尺寸,就必须把模型的答案等比放回去——而那里的一个取整误差,就是一次落在按钮旁边、而不是落在按钮上的点击。这就是为什么分辨率这个旋钮并非纯粹的经济问题,尽管它主宰着那笔账。
步骤 3决定一切的那笔算术:可靠性是复利的。
这是整门手艺里那笔承重的计算,而在挑选别的任何东西之前,都值得先拿你自己的数字算一遍。一次 GUI 任务是一条串行链;只有每一步都成功,任务才成功。
# success = (per-step reliability) ^ (number of steps) 0.97 ^ 40 = 0.296 # 97.0% per step -> 29.6% of tasks complete 0.99 ^ 40 = 0.669 # 99.0% per step -> 66.9% 0.995 ^ 40 = 0.818 # 99.5% per step -> 81.8% 0.97 ^ 20 = 0.544 # 97.0% per step, half the steps -> 54.4% # 97.0% -> 99.5% per step: 2.8x more completed tasks # 40 steps -> 20 steps: 1.8x more completed tasks # Both levers are in the harness, not in the model.
由此推出三条结论。第一,一件通过 API 只需三行脚本的事,变成了一段 40 步的 GUI 序列,而可靠性惩罚是乘法式的、不是加法式的——这就是 GUI 操控为何是最后手段、而不是默认选项的结构性原因。第二,真正要紧的两根杠杆是每步可靠性与步数,而换个更好的模型只是撬动前者的若干办法之一。第三,正因为你是在跟一个指数较劲,一个百分点的可靠性随着可靠性本身升高而更值钱:在 97% 处一个百分点值 15 个百分点的任务完成率(29.6% 到 44.6%),而在 99% 处值 33 个百分点(66.9% 到 100%)——所以最贵的那最后一个百分点,正是最值钱的那一个。任何能省掉一步的东西——一个键盘快捷键而非一次菜单穿行、一个直达 URL 而非三次点击、一次批量操作而非一个循环——都会得到双份回报:一份在成本上,一份在那个指数上。
步骤 4一个 GUI 基准数字能告诉你什么,不能告诉你什么。
OSWorld 及其后继者是参照测试集,而它们的头条数字动得够快,以至于引用其中任何一个都是一句有时效的话、而不是一句耐久的话。最初那篇 OSWorld 论文报告的人类基线是 72.36%,而当时最好的模型接近 12%。此后,OSWorld-Verified 上报出的顶部分数已经越过了那条人类基线;而更长时程的 OSWorld 2.0 测试集分数要低得多——第三方榜单把官方最佳条目的完全完成率放在 40% 出头。
有用的部分不是水位,而是离散度。截至 2026 年末,第三方榜单对「谁领跑 OSWorld-Verified」这件事在同一天里彼此分歧超过十个百分点。这种分歧不是马虎,而是这个基准在每一种配置下报告的是一个不同的量。自报的那些行在最大步数、屏幕分辨率、操作系统镜像与工具权限上各不相同;而 OSWorld 2.0 同时报告一个严格的完全完成率与一个部分得分,两者在同一次运行上能差出几十个百分点。
步骤 5可靠性工程:让步数更少,让每一步可重复。
因为步会失败、而循环又长,稳健的 GUI 智能体借的是分布式系统的东西,而不是提示词工程的东西。五个动作,按收益从大到小排列。
- 优先用键盘。一个快捷键、一个 tab 顺序、一条打出来的路径,都是可寻址且与分辨率无关的;而对着菜单项的一次像素定位点击,两样都不是。这是抬高每步可靠性最便宜的办法,而且它同时还在省掉步数。
- 让动作幂等,并在动作之间设检查点。重发一次点击不该变成双重提交;而第 30 步上的一次失败,不该从零重启。这些模式就是那些寻常的模式——幂等键与有界重试——只是被用在一个界面上、而不是一个 API 上。
- 显式地、廉价地核验。每个动作之后做一次完整截图比对,既贵又含混。请优先用一次窄检查:那个此刻本该存在的元素、那个此刻本该有值的字段,或者对你刚刚碰过的那块区域做一次
zoom,而不是把整帧重读一遍。 - 检测「卡住」,而不要耗着等。连续 N 轮同一张截图就是信号;请把循环打断,不要继续为它付钱。长 GUI 运行失败于打转的次数,远多于失败于崩溃;而一个卡死检测器,正是「一次失败的任务」与「一张没有上限的账单」之间的区别。
- 盯住第 21 步那道坎。一旦一个请求携带超过 20 张图,文档里那个每边上限就收紧到 2,000 像素;于是一个全量保留的循环会在长任务中途静默地改变自己的观测契约。这读起来像是「中途莫名其妙掉准」,而它是一个保留策略的 bug,不是模型的 bug。
请注意那张清单里缺了什么:「用最强的模型」。参考文档对旧工具版本的模型做了直接比较,发现 Claude Sonnet 4.6「在机械式点击上比 Claude Opus 4.6 更精准」,而 Claude Opus 4.7「与 Sonnet 4.6 大致相当」。在这个接口上,推理最强的那个不会自动是最好的执行器——这又是一个「去测量你自己的配置、而不要继承一份排名」的理由。
步骤 6什么时候不该用 GUI 智能体。
GUI 操控是最后手段的那个界面:只在既没有 API、也没有 CLI、也没有任何可脚本化路径时才用它——老旧的企业应用、没有集成能力的第三方 SaaS、只为人设计的工作流。任何存在稳定编程接口的地方,它都更快、更便宜、可靠性高一个数量级;因为一次 API 调用压根没有「每步定位概率」这回事。像素是你会调用的最贵的那个 API。
还有一个常被跳过的中间选项。专就网页目标而言,通过浏览器自动化层去驱动 DOM,能让你拿到可寻址的元素而不必跑那个截图循环,代价是它只在页面配合时管用;这条路见浏览器智能体,而它会在哪里崩见浏览器智能体失效模式。只有当目标是一个原生或远程应用、且它什么别的都不暴露时,才去拿完整的像素级电脑操作。
该做什么。在写任何提示词之前,先数一数你的任务需要多少步,再把你当前的每步成功率乘出来——如果这个乘积低于 50%,那就去做步数与定位,而不是去做模型。然后按顺序:把捕捉分辨率钉在文档推荐值上、而不是钉在显示器上;把每一个能换的鼠标动作换成键盘动作;在每个动作之后加一次窄核验,并在最近 N 帧之上加一个卡死检测器;把历史改成只追加,让每步的感知成本保持线性;并把步数上限、分辨率与工具版本记在每一个结果旁边,这样你的数字下个月还有意义。而对于长链末端任何不可逆的动作,不要依赖智能体自己的核验——在它后面放一份算出来的预览或一条撤销路径,因为一条 40 步的链唯一能可靠产出的东西,就是一个没人预料到的状态。