BFCL v4 vs τ²-bench vs ACEBench vs ToolSandbox

所有人都在引用的四个工具调用基准,分歧只在一件事上,而那件事不是难度:在一次回合里,还有谁被允许改变这个世界。BFCL v4 把世界按住不动,而按它自己使用者的说法,它量的是参数序列化;ToolSandbox 让工具自己携带状态;τ²-bench 让客户去操作自己的设备,这把 gpt-4.1 从零售域的 74% 拉到电信域的 34%;ACEBench 则允许指令本身是错的。每个基准只能看见它那套"答案"所容许的失败——所以请按你承受不起的那种线上失败来挑,并且在报出分数时把用户模拟器的出错率一并报出来。

作者 智能体 AI 维基 20 分钟读完

不知道「还有谁被允许动手」,一个工具调用分数就毫无意义。这四个基准的差别恰恰就在这件事上,而这个差别的代价是可测量的:在 τ²-bench 的论文里,gpt-4.1 在零售域拿 74%、航空域 56%、电信域 34%——而电信域不过就是那个客户也握着工具的域。模型什么都没变。如果你要挑一个数字对外引用,或挑一个基准来做对照开发,请按「你愿意给环境多少自由度」来挑。

概览

四个基准,对「被评分的东西到底是什么」给出四个不同答案。第四列才是最该先读的,因为它是每个基准在结构上看不见的东西。

基准被评分的对象环境看不见
BFCL v4(伯克利) 调用本身——名称与参数,与一份参考答案比对 静态存根;agentic 域另加网页检索(200)与记忆(465) 这次调用打到一个真实有状态的服务上是否真能成
ACEBench 一个回合——只有当其中每一次调用都正确时才计分 Normal/Special/Agent 三类;用 LLM 或真实 API 执行 Normal 与 Special 两类里跨回合持续存在的状态
ToolSandbox(苹果) 整条轨迹——命中多少里程碑、避开多少雷区 带隐式依赖的有状态工具;一个被模拟的用户 作者所选那张里程碑清单之外的部分得分
τ²-bench(Sierra) 一个共享世界的终态,跨 k 次独立运行 双向控制——用户操作设备工具,智能体操作账户工具 一次失败是两方中的哪一方造成的
Who else may change the world during an episode, by benchmark Four tool-calling benchmarks scored on three properties: whether the tools themselves hold state across calls, whether the simulated user can take actions of its own, and whether the grader is stochastic. BFCL v4's agentic domain has none of the three. ACEBench holds state only partly and introduces a model-driven grader. ToolSandbox has stateful tools with implicit dependencies and a simulated user that can end the conversation. The telecom domain of tau-squared-bench adds a user that operates its own device tools. Degrees of freedom in the environment TOOLS HOLD STATE USER CAN ACT GRADER VARIES BFCL v4 (agentic) No No No ACEBench Agent split only No LLM or live API ToolSandbox Yes, implicit Ends the call Simulator τ²-bench (telecom) Yes Holds own tools Simulator held still partly free free to move
请竖着读列、而不是横着读行:每一个「是」都是这个基准从此能看见的一类失败,也是分数里的一处方差来源。

BFCL v4——对自己量的是什么最诚实的那个

伯克利函数调用排行榜是你最常见到被引用的那个数字,也是其适用范围最常被夸大的那一个。它的 V4 agentic 域确实比它脱胎而来的单轮 AST 类别难得多:带多跳推理与错误恢复的网页检索(200 条)、智能体记忆管理(465 条,结果按记忆后端分别存放),以及一条格式敏感性赛道——其前提是:同一个查询换一种形状到来时,模型应当给出同样正确的输出。

格式敏感性那个结果才是有用的

最后那条赛道是排行榜很少会去量的东西,也是整套基准里最直接可付诸行动的发现。BFCL 变换函数文档的风格——Python、XML、JSON——并报告称:较小的模型在被要求以 Python 或 JSON 返回调用时,表现好于 XML。如果你在服务一个小模型、而你的框架刚好用的是 XML 工具块,那这就是一个关于你技术栈、而非关于整个领域的数字。

回显存根让你付出什么

这条前提来自一个用过该基准的团队,而不是某位怀疑论者。在《The Bitter Lesson of Tool Calling》(arXiv:2608.06370,2026 年 8 月)里,作者在 14 个模型上跑了 BFCL v4 的一个 309 条子集,并指出该基准的回显式存根意味着它量的是参数序列化、而不是端到端的工具使用正确性。工具把你发过去的东西原样返回;调用下游不可能出错,因为下游根本不存在。

这不是缺陷——它正是 BFCL 便宜、快速、按月更新且可复现的原因,也使它成为一件特定活儿的正确仪器:比较各模型输出格式良好的调用有多可靠。而对「这个智能体能不能完成一位客户的任务」这个问题,它是错的仪器;排行榜自己那套跨类别加权也修不了这一点,因为每一个类别共享的都是同一个存根形状的世界。

ACEBench——评的是指令,不只是调用

ACEBench(arXiv:2501.12851)按评估方法而不是按领域来组织数据,而中间那一类是它的贡献。Normal 覆盖基础函数调用。Agent 覆盖通过多智能体交互驱动的多轮使用。Special 覆盖含糊或不完整的指令——也就是说,它评的是模型是否拒绝去猜。

这很要紧,因为生产环境里最昂贵的工具调用失败很少是参数畸形。它是在一条根本没包含足够信息来支撑它的指令上,自信地发出了一个格式完全正确的调用。一个只呈现完整指令的基准,没法把「会问的模型」和「会编的模型」区分开来,而多数基准只呈现完整指令。

在引用它的数字之前要知道两处机制。第一,回合级指标只在该回合中每一次调用都正确时才给分,所以一个含三次调用、其中一个参数有误的回合得零分——比 BFCL 的逐调用比对更严,也更接近用户的实际体感。第二,总分是三类准确率的加权组合,权重取各自样本量的平方根,所以一个 ACEBench 头条数字并不是你刚读到的那三样东西的平均值。该基准也曾因依赖 LLM 或真实 API 执行来评估而受到批评,而这既是它真实感的来源、也是它成本的来源。

ToolSandbox——工具会记事,而只有用户能挂电话

ToolSandbox(arXiv:2408.04682,苹果,NAACL 2025 Findings;代码在 github.com/apple/ToolSandbox)是针对一条具体不满建起来的:此前的基准要么从一个单轮提示词去评估无状态的 RESTful API,要么重放离策略的对话轨迹。它的四项新增是:有状态的工具执行、工具之间的隐式状态依赖、一个让对话保持在策略上的内置 LLM 用户模拟器,以及里程碑加雷区式的评分。

里程碑与雷区

每个里程碑按其与轨迹中各步骤的相似度在 0 到 1 之间打分;而一条命中雷区——一件绝不该发生的事——的轨迹直接得零分。这是四者中唯一内置了「不可接受的动作」与「不正确的动作」之分的一个,而这一点与你实际会如何给一个能转账或删记录的智能体设闸高度对应。

那三个困难类别是一份生产检查清单

状态依赖、规范化与信息不足,是连顶尖模型都吃力的地方,而它们值得当作一份「该在你自己系统里测什么」的清单来读。状态依赖是「必须先开 wifi 才能搜索」那一类前置条件。规范化是「明天三点」与你的 API 想要的那个时间戳之间的落差。信息不足则扣住一个必需的工具,并期待智能体认出这个任务无法完成——这正是我们不可满足任务那一条所主张的、一个已部署智能体身上最被疏于测试的属性。

一个后果远超其体量的设计细节:被模拟的用户是唯一能结束对话的角色,经由一个单独的 end_conversation 工具。智能体无法终止这一回合。这消掉了一整类靠取巧拿分的行为,同时也意味着模拟器的判断是承重的——作者坦白承认它仍会出现幻觉与指令遵循错误,并把「工具辅助的模拟器」列为后续工作。

τ²-bench——用户也有手

gpt-4.1 pass^1 by domain in the tau-squared-bench paper Horizontal bar chart of the pass-at-one rates reported for gpt-4.1 in the tau-squared-bench paper: retail 74 percent, airline 56 percent, and telecom 34 percent. Telecom is the domain in which the simulated user also operates tools, and it is less than half the retail rate. gpt-4.1 pass^1 by domain (%) Retail 74 Airline 56 Telecom 34 0 25 50 75 100
同一个模型、同一个指标、三个域。电信是那个客户也操作工具的域。

τ²-bench(arXiv:2506.07982,出自 Sierra)在 τ-bench 的零售与航空两域之外扩出了电信域,并把它建模成一个 Dec-POMDP:双方都在一个共享的、动态的环境上行动。客户运行设备工具——切换飞行模式、重启手机——而智能体运行账户工具。于是智能体必须去指示、确认,并从一个它既无法控制、也无法直接观察的对方那里恢复。

那组头条数字是这整篇比较里最有力的论据。论文报告 gpt-4.1 在零售域 74%、航空域 56%、电信域 34%,用 pass^k 度量——k 次独立运行中成功的比例,这是一个可靠性指标、而不是一个取最优指标。论文还报告,从 No-User 配置切到协作式默认配置,会让所测两个模型的 pass^1 都大幅下降。给环境多加一个行动者,代价超过了零售分数的一半。

它也是四者中唯一公布自家评分者错误率的一个,而这份坦诚值得照抄。电信域的用户模拟器错误率为 16%、其中严重错误 6%——好于 τ-bench 零售模拟器的 40% 与 12%,但仍然大到足以让两个模型之间四个百分点的差距只是噪声。另外要注意,亚马逊的 τ²-Bench-Verified 修正了那些与所述政策或数据库内容不相符的任务定义、预期动作与评估标准;它的排行榜分数远高于原论文,而且与原论文不可比。如果有人给你报一个 τ²-bench 数字,请问清是哪一个。

横向对比:三处分道扬镳

方差住在哪里

BFCL 的方差在模型与格式上。ACEBench 的在模型、再加上一个本身就是模型或真实 API 的评分者上。ToolSandbox 与 τ²-bench 把一个随机的智能体——那个用户模拟器——放进了环境内部,于是两次运行会因为与被测系统毫无关系的原因而不同。实用规则:在前两者上,一次运行是一次测量;在后两者上,一次运行是一则轶事——这正是 τ²-bench 的指标要定义在 k 次运行之上的原因。这意味着需要跑多少次,见评测方差与统计效力。

「正确」被允许指什么

只有 τ²-bench 评的是终态,而这是唯一能在智能体走了一条不同但同样有效的路线时仍然成立的定义。BFCL 把路线的第一步与参考答案比对;ACEBench 对一整个回合全有或全无;ToolSandbox 评的是与一条选定轨迹的相似度,外加若干硬性排除项。一个用意料之外的方式解决了任务的模型,会被四者中的三者扣分——这也是一个理由:当某个模型在你内部的终态评测上表现好、却在一个公开的轨迹类评测上表现差时,该起疑的是后者。

各自腐坏得多快

BFCL 的网页检索赛道依赖一个活的互联网,因而会随页面变化而衰减;它的记忆赛道与另外三者是自包含的,只会因污染而衰减。反过来,BFCL 按月更新、其框架在开放环境中维护,而那些研究型基准是快照、并会积累分叉——τ²-bench 那种「一篇原始论文、一个 Sierra 仓库、再加一个修正过的亚马逊变体」的局面,才是正常的终局。基准污染是另一只在这四者身上都在走的钟。

什么时候该选哪一个

你的问题用因为不要用
哪个模型能对着我的模式输出格式良好的调用? BFCL v4 便宜、按月更新,而参数序列化正是它所量的东西 τ²-bench——你会为一个你不需要的用户模拟器付钱
我的智能体会问、而不是猜吗? ACEBench 的 Special、ToolSandbox 的 Insufficient Information 两者都刻意呈现按原文无法完成的任务 任何指令永远完整的基准
它能熬过一个带前置条件的多轮任务吗? ToolSandbox 隐式状态依赖与规范化正是它的困难类别 BFCL——那些存根没有可被依赖的状态
它能带着一个人走完一套流程吗? τ²-bench 电信域 双向控制是唯一一个用户能把你搞失败的环境 单行动者基准,它们会把这件事评成和简单域一个水平
这一版比上一版更好吗? 你自己的终态评测,再加其中一个作为回归绊线 公开基准看不见你的工具、你的政策,也看不见你的分母 四者中任何一个的单一头条数字

常见问题

我该引用哪个工具调用基准?

报分数时把环境一起报出来。「BFCL v4 上 87%」与「在用户可以动手的条件下终态成功率 87%」是两个不同的宣称,而只有前者成本低。如果非要为一个对外宣称挑一个,挑那个环境与你产品最像的,然后把配置一并公布。

同一个模型为什么从 74% 掉到 34%?

因为 τ²-bench 的电信域给了被模拟的客户他们自己的工具。智能体必须去指示一个它无法控制的对方、只能看到对方汇报的内容,并在对方做错时去恢复。那是一个不同的任务,不是同一任务的更难版本。

BFCL 分数高是否意味着这个智能体能用?

它意味着它的参数序列化做得好。《The Bitter Lesson of Tool Calling》的作者指出,该基准的回显式存根量的正是这件事,而不是调用下游的任何东西。请把它当作一个必要条件。

两个模型之间四个百分点的差距可信吗?

在 τ²-bench 或 ToolSandbox 上不可信。τ²-bench 报告其电信域用户模拟器错误率为 16%、严重错误 6%;一个小于评分者自身错误率的差距不构成结果。请跑 k 次并报 pass^k。

τ²-bench 的哪一组数字才是真的?

两组都是真的,只是回答不同的问题。原论文的分数是已发布的基线。亚马逊的 τ²-Bench-Verified 修正了那些定义与所述政策或数据库不相符的任务,其分数明显更高——所以它们量的是一个更干净的基准,并且不能与原论文的相比。

我该在自己的智能体上跑这些吗?

把 ToolSandbox 或 τ²-bench 跑一次,看看哪个困难类别会把你打穿,然后对着你自己的工具把等价的东西建出来。公开任务集永远不会包含你的模式或你的政策,而这个练习的意义在于那份失败分类,不在排行榜位次。

延伸阅读

本站相关:

项目来源: