一个闲着的智能体要花多少钱

8 分钟读完

B25
运维 · 经济性与投资回报

一个闲着的智能体要花多少钱。

一次运行一旦活得比单个请求更久,你的账单就不再衡量"做了多少活",而开始衡量"占住了多少资源"——而多数智能体系统里最长的那次占用,是一个没人算过成本的人工审批。一个 2 vCPU / 4 GiB 的沙箱若在四小时的审核等待里一直活着,每次运行要为纯粹的"什么也没干"付掉约 66 美分;按每天 200 次运行算,那是每月约 4,000 美元,买的是一个 token 都没生成的那些秒。杠杆不在提示词上。杠杆在于:什么事都没发生的时候,有没有东西被占着。

步骤 1长周期运行会改变账单的单位。

token 定价是按工作量计价的:你为模型读进和写出的东西付钱,而一个什么都不做的智能体不花钱。智能体成本控制里的每一条本能——更少的 token、更便宜的 token、缓存、路由——都是照着那个计量表调的,而且它们全都继续有效。

可它在"一次运行跨越多个请求"的那一刻,就不再是主导的计量表了。一个长周期智能体会在步与步之间占住东西:一个检出了仓库、热着虚拟环境的沙箱,一条打开的音频流,一片预留的吞吐配额,一个登录态浏览器会话。这些都是按时间计价的,而时间不管智能体在不在思考都会流走。

结果是一种多数团队从未建模的成本结构。智能体单位经济性给你的是每任务成本;而下文讲的是那个数字里不随 token 伸缩、不响应更好的提示词、并且随"你的智能体等多久"线性增长的那一项。

# two meters, two units
tokens      $ / 1M tokens        → charged for work performed
sandbox     $ / vCPU-second      → charged for time held
audio       $ / second of audio  → charged for wall-clock
reserved    $ / hour committed   → charged whether used or not

# an agent that is waiting has a token bill of zero
# and a wall-clock bill identical to one working flat out.

步骤 2"活着"是一个计价术语,而各家厂商对它的定义并不相同。

智能体沙箱服务商在价目表上看起来几乎一样,而在一个以闲置为主的工作负载上会差出一个数量级——因为价目表给 vCPU 小时定价,而账单给生命周期定价。

  • 活着就计费。E2B 与 Daytona 在沙箱存在的全部时间里按秒计量 CPU 与内存——不只是在代码执行期间。2026 年前后发布的第三方对比把两家都列在约 $0.0504 每 vCPU 小时与 $0.0162 每 GiB 小时,Daytona 另加一项约 $0.000108 每 GiB 小时的小额存储费。
  • 运行才计费。Modal 在沙箱运行期间按秒计量 max(requested, actual),而在它闲着时计零算力费。同一批对比列出约 $0.00003942 每物理核秒,加上约 $0.0000067 每 GiB 秒;而因为一个计费核等于两个 vCPU,它在真正执行时的每 vCPU 费率比 E2B 或 Daytona 更高。

于是,只要你的沙箱大半辈子都在等待,那个每小时更便宜的厂商就是更贵的厂商;而这次反转的方向,是由你的工作负载而不是由价目表决定的。一份已发表的闲置为主画像模型,把一个 2 vCPU / 4 GiB 沙箱在"闲置即暂停"那种计量下放在每月约 36 美元,而在"活着就计费"的那几家上约为 414 美元。

这些费率来自对比类文章的第三方数字,不是我们能追溯到厂商定价页的报价,而且它们会变。请把它们当作账单的形状来用——一种计量表在无事发生时会停,另一种不会——并在你定下某家服务商之前,照厂商自己的页面重新推一遍这笔算术。形状才是耐久的事实,小数位不是。

步骤 3人工审批等待是你手上最大的那块闲置。

智能体系统里的闲置时间,主体并不是抖动和网络。主体是一个人。一次运行在写入、支付或发送之前停下来等签核——也就是人在环路与最小权限里的整套设计——等的是一条延迟以小时而非以秒计的审核队列,而且下班之后更糟。

用上文那种"活着就计费"的计量表把数字摆出来。一个 2 vCPU / 4 GiB 的沙箱每小时要 2 × $0.0504 + 4 × $0.0162 = $0.1656:

per-run hold         4 h × $0.1656/h            = $0.66
200 runs/day                                     = $132 / day
30 days                                          ≈ $3,975 / month

for comparison, the model spend on those runs:
  ~40k tokens in / 6k out at mid-tier rates      ≈ $0.05 / run
  200 runs/day, 30 days                          ≈ $300 / month

等待的花费是思考的十三倍。那个更大的数字里没有任何一分钱买到过一个 token,也没有任何提示词改动碰得到它。还要注意它不是什么:审核者本人的时间是另一项、且通常更大的开支,由人工审核的成本定价。这里算的,是在人家还没腾出手来的那段时间里、那台干坐着的机器的账。

同一次等待里还有两个次级计量表在走。提示词缓存有 TTL,所以一次比窗口更长的暂停会把恢复变成一次按溢价计费的缓存写入而不是一次命中——这笔算术在上下文缓存经济学里。而预留容量承诺按其构造就是穿着等待一路计费的,这正是你买下的东西;预置吞吐与承诺量讲的是如何照一个把空档也算进去的占空比来定容。

步骤 4语音是那种什么都停不下来的情形。

一个实时语音智能体按挂钟秒数计费,所以空气死寂、等待音乐和一位正在思考的来电者,花的钱与说话一模一样——四个计量表的拆解在一分钟语音的成本里。这里要紧的是:那个惯用的修法用不上了,你没法把一通正在进行的通话挂起。

厂商还给会话设了上限,这就把"先停住、回头再来"从一个昂贵的选择变成了架构上的不可能。OpenAI 的 Realtime 文档把单个会话的最长时长定在 60 分钟,是从更早的 30 分钟上调来的。Google 的 Live API 在不启用上下文窗口压缩时把纯音频会话限在约 15 分钟、音频加视频限在约 2 分钟,而单条 WebSocket 连接约 10 分钟就会超时,并且会话恢复除非你在 setup 消息里明确要求、否则是关闭的。

所以在一次语音运行上,唯一的闲置杠杆是把闲置本身缩短:等待期间给模型降级、给等待封顶并定好到点后的动作、以及交接而不是占着。实时智能体架构给出的是同一条约束的结构化版本。

步骤 5释放比占住便宜两个数量级,而团队之所以占住,原因并不是钱。

这个盈亏平衡点看起来像是要靠判断的,其实不是。按每小时 $0.1656 算,占住一秒约 $0.000046。一次三秒的冷启动在三秒里消耗的是同一批被计量的资源,于是约 $0.00014。只有在等待比冷启动本身还短——也就是几秒钟——的时候,占住才比重启便宜。任何以分钟计的等待都该释放。

团队还是会占住,而原因有两个,都很真实,而且都不是成本:

  • 状态。那个沙箱就是这次运行的记忆——工作树、已装好的依赖、改到一半的编辑。释放它意味着你需要让这次运行可被重建,而这正是持久状态与可恢复性整篇在讲的事。没有这个能力的团队释放不了,于是它宁愿给一台虚拟机付租金,也不愿写一个检查点。
  • 延迟。恢复必须让刚批过的那个人觉得是即时的。那是一个池容量与快照的问题,由沙箱池与冷启动定价——而一个按峰值定容的池本身就是一笔闲置账单,所以这两个修法是互相抵触而不是互相叠加的。

这就让设计规则变得具体了:让等待成为运行的一个状态,而不是某台机器的一个状态。给运行打检查点、释放沙箱、让审批异步落地,然后在任何空闲的宿主上重新注水。这件事的 UX 一半——在不靠一个转圈图标占着连接的前提下告诉用户他的任务已暂停——是异步智能体 UX。而部署那一半,也就是一个长寿会话活得比创造它的那版代码更久,是长寿会话与部署。

步骤 6把被占住的秒数单独计量,否则你永远看不见这一项。

闲置成本能在生产预算里存活下来,原因是没有一块标准看板把它区分出来。每次运行花费、每客户花费、每模型花费,全都把被占住的时间汇总进与工作时间同一根柱子里,于是那个数字看起来像是用量增长。三项改动能让它现形:

  • 把计费秒数拆成"执行中"与"被占住",按运行记录,并把两者都作为 span 属性发出,让它们落进与 token 同一条 trace 里。它们随后在哪里汇总,见成本归因与预算。
  • 盯占住占比,而不是占住金额。被占住的秒数除以计费总秒数,是一个你可以为它设目标的比率;它在审核队列积压时上升、在池子超配时上升,而在流量增长时不动。金额会把这两件事混在一起。
  • 按最长那次占用告警,而不是按平均。闲置成本是一项尾部统计量:少数几次带着活沙箱被弃掉的运行,就能压过几千次干净的运行。给每次运行设一个最长占用时长、并用一个回收器强制执行,是本文里最便宜的那项控制。

如果这个比率高于大约三分之一,那么这个智能体的主导成本不是推理,任何模型层面的优化都不会出现在发票上。杠杆是队列、检查点与回收器。固定成本与试点税讲的是与之相关的另一个坑:一份照着从未到来的试点规模预留下来的常驻开销。

先去测一个数字:在一周真实运行上,被占住的计费秒数除以执行中的计费秒数。如果它低于约 0.2,就此止步,去优化 token。如果它高于 1——等待多过工作,这对任何带人工关卡的智能体来说都是常态——那就按这个顺序做三件事。给每个沙箱加一个最长占用时长,并配一个真会执行它的回收器,这能在今晚就把尾部封住。接着把审批等待移出占用:给运行打检查点、释放沙箱、在一个新的上面恢复。只有到这一步再去比较服务商,因为你真正在买的是闲置政策,而不是每 vCPU 的费率。