延迟预算

8 分钟读完

V2
实战手册 · 语音与实时智能体

延迟预算:那个亚秒轮次实际花在哪里。

把各家语音厂商在 2026 年公布的延迟数字加起来,一个轮次在任何数据包穿过互联网之前就已经约 1.1 秒——这正是一套全由「快」组件拼出来的技术栈,最后交付出人类预期对话间隔两倍时长的原因。这个市场里几乎每个数字测的都是某一个组件、而且是在厂商自己的链路上测的;你的来电者感受到的那个轮次,是七行的总和,而其中最大的两行恰恰是没人公布的那两行。本页就是那道让缺失的行现形的记账题。

步骤 1去测那个轮次。没有别人在测。

自然对话中人类轮次切换的间隔约为 200 ms,而人们远在整整一秒之前就会感到不适。因此语音智能体响应延迟——来电者停止说话、首段音频输出——端到端的工作目标是亚秒级,而最好的原生栈会把模型自己那一份压进几百毫秒的低位。

那是指标。那不是任何人拿来卖的指标。公布出来的数字分三类,而把它们分清楚,是第一件能替你省下一个季度的事:

  • 厂商链路上的组件延迟。一个在厂商自家网络内部测出的首段音频时间或轮次结束时间,不含你的传输。诚实、适合用来排名,但不是你的来电者能经历到的东西。
  • 首字节时间,而它不是首段音频时间。服务器可以在 50 ms 内返回响应头,而首批音频采样 200 ms 之后才到。一个 TTFB 报价系统性地低估了耳朵要等的东西,而这两者经常被放在同一个标题下报告。
  • 孤立的模型 TTFT。模型厂商公布的那个数字。在一个语音轮次里,它是七行中的一行,而且通常不是最大的那行。

响应延迟是用户语音结束到首段音频输出。它不是完整回复耗时,也不是任何组件数字。关键在于,它包含端点检测延迟——多数部署里最大的那一块,也是没有任何厂商有动机去报告的那一块,因为它是你的策略属性,而不是他们模型的属性。

步骤 2预算,逐行拆。

这个轮次是一个总和。你无法改善一个你没拆解过的总数,所以拆解它,并在每一行旁边写上今天合理的取值。

# response_latency = sum of these, ms
network_in        # mic/carrier → your edge
endpoint_detect   # "is the user done?" — usually the biggest
stt_finalize      # cascade only; 0 for native S2S
model_ttft        # prompt → first output token/frame
tts_first_audio   # cascade only; first synthesized chunk
network_out       # your edge → speaker/carrier
playout_buffer    # jitter buffer before audio plays

对级联,每一行都活着。对原生语音到语音,stt_finalize 与 tts_first_audio 坍缩进 model_ttft——原生栈更快的结构性原因不是模型更好,而是少了两个串行跳。每一跳都要花自己的处理时间,外加一次网络往返,而那次往返无论这一跳干了多少活你都得付。

其中有两类行,在你会读到的每一份厂商对比里都是隐形的。endpoint_detect 属于你的配置。network_in、network_out 与 playout_buffer 属于运营商、来电者的接入,以及你的抖动策略。在一通跨大陆的 PSTN 通话上,这些不是舍入误差——这正是那些在运营商附近有接入点的厂商把「物理邻近」当产品卖的原因:某家电信服务商声称,把语音模型放进自家 POP,相比云端部署可以省下 100 到 300 ms。把那个数字当厂商声明;把那个方向当算术。

步骤 3端点检测是最大的那一行,而在 2026 年它不再是一个定时器。

智能体在它相信来电者已说完之前不能开口。朴素的静音检测会耗完一个固定超时——比如 700 ms 的安静——而那个超时被直接加到每一个轮次上,无论来电者只是想到一半停顿,还是真的停住了。它是预算里唯一一条在容易的轮次上也要全额支付的行。

这正是市场转向的原因。一个基于模型的检测器预测的是这句话已完整,而不是测量它安静了多久;于是它可以在一句说完的话上几百毫秒内触发,而在一句没说完的话上穿过长停顿把发言权留住。2026 年的架构动作,是把这个预测折进识别本身:Deepgram 的 Flux 在一个模型里同时做转写与轮次检测,不再有单独的语音活动检测与端点检测环节,而 Deepgram 文档给出的轮次结束判定约为 260 ms——其多语种变体在十种语言上低于 400 ms。按上面的告诫,这些是厂商在厂商链路上的数字;但那个结构性胜利是真的,而且与数字无关:少一个串行跳,以及一个随内容而不是随耐心伸缩的判定。

把端点检测调低以省延迟,会直接抬高你在句子中途打断来电者的比率。这个旋钮在响应延迟与打断率之间做权衡,而且没有免费档位。任何一个在旁边不附上误打断率就报出来的延迟数字,都是半次测量,而被省略的那一半正是变差了的那一半。机制见《轮次结束检测》;正确性那一面见《轮次切换与抢话》。

步骤 4把公布的数字加起来,你已经超了。

下面这道练习会重排多数路线图。取 2026 年前后一套级联技术栈最有利的公开数字,诚实地加一遍。

turn detection + transcription   ~400 ms   (one platform's P50 breakdown)
model first token                ~500 ms
TTS first audio                  ~200 ms   (independent runs: best ~100-200 ms)
                                 -------
subtotal, nobody's network       ~1,100 ms
+ network_in, network_out, playout_buffer
= comfortably past the 1,000 ms target, on components all marketed as fast

由此有两点。第一,亚秒轮次不是靠挑快组件达成的;它靠的是砍掉跳数,以及压掉端点检测那一行——四个大项里唯一由你来定的那一项。第二,厂商报价延迟与实际体验延迟之间的落差是结构性的,不是偶然的:一家 TTS 厂商为其最快模型给出约 40 ms,另一家约 75 ms,而同一类别偏独立的基准测出的首段音频中位数落在约 100 到 200 ms——差额正是厂商数字明确排除、而你的来电者无可避免要经历的网络与应用延迟。

所以规划规则是一个粗糙的乘数,而不是数据表数值的求和:对你来电者听到的那个版本,按任何厂商报价组件数字的大约两倍来做预算,然后测你自己的链路,用数据把那个乘数换掉。怎么把这个测量仪表化,见《衡量智能体延迟》。

步骤 5流式掩盖你消不掉的延迟。工具调用是你盖不住的那道悬崖。

有些延迟不可约减,而招数是盖住它而不是消掉它。在头几个 token 上就启动 TTS,而不是等完整回复;在部分转写文本上就跑识别,好让来电者停下时模型已经热了;用 150 ms 的「嗯哼」或「我查一下」应答,哪怕真正的答案还在两秒之外,这也读作有响应;在部分结果上推测起草,若最终转写相符就把这份活留下。

这些在一次工具调用面前全都活不下来。上面那份预算描述的是里面没有后端活儿的轮次;智能体一旦必须打数据库或调 API,你就冲穿了对话间隔——因为单是一次 400 ms 的 API 调用就是整个间隔。

no-tool turn:   ~500-900ms   acceptable
tool turn:      ~500ms + API + 2nd model pass
                = often 2-4s   → DEAD AIR unless covered

解法先是对话性的、才是技术性的:在调用之前和期间说话(「稍等,正在调出来…」)、并行发出相互独立的工具调用,且绝不让音频通道在后端干活时陷入沉默。完整展开见《语音工具调用与状态》。

步骤 6一通电话上跑着两只钟,而优化任一只都可能输掉另一只。

这是单一数字的框架所遮住的部分。响应延迟是一个轮次内的数字,而它是一项感知成本——来电者据此判断这台机器是不是活的。通话时长是一个跨通话的数字,而它是一项现金成本,因为运营商、平台与语音各层都按挂钟时间计量。它们是不同的杠杆,而三个常见决定会把它们推向相反方向。

  • 盖住工具调用的等待用语,改善感知钟、拉长现金钟。
  • 一次确认轮次把两只钟都拉长,而且通常仍然是对的做法。
  • 降到更小的模型把两只钟都缩短,而这笔节省是用准确率买的——那笔账落在第三只钟上:上报率。

确认这一例如今有了一个被测出来的价钱,这让它成为手边最干净的例证。在 τ-Entity 口述实体基准上,一套规定了拼读、复述、纠正与确认的脚手架,把稳健 Pass3 抬高 14 到 31 个百分点,代价是每通电话 21 到 28 秒。如果你把它一口气花掉,那在感知钟上是一场灾难;按任何现实的每分钟费率,在现金钟上无关紧要;而在上报钟上是一场大胜。算术在《一分钟语音的成本》里做完了,证据在《复述那一步成了,修复那一步没成》里。

把秒数花在轮次之间,绝不要花在一个轮次里面。四次响应延迟 300 ms 的「确认—继续」短交换感觉很快,而它们的账单与一次让人觉得机器坏了的七秒静默停顿是一样的。把间隔优化到不近人情,然后让通话长到正确性所要求的长度。

你从端点检测或模型尺寸里夺回的每一毫秒,都是你花在更高打断率或更差答案上的一毫秒。没有免费的延迟胜利——只有一个你判定值得的延迟代价,而这个判定只有在你写下另一只钟发生了什么之后,才算诚实。