实时智能体架构:会话的上下文窗口是一座钟,而它比你的通话先走完。
语音智能体最硬的那条约束不是延迟——而是音频会以一个固定速率填满模型的上下文,于是一个实时会话有一个以分钟计的最大长度,且由你事先就能算出来的算术决定。Google 把流式音频记作约每秒 25 个 token,而多数 Live 模型的窗口是 32k,这正是那些公开的会话上限落在它们现在那个位置上的原因。先弄清你的通话会先撞上三座钟里的哪一座,再去挑语音边界放在哪里——完整级联、半级联,还是原生音频。
步骤 1级联:流水线里的三个模型。
经典架构是级联:一个流式语音识别模型把来电者转写成文字,文字稿驱动一个普通的文本 LLM 智能体循环,再由一个文字转语音模型把回复念出来。它和"前面装个麦克风、后面装个扬声器"的聊天智能体是同一种架构,而且它在生产环境的争论中赢下的回数,至今仍多于那些更新的选项。
步骤 2语音边界有三个可放的位置,不是两个。
熟悉的那套框架是"级联 vs 一个语音进、语音出的单一语音到语音模型"。厂商后来把中间这块切出来了,而中间这个选项正是多数生产栈最后落脚的地方。
# full cascade: three hops, three failure points, yours to swap mic → STT → LLM (agent loop) → TTS → speaker # half-cascade: provider-hosted, audio in / text reasoning / audio out mic → realtime session [ audio-in → text core → TTS ] → speaker # native audio: one model, audio in / audio out, no text on the path mic → speech-to-speech model (loop inside) → speaker
后两者之间的取舍不是一种偏好,而把这笔交换说得最清楚的恰恰是厂商自己。Google 自家的 Live API 指引建议,"对于把工具执行可靠性放在优先,或者需要文本输出的应用"选半级联,而"要带情绪感知的自然对话"选原生音频——并指出原生音频模型必须输出音频,而半级联模型两种模态都支持。那些表达性功能(语气随用户的表达而调整、由模型自己选择何时开口)是原生音频有、半级联没有的。
请把这句读成:厂商在告诉你,表达力更强的那条通路在调用你的函数上是更不可靠的那条。如果你这个智能体的活儿主要是查东西和记东西,那这就是全部的决定了;工具调用会对一个轮次做什么,见语音中的工具与状态。
在实践中,"原生"并不意味着没有文字稿。为了日志、评估与合规,你仍然想要一份文字稿——多数实时 API 会作为旁路通道发出一份。区别在于它是可观测性,而不是推理所依附的那层基底。不要把护栏挂在文字稿上,然后以为它管住了模型已经说出去的音频。
步骤 3音频以固定速率填满上下文窗口,所以会话上限是一道算术题。
这是在文本智能体里没有对应物的那条约束,也是决定你的架构能不能熬过一通长电话的那一条。一个实时会话会把对话的音频累积在模型的上下文窗口里,而累积速率由介质而不是由说话人决定。Google 把它记作流式音频约每秒 25 个 token、视频约 258 个,而上下文窗口是原生音频输出模型 128k token、其他 Live 模型 32k。
把两者一除,那些公开的会话上限就不再像是政策了:
32k window ÷ 258 TPS (audio+video) ≈ 124 s → documented cap: ~2 min
32k window ÷ 25 TPS (audio in) ≈ 1280 s → documented cap: ~15 min
(the agent's own speech
consumes the window too)
128k window ÷ 25 TPS (audio in) ≈ 5120 s → ~85 min of one-way talk
那个两分钟的"音频加视频"上限,几乎正好是 32k 除以视频速率。而十五分钟的音频上限,在把对话双方都算进同一个窗口之后,也与同一个窗口相吻合。请把上限当成一份上下文预算而不是一只定时器,因为这才能告诉你各种补救手段到底买到了什么:上下文窗口压缩之所以能抬高会话上限,是因为它腾回了窗口,而不是因为它放宽了某条规则。
三个推论立刻就来了。一通可能拖长的通话需要从一开始就启用压缩,而不是在出过一次截断事故之后再加上。一个原生音频模型除了韵律之外还给你四倍的窗口,这是选它的第二个、却很少被提到的理由。而一个会推流视频的智能体——屏幕共享、摄像头——它的会话是以两三分钟计的,所以视频是你打开又关掉的突发输入,永远不是一件你让它一直开着的事。
步骤 4传输层比会话先到期。
文本智能体在 HTTP 上搬 JSON。语音智能体在整通通话期间于一条持久连接上搬连续的音频帧,而这条连接有三种形态——给浏览器与 App 客户端的 WebRTC、给服务端到服务端的 WebSocket,以及接进电话网的 SIP。OpenAI 的 Realtime API 三种都接受,而它的音频费率不随传输方式改变,所以这个选择是一个工程问题:WebRTC 自带抖动缓冲、回声消除与丢包隐藏,否则这些都得你自己写——这正是"远端挂着一只麦克风"的任何场景都不该默认选 WebSocket 的原因。
SESSION open WebRTC/WS/SIP ---------------------- hang up
| audio frames in (20ms) audio frames out |
| events: speech_started, transcript, ... |
| function_call / function_result |
| one conversation state, several connections |
最后那一行,是与那张天真图景不同的地方。连接与会话的寿命并不相同:Google 记载单条 WebSocket 连接约十分钟就会超时,而一个经过压缩的会话可以跑得远比这久;并且会话恢复是默认关闭的——你要在 setup 消息里启用它、留住 resumption-update 消息里最新的那个 token,并在重连时把它作为 handle 传回去。不带这个就上线,你的第一通十分钟电话就会以一场掉线的对话收场,而且没有任何状态可回。
OpenAI 那边是会话上限而不是连接上限:它的文档把单个 Realtime 会话的最长时长定在 60 分钟,是从更早的 30 分钟上调来的。无论哪种,架构上的结论都一样——一通长过厂商上限的通话是一项需要被设计的需求,要靠一次交接、或一个带着摘要状态重新建立的会话来承载,而不是一个留到生产环境再发现的边缘情形。电话网还会加上它自己那一跳:一个 SIP/PSTN 网关把运营商桥接到你的媒体流,通常是 8 kHz 的 µ-law,而这在保真度上让你付出什么,由电话网与 PSTN 集成讲。
步骤 5智能体循环住在哪里。
几座钟都立起来之后,循环放在哪里就成了一个真正的决定,而不是一种口味。那个循环——规划、调用工具、观察、继续——总得跑在某处,而语音让它的位置变得承重,因为每一次工具调用都发生在一场仍在按秒计费的对话内部。
- 级联:循环是你的,跑在你的编排器里、夹在语音识别与语音合成之间。工具、记忆与策略完全由你控制;延迟和上下文记账也归你。
- 原生、由模型驱动:循环跑在实时模型内部,由它通过会话上的函数调用决定何时调你的工具。延迟最低、控制最少——而且这正是厂商自己点出"在工具可靠性上更弱"的那个配置。
- 原生、由外部驱动:模型负责语音与轮次管理,但把重推理的步骤交给一个外部文本智能体。这保住了音频质量、也把工具与策略控制拿回来了,代价是一次你必须用一个填充轮次藏起来的往返——见轮次交替与打断。
有一处不对称很容易被漏掉:在那两种原生形态里,占着上下文的那段音频历史并不由你修剪。而在级联里,那些文本轮次是你的——你可以用普通的上下文工程手段去摘要、丢弃、重排它们,这意味着 STEP 3 里那座会话长度的钟,是一座你控制的钟。真正让一个长时运行、或重度用工具的语音智能体最后仍落回级联的最强理由,是这一点,而不是文字稿的可见性。
步骤 6参考形态,以及什么时候别建它。
不管你选了哪条边界,稳健的技术栈都会收敛到五个承重组件:一个托住通话的媒体服务器、一个决定谁开口的轮次检测器、产出回复的模型、一个在音频通路之外的工具运行时,以及一条承载文字稿、录音与异步检查的旁路通道。
# the load-bearing components, not a framework media_server # holds WebRTC/SIP, jitter buffer, echo cancel turn_detector # VAD + semantic endpointing (see V3) brain # native S2S model OR cascade orchestrator tool_runtime # your functions, run off the audio path (V5) side_channel # transcript, eval, recording, async checks
轮次检测在这里值得单说一句,因为它是最常被留在默认值上的那个组件。语音活动检测在几家主要实时 API 上都是默认开启的,而更新的语义变体是按来电者说了什么而不是按他们安静了多久来判定句末的——这正是"在人家话说到一半时插嘴"与"等过一个停顿"之间的区别。轮次交替与打断是整整一篇;而每个组件坏掉时是什么样子,见语音失效模式。
而如果这件事容得下一次打字的轮次,那么语音什么也没给你买到,却让你付出一个实时截止期、一个音频故障面、一笔穿着沉默一路走的按秒账单,以及更差的可观测性。文本优先;只有当通道本身就是需求时才上语音。按秒的算术在一分钟语音的成本里。
请按这个顺序决定,而不是按惯常那个顺序。先算出你的最长通话时长,并把目标模型的上下文窗口除以音频 token 速率——如果答案比你的通话还短,那么在其他一切要紧之前,你需要的是压缩或者一个原生音频级别的窗口。第二,启用会话恢复,并真的测一次通话中途重连,因为传输层会比会话先到期。只有到这一步再去挑语音边界:当你需要文字稿级别的控制、与文本智能体的评估对等、重度工具使用,或者一个你能自己修剪的上下文窗口时,选级联;当你想要厂商的实时循环、同时又要你的函数被可靠地调用时,选半级联;当对话质量就是产品、而工具面很小时,选原生音频。