实战手册 / 语音与实时智能体

语音与实时智能体

实时语音智能体——语音栈、轮替、打断、延迟预算、语音特有的工具与状态。

  1. 实时智能体架构
    会话的上下文窗口是一座钟:流式音频以文档记载的约每秒 25 个 token 填满它,而多数 Live 模型是 32k、原生音频模型是 128k——公开的 2 分钟与 15 分钟上限正是从这里来的。语音边界有三个可放的位置——完整级联、半级联、原生音频——再加上一条比会话先到期的传输连接,以及为什么一个重度用工具的语音智能体最后仍会落回级联。
  2. 延迟预算
    把各家语音厂商在 2026 年公布的延迟数字加起来,一个轮次在任何数据包穿过互联网之前就已约 1,100 ms——这正是一套组件个个都快的技术栈,最后交付出人类预期的 200 ms 间隔两倍时长的原因。七行里有两行是没人公布的:端点检测(固定定时器把它记到每个轮次头上)与传输加播放缓冲那条路径。按任何厂商组件数字的大约两倍做预算、砍跳数而不是比快,并把两只钟分开——响应延迟是感知成本,通话时长是现金成本,而 τ-Entity 那套确认脚手架的 21–28 秒在前者上是灾难、在后者上是舍入误差。
  3. 轮次与打断
    轮次管理器是语音栈里唯一持有可变状态的组件,而一次打断会在它写到一半时把状态作废:「已生成」「已合成」「真正被听到」三者相差可达数秒的语音,所以一份记录「模型产出了什么」的历史,会让智能体去引用没人听到过的句子。请用一个完整性模型替掉静音阈值、并把工作点暴露出来;然后把对齐这条路径建起来——截断到已确认播放处,朝「没听到」加偏(因为两种错误的代价不同),设一个显式的 truncated 标记,并在被丢弃的工具调用跑起来之前取消那条流。全双工删掉的是那条边界,而它让这份账更难记。
  4. STT、TTS 与语音到语音
    级联还是原生,这个选择与音质无关:在级联里,你拥有的每一项控制——脱敏、护栏、复述、审计员要读的那份转写——都内联运行在文本上,而那段文本就是模型自己的输入。原生消掉了转写错误税,也一并消掉了这些控制赖以运行的那一层,于是每一项都变成对音频的滞后观察,而你的记录成了由另一次 ASR 识别(带着它自己的错误)做出的重建——智能体可以行为正确,而证据说的是相反的话,且没有任何东西去比对二者。请量实体而不是量词、在合成之前做文本规范化,并把智能体给出的结构化数值与旁路转写做对账。
  5. 语音中的工具调用与状态
    不留空气死寂地调工具:前导语、异步/并行工具运行、变更前靠耳朵确认,以及贯穿可打断通话的槽位状态。
  6. 语音智能体失败模式
    幻听、空气死寂、无限道歉循环、延迟死亡螺旋,以及你必须为之设计的升级/移交。
  7. 外呼语音智能体
    主动拨打而非接听的智能体——节奏、放弃率、身份披露,以及把炫酷 demo 变成罚单的合规雷区。
  8. 评估语音智能体
    文字记录评测量的是唯一那层本来就没坏的东西:用录下来的音频搭黄金集,量实体错误率而不是 WER,并把时序当作一等公民的评分项。
  9. 电话与 PSTN 接入
    一半的轮次延迟、全部的音质,以及通话到底接不接得通,都住在一条你无法剖析的运营商链路里:固定的传输税、作为信誉资产的号码、缺失的元数据通道,以及作为代码路径而非提示词的同意机制。
  10. 多语言与语码转换语音智能体
    多加一种语言坏掉的是识别而不是生成——而按轮锁定语言这个标准解法,恰恰会被双语来电者的第一句话打破,而受损的正是你正要传给工具的那些人名与号码。
  11. 语音智能体的来电者核验
    三秒音频就能克隆一位客户,而如今约每五次生物特征欺诈尝试就有一次是深度伪造,于是声纹只能识别、不再能认证——把证明挪出音频通道、绑定到动作而非这通电话,并留意你自己的外呼智能体正在把那套攻击正常化。
  12. 把检索塞进语音轮次
    一个有依据的回答必须在来电者停口后约 800 毫秒开始从扬声器出来,而"检索—改写—重排"链条在模型看到文档之前就花掉了大半——所以检索延迟是一个准确率指标:对着部分转写就开始查、把问题分布的头部预先算好,并删掉那些别人告诉你必不可少的阶段。
  13. 升级与温转接
    一个语音智能体可以把每一轮都答对,却仍在交接处丢掉客户,因为人工一句问候仿佛这通电话从未发生——所以衡量交接的是来电者重复了多少,而不是它有没有接通:在来电者开口之前就升级,携带一个在人工第一个字之前送达的上下文包(已验证身份、来电者原话、已采取的动作),永远设计好"没有人工"那条分支,并为重复率而不是转接率给自己传呼。
  14. 通话后处理与 CRM 回写
    来电者只听一次对话;而处置码与摘要会被路由、分析师与审计员读上好几年——可你的语音评测在来电者挂断时就停了。处置码是一个披着生成外衣的分类问题,你那套结案码分类体系多半本来就是坏的,而摘要必须去引用而不是去定性——因为 ASR 的错误恰恰集中在姓名与金额上,而那正是一份持久记录错不起的地方。
  15. 录音、同意与脱敏
    你的留存规则指着通话录音,而录音如今是最不值一提的那份副本:同样一分钟还以转写稿、模型上下文、工具参数、追踪 span 与 CRM 摘要的形式活着——这五件由智能体造出来的产物,一条策略都没继承到。让缓冲区挂在同意事件而不是呼叫建立上,把卡片数据完全挡在智能体这条腿之外(因为模型没法把视线挪开),并在写入时于每一个落地点前面跑同一个带版本的脱敏器。
  16. 替换一套 IVR
    你手上那两件起步的东西都是陷阱:菜单树记录的是按键音能表达什么、而不是来电者想要什么;而接住率——传统 IVR 常被引作 5–10%,语音智能体 60–90%——把放弃通话的人算成了成功。用转人工的通话记录搭出意图清单,把智能体摆在你已经信得过的那套 IVR 前面、一次迁一个意图好让回滚只是一次配置切换,量 72 小时内无回访的解决、并把智能体环节内的放弃率当作一票否决,数字输入则留给 DTMF。
  17. 无障碍语音智能体
    你的智能体没有一个失败率,它对每一种嗓音各有一个;而失败得最惨的那些人群——言语障碍或语速缓慢者、口音很重的人、年长的来电者、任何走中继服务打进来的人——替代选择最少,于是他们的失败以挂断的形式抵达,永远进不了你的指标。基于静音的端点检测不只是对他们视而不见,它就是那台机器:按语速而不是按任何标签分层,第一次重新提示之后就把阈值永久抬高,让 DTMF 与人工通道在每一轮都活着,并用「最差人群比中位人群的成功率」给发布设闸。
  18. 把字母数字串念给智能体听
    你的转写很出色而订单查询照样失败,因为预订号背后没有语言模型,而完全匹配是每字符准确率的长度次方——每字符 97%,十个字符就是 73.7%。厂商的拼读模式与关键词偏置只能买到几个百分点;真正改变形状的,是拿来电号码本就给你的那个小候选集去解析它、确实必须采集时按分组逐组复述、按后果而不是按置信度设确认门槛,以及把结论一路带到上游的标识符格式上。
  19. 在通话里披露这是个智能体
    你依法必须说出的那一句,恰恰最可能被你自己的打断功能掐掉,而日志会记成已播放。三种形状不同的义务——欧盟《AI 法案》第 50 条自 2026 年 8 月 2 日起要求开场即告知、犹他州要求经询问即告知、犹他州对高风险工作另要求醒目告知——需要三条代码路径:一句不可打断的短开场白、只在播到最后一帧时才记为完成;一条在转接、有人加入与会话恢复时重新求值的 must_disclose 谓词;以及一条常量字符串应答的确定性「你是机器人吗」意图路径,因为写在系统提示词里的一行会把一项成文法义务变成一种模型行为。
  20. 在语音里收卡付款
    呼叫中心的每一项降范围手法靠的都是把某个听者从音频通路里挪走,而一个语音智能体不是听者——它就是这通电话,于是一个被念出来的卡号会同时落进六件产物里,其中两件装着 PCI DSS 明说授权后永不得存储的数据。有三种架构能把数据挡在模型之外,而它们的差别只在于让来电者付出多少代价。今天就该改的是工具签名:只要 PAN 能当参数,你的追踪存储就进了范围。
  21. 紧急与危急来电
    没有任何标准规定语音智能体该把危机来电转去哪里,但 Kari's Law 与可派遣位置已经绑在你的电话系统上了——所以请把一个确定性匹配器放在模型下面、跑在部分 ASR 上,用盲转加一句固定录音兜底,先钉住漏检率再谈精确率,并拒绝分诊、拒绝急救指导、拒绝去当危机热线。
  22. 语音信箱与应答机检测
    Twilio 自家 FAQ 把应答机检测写成「默认配置下接通后约四秒」,而美国电话营销规则规定:被叫方说完问候语后两秒内未接入真人代表即视为放弃呼叫,上限为每 30 天活动期内已被真人接起呼叫的 3%——于是把第一句话卡在检测结果之后,在构造上就不合规,而且这段静默花在十通里才有一通真的接通人的那一通上。请接通即开口、把检测作为并发事件流,写一段「被截断也能当语音信箱用」的四秒开头,并把留言当成第二项许可:FCC 在 2022 年 11 月裁定,投给无线号码的无铃声语音信箱属于需要同意的呼叫。
  23. 多方通话
    「我让我太太跟你说」是对你身份控制的一次完整绕过,而且不需要任何技术手段——因为你核验的是一通电话,而一通电话不是一个人。2026 年的三份基准一致表明模型帮不上忙:MP-Bench 把实时语音智能体在多方理解上定在 22% 或以下,在多方轮替上接近随机。流式说话人分离会在你已经据其行动之后修正标签,所以请把每个有后果的动作绑到「在这一句话上重新核验过的那一方」,把「有方加入」抬成中断,并让 UNKNOWN 失败即拦截。
  24. 音频质量与编解码
    一通 8 kHz 的电话承载不了 4 kHz 以上的声音,而区分 S 与 F 的那些擦音恰恰住在上面——于是每一个识别器在 PSTN 腿上都有同一个盲区,换模型也补不上。Twilio Media Streams 交给你的是 8 kHz 的 G.711 μ-law,OpenAI Realtime 的电话格式也固定在那里,所以常见的栈是端到端窄带;上采样到 24 kHz 只是满足了一份输入契约,什么也没增加。整条通路以最窄那一跳运行,而被反复引用的那个跨频带词错误率数字出自 2014 年——真正的解法是在你的评测集里加一列编解码。
  25. 语音里的长列表
    语音没有回滚条,而 Cowan 那个「四个组块」的估计意味着来电者只能记住正在听的那个选项、也许再加上前一个——于是六个选项就是二十五秒独白,而它唯一可靠的产出是一种近因偏倚,并会被你的转化数据读成偏好。缺陷在工具签名而不在提示词:一个能返回结果集的工具,会逼模型按位置截断它,且没有任何埋点。请返回一个答案、一个带计数的区分性问题,或一个「太多了」的结果;把区分点放最前;绝不要念序号;并为「智能体最长的不间断话语」设告警。
  26. 语音里的预约排期
    一个语音智能体还没听错任何东西,就已经把同一个时段重复预约出去了:说完三个选项按每分钟 150 词要 9.6 秒,而从读取可约时段到写入被接受的窗口是 12 到 18 秒;在这段时间里,每小时 40 次报价会让六分之一落在同一个时段上——因为每个智能体都先报最早的那个。请在开口之前先锁住一个时段(每通电话锁三个,在每小时 400 次报价下会把 6.7 个时段从市面上抽走,只锁一个则是 2.2 个),用 If-Match 做确认,让被改动过的日历返回 412 而不是多出一笔预约,并在用到之前就写好那句救场词。请把锁定过期率、前置条件失败率、以及「说出口的时间」与「实际预约的时间」不一致率分开埋点,因为只有第三个能抓到静默替换。
  27. 打给另一家公司的 IVR
    拨出去走别人家的电话树,会让语音成为整件事里最小的一块:顶层循环是一个状态分类器——菜单、等待、真人、语音留言、空气死寂——因为等待音乐和听了一半的菜单,转写出来的东西没法照着行动。请把按键作为 RFC 4733 的命名电话事件发出去,而不是把音调合成进音频通道:在那里有损编解码器会把它涂抹掉,而丢包会把一次按压变成零次或两次。等待时长无上界、不由你控制,而且在原生音频栈上按挂钟秒数计费,所以沉默与说话一样贵:等待期间给模型降级、给等待封顶,并照实测的队列长度来排程。