STT、TTS 与语音到语音

9 分钟读完

V4
实战手册 · 语音与实时智能体

STT、TTS 与语音到语音:这个选择决定你的控制住在哪里。

若按语音质量去选级联还是原生音频模型,你会在第一次合规评审时发现自己选的其实是别的东西:在级联里,你拥有的每一项控制——脱敏、策略检查、复述确认、审计员将来要读的那份转写——都作用在文本上,而模型据以行动的那段文本,和你留存的那份是同一个对象。改走原生,文本层就离开了关键路径,于是上述每一项控制都变成了对音频的异步观察者,而你的记录变成了一次重建。转写错误税是真实存在的,原生栈也确实避开了它;但它用这份省下的钱买到的,是一个「你的证据」与「模型的输入」成为两件不同产物、而且在它们互相矛盾时没有任何东西会告诉你的系统。

步骤 1流式 STT 不是一种优化。它是智能体唯一能消费的模式。

批式 STT 以最高准确率转写一段已经结束的音频。流式 STT 在来电者还在说话时就吐出部分假设,并随着更多音频到来不断修订它们。对智能体来说,后者不是一个你要去权衡的取舍;它正是让端点检测、投机式工具调用与轮次内检索成为可能的前提。你接受一份稍差的最终转写,换来一份否则根本凑不出来的延迟预算。

  • 部分结果天生不稳定。「我想」变成「我想取消」,再变成「我想取消我的……升级」。绝不要让任何副作用在部分结果上触发。把每一次写入、扣款与转接都卡在最终转写之后——这与「绝不要依据流式工具参数行动」是同一条规则,理由也相同。
  • 一个公布出来的词错误率,只有在语料也能迁移时才迁移。这个市场里每一个 WER 数字都是在某个语料上测出来的,而你的语料是一条窄带电话线,承载着你客户的姓氏、SKU 与口音。厂商公布的是在干净朗读语音上的批式数字;你的智能体消费的是 8 kHz 音频上的流式部分结果。这是两个不同的量,而两家厂商之间的排名在这两者之间可能反转——所以唯一值得据以行动的数字,是你自己量出来的那个:怎么量见评估语音智能体,而为何这条通道对所有人同等设限见音频质量与编解码。
  • 量实体,不要量词。一份逐词准确率 97%、却把账号写错的转写,是一通拿着好分数的失败通话。请给「你接下来要塞进工具调用里的那些字段」打分。

步骤 2把转写错误税的价钱算清楚。

这是任何级联架构的标志性负债,而它不是一个准确率问题——它是一个类型问题。STT 不会返回「我不确定」。它把自己的最佳猜测当作确信的文本返回,而模型随后就把那段文本当作基本事实来推理。原本存在于音频里的不确定性,在这个边界上被销毁了,而下游任何环节都无法把它找回来。

# the tax: confident text from uncertain audio
caller said:   "don't ship it to the old address"
STT produced:  "do ship it to the old address"
LLM reasons:   confidently. wrong order. no flag raised.

# one phoneme, one negation, one shipment. the model was
# not wrong about anything it was given.

请留意是哪些词贵。这笔税并不均匀地落在一句话上;它集中在恰好那些背后没有语言模型支撑的词元,以及那些会把语义反转的词元——数字、专有名词、预订编号,和否定词。模型不需要被提醒就能修好「我想想取消」。它修不了一个被丢掉的「不要」,因为修完之后那句话同样通顺。

不要让模型自己去理顺。在姓名与数字上,「理顺」的意思就是貌似合理地猜,并且自信地猜错。对于高风险槽位——金额、标识符、是/否、地址——请把值复述回去并取得明确确认。复述不是礼貌,它是一条有损通道的纠错码;而把字母数字串念给智能体听给出了算术依据:每字符准确率取标识符长度的次方,让这件事成了必须做。

步骤 3TTS:三个数字,而其中只有一个是质量。

自然度大约在 2025 年前后就不再是瓶颈了,而团队仍然按它来挑供应商。与智能体真正相关的那几条轴在别处:

  • 首段音频时间。唯一会触及「感知响应速度」的 TTS 延迟数字。一把好听的嗓子若首个采样要等 800 毫秒,在对话里就是不可用的;一把更朴素的嗓子若只要 150 毫秒,则是可用的。请把它作为延迟预算里的一行来编列,并在你自己的传输链路上测,而不是从数据表上抄。
  • 增量合成。引擎必须边收文本边出音频,这样你才能在模型的第一个子句上就开口,而不是等它的最后一个 token。没有它,你的 TTS 延迟就不是首段音频时间——而是模型的完整生成时间加上首段音频时间,而合成速度再快也补不上这一段。
  • 干净的打断。打断必须能在一句话中途切掉,而你的轮次管理器必须知道真正被送达了多少音频。一个按整句缓冲的引擎,就是一个「已播放」与「被听到」相差数秒的引擎。

还有一件东西属于你而不属于厂商:文本规范化。「$1,204.50」、ACC-0042 和「2026-11-02」必须每一次都被正确念出,这意味着你要在合成之前做规范化,而不是指望模型的韵律猜得对。请把它写成一个有测试的函数,而不是一条提示词指令。它是整条栈里最便宜的可靠性收益,也是最常被交给运气的那一项。

步骤 4原生语音到语音消掉了这笔税,代价是消掉了你的控制所赖以运行的那层文本。

原生音频模型——OpenAI 的 gpt-realtime、Gemini Live——直接听到韵律与情绪,也能富有表现力地说话,关键路径上没有转写步骤,还少了两跳串行延迟。STEP 2 里的一切都消失了。来电者的否定以声音的形式抵达模型,而「丢掉一个『不要』」不再是一种你可能遇到的失效模式。

在指令遵循上,差距在缩小但真实存在:OpenAI 报告 gpt-realtime 在 MultiChallenge 音频指令遵循基准上得分 30.5%,而其 2024 年 12 月的前代为 20.6%。请把它读成它本来的意思——进展很快,而音频原生的指令遵循仍落后于文本。对成本敏感的路径可以降到 mini 档,用余量换价格。

而真正被交易掉的东西在这里,它不是音质。你在级联里建起来的每一项控制,都是一次文本操作:

control                cascade                 native
---------------------  ----------------------  ---------------------
PII redaction          regex/NER on transcript  audio, async, post hoc
policy / guardrail     text classifier inline   audio classifier, lagging
read-back confirm      you compose the string   model improvises it
retrieval grounding    transcript is the query  need a parallel ASR pass
the audit record       the model's own input    a separate transcription

每一行都是现在归你的活。没有哪一项做不到——音频分类器是有的,并行 ASR 很便宜,原生模型也可以被指示去确认数值。但它们每一项都从「内联且阻塞」挪到了「并行且滞后」,而这改变了一个护栏能够承诺什么。文本分类器可以在话离开扬声器之前就拒掉它。盯着输出流的音频分类器,只能告诉你已经说出去的是什么。如果你的部署属于由卡片数据或同意与脱敏来决定架构的那一类,那么这个差别就是架构本身。

步骤 5在原生栈里,你的证据与模型的输入变成了两件不同的产物。

这是没人会提前规划、而事后补救代价最高的那个后果。你仍然会产出一份转写,因为你的 CRM、你的质检团队、你的监管机构,以及你的通话后回写都要求有一份。在级联里,那份转写就是模型自己的输入:智能体据以推理的那份东西,正是你留下来的那份,连错误一起留着——这不太好看,但极其有用。而在原生栈里,那份转写是对同一段音频做的另一次独立识别产出的——而那次识别有它自己的错误分布。

# cascade: one artefact, so a disagreement is impossible
audio -> STT -> "do ship it to the old address" -> model -> action
                        |
                        +--> record  # same string the model used

# native: two artefacts, and no one compares them
audio -> model -> action                 # heard "don't"
      \
       +-> side ASR -> record            # wrote "do"
                        # the record now contradicts the action,
                        # and the record is what gets read in six months

这个具体案例值得停下来想一想。原生模型正确地听到了那个否定,并做了对的事:它没有发往旧地址。旁路 ASR 丢掉了那个「不要」,于是你的记录写着来电者要求发往旧地址。六个月后,一桩纠纷依据这份记录被裁定。智能体行为正确,而证据说的是相反的话,而你栈里没有任何监控处在能发现它的位置上——因为每一个组件都完成了自己的本职。

  • 把这份记录标注为一次重建。把识别模型及其版本一并存下,并且绝不允许任何下游系统把它当作「智能体处理过什么」的陈述。
  • 在便宜的地方做对账。你不需要全文一致——你需要的是在要紧字段上一致。让智能体把自己理解到的数值作为结构化工具参数发出来,再把它们与旁路转写在标识符、金额和极性上做比对。不一致就是一个可供人工复核的事件,而它是比任何转写层面的分数都好得多的信号。
  • 把音频留得比转写更久(以同意与留存为前提)。在原生栈里,音频是模型真正看过的唯一那件产物。
  • 对着音频打分,不要对着文本。对原生智能体做转写评测,等于在给一个压根不在回路里的组件评级。请用录音来搭黄金集。

步骤 6诚实的取舍,以及如何在一个下午里做出决定。

级联买到的是可检视性、逐级可替换,以及「内联运行在你留作证据的同一个对象上」的各项控制,代价是一笔永久的转写错误税。原生买到的是表现力、可达到的最低延迟,以及免税,代价是不透明的音频推理、滞后的护栏,以及一份「是重建而非模型输入」的审计记录。没有不收税的栈——只有你选了哪一种税。

三个问题比一场对比评测更快定夺:

  • 有没有任何一项控制必须是阻塞的?如果某个分类器必须阻止某句话被说出来、而不是事后报告它,那你就需要内联的文本,这意味着一个级联架构,或者一个为受监管的那些轮次保留文本路径的混合架构。
  • 这份转写会被某个能施加后果的人读到吗?如果会,现在就决定它是模型的输入还是一次重建,并把这个区分写进记录格式里,而不是写进一个 wiki 页面里。
  • 这项任务的失败集中在实体上还是在融洽关系上?标识符、金额和地址把你推向「级联加激进复述」。那种由语气承载任务的开放式对话,把你推向原生。

无论你选哪一个,先做这件事:从你真正要上线的那条通道上取二十通真实录音,分别跑过两种配置,并且只给实体与极性打分——标识符、金额、是/否、否定。你在一个下午里学到的东西,会超过这个市场里所有公布过的基准,因为你量到的是唯一能迁移的那个语料。然后在你还没有需要回头修的历史数据之前,把 STEP 5 里的对账检查加上去。