模态与多模态模型

E3
概念 · AI 模型与工具生态

模态:文本、视觉、音频、代码,以及"多模态"。

"多模态"告诉你的是一个模型愿意接受什么,而这恰是它身上与决策最无关的一件事。每一种非文本输入都会在某处被转换成 token,而真正会改变你架构的问题只有一个:在哪里转换——因为这一条边界同时决定了信息在进来的路上被毁掉了什么,以及你在智能体循环的每一步上为它付多少钱。先选转换点;规格表上那个勾选项会随之而定。

步骤 1模态是一对,而这一对是偏的。

模态是一种数据类型——文本、图像、音频、视频。输入模态与输出模态是两项各自独立的声明,而几乎每一个被描述成"多模态"的模型,都是输入多模态、输出文本。这种不对称是模型卡片最常见的误读:「支持音频」通常意味着它能听,而不是它能说。

  • 文本进、文本出。每个大语言模型共有的基线。
  • 视觉进。图像与文本一同输入——截图、图表、扫描文档、照片——模型对其推理并以文本作答。截至 2026 年 11 月,这在前沿模型家族中已是标配。
  • 音频进与出。真正较新的能力,也是"多模态"这个词配得上的地方:截至 2026 年 11 月,OpenAI 的 Realtime API 与 Google 的 Gemini Live API 都能语音进、语音出,中间不必绕一趟文本。
  • 视频进。帧序列,有时带音频。支持最参差,且按源素材每秒计的 token 消耗远高于其他模态。
  • 图像与音频作为产物输出。把像素或波形当作交付物来生成,通常是你另外编排的一个专用模型,而不是你那个推理模型的某种模式。
  • 代码。完全不是一种感官模态,但值得当作一条独立的能力轴来跟踪,因为它有自己的评测体系——见读懂基准。

把模型卡片当作两张清单来读,永远不要当成一张。如果你的产品需要智能体把话说出来,那视觉这一列就无关紧要,而所谓"多模态"候选名单上的大多数并不合格。

步骤 2每一种模态都有人把它转成 token。唯一可选的是由谁来转。

模型吃的是 token。音频和图像也不例外——它们同样被 token 化,只是经手的不是一个你读得懂的 tokenizer。所以对每一种非文本模态,你是在两个转换点之间做选择,而业界的两种架构恰好就是这两个选择:

  • 你来转,且转得早(流水线)。语音转文字做转写,文本模型做推理,文字转语音把答案说出来。中间表示归你所有:可检查、可记录、可脱敏,而且便宜,因为文本是内容最致密的编码方式。你同时也毁掉了一切词句未能承载的东西。
  • 厂商来转,且转在内部(原生)。单个模型跨模态共享一个表示空间。语气、迟疑、重叠说话、一个数字在页面上的位置——全都活着进入推理。代价是中间表示消失了:你读不到它、过滤不了它,也不能把它存成你的记录。

这正是"级联还是原生"之争从来都不真的关于音质的原因。它关乎的是:你的护栏、脱敏与审计轨迹,究竟跑在模型真正的输入上,还是跑在对它的一次重建上。语音章节把这一点展开得很细,见STT、TTS 与语音到语音。

步骤 3每种模态按不同的单位计量——其中一种按挂钟走。

文本按内容的 token 计费:说得少就付得少。其他模态不是这么运作的,而这正是团队上线之后才吃惊的那部分。

  • 图像按面积计费。token 数通过一条分块规则随分辨率增长——Anthropic 的 computer-use 工具把它写成 ⌈width / 28⌉ × ⌈height / 28⌉ 个视觉 token——所以一张截图的价钱由你选的画幅决定,而不由其中多少真正有用决定。1024×768 的桌面截图与 2576×1448 的整幅截图,在每一步上都差约 4.6 倍。
  • 音频按流逝的秒数计费。原生语音模型按进出音频的分钟数定价,换算下来相当于每秒数十个 token。后果很直白:三秒的沉默与三秒的说话一样贵。一个正在思考的来电者、一段等待提示音、一个你为了自然而插入的停顿——全都计费,全都不含信息。
  • 视频按秒数乘以每帧计费。它就是图像那条规则再乘一个帧率,这也是为什么视频输入是唯一一种"天真实现就能把预算算错一个数量级"的模态。

接着,循环会把你选中的那个单位乘上去。智能体在每一步都会重发自己的对话记录,所以第 3 步拍的那张截图,在第 4 步到第 N 步会被再付一遍——这笔算术,以及把它压平的提示缓存办法,在每步感知成本与智能体成本控制里。

一个按分钟计的音频价格,放在按百万 token 计的价格旁边会显得很小,而两者根本不可比。在做选择之前先把两边都换算成"每完成一个任务的成本",否则你会挑中在定价页上读起来最便宜、在账单上收得最多的那种模态。

步骤 4按"什么必须活着穿过那条边界"来决定。

转换点是一次有损压缩,而规格由你来定。所以请点名你的任务绝对不能失去的那一样东西,让它去挑架构:

  • 一个发火的客服来电者。信号在语气里,而转写会把它删掉。"行。"与"行!"转写出来一模一样。如果升级与否取决于听出这话是怎么说的,那原生音频在做流水线无法复制的真活。
  • 一张扫描的发票。信号在版面里——哪个数字落在"合计"那一列。先把页面压平成文本,就毁掉了回答这个问题所依赖的几何关系;这正是此处"视觉进"胜过"先 OCR 再文本"的原因,也是文档解析自成一门手艺的原因:见为 RAG 做文档解析。
  • 一通受合规录音约束的电话订单。信号就是那份记录本身。这里,流水线那份可检查的转写就是需求,而原生音频会把你的证据变成另一次带着自身错误的 ASR 识别结果。
  • 一个在点击的 GUI 智能体。信号在像素位置里,没有任何东西能活着穿过一段文字摘要——但成本由画幅大小决定,所以要靠对你即将点击的那块区域做放大来买细节,而不是靠一张更大的截图。见 GUI 定位与计算机使用。

还要注意,能力在一个模型内部也并不均匀:视觉强极少意味着音频强,而基准是按模态分别公布的。一枚笼统的"多模态"徽章,是在你并不会平均使用的那些东西上取的平均。

写下两列——什么进去、什么必须出来——然后淘汰每一个物理上做不到两头的模型。接着问规格表从不回答的那个问题:在转换点上什么被毁掉了,而我付得起失去它吗?默认选流水线,因为文本中间件便宜、可检查,而且正是你那些护栏已经在上面运行的底座;只在你能点名"转写会杀掉哪个信号"的地方,才去伸手拿原生多模态。最后请按每完成一个任务来定价,而不是按 token,因为这些模态的计量单位彼此不可比。

相关:选择模型看候选名单的其余部分、成本、质量与延迟看三方权衡、全双工语音看"音频进出"要往哪里去,以及上下文窗口看每种模态共用的那个上限。