嵌入:意义即几何

F6
概念 · AI 基础

嵌入:意义即几何。

嵌入并不是对"相似"的测量,而是一个关于"相似意味着什么"的、训练出来的主张——而你把这个主张冻进了你存下的每一个向量里。它带来的实际后果常让人意外:在一个被教去比较句子的模型里,一个问题和它自己的答案可能落得很远;而在一个被教去把查询匹配到文档的模型里,它们却靠得很近。正因如此,主流嵌入 API 都要求你在每次调用时声明:你送进去的这段文本,是查询还是文档。这一个字符串写错了,不会有任何报错;你的搜索只是悄悄变差了。

步骤 1核心动作:意义化为坐标。

计算机无法比较"狗"和"小狗"的意义——它们只是不同的字符串,与"狗"和"木琴"之间的关联并无二致。嵌入修正了这一点:把每个事物映射为一串数字——一个向量——并经过挑选,使意义相似的事物落在邻近的点,无关的事物落得很远。"意义"变成高维空间中的一个位置,"相似"变成几何距离,通常是余弦相似度,即两个向量之间的夹角。

这串数字不是手工设计的。一个神经网络在"必须做出有用预测"的压力下从数据中学出它,副产品就是一个几何反映意义的空间。一张二维草图能让这个想法显形,尽管真实嵌入有数百或数千维:

      cat ·   · kitten
         ·  dog
            · puppy
                                  · car
                                · truck   · van

  near = similar meaning · far = unrelated · clusters = topics

关于宠物的词聚在一起;关于车辆的词在很远处形成另一个簇。没有人摆放它们——是训练塑造了这片几何。正是这一个转换——把"意义相似"这个模糊的人类概念,换成"空间中接近"这个精确的机器概念——让语义搜索、推荐、去重和检索增强生成得以大规模实现;它对图像、音频和代码的工作方式完全相同。

步骤 2"相似"是一个训练决策,这就是你的 API 调用里为什么有个角色字段。

这里是几何图景藏起来的那一半。在哪种意义上相似?一个被训练去给句对打分的模型,学到的是:两段文本在"说的大致是同一件事、且说法也大致相同"时才算接近——同样的语域、可比的长度、重叠的表层形式。一个为检索而训练的模型学到的是另一回事,而且是故意不对称的:一个简短的疑问片段,应当落在一段回答它的、冗长的陈述性文字附近。这不是同一个空间的两种性质,而是两个不同的空间;后者被称为非对称,因为比较的两侧并不可以互换。

把一个具体案例走一遍,因为这种故障很容易被误认成"模型不行"。用户输入我怎么重置密码。你的索引里有两个候选:一个标题为"如何重置你的密码"的导航占位页,里面除了一条链接什么都没有;以及一篇标题为"账户恢复步骤"的 400 词文章,里面是真正的操作流程。在一个对称的句子相似度空间里,占位页轻松胜出——它几乎就是查询的改写,长度相近,疑问框架相同。在一个非对称的检索空间里,文章胜出,因为该模型正是在"问题—段落"配对上训练的,而那些段落和问题长得毫不相像。两套系统都正确地返回了各自的首位结果。但只有一套回答了用户,而两者之差是一个参数,不是一个模型档次。

这就是为什么检索级的嵌入 API 不允许你对此保持沉默。截至 2026 年 11 月,各大提供商都有自己拼写同一声明的方式:

# the same sentence, embedded for two different jobs

# Cohere embed-v4.0
co.embed(texts=[q], model="embed-v4.0", input_type="search_query")
co.embed(texts=[d], model="embed-v4.0", input_type="search_document")

# Gemini embedding (gemini-embedding-001 and earlier)
embed_content(content=q, task_type="RETRIEVAL_QUERY")
embed_content(content=d, task_type="RETRIEVAL_DOCUMENT")

# open weights: the declaration is a literal text prefix
embed("search_query: how do I reset my password")     # nomic-embed-text
embed("search_document: Account recovery steps ...")

# and the failure mode: no exception, no warning, no log line.
# a symmetric call on an asymmetric model returns a perfectly
# well-formed vector that is pointing at the wrong neighbourhood.

这段代码里有三件事比语法更值钱。第一,拼写一直在动:Google 较新的 gemini-embedding-2 取消了 task_type 参数,改为要求把任务写成提示词里的前缀——于是一个把 task_type 硬编码进去的 SDK 包装层,对同一家厂商的下一个模型就不再向前兼容。第二,默认值是陷阱而非中立选择;实践者报告称,在 Vertex 上省略 task_type 历来被当作查询一侧处理,而这恰恰是你那一千万篇待索引文档最不该走的一侧。第三,OpenAI 的 text-embedding-3-* 系列根本没有角色字段,这不是缺失——这是另一种设计:一个对称空间,前提就是你不做这个区分。这是产品之间的真实差异,不是功能缺口,而它在任何"每个模型报一个分数"的榜单表格里都是看不见的。

这是最容易造出、却最难查出的检索缺陷,因为每一个中间产物看上去都很健康。向量维度是对的。索引建得起来。最近邻搜索返回 k 条结果,分数也像样。只有真实查询上的端到端召回会动,而且只动几个点——和另外十几件事的影响量级一样。请在测试里断言角色字符串,不要指望代码评审发现它。

步骤 3方向承载意义——那个让人豁然开朗的结果。

在一个训练良好的嵌入空间里,方向编码的是关系,而不只是位置。经典示例:

vector("king") - vector("man") + vector("woman")  ≈  vector("queen")

读作:从 king 出发,移除"男性"方向,加上"女性"方向,你就到达 queen 附近。一个一致的几何偏移对应着一个现实世界的关系,而类似的偏移也出现在"国家—首都"或"单数—复数"上。它是从纯文本训练中涌现的,没有任何关系词典——这是个有力的证据,说明这片几何捕捉到的是结构,而不仅仅是话题邻近。

把它当作直觉,而非保证。真实空间比这个干净的类比凌乱得多,算术并不总是精确落点,学出来的向量还会继承训练文本的偏见。嵌入反映其数据,偏见也在其中——当它去给求职者、支持文章或商品推荐排序时,这一点会直接起作用。

步骤 4存下来的向量是一次 schema 承诺,所以把造出它的东西记下来。

因为那个主张是在索引时烘进去的,你数据库里的每一个向量都是一次承诺:承诺给某一个模型、某一个版本、某一个宽度、某一套角色约定。这四项没有哪一项能单方面改变。把两个模型的向量混进一个索引里不会优雅降级——两套坐标根本不可比,而症状是:搜索对新加的内容有效,对旧内容失效。所以请把来源信息存在向量旁边,存在行里,而不是存在一个 wiki 页面上:

  • 模型身份与版本——是 embed-v4.0,不是"Cohere"。一次版本升级就是一个新空间。
  • 维度与数值精度——你要的宽度,和你存的类型。在现代模型上这两者都是旋钮,而它们在召回上的代价,是向量压缩与内存层级的主题。
  • 角色约定——文档一侧是用哪个 input type 或前缀嵌入的,这样三年后某个当时不在场的人,还能让查询一侧与之匹配。
  • 切块规则——向量描述的是某个人选定的一段文本;见切块与向量搜索。

请把换模型当作一次带回填、双读窗口和切换的迁移来对待,这正是重建索引与嵌入迁移的讲法。代价不是重新嵌入的 API 账单;代价是你无法同时服务两个空间,所以索引必须在线上那套旁边另建一份。

两个局限让期望保持校准。相似不等于相关。最近邻搜索找到的是关于查询的文本;它是否回答了查询,是另一个判断——这正是为什么要有第二阶段的重排器去真正阅读候选文本并重新排序,见混合检索与重排。以及嵌入会压缩。把一段文字塌缩成几百个数字,按构造就会损失细微差别,所以两个确实不同的句子可能落得近得可疑;而编码器丢掉的区分,再怎么调索引也找不回来。

最后,接回语言模型:嵌入不是螺接在 LLM 上的小部件,它就是 LLM 的原生输入。文本变成令牌,令牌变成整数,而模型的第一层把每个整数变成一个学出来的向量。此后的一切都是在这些向量上的算术。"意义即空间中的位置"并不是 LLM 工作方式的类比——它字面上就是 LLM 做的第一件事。

在比较模型之前,先做那两件不花钱的事。建一组固定的 100–200 条真实查询,配上已知的正确答案,然后在你自己的语料上测 recall@10——公开榜单排的是别人数据的平均值,而你的数据不是那个平均值。然后在测试里断言角色约定:嵌入一条查询和一篇文档,检查请求体分别带上了查询一侧和文档一侧的声明,若两者相同就让构建失败。第二个测试花十分钟,抓住的却是那个否则与"语义搜索就是没那么好"无法区分的缺陷。至于产品层面的比较,见OpenAI vs Cohere vs Voyage vs Qwen3 嵌入模型。