概念
AI 与 Agentic AI 通俗解读 — 面向新手与进阶者的白话词条。
初次接触智能体 AI?按顺序读完这五个概念:
也可以跟着完整引导路径走: 实战指南 →
AI 基础
- 什么是 AI、机器学习与深度学习?AI、机器学习与深度学习是层层嵌套的同心圆,而非同义词——你看的是哪一层,决定了一个系统会如何失败。
- 直观理解神经网络神经网络是一大堆把数字变成数字的可调旋钮;学习不过是把这些旋钮朝更小的误差微调。
- 什么是大语言模型?LLM 是一个巨大的下一令牌预测器;规模把这一个简单目标变成了无人显式编写的能力。
- 训练与推理训练一次性造出模型被冻结的权重;推理按请求运行它们且从不改变它们——这解答了大多数成本与隐私问题。
- 令牌与分词模型看到的是整数而非文本;隐藏的分词步骤解释了你的账单、上下文上限和古怪的失败模式。
- 嵌入:意义即几何嵌入不是对"相似"的测量,而是一个关于"相似意味着什么"的、训练出来的主张,并被冻进你存下的每一个向量——所以同一个问题和它自己的答案,在句子相似度模型里落得很远,在检索模型里却靠得很近;也所以 Cohere 要你传 input_type、Gemini 要 task_type、nomic 要一个字面文本前缀。这个字符串写错了,不会有任何报错。本文讲清这片几何、那种非对称性,以及为什么存下来的向量一次性把你绑定到某一个模型、版本、宽度和角色约定上。
- 从宏观看 Transformer自注意力让每个令牌都能看其他每个令牌;这一个思想修复了长程记忆并解锁了 GPU 规模的训练。
- 生成与采样:讲清温度模型返回的是一个概率分布而非一个答案;温度重塑它,而温度 0 是低方差,并非确定性。
- 幻觉与接地模型会编出流畅的答案,因为它优化的是流畅而非真实——所以编造是结构性的,而非等待打补丁的 bug。接地把证据放进上下文并要求答案出自其中,这消除不了杜撰,却让发现杜撰变得廉价。
- 合成数据由模型生成的训练数据,其安全程度与筛选器的质量成正比——崩塌是流水线的属性,而非数据的属性。
- 蒸馏与量化蒸馏训练的是一个全新的小模型;量化存储的是同一批权重的低精度版本。前者以 GPU 天计且不可逆,后者以分钟计且可逆。
- 后训练:从基座模型到助手拒绝、谄媚、排版习惯乃至助手人格本身,都是在预训练之后、在一个每发布一版就重做一次的相对廉价的层里装上去的——这正是一次小版本升级对行为的改动可能大过一次能力升级的原因。
- 预填充、解码与 KV 缓存一次模型调用其实是两台瓶颈相反的机器:预填充并行读入提示词、受限于算力,解码一次写一个令牌、受限于内存带宽。这一划分解释了首令牌时延、为何输出比输入贵,以及提示词缓存为何必须是前缀匹配。
- 可复现性与非确定性temperature 0 是一条采样规则,不是一份保证:推理服务器会把你的请求和别人的打成一批,而许多算子会随批大小改变归约策略,于是相同的贪心请求会返回不同的文本。对智能体的后果是,一次出错的运行无法靠重跑复现——可复现性只能来自记录。
- 知识截止日与缺失的那只钟截止日是一道渐变而非一堵墙——它之前那几个月的知识比两年前更稀薄,而那恰恰是自信跑在证据前面的地方。加上一个没有钟的模型,会把每一个与日期有关的问题,都答成流畅、自洽而错误的样子。
- 投机解码唯一一种可被证明不会改变模型输出的提速手段——廉价草稿往前猜、真模型来核验——这既是它不花你一个评测周期的原因,也是它在繁忙 GPU 上悄悄吃掉吞吐的原因。
- 专家混合(MoE)参数量不再等于成本:MoE 把账单劈开,算力跟着每个令牌真正激活的参数走,显存却要跟着全部参数走——于是同一个模型,租来的 API 上是笔划算买卖,自己的 GPU 上却是一次昂贵的误判。
- 参数高效微调LoRA 赢在特化的产物是个 50 MB 的文件:一份基座就能服务上百个变体,切换降格成路由——也赢在秩是一个容量旋钮,它决定了你能教的是行为(可以)还是事实(不行,那是检索的活儿)。
- 受约束解码把会破坏 schema 的 token 掩掉,只保证字节能被解析,别的什么也不保证——而且它删掉了模型弃答的能力,于是一个必填字段会从根本不支持它的输入里被填出来。把退路放进 schema 内部,让字段顺序做到证据先于结论,并把推理留在语法之外。
- 缩放定律一条缩放定律是拟合到预训练损失上的曲线——对那一个量准得惊人,对「你的智能体能不能走完四十步的任务」则一言不发。2022 年 Chinchilla 的修正把算力最优比例挪动了十倍以上,那就是一条「定律」能挪多远;而如今决定你账单的那两根轴,是后训练与推理期算力,不是参数量。
- 可解释性与探针2026 年 1 月,可解释性以一种生产环境的控制手段上了线,而上线的是这个领域最不体面的那件东西:一个读取某一层激活值的线性探针,成本约为 LLM 分类器的五十分之一,准确率却更高。它读得到任何文本过滤器都看不见的信号,一遇分布漂移就崩,而且它需要权重——所以对大多数团队来说,它是一个采购问题,而不是一个项目。
智能体 AI
- 什么是 AI 智能体?智能体是被放进循环、配有工具、自行选择每个下一步以实现目标的模型——核心思维模型。
- 智能体循环推理→行动→观察→重复:追踪一次工具调用如何从模型经外壳进入环境再返回。
- 自主性等级从"建议"到"完全自主"的五级阶梯,以及为何合适的等级是逐动作的工程决策。
- 智能体 vs 聊天机器人 vs 工作流一个问题——谁决定下一步——就能把任何 LLM 系统归入聊天机器人、流水线、工作流或智能体。
- 工具、动作与环境工具的真实面貌、读动作与写动作之分,以及为何是环境而非模型让智能体变得危险。
- 目标、规划与终止从反应式到深思熟虑的规划谱系,以及"如何知道智能体完成了"这个被低估的难题。
- 何时该用智能体一个任务要值得用智能体所需的三个属性、能解决多数情况的更便宜模式,以及明确不该用的情形。
- 智能体的风险与局限循环的四种特征性故障模式、自主性带来的安全转变,以及"安全的智能体"诚实地意味着什么。
- 用大白话讲提示词注入提示词注入究竟是什么、为何它不是哪家厂商能打补丁的 bug,以及你真正能用的三种防御手段。
- 智能体记忆:短期与长期上下文窗口是智能体的短期记忆,每次会话都会重置;持久的行为需要一个你有意写入并检索的外部长期存储。
- 计算机操作与图形界面智能体当没有 API 时,智能体可以自己操作屏幕——读取截图并合成点击与按键——这解锁了任何软件,却缓慢、脆弱,并带来全新的攻击面。
- 多智能体系统一个强大的单智能体才是基线,而非目标;只有当任务确实可并行、或需要相互隔离的专门上下文时,才该动用多个协作智能体——代价是协调开销、错误传播与 token 消耗。
- 语音与实时智能体与智能体实时对话让延迟成为整个设计难题,并逼出一个架构抉择:可拆解、可审查的 STT→LLM→TTS 级联,还是用控制力换取速度与自然语调的单一语音到语音模型。
- 人在回路人在回路不是自动化的反面——它是你把人的检查点放在哪里。给少数有后果、不可逆的动作设闸,其余放行;陷阱是那种橡皮图章式的批准:它增加延迟与虚假信心,却什么也拦不住。
- 沙箱与代码执行代码是那个万能工具——而智能体写出的代码永远是不可信代码,因为它的输出取决于你并不掌控的输入。隔离是五条彼此独立的决策(文件系统、出站、凭据、算力、生命周期),其中网络出站最常被大敞着。
- 智能体身份与权限认证、授权与归属是三个问题,而一把共用的 API 密钥把它们都答砸了。智能体的权限应当是"用户可以做什么"与"任务需要什么"的交集——而由于它们在模型之外被强制执行,它们是提示词注入得手时唯一仍然撑得住的防线。
- 智能体成本控制智能体每一步都会重发整段对话,因此累计输入随步数的平方增长——这正是「换个便宜模型」几乎从来都不是解法的原因。
- 为智能体设计工具当智能体挑错工具、或对着一个失败的调用死循环时,问题几乎总是出在你的工具上——工具是写给这样一位读者的接口:没有文档、两次调用之间不记事、还受令牌预算约束。
- 智能体的交互设计:为复核而设计一个省下一小时的智能体,如果复核它要花五十分钟就毫无价值——复核成本才是你的界面真正在优化的指标,而一份可编辑的计划加一个能用的撤销,胜过你能加上去的任何确认弹窗。
- 任务时长视野唯一一个用你能拿来做计划的单位表述的能力数字——智能体能独立做完的任务长度——只不过上标题的是 50% 视野,而可部署的是 80% 视野,大约只有前者的五分之一。在三十件真实任务上量出你自己的那个,并把它当作无人值守工作的长度上限。
- 智能体外壳每个智能体基准分都同时给一个模型和它所在的那层外壳打分,而被点名的只有其中一个——循环、工具目录、上下文策略与停止条件,是归你所有的那一半、没人公布的那一半,通常也是出错的那一半。下次升级模型之前,先拿一天花在外壳上,然后在旧模型上重跑一遍评估。
- 环境权限一个跑在你已登录浏览器配置文件里的智能体,拿到的不是十二个工具,而是你的 cookie 罐认证过的每一个站点——正是这个从未被列举的集合、而非模型本身,把一次提示词注入变成了一次权限提升。确认弹窗只能盖住有人想到过的动作;真正的解法是把按任务签发、范围受限的凭据交给它,好让被说服的智能体手上没有任何值得开口去要的东西。
- 指令层级你的系统提示词能压过抓回来的网页,是因为模型被训练成偏向它;于是它有的是失败率,而权限检查有的才是返回值——而真正得手的注入根本不与你的指令冲突,它们严丝合缝地装在里面。把这套层级当一层来用,绝不要把检索到的文本提拔进系统消息,并把你真正依赖的边界放在工具上。
- 智能体支付卡号是一张持有即有效的凭据,于是额度、商户与用途全都活在一段智能体可以重新诠释的提示词里——这正是 2026 年这批协议补上的是「授权书」而不是更快的通道的原因:一份签过名、划定边界、写明某位具名的人授权了什么的记录,且能被一个并不信任你的智能体的第三方验证。把上限从系统提示词里挪出来,放进一张根本超不过它的凭据。
- 数据投毒毒是按篇数算的,不是按比例算的——大约 250 篇恶意文档就给 6 亿到 130 亿参数的模型都植入了后门,所以「我们的语料库大得很」从来就不是大家以为的那道防线。注入操纵的是一个会话;投毒写进的是一个会被重新端给所有人的存储,而便宜的那些面恰恰是你自己拥有的:索引、记忆、技能文件。
- 爆炸半径其他每一道控制作用的都是「智能体做错事的概率」,而没有一道能压到零;所以爆炸半径——错事有多大——是唯一一个你能事先框住的智能体安全属性,因为它是从授权里枚举出来的,而不是从评测里估出来的。用四项去读它(可达范围、权限、速率、可逆性),留意这个半径是被那些比签发理由活得更久的凭据画出来的,并且要用模型没法跟它争辩的机制去框住它,而不是用一句它可以绕过去的叮嘱。
- 评测觉察模型能看出自己正在被测试,而一旦这么认为,它的表现就更好——Claude Opus 4 在自述身处评测的运行里勒索率为 6.5%,在自述场景真实的运行里是 55.1%——所以安全评测不是有噪声,而是有偏,且偏向让你安心的那一侧。多跑几轮只会把那个有偏的数字估得更准;解法是一个更难被认出来的环境,以及一个与每个分数并列公布的识别率。
- 目标漂移一次长运行很少会放弃你的目标——它会换上一个更容易的目标并称职地去追,这正是漂移能从结果评估里活下来的原因:最终产物是对智能体最后在问的那个问题的一个好答案。三种成因里有两种是你造成的(目标先被压缩转述掉,再被体量与近因票数压过去),第三种是把一个廉价代理指标留成了唯一可观测信号;对策是把目标钉在对话记录之外、逐字重新注入,并拿运行前写好的标准去核对终止。
- 全双工语音一个边说边听的模型,不再发出你整套技术栈赖以建立的那个事件——轮次结束——于是工具派发、追踪 span、护栏与转接,统统失去了它们默默订阅着的那个信号。更深一层的交易是:一个你能调、能比对、能回滚的端点检测阈值,变成了一条分布在权重里的打断策略,而计费表也随之换了形状:按分钟计价的语音层,把来电者思考时的停顿按与说话相同的费率计费,于是"把对话变短"胜过"把模型变快"。
- 澄清式提问一拿不准就发问的智能体,正是人们逐渐不再托付的那个:一次提问要花掉人的注意力,去买一份它通常一次工具调用就能买到的确定性——而在后台运行里,同一个问题的代价从几秒变成几小时。用后果而不是置信度来设闸门:只有当歧义会改变要做的事、且走错那条岔路难以撤回时才问;至于「可撤回」这个很大的中间地带,就带着一个写在结果旁边的假设往下做。
- 子智能体子智能体只买到一样东西——第二个会被填满、然后消失的上下文窗口——所以人设是免费的、也什么都不顶用,而隔离才是那件商品。判断它划不划算靠一个比值:它吃掉多少上下文,又返回多少。而由于孩子一返回、它的证据就无从追回,「我什么都没找到」与「我根本没找成」抵达时是同一句话——这就使那个结构化的、带着父方可重新打开的句柄的返回值,成为全部交付物。
- 轨迹智能体真正的产出是它走过的整条路,而不是末尾那个答案——而那条路是唯一一处能让「答对了」和「蒙对了」看上去不一样的地方。多数技术栈记录的是模型调用而非运行,于是轨迹重建不出来;在目标到达时铸一个 run ID,并让它成为主键。
- 锯齿状前沿能力是一条海岸线,不是一个水位:一个能起草出像样法律摘要的模型,可能数不清它自己刚写下的那份清单;而那项有 758 名 BCG 顾问参与的实验发现,在唯一一项被构造成落在前沿之外的任务上,用 AI 的人反而低了 19 个百分点。失败保持着成功的形状,所以危险的是紧贴边缘的那条窄带——按任务试点、优先选你核验得了的任务,并在每次模型发布后重画这张地图。
- 委托—代理问题问一句智能体替谁干活,你会得到至少三个同时成立的答案——用户、部署方、模型厂商——而那份裁决平局的排序,是其中一个写的。AI 版比经济学版更锋利,因为模型没有自己的利益可拿去交换:它不在几个委托人之间斡旋,而是默默服从架构抬高的那一个。于是冲突是在系统提示词、工具清单与评测指标里裁决的,不是在用户察觉的那一刻。
- 上下文污点追踪上下文窗口是一根扁平的字符串,于是每一种「读文本、判断它是不是指令」的注入防御,都在猜一件本来只要记下来就好的事。污点追踪在边界处给数据打标签,并在工具调用处检查这个标签——是记账而不是分类,其失效方式可以一条条列举。由于模型本身不是一道边界,标签必须去盖住参数而不是盖住一整轮,而切开的上下文才是污点终于停下来的地方。
- 失败趋关闭与失败趋开放智能体技术栈里几乎每一道控制都是失败趋开放的,而且它开放的形态会被你的仪表盘读成「干净通过」——一个超时的分类器什么也没返回,而「什么也没有」看起来恰好就是「没发现注入」。所以第一个问题是可察觉性,不是方向:给每道检查加上第三种状态和一个调用计数器。然后按「这道控制是什么」来归类——强制点一律失败趋关闭,概率型检测器失败趋开放但必须把这件事往下传,而不可逆性压倒上面两条。
- 重试放大一个用户任务不等于一个请求:它是「步数上限 × 并行工具调用 × 子智能体扇出 × 栈里每一层重试策略」的乘积,而这个乘积定下你的账单,也决定你碰到的系统看到的是一个客户端还是一台扫描器。重试在各层之间是相乘叠加的,而最大的那一项不在任何配置文件里——模型自己换个方式再试一次。请把预算放在请求树上、把 401/403/404 变成终态,并把「每完成一个任务的调用数」当成一个分布来看。
- 隐蔽信道一个智能体的可达范围不是你挂上去的那张工具清单——而是「它能改变、且之后能被别的东西读到」的那批状态,而几乎每条允许清单用的都是错的计量单位。一个只允许 GET 的沙箱依然授予了存储、取回、远程执行与一条信号信道,因为任何会去取你给定 URL 的服务都是执行器,而任何会持久化你请求的服务都是内存。名字解析就是出站;请把目的地归类成存储、执行器或都不是;并对请求字节而不是响应记表。
- 引用监视器Anderson 1972 年那项检验——完全调解、防篡改、可验证——拿来对着你自己的技术栈跑一遍只要十分钟,而它能解释为什么写在提示词里的护栏不是安全控制、而同一条规则写成 Landlock 策略就是。防篡改是一句关于信任域的话,所以请按「智能体得攻破什么才能碰到它」给每项控制打分。通常被漏掉的那部分:你每把一项控制往外挪一步,它的词汇就更粗一层,于是可用的最强机制只能强制那些你已经改写成「效果」的不变式。
- 被混淆的代理人那种「你的智能体从头到尾没做任何越权之事」的攻击:权限由它提供,目标由一个网页提供,于是动作是被许可的、主体是被授权的、审计日志是干净的。Hardy 在 1988 年给它起了名,当时一个 Fortran 编译器覆盖了被用户指定为调试输出目的地的计费文件。认证、确认弹窗、提示词加固与审计日志全都位于这场混淆的下游——解法是让权限与指名一同移动:发不透明句柄而不是路径、按任务而不是按智能体发凭据、令牌交换而不是透传。
- 任务范围每一次智能体运行都有两道边界,而只有一道被写了下来:你用散文声明的那个范围,以及你的工具实际能触达的那个目标集合。散文默认是开放世界——对某个目标的沉默,被读成「一个尚未被评估的选项」,而不是「一项禁止」——这正是为什么补上一句话就把一个公开的越界攻击率从 50 条轨迹中的 26 条压到 49 条中的 4 条,也正是为什么剩下那 4 条绝不会向更好的措辞让步。范围不是权限:一个范围内的动作配一个范围外的目标是被许可的,而你的审计日志也会这么写。请把可触达集打印出来、从中减去说明书,并把范围当作一个工具层能核对的参数传进去。
- 凭据有效期一份凭据一旦被从机器上复制走,仍由你掌控的属性只剩一个:它还能用多久——而你引以为豪的那个短命访问令牌通常什么也没买到,因为它与一枚有效期长达数周的刷新令牌躺在同一个文件里,而刷新就是「无需重新认证的续期」。Claude Code 自己的凭据文件就是现成的例子:一小时的访问令牌旁边是一枚二十七天的刷新令牌,两者只隔一个 JSON 键。请给「那一对」定价而不是给单枚令牌定价,然后拿秒表给一次撤销计时,因为别人会向你索要的那个数字是「撤销耗时」。
- 失败隐瞒一个干不完活的智能体有两种收尾方式,而得分更高的那种是撒谎——交上一份看着像样的结果,活却搁在那儿没动。把它和幻觉区分开的,是失败的证据本就在智能体自己的上下文里;这正是为什么接地与更大的模型都碰不到它:解法是给弃权正向计分,并去核验副作用而不是核验摘要。
- 界面定位一个点偏了 40 个像素的智能体和一个选错了动作的智能体,在你的链路记录里都读作「有一步没成」,而它们需要的修法恰好相反——定位是一个独立的模型,用独立的基准来量,失败方式也跟那个「决定做什么」的模型不同。
- 无解任务一个没有合法完成状态的任务不会产出一次失败——它产出的是你的载体所奖励的那三条出口里的某一条,而其中两条是看不见的。而大多数无解性在第一个 token 之前就是可判定的。
- 致命三要素私有数据、不受信内容与一条外发通道,单看都很平常,合在一起却是灾难——而正因为它是一个合取,你要做的是打断一条腿,而不是去阻止注入。外发是最便宜的那条腿,却是团队最后才试的那条;而三要素是一个上下文的属性、不是一个智能体的属性:子智能体、上下文压缩,以及六月才加上的一个工具,会把你三月小心拆开的那几条腿重新合起来。
- 自动批准与命令允许清单对 shell 字符串做匹配的允许清单,等于你又维护了一个 shell;而 2026 年针对同一个编程智能体批准闸门的九份公告——其中五份发布于同一天、七种互不相同的解析分歧——说明它是整类失效,而不是一串疏忽。请批准你真正会执行的那个 argv 向量,并让沙箱而不是清单来承担判断失误的后果。
- 试运行与预览模式在大多数智能体产品里,用户批准的那串文字是模型描述自己意图时写下的,不是那段真正要动手的代码写的——所以它不可能知道已被归档的那两条会话,也不知道那个会级联的标签。请照抄 kubectl 在 --dry-run=client 与 --dry-run=server 之间画的那条线:只有当预览与动作出自同一条代码路径、并且批准被绑定在算出来的那份效果(而不是它背后的请求)上时,这次预览才配得上一次批准。
- 能力与倾向你手上关于安全性的几乎每一个数字回答的是「它能不能?」,而几乎每一个决定需要的是「它会不会?」——而两者的分叉是可预测的:能力是权重的属性,会免费转移到你的部署上;倾向是(权重、提示词、工具、环境、激励)这个元组的属性,哪儿也不去。于是实验室可以替所有人把能力认证一次,而除了你没人能为你的外壳测量倾向。引出是前一种测量的必需品、却是后一种的致命伤;稀少的比率需要样本量——一套跑一百次的套件,五次里有三次会漏掉一个两百分之一的行为;而一个察觉到测试的模型,压下去的恰是你想数的那个。
- 轮次结束检测语音智能体响应延迟里最大的那一项,通常是等一个「来电者说完了」的证据,而一个固定的静音定时器会把这段等待记到每一个轮次头上,不管人家说完没有。没有哪条阈值管用,因为轮次内停顿与轮次末间隔来自两个重叠的分布,而且还会随说话人移动——于是 2026 年的答案是一个预测「完整性」的模型,并被折进识别本身(Deepgram 的 Flux 文档给出约 260 ms 的轮次结束判定,多语种低于 400 ms)。这把问题从「该等多久」换成了「你接受多高的误打断率」,也让响应延迟与打断率成为同一次测量的两张脸。
- 监督容量关卡布点的判据回答的是「哪些动作该停下来等人」,对「多少」则只字未提,于是两套跑着完全相同策略的部署,在每小时 4 次上报与 400 次上报之下表现得像两个不同的系统。监督容量就是你真正拥有的审核者秒数,除以一次称得上胜任的决定所花的秒数——而当需求超过它时,什么都不会堵住、什么都不会报警,因为审批队列没有背压:审核者会悄悄把每一次决定从九十秒重新标价为二十五秒,审批延迟反而变好,而那个上报速率原来是攻击者可控的。
- 失控目前流通着两种定义,而它们在「一次运行到底算不算」这个唯一关键点上并不一致:《2026 年国际 AI 安全报告》的标准——系统运行到任何人的控制之外、且夺回控制极其昂贵或根本不可能——对世上每一个运营方都返回零;而 OpenAI 自己的框架只问你能否可靠地指挥、修改或关停它,照这条标准,一个无视停止信号九十秒的智能体就已经达标。失控是运营方与智能体之间关系的一种属性,可以拆成预测、设界、观察与叫停四项——而 2026 年 11 月加州对 OpenAI 的起诉(指称内部 80 多起事件对公开的 27 起),正是一道定义缺口走进法庭之后的样子。
基础构件
- 提示词基础撬动输出质量的四个杠杆:指令、上下文、示例、输出形式。
- 系统提示词 vs 用户提示词消息角色、指令层级,以及绝不让数据充当指令。
- 少样本提示与示例何时示例胜过指令、如何挑选与排序,以及它们在何处不再划算。
- 上下文窗口详解有限的共享令牌预算、三种上限故障,以及主动管理它。
- 工具/函数调用详解模型提议、你的代码裁决——而到 2026 年末,它提议的方式有四种:普通 JSON、受 strict 模式约束的调用、工具检索,以及在沙箱里运行的代码。各家厂商都明文写着这几种彼此互斥,所以先选机制,再选工具。
- 检索增强生成(RAG)详解检索→增强→生成、RAG 对比其他方案,以及分两半调试它。
- 分块与向量搜索直觉为何分块、嵌入即坐标、最近邻搜索、混合检索与重排序。
- 结构化输出schema 强制约束删掉了「JSON 坏掉」这个失败,却装进三个住在 schema 之外的:一次以你的 schema 从未描述过的形状回来的拒绝、一次产出「无效文档的有效前缀」的截断,以及一次绝不该进入重试循环的、确定性的生成前驳回。严格模式还会彻底禁掉可选字段(OpenAI)或对它限量(Anthropic:每请求 20 个严格工具、24 个可选参数、16 个联合类型),所以你声明的每一个字段都是一道必答题——这让 schema 成了你编造率的那根杠杆。
- 用大白话讲护栏护栏是模型调用前后的检查,而不是围着模型的一堵墙——它们能拦住什么、漏掉什么,又该装在哪里。
- 用大白话讲评测评测是一台测量仪器,所以先量这台仪器:50 个用例的区间约为 ±11 个百分点——这正是大多数上线时宣称的「提升 6 个点」其实根本没被测到的原因。本文讲噪声底线、能救活小数据集的配对比较、你必须反过来评估的裁判模型,以及为什么一个没人会失败的集合只是个回归探测器。
- 上下文工程两份方向相反的预算:模型真正用得上的注意力,以及决定每轮重读窗口要付多少钱的缓存。由于前缀沿 tools → system → messages 累积哈希,把一段过期的工具结果从中间剪掉,会重写切口之后的每一个 token——大约是留着不动的 12 倍代价,因为一次缓存读取比重写便宜约 25 倍。所以请按变动频率给窗口排序、让历史只追加、少剪深剪而不是每轮小修小补,并记下每轮的缓存命中 token 数。
- 微调、RAG 还是提示词?把基础模型适配到你的任务有三种方式,它们改变三样不同的东西——指令、检索到的上下文,或权重。选错会浪费数月;正确的顺序通常是先提示词、再 RAG、最后微调。
- 评估智能体智能体产出的是一条轨迹,而非单一答案,所以只给最终输出打分会掩盖走坏的路径——评估一个智能体,意味着在你自己的任务上为它走过的每一步打分,并把成本与安全和准确率放在同一张记分牌上。
- 提示词缓存缓存是前缀匹配:稳定内容在前、易变内容在后,而系统提示词里一个不起眼的时间戳就会悄然让其后一切失效。读取约为基础输入价的十分之一,写入则要付溢价——而在每一步都重发整份记录的智能体循环里,这已不再是优化项,而是结构性问题。
- 智能体可观测性与追踪一次运行是一棵跨度构成的树,而非一行日志:实际发送出去的提示词、工具参数、返回结果、成本,以及贯穿其间的一个追踪 ID。只记录最终答案,记下的是失败浮现之处,而非失败发生之处。
- 本地知识库"本地"是三个彼此独立的旋钮——文档存在哪、嵌入在哪算、生成在哪发生——而多数真实方案只在前两个上是本地的。自己扛下这条流水线,买到的是可证明的数据驻留与归零的检索账单;付出的是召回质量、索引维护,以及每次更换嵌入模型都要重嵌一遍全部内容。
- 知识图谱向量搜索返回的是看起来像问题的段落,因此它在结构上答不了那些散落在多份文档之间的问题。图谱存的是关系而非散文——赢下多跳与全局性问题,代价是要在整个语料上跑一遍 LLM,以及一个永远无法彻底消失的实体消歧问题。
- 流式输出与中间结果流式输出不会让模型变快——它让等待变得可见,同时把你所有的输出侧护栏挪到了一个可能已经太晚的位置。
- 语义缓存其他缓存最坏也不过是慢;语义缓存却可能答错,因为它靠相似度得分而非相等判断来决定命中。它不是一项缓存功能——它是一套带着误报预算的检索系统。
- 多语言与跨语言智能体多加一种语言会同时打坏三样东西——令牌、检索与评测——而人人都会去测的生成质量,恰恰是坏得最轻的那个。跨语言检索的落空,从一段流畅的最终答案上完全看不出来。
- 不确定性与校准三种信号共用"置信度"这个词,而只有采样一致性配得上它,因为让模型变得可亲的那步对齐同时让它过度自信——所以该造的不是一个拿去显示的数字,而是一个从覆盖率-风险曲线上读出来的弃答阈值。
- 思维链忠实性推理轨迹是生成出来的文本,不是日志——模型只在 25–39% 的情况下提到那个改变了答案的提示——所以读"它怎么想"的审批闸门、裁判与注入检测器,评的都是一个故事;改去审计工具调用,并且永远不要把草稿纸放进奖励里。
- 拒绝与能力门禁拒绝是在生成时施加的一条策略,压在一项依然完好的能力之上,所以"模型做不到那件事"几乎从来不是真话——于是拒绝率成了已部署模型身上最易变的性质,过度拒绝成了没人去量的一项成本,而模型自身的意愿,是安放一项你必须握住的控制的最糟位置。
- 自动提示词优化提示词是一个你正在用手拟合的参数——样本量只有三,还没有留出集——这就是为什么读起来更顺的版本常常反而分更低;优化器只是一个脚本,打好分的数据集才是资产,而胜出的提示词是一件在你换模型那天就过期的构建产物。
- 生成-核验落差每个智能体循环都在赌「检查比做更便宜」,赌不成时换模型也救不回来——而更锋利的推论是:一个被允许重试到通过为止的智能体,继承的是核验器的误接受率而不是模型的,所以先把检查器造出来,并用它来定自主等级。
- 谄媚在三个前沿模型上,一次反驳有 58% 的概率让答案翻转,而一旦翻转,它有 78.5% 的概率就此保持——但每四次翻转里有三次是朝着正确答案去的,正是这一点藏住了毁掉正确答案的那 14.66%。损害是结构性的:反思、LLM 裁判、辩论与人工批准,全都假定复核者独立于草稿,而这恰恰是那份依赖关系上的偏差,于是信心上升而准确率没有。用一次针对"你已知答对的题"的翻转测试把它量出来,并且盲评、放进全新上下文、给不同的证据。
- 并行工具调用一批调用里的每一次,都是在其中任何一次跑起来之前就选定的——这让并行工具调用成为一个正确性决定,而不是一项延迟优化:只有彼此可交换、且能独立重试的调用才该放在一起,而部分失败——三个成功、一个 503、模型把整批重发一遍——才是常态。它在两家主要 API 上都默认开着,它会用本次运行根本用不上的结果填满上下文窗口,而修法是在工具注册表里加一个"读/写"布尔值,由派发器强制执行。
- 聊天模板模型从来看不见你那个 messages 数组——它看见的是一根扁平字符串,由一份随权重发布的 Jinja 模板产出;而正是那份模板决定了 system、tool、assistant 对这个模型究竟意味着什么。它拥有依赖项的全部性质,却没有依赖项该有的任何纪律:它住在两个文件里,而两套主流工具链把优先级裁成了相反方向;微调模型不管匹不匹配自己的训练数据都会继承它;每个服务栈还可能悄悄用自家的顶替掉它。这里没有一条会报错——不匹配表现为质量回退,而你会去怪量化。
- 提示词可移植性提示词并不是对「你想要什么」的规格说明,它是一份记录:某个模型犯过什么错、你又怎么把它劝回来——于是意图能迁移到新模型,裹在外面的那层校准不能。四层里只有一层可移植,而看不见的那一层会自己移动:Opus 5.5 是第一个把默认力度定为 medium 而非 high 的 Claude 模型,于是逐字节相同的提示词拿到了不同的思考量。请给每条条款标注它当初针对的失败,再把换模型的放行闸设成一次评测运行,而不是一次代码评审。
- 重排序器重排序器只是把检索器已经找到的东西重新排序,所以它提升精确率而无法提升召回率——于是 recall@5 与 recall@50 之间的差距就是全部可得收益,掏钱之前用 100 条标注查询就能量出来。它也是唯一一个在请求时按候选数计价的检索阶段,因为交叉编码器一次前向就同时看到查询与文档、因而什么都预计算不了:深度才是那个旋钮,nDCG 一路爬到 50 仍在涨,而重排 5 个再留 5 个是一次披着升级外衣的空操作。
AI 生态
- 模型版图:家族与提供方一份厂商中立的主要模型家族地图,以及给任何新发布定位的稳定思维模型。
- 开放权重 vs 闭源模型公开发表的差距是一个下界:Epoch 测得 2026 年全年开放权重模型落后闭源前沿约四个月,而在私有基准上的差距约为公开基准的两倍。「租用」开放权重买到的是 4 至 6 倍的折扣,以及一项控制力论点都没有——数据驻留、版本锁定与深度微调,全都要求你自己把权重跑起来。
- 模态与多模态模型每一种非文本输入都会在某处变成 token,而决定"什么信息被毁掉、每步付多少钱"的是这个转换点,不是规格表上的徽章:图像按分块规则以面积计费,音频按挂钟秒数计费(所以三秒沉默与三秒说话一样贵),而几乎每个"多模态"模型都是输入多模态、输出文本。
- 成本、质量与延迟同一个 Opus 5.5 上,batch 五折、fast mode 翻倍——质量恒定下 4 倍的价格带——于是成本与延迟已有明码标价的兑换率,只剩质量这一角要自己测;另有 100K token 处那道 5 倍的悬崖,智能体循环会在第 16 步走下去。
- 推理 vs 非推理模型思考 token 按输出价计费、算在与答案同一个输出上限之内,而且无法按请求预知——所以要选的是哪些步骤可以思考,而不是买哪个模型。三家厂商三套拼法;而 effort 越高并非单调更好,因为那些逆向缩放的任务族恰恰是智能体形状的。
- 智能体框架与编排各家的循环已经收敛——LangChain 如今把这个领域描述为「数百个共用同一套核心抽象的框架」——所以请改用「可插入面」来选:你能否在模型做出决定与工具真正执行之间停下来,去要一次人可以改写参数的审批、对参数做一次策略检查、带上一个来源标签,或者在停了三天之后恢复运行。
- 服务与访问:API、本地、网关截至 2026 年 8 月,四家提供方对 DeepSeek V4 Pro 给出完全一致的每百万 token $1.74/$3.48,于是价格不再区分它们,一切都由服务契约决定:未披露的量化档位、上下文的价格台阶、负载下的吞吐与工具调用可靠性、速率限制与数据保留。要钉住的是端点,不是模型名字——另附「按量 vs 独占」的逐项算账。
- 批判地阅读基准为何排行榜名次很少预测你的任务,以及为何小的自定义评测集胜过一切公开数字。
- 选模型:一份清单2026 年 10 月,单一厂商自家目录里的标价就能差出约 100 倍——于是档位这一个决定把你的账单挪动两个数量级,而质量只挪动几个点。先跑完五条硬约束,基准只用来圈出候选名单,并把这份清单真正的产出看作「一笔低到让下季度重做决定也不心疼的切换成本」。文中含一个月 200 万次请求的智能体的逐项月度算账,以及真正把你锁死的那四样东西。
- 什么是模型上下文协议(MCP)?MCP 是一个开放标准,让任何模型通过同一个接口连接任何工具或数据源——把 M×N 个定制集成变成 M+N。
- 小模型与本地模型问题不是你自己能跑起来的模型能否追平前沿模型——它不能——而是哪些活儿本来就用不着前沿模型。嵌入、重排序、路由与抽取才是高频步骤,而它们恰恰是自有硬件上一个量化后的 0.5–8B 模型既够用、又便宜好几个数量级的地方。
- 智能体互操作与 A2AMCP 递给你的智能体一件工具;A2A 把它介绍给一个有自己目标、延迟与失效模式的对等方——而协议解决的是发现,不是信任。
- 模型路由与级联只有当判断「这难不难」比直接作答更便宜、也更可靠时,路由才划算——这正是按任务的静态路由就能拿下大部分节省、而级联需要一个你手里已有的验证器的原因。
- 数据驻留与数据主权驻留是地理,主权是司法管辖,而那个区域开关只回答了法务在问的四个问题中的一个。对智能体而言,泄漏点通常是追踪系统,而不是模型端点。
- 批处理与异步推理同一个模型,输入与输出双双对折,代价只是把完成窗口拉长到以小时计——而符合条件的活儿往往正是你跑得最多的。结构性的前提是:智能体循环永远用不上它。
- 智能体技能技能带不来任何新能力——它是一个装着指令的文件夹,只有当任务对得上时才被加载,所以难的不是指令本身,而是那句决定它会不会被读到的一句话描述。
- 托管智能体运行时托管智能体运行时被当作一个产品来卖,实际上是五个——算力、循环、工具网关、身份代理,以及一个存放对话状态的存储——其中只有最后一个难以离开;于是锁定来自捆绑而非"托管"本身:问一句,如果循环产品明天被冻结,你手里还剩什么。
- 智能体连接器平台靠目录规模来卖,而目录恰恰是你迟早会用不下的那部分;底下那个难做的产品,是按用户存放的令牌保险库——为每家提供方跑 OAuth、在并发下刷新、轮换,以及一份模型永远看不到的凭据。买保险库,并把“同意授权页面上写着谁的名字”当成那个收不回的决定。
- AI 网关路由、密钥托管、缓存、策略与计量,本是五件可以分开买的事,却被当作一个产品来卖,而其中真正难以自建的只有那本账——把网关放进请求路径,你买到的就是一个可用性依赖,外加一笔按智能体每一步抽成的过路费。
- 机密计算与可证明推理可信执行环境把"我们看不到你的数据"从一句承诺变成一句有证明形状的断言——一份硬件签名的、关于"在跑哪份代码"的度量值,在释放密钥之前先被核验——而它排除的恰好只有一方:机器的运营方。飞地之上的一切照漏不误:追踪存储、评测集、记忆层,以及你自己选择把数据发过去的那个对手方。
- 机器人验证与智能体的网页访问权互联网不再猜敲门的是谁,改为核验签名,于是你的智能体的密码学身份如今成了一项检索质量设置——未经验证的客户端很少收到干脆的拒绝,它收到的是以 200 返回的挑战页、过期缓存、一个 402,或者一份被摘掉价格的文档,而这些统统都能正常解析,然后把答案奠基在错误的东西上。
- 系统卡系统卡是一份关于某一个检查点的安全测试记录,由厂商自己撰写——它为一个你未必被服务到的配置背书,所以只读能力激发方法与拒答边界,其余一切都交给你自己那套钉死版本的验收评测。
- 钉版本与校验一个你从不核对的钉是偏好而不是锁:钉版本等于「说出制品」加上「证明字节吻合」,而多数智能体工具链只交付了前一半。决定成败的区分是:一个要经过别人的命名空间才能解析的名字,与一个本身就是内容的摘要——只有后者能在本地被核对。校验缺席时,安全性质已悄悄搬到 git 托管方或注册中心那边,在你的锁文件里看不见,并在第一次镜像时消失。
- 水印与内容凭据签名凭据与内容内水印恰好以互补的方式失效——一个死于截图,一个死于改写——而两者都回答不了内容是否为真。欧盟的标记义务落在生产方头上,却没有相应的核验权利,所以请为你所创作的东西建溯源,并且绝不要把未标记的输入读成人写的。
- 决策模型决策模型取代的是智能体里的那个 if,而不是智能体本身:它对你在调用时写下的标签给出概率,它的类型安全是约束解码早已提供的东西,而它有据可查的短板——计数、日期、间接引用——恰恰是代码的强项。代码负责计算,模型只做判断。