上下文工程。
你读过的每一条上下文工程建议,都在优化其中一份预算,同时悄悄毁掉另一份。把一段已经过期的工具结果从历史中间剪掉,是教科书式的动作;而在一个带缓存的循环里,它的代价是把那道切口之后的每一个 token 全部重写一遍——大约是干脆留着不动的十二倍价钱。上下文工程是同时花掉两份预算的工程:模型真正能投入的注意力,以及决定你每一轮重读窗口要付多少钱的缓存。两者方向相反,而调和它们的,不是你往窗口里放多少,而是你放进去的顺序。
步骤 1提示词工程打磨一条消息,上下文工程编排整个窗口。
提示词工程是把一条指令说好的手艺——任务清楚、示例得当、输出形状正确。它依然重要。但智能体不是跑一条提示词,而是跑一个循环;每一轮,模型拿到的是一整份拼装好的载荷:系统提示词、工具定义、检索到的文档、从外部存储取回的记忆、之前工具调用的结果、对话历史,以及当前任务。上下文工程这门工程,决定的是什么进入这份载荷、以什么形式、在哪一步进入。
上下文窗口是一份有限的共享预算,而它在每一轮都要重新花一次。这个「重复」是大多数解释会跳过的部分,也正是它把上下文工程从编辑工作变成了工程问题。一个二十步的任务,不会只读你那 18,000 token 的前言一次。它要读二十次。
一个好用的画面:窗口是一张书桌,而模型在每次动作之前都会把桌面清空、从头重建。提示词工程是写一张说清楚的便条放到桌上;上下文工程决定桌上到底摆不摆那些参考书和工具打印件——并且,因为桌面每次都要重建,还决定每次重建有多贵。
步骤 2预算之一:注意力。更多上下文不等于更好的上下文。
直觉的做法是「以防万一」,把一切可能相关的东西都塞进窗口。这会反噬。长上下文会以一种常被称作上下文腐烂(context rot)或中段失忆(lost in the middle)的方式退化:窗口越满,模型对任意单个 token 的关注就越不可靠,埋在长载荷中段的材料实际上会被忽略。所谓 100 万 token 的窗口,说的是 API 愿意接收多少,而不是模型用得了多少——这两者之间的差距正是有效上下文与标称上下文这篇深入解析的主题,而它宽到足以让你为它做设计。
- 干扰。十份勉强相关的文档,会让那唯一一句有用的话比单独一段精选摘录更难被用上。
- 过期。十二步之前的工具结果现在可能已经错了。把它留在窗口里,就是在邀请模型去相信它——而模型会信。
- 矛盾。同一事实的两个版本同处一个窗口,比其中任何一个单独存在都更糟,因为载荷里没有任何东西说明哪个是当前的。
所以目标不是最多的上下文,而是对的上下文:让模型能走对下一步的那个最小的高信号 token 集合。这个结论是对的,而照字面天真地去执行它,正是你撞上第二份预算的原因。
步骤 3预算之二:缓存。窗口是一段前缀,而前缀是累积哈希的。
厂商不会在每一轮都把相同的前缀重算一遍;他们会缓存它。这是长前缀智能体循环之所以负担得起的唯一原因,而它施加的规则非常具体。以有公开文档的 Anthropic 为例,被缓存的前缀依次覆盖 tools、system、messages,直到你标记的那个位置。哈希是累积的,所以——用其文档自己的话说——「每一层的改动都会让该层以及其后所有层失效」,而命中要求到标记块为止的各段完全逐字节一致。
请把这个层级读成一个「按变动频率排序」的序列,因为它本来就是。你改动的任何东西,都会让它之后的一切失效:
# the prefix, front to back. a change at any row # re-prices every row below it. tools tool definitions changes here invalidate everything system instructions, policy invalidates system + messages messages history, tool results invalidates from the edit point on # the classic own-goal: a timestamp or a "session started at" # line near the top of the system prompt. it is 12 tokens and # it means you never get a cache hit, on any turn, ever.
接下来是价格,正是它把一条结构性规则变成了工程约束。截至 2026 年 11 月,Anthropic 对写入一条五分钟缓存条目收取基础输入价格的 1.25 倍(一小时 TTL 为 2 倍),读取一条则为 0.1 倍——在 Claude Opus 5.5 与 Sonnet 5.5 上降至 0.05 倍。这些倍数随厂商而异,而且会变;结构不会。真正要紧的是比值:一次缓存读取,大约比把同样的 token 重写一遍便宜二十五倍。
两个有文档记载、在实践中会咬人的边界。低于模型最小长度的提示词——依模型而定,在 512 到 4,096 token 之间——会直接按不缓存处理,而且不报错,于是一个你以为被缓存了的小提示词就是一笔沉默的成本。另外,缓存条目只有在第一个响应开始之后才可用,所以并行打出十个相同请求的扇出,会把前缀写十次。先用一次调用把它热起来,再扇出。
步骤 4两份预算相撞之处:那一刀精准的修剪。
下面这段算术,应该改变你构建循环的方式。一个在 Opus 5.5 上跑三十轮的智能体,前缀在单个断点处被缓存,到第 30 轮时窗口里有 24,000 个 token。第 12 步取回了一段 3,000 token 的工具结果,现在已经过期,而注意力预算说应该把它拿掉。
# 24,000 cached tokens at turn 30. # cache read 0.05x, cache write (5m) 1.25x base input. append-only re-read all 24,000 24,000 x 0.05 = 1,200 token-equivalents trim turn 12's 3,000-token result 10,000 before the cut, still cached 10,000 x 0.05 = 500 11,000 after the cut must be WRITTEN again 11,000 x 1.25 = 13,750 --------- 14,250 token-equivalents # you removed 3,000 tokens and paid ~12x for the turn that did it.
这个惩罚是一次性的:下一轮又能便宜地读新前缀了。而这恰恰是这条规则反直觉、值得明说的原因——要少剪、深剪,绝不要频繁地浅剪。一次压缩掉窗口 40% 并随后再跑二十轮,会把本钱赚回来好几倍;而每一轮都收拾一下、每次刮掉几百 token,则是纯粹的亏损——偏偏这就是你字面照做「让窗口保持最小」时会产生的行为。
由此推出的设计是:历史只追加,并在缓存断点处周期性地整体压缩。不要去改中段。要么替换掉一整个后缀,要么就别碰它。生产层面的细节在上下文压缩与智能体循环的 KV 缓存预算里;背后的成本模型在上下文缓存经济学里。
步骤 5那些杠杆,按代价重新排序。
那些耳熟的技术依然都是对的。按它们在前缀中的位置来排序,能告诉你哪些便宜、哪些昂贵——这是通常那种并列清单给不了你的:
- 在源头裁剪工具输出——免费。一份原始 API 响应可能有几千个 token,其中只有三个字段有用。在它被追加之前就把它处理成那三个字段。什么都不会失效,因为已经被缓存的东西没有变。这是上下文工程里杠杆最高的一招,而它不要钱。
- 按需检索,不要预载——便宜。用检索只取这一步需要的东西,然后追加结果。窗口里装的是查询结果,不是整个语料库。
- 隔离子任务——便宜,而且买到了第二个干净窗口。把一个自洽的子问题交给子智能体,只把答案返回。嘈杂的子任务永远不碰父级前缀。注意子智能体要付它自己的前缀写入,那才是扇出的真实成本。
- 卸载到记忆——写便宜,读要当心。把持久状态推到外部记忆存储里。陷阱在于把它读回到窗口靠前的位置:会在轮次之间变化的记忆,该放在前缀的后段,而不是前段。
- 压缩历史——昂贵,所以要攒着一起做。见 STEP 4。把旧轮次总结掉、丢掉原始记录,在断点处、一次做完、很少做。
- 替换一个工具定义——能做的最贵的改动。工具位于最前端,所以在任务中途加一个工具,会让整段前缀失效。动态工具目录是一项真实可用的技术,而它并不免费;如果目录很大,参见MCP 上下文过载。
最后是度量。两份预算都是可观测的,而几乎没人去记它们:把每轮的缓存命中 token 数与未缓存输入 token 数并列记下来,就能知道你的前缀到底稳不稳定——一个长时间运行的智能体若命中率近乎为零,几乎总是因为靠前位置有一行在变。注意力则必须用这一节里一切东西都适用的那种方式来量——用一套跑在像你真实任务的题目上的评测集,在你改变输入内容时比较结果。令人不安的部分是:模型没法告诉你它缺了什么,也没法告诉你什么正在把它淹没。你递给它什么窗口,它就自信地照着动作——并按你的排序所隐含的那个价钱收费。
请这样做:按变动频率给窗口排序——工具,然后稳定的策略,然后稳定的检索文档,然后易变的记忆,最后是历史——并把缓存断点放在各轮之间完全一致的最后一个块上。绝不要在那个断点之上插入时间戳、token 计数或「第 7 步,共 20 步」这类行。让历史只追加,并用一次深度压缩代替每轮的小修小补。然后记下每轮的缓存命中 token 数:就这一个数字,而它是你最快发现「自己精心做的上下文工程一直在付全价」的办法。