深度剖析 / 记忆与上下文
记忆与上下文
上下文窗口、记忆存储、压缩、检索增强记忆——把对的东西留在提示上。
- 设计上下文窗口把有限窗口当作有预算的资源:分类令牌预算、位置感知排序与利用率度量。
- 短期与长期记忆提示内工作集与外部存储:什么配占位、何时写、何时回忆,以及提升/降级循环。
- 记忆类型:情景、语义、程序性三种持久记忆加草稿区,各自写入与检索方式不同;反思把情景提升为语义。
- 检索增强记忆回忆即检索:状态派生线索,相关性+时近性+显著性评分,先阈值再截断,以及带来源标注的渲染。
- 上下文压缩与分层记忆压缩阶梯、任务结构化摘要、MemGPT 式分级、压力触发迟滞,以及验证有损压缩。
- 记忆存储:向量、键值、图与驱逐把后端匹配到记忆类型、统一接口、无界存储为何腐蚀检索,以及衰减/驱逐策略。
- 评估记忆质量记忆特有指标(recall@k、过期率、约束存活、写入精度)及其捕获的陷阱:毒化、过期、漂移、压缩失忆。
- 记忆的写入路径架构对有状态智能体来说 RAG-only 已死——写入路径(谁配占位、何时写、何时更新)才是 2026 年的焦点,而四类记忆(情景、语义、程序、关系)各要各的策略。
- 记忆毒化防御AgentPoison 在毒化率 <0.1% 时达 80% ASR;MemoryGraft、SpAIware、Morris-II——在摄取、存储、检索、监控四段做生命周期防御。
- 长上下文:有效 vs 广告为何 RULER、NoLiMa、MRCR v2 在 200K 以外与广告标称值有 30–60 分的差距——以及据此如何预算。
- 学习型检索器与 MemRLMemRL 把存/取/更新/摘要/丢弃当作用 RL 优化的工具——按学习到的效用排序,而不仅按语义相似度。
- 遗忘与取代遗忘是五种结构上不同的变更——取代、衰减、实体级遗忘、硬删除、漂移——其中四种需要只在写入时才存在的意图,所以任何时新度权重或重排器都救不回来。一个专门用 RL 训练去按事实当前取值作答的小模型把准确率翻了一倍、达到 16.7%;排名还会随在役时长反转,一个策划式映射到九周时从 96% 掉到 72%,而一个带来源类型的图升到 90%。请在存储前摆一个变更控制平面、精确解析实体,并把「当前性」做成查询不变式。
- 为智能体循环做 KV 缓存预算权重文件决定模型装不装得下;KV 缓存决定智能体跑不跑得起来,而在长循环上它常常更大:一个 70B 量级模型在 bf16 缓存精度下每 token 约 0.31 MB,于是 128K 上下文对每个并发会话就是 40 GB,而 4 bit 权重只占 42 GB。本文给出公式、一份 80 GB 的算例预算、能改变每 token 开销的四个杠杆及各自代价、如何用一道除法反推厂商「24 GB 装得下」的说法,以及为何真正的容量控制是你强制执行的上下文上限,而不是会话的平均长度。
- 记忆作用域与多租户每个记忆层都把作用域当成调用方自己申报的一个参数——Mem0 的 user_id、Graphiti 的 group_id、Cognee 的 dataset——而一个被申报的作用域并不等于一次授权判定;Graphiti 自己的文档就写明,它的参考服务器允许调用方读取任意 group_id。这种泄漏是静默的,因为相似度不携带来源,而跨租户的邻居恰恰是最相似的那些。请把作用域闭包在已认证会话里、做检索后过滤以便存储层的筛选漏洞「失败即关闭」、让自动写入默认落在最窄的作用域,并补上那个三十行的跨租户召回测试。
- 把文件当作上下文窗口把一大块观测卸载到磁盘并不是压缩——它把"必须一直背着"换成"可以选择去读",而全部节省都住在两个没人记录的数字里:这个文件被重读的频率,以及每次读多少。一份 48,000 令牌的结果出现在 20 步运行的第 3 步:内联要花 816,000 输入令牌;若智能体每轮都把整个文件读回来,要花 816,510(还外加 17 次往返,于是严格更差);若它先 grep 再读六次 2,000 令牌的切片,只花 12,510。文中讲清为什么路径不是指针、为什么文件可以被读进上下文的尾部而绝不能被写进它的头部,以及一旦工作记忆住到磁盘上,有哪三件事——回放、并发、污染——就不再成立。