标题是:智能体写出了 436 个 AWS 服务模拟器,而没有一位工程师读过那些 diff。真正值得你花一个下午的,是埋在测试套件 README 里的那句话——没有任何保真度测试覆盖的行为,就是未经验证的行为——因为它恰好说出了「这件事为什么敢做」,而答案不是智能体。AWS 把正确性从代码评审里搬了出去,搬进了一个它本来就拥有的裁判:每个 API 都有一份机器可读的规范,还有一个活着的参考实现可以对照。那才是那笔昂贵的前置条件,而几乎没有别人拥有它。
速览
AWS Emulator 于 2026 年 11 月 11 日发布,是一个针对 AWS API 的本地模拟器——不需要 AWS 账号,没有服务费,把你的 SDK 指向它就能跑测试。随之发布的有两个仓库,而第二个才是有意思的那个。
| 仓库 | 是什么 | 语言 / 许可 | 谁在维护 |
|---|---|---|---|
aws/aws-emulator |
模拟器本身;每个服务一个 crate | Rust,CC0-1.0 | 按 AWS 的说法,是智能体 |
aws/aws-emulator-evaluation-suite |
保真度测试,以及一个运行器 | Python,CC0-1.0 | 智能体;只读,不接受 issue 或 PR |
到底发布了什么——用数出来的,而不是转述的
工作区清单是公开的,所以规模是可核验的,而不是被报道的。截至 2026 年 11 月 13 日的 main 分支,Cargo.toml 列出了 436 个服务成员,每个 AWS 服务一个 crate,命名遵循 service-com-amazonaws-<namespace>-<service> 的形态。这些 crate 每一个都含有一个 smithy-model/ 目录,放着该服务的 Smithy JSON——在仓库自己的布局说明里被描述为「驱动线上协议的那份 Smithy 模型」——以及一个从该模型生成服务声明的 build.rs。
这个结构在一棵目录树里讲完了整个故事。每个 API 的线上形状,并不是智能体必须从文档里推断出来的东西;它是从一份 AWS 已经发布多年的机器可读产物生成出来的。智能体写的是行为,而写的时候形状已经被一份规范钉死了。
README 里另外几条事实,会影响你该怎么用它:它在 127.0.0.1:9297 上以自签名证书提供 HTTPS;有一个内嵌模式,会把模拟器编译进你的 Rust 测试二进制,每个测试一个隔离实例;从源码构建需要 target/ 至少 100 GB 空闲磁盘,因为 debug 构建会编译每一个服务 crate;遥测默认开启,可用 --telemetry off 或 EMULATOR_TELEMETRY=off 关掉。还有一条一等公民的智能体路径——aws agent-toolkit add-skill --skill-name aws-emulator,需要 AWS CLI 2.35.0 或更高——这告诉你它预期的用户是谁。
README 对边界也罕见地直白:「AWS Emulator 用于构建与测试。不要把它用于生产工作负载,也不要用它测试安全性。」请照字面理解。一个跳过授权检查的模拟器,会乐意接受真实账号本会拒绝的调用——这让它作为安全面毫无用处,而作为「关于安全性的信心信号」则相当危险。
那一句话就是整个故事
工程上的论证活在评测套件里。一条保真度测试是一个简短的 Python 程序 check_<name>.py,它使用 boto3;它的 run(ctx) 函数驱动一段工作流,并断言 AWS 的行为——资源最终的状态,以及在适用时的错误码与错误消息。然后就是那句话,每一个在考虑这件事的团队都该把它印成海报:
每一条保真度测试都在至少两个 AWS 沙箱账号上验证过,所以它断言的是真实的 AWS 行为。没有任何保真度测试覆盖的行为,就是未经验证的行为。
请把两半都读进去。前一半是一个来源主张:这些断言不是某人对文档的理解,而是对真实系统的记录观测,并且跨账号交叉核对过,好让账号特有的怪癖不会被当成真理焊进去。后一半是一个范围免责声明,而它是更有价值的那一句,因为它把一个无界的问题——「这个模拟器正确吗?」——转换成了一个有界的问题:「我依赖的那个行为有测试覆盖吗?」而后者有一个你可以按服务、按版本查到的答案。
这就是拥有一个裁判(oracle)的含义:一个关于「正确行为是什么」的真相来源,存在于被评审的代码之外。有了它,评审是机械的——跑测试、读分数。没有它,评审就是一个人读 diff、问自己这看起来对不对——而这正是 AWS 移除掉的那项活动。
合并闸门是一个穿着智能体外衣的规范问题
AWS 自己在发布文章里的说法是:工程师决定该构建什么,并创建那些决定正确性的规范、测试与合并闸门,而智能体来写代码、查代码——每一处改动都要通过一道包含「做对抗式评审的安全智能体」的合并闸门。发布报道把一个更锐利的版本归于 AWS 开发者工具团队的资深首席工程师 Matt Goldberg:人类工程师写了零行实现代码,评审了零个 pull request。请把这些具体数字当作 AWS 对自身流程的陈述;要紧的是结构,而结构在那两个仓库里看得见。
这次替换之所以划算,恰恰是因为任务本身。对一个 API 模拟器来说,「地道且可维护」几乎一文不值,而「与参考实现逐字节一致的行为」才是一切——而这正是图上分开的那两列。一个读着 DynamoDB UpdateItem 实现 diff 的人,没法告诉你 set 列表的元素顺序是否按真实 DynamoDB 的方式被保留。一条跑过真实 DynamoDB 的测试可以。闸门并不比人更会评审代码;它只是更会回答这份代码库唯一需要回答的那个问题。
这也顺带告诉你它会在哪里失效。把任务反过来——一个行为依赖品味、没有公开规范、也没有参考实现的产品——闸门就没有可对照的东西,于是退化成风格检查,外加评审智能体恰好持有的那些先验。这里的模式正是黄金运行与无解任务所论证的那一条:自动化评审的上限是裁判的质量,而不是评审者的能力。
哪些东西搬不过来
如果你正打算提议「我们该照 AWS 那么干」,下面是他们拥有、而你需要先核对自己有没有的那张清单。
- 一份机器可读的规范。Smithy 模型,每个服务一份,早已公开,而且早已是 AWS 自家 SDK 的真相来源。你的对等物是一份从服务生成、而不是在服务旁边手工维护的 OpenAPI 文档。如果你的规范会与你的服务漂移,那它不是裁判,而是第二个会出错的东西。
- 一个活着的参考实现。AWS 可以把一个候选行为跑在真实 AWS 上并记录答案。这是大多数团队干脆没有的那一块:当你正在构建唯一的那个实现时,没有东西可以对照,而你的测试编码的是你的信念,不是观测到的真相。
- 一个成功判据清脆且外在的任务。「这个 API 是否返回相同的错误码」是可核验的。「这是否是我们计费领域的正确抽象」不是,而且没有任何合并闸门能让它变成可核验。
- 对一个已知且已公开的缺口的容忍度。AWS 发布时每个版本都带着按服务的保真度分数,还有一个追踪失败的目录——
issues/things-that-do-not-work/,修好的条目会移到issues/things-that-now-work/。这既是工程决定,也同样是产品决定,而它是大多数组织会拒绝的那一部分。
最后这一点值得强调,因为它颠倒了通常的直觉。这次发布里令人印象深刻的,不是「智能体做对了」这个主张,而是那个缺口被逐条列出、带版本、并且公开,于是用户可以通过读一张清单来回答「我的项目能不能跑」,而不是通过信任一个厂商。一个没有公开缺口清单的智能体构建产物,严格地说比这个更糟,无论它的智能体有多好。
那些盲区,也同样是公开的
读一下运行器的隔离一节,你会得到一张诚实的地图,标明这套流程不防什么。运行器只接受回环地址端点,用模拟器写出的密钥签名,并在跑测试之前把你环境里的 AWS 凭据、profile 与代理设置都剥掉——都很好。接着是:「它不限制测试所启动的工具与容器的网络访问。」保真度测试是任意的 Python,可能部署应用、也可能调起命令行工具,而那条免责声明正是信任边界真正所在的位置。
所以自己跑这套套件的实务姿态,和你对待任何「会执行代码的第三方测试语料」是一样的:跑在一个可丢弃的地方。这些测试是 CC0、由智能体撰写、位于一个不接受 pull request 的仓库里——这是保持语料一致性的合理做法,同时也意味着通常那种社区评审信号是被设计掉的。把这一点与「本仓库只读」合起来看,你得到的是一个应当当作数据来消费、而不是当作你已审查过的代码来消费的产物——审查第三方技能里的推理原封不动地适用,而官方那个 aws-emulator 技能恰恰就是这样一个产物。
还有一条很容易漏掉:遥测默认开启。README 说记录永不包含请求或响应内容、代码、凭据或个人数据,并记录了两种关闭方式。如果你要把这个铺到全组织的 CI 里,请把这件事在中心一次性定下来,而不是让每个开发者各自决定。
该拿它做什么
这里发生了两件可以分开的事,而它们的半衰期不同。
工具。一个免费、本地、不需账号、覆盖 436 个 AWS 服务、每个版本都带保真度分数的模拟器,对智能体最不擅长的那件事立刻有用:在不碰共享基础设施的前提下跑一个测试循环。它比打 mock 是更好的默认,因为给云 API 打 mock 会删掉那些造成你真实故障的错误形状与延迟——这是智能体的预发布环境里的论证。在你相信一套绿色的测试之前,先查一下你所依赖的那些具体服务的保真度分数,并保留那次真实 AWS 的集成运行;模拟器挪动的是你把它花在哪里,而不是取消它。
流程。在照搬之前,先把你的裁判写下来。不是你的测试套件——是你的裁判:那个告诉你「答案是对的」、并且独立于产出答案的代码的东西。如果你能把它命名出来,而且它是生成的而不是手写的,而且你能把一个候选跑在它上面,那么「智能体写实现 + 自动化合并闸门」就是一个站得住的设计。如果你叫不出它的名字,那你要发布的就是「带着一个绿色对勾的未评审代码」——而那个「公开缺口清单」的部分,也就是让 AWS 这个版本诚实的那部分,恰恰是你最不可能照搬的。
常见问题
人类真的一点代码都没评审吗?
那是 AWS 对自身流程的陈述,见于其发布材料,并被发布报道转述,其中「零行实现代码、零个 pull request 评审」的说法被归于团队的一位资深首席工程师。可独立核验的是它的形状:代码是公开的,提交历史是公开的,保真度测试单独发布,而两个仓库都不接受 pull request。
它是 LocalStack 的替代品吗?
就 API 覆盖广度与公开的保真度而言,它是一个认真的新选项;就生态、工具链与多年累积的变通办法而言,LocalStack 遥遥领先。这个选择取决于比「服务数量」更具体的东西,我们在那篇四方对比里把它走了一遍。
我能信任一个由智能体写出来的模拟器吗?
信保真度分数,不要信作者身份。作者身份两头都说明不了什么;而「按服务、按版本的分数」加上「被追踪的缺口目录」,精确地告诉你什么被验证过、什么没有。这比大多数手写模拟器给你的更多。
这是否意味着智能体现在可以无监督地写生产服务了?
它意味着:当正确性由外部规定、而且能廉价地大规模核验时,可以。一个 API 模拟器几乎是为此构造出的有史以来最好的情形:一份公开的线上规范、一个活着的参考实现,以及「要么一致、要么不一致」的行为。大多数服务不是那样。
我今天就该把编码智能体指向它吗?
对,用于本地与 CI 的测试循环,但有两条保留:查一下你那些服务的保真度分数;并且不要把一次绿色的模拟器运行读成关于授权或安全性的证据——那是 AWS 明确排除在外的。
延伸阅读
本站:
- 黄金运行与无解任务——为什么设定上限的是裁判,而不是评审者。
- 智能体的预发布环境——为什么给工具打 mock 会删掉你本该看见的那些故障。
- 审查第三方技能——如何消费一个你没评审过的、由智能体撰写的产物。
- 补丁生成与测试——同一道闸门,在一次改动的尺度上。
- 评测驱动的智能体开发——先把度量建起来,再建那个东西。
来源:
- aws/aws-emulator——模拟器本体;README、工作区清单与仓库布局。
- aws/aws-emulator-evaluation-suite——保真度测试、运行器及其隔离说明。
- AWS Emulator 用户指南——文档,含安全性与遥测页面。