难的那部分是裁判

2026 年 11 月 11 日,AWS 发布了一个针对自家 API 的本地模拟器——公开工作区里有 436 个服务 crate,采用 CC0 许可,由智能体写成;按 AWS 的说法,工程师没写实现代码,也没有评审过任何 pull request。可迁移的那部分不是智能体,而是「正确性」被从 diff 里搬了出去,搬进一套单独发布的保真度测试里——每一条都在至少两个 AWS 沙箱账号上验证过——而它自己的 README 把那句不好说的话说了出来:没有任何保真度测试覆盖的行为,就是未经验证的行为。AWS 手里有一份机器可读的规范,和一个活着的参考实现可以对照。如果你两者都没有,你可以照搬这套流程,但你搬到的只会是风险。

作者 智能体 AI 维基 21 分钟读完

标题是:智能体写出了 436 个 AWS 服务模拟器,而没有一位工程师读过那些 diff。真正值得你花一个下午的,是埋在测试套件 README 里的那句话——没有任何保真度测试覆盖的行为,就是未经验证的行为——因为它恰好说出了「这件事为什么敢做」,而答案不是智能体。AWS 把正确性从代码评审里搬了出去,搬进了一个它本来就拥有的裁判:每个 API 都有一份机器可读的规范,还有一个活着的参考实现可以对照。那才是那笔昂贵的前置条件,而几乎没有别人拥有它。

速览

AWS Emulator 于 2026 年 11 月 11 日发布,是一个针对 AWS API 的本地模拟器——不需要 AWS 账号,没有服务费,把你的 SDK 指向它就能跑测试。随之发布的有两个仓库,而第二个才是有意思的那个。

仓库是什么语言 / 许可谁在维护
aws/aws-emulator 模拟器本身;每个服务一个 crate Rust,CC0-1.0 按 AWS 的说法,是智能体
aws/aws-emulator-evaluation-suite 保真度测试,以及一个运行器 Python,CC0-1.0 智能体;只读,不接受 issue 或 PR
Where correctness lives in the AWS Emulator build A pipeline in two rows. On the top row a public Smithy model feeds an agent that writes the service crate, which feeds a merge gate staffed by reviewer and security agents. On the bottom row real AWS, exercised in two sandboxed accounts, produces a fidelity test that asserts resulting state and error codes, and an arrow carries that test up into the merge gate as the thing that decides. Correctness is asserted by a test that read real AWS first, rather than by a human reading the diff. Where correctness lives BUILD Public Smithy model one per service Agent writes the service crate Merge gate reviewer + security agents ORACLE Real AWS two sandboxed accounts Fidelity test asserts state and error code this is what decides No human reads the diff. The test read real AWS first, and the test is the artefact under review. So the published gap list — the behaviours no test covers — is the honest measure of what shipped.
被评审的产物不是 diff,而是那条先读过真实 AWS 的测试。

到底发布了什么——用数出来的,而不是转述的

工作区清单是公开的,所以规模是可核验的,而不是被报道的。截至 2026 年 11 月 13 日的 main 分支,Cargo.toml 列出了 436 个服务成员,每个 AWS 服务一个 crate,命名遵循 service-com-amazonaws-<namespace>-<service> 的形态。这些 crate 每一个都含有一个 smithy-model/ 目录,放着该服务的 Smithy JSON——在仓库自己的布局说明里被描述为「驱动线上协议的那份 Smithy 模型」——以及一个从该模型生成服务声明的 build.rs。

这个结构在一棵目录树里讲完了整个故事。每个 API 的线上形状,并不是智能体必须从文档里推断出来的东西;它是从一份 AWS 已经发布多年的机器可读产物生成出来的。智能体写的是行为,而写的时候形状已经被一份规范钉死了。

README 里另外几条事实,会影响你该怎么用它:它在 127.0.0.1:9297 上以自签名证书提供 HTTPS;有一个内嵌模式,会把模拟器编译进你的 Rust 测试二进制,每个测试一个隔离实例;从源码构建需要 target/ 至少 100 GB 空闲磁盘,因为 debug 构建会编译每一个服务 crate;遥测默认开启,可用 --telemetry off 或 EMULATOR_TELEMETRY=off 关掉。还有一条一等公民的智能体路径——aws agent-toolkit add-skill --skill-name aws-emulator,需要 AWS CLI 2.35.0 或更高——这告诉你它预期的用户是谁。

README 对边界也罕见地直白:「AWS Emulator 用于构建与测试。不要把它用于生产工作负载,也不要用它测试安全性。」请照字面理解。一个跳过授权检查的模拟器,会乐意接受真实账号本会拒绝的调用——这让它作为安全面毫无用处,而作为「关于安全性的信心信号」则相当危险。

那一句话就是整个故事

工程上的论证活在评测套件里。一条保真度测试是一个简短的 Python 程序 check_<name>.py,它使用 boto3;它的 run(ctx) 函数驱动一段工作流,并断言 AWS 的行为——资源最终的状态,以及在适用时的错误码与错误消息。然后就是那句话,每一个在考虑这件事的团队都该把它印成海报:

每一条保真度测试都在至少两个 AWS 沙箱账号上验证过,所以它断言的是真实的 AWS 行为。没有任何保真度测试覆盖的行为,就是未经验证的行为。

请把两半都读进去。前一半是一个来源主张:这些断言不是某人对文档的理解,而是对真实系统的记录观测,并且跨账号交叉核对过,好让账号特有的怪癖不会被当成真理焊进去。后一半是一个范围免责声明,而它是更有价值的那一句,因为它把一个无界的问题——「这个模拟器正确吗?」——转换成了一个有界的问题:「我依赖的那个行为有测试覆盖吗?」而后者有一个你可以按服务、按版本查到的答案。

这就是拥有一个裁判(oracle)的含义:一个关于「正确行为是什么」的真相来源,存在于被评审的代码之外。有了它,评审是机械的——跑测试、读分数。没有它,评审就是一个人读 diff、问自己这看起来对不对——而这正是 AWS 移除掉的那项活动。

合并闸门是一个穿着智能体外衣的规范问题

AWS 自己在发布文章里的说法是:工程师决定该构建什么,并创建那些决定正确性的规范、测试与合并闸门,而智能体来写代码、查代码——每一处改动都要通过一道包含「做对抗式评审的安全智能体」的合并闸门。发布报道把一个更锐利的版本归于 AWS 开发者工具团队的资深首席工程师 Matt Goldberg:人类工程师写了零行实现代码,评审了零个 pull request。请把这些具体数字当作 AWS 对自身流程的陈述;要紧的是结构,而结构在那两个仓库里看得见。

What a human diff review catches versus what this merge gate catches Five rows comparing two review mechanisms. A human reading the diff is strong on idiomatic and maintainable code and weak on wire-shape and real-behaviour conformance. The automated merge gate is the reverse: strong on conformance to the spec and to recorded real behaviour, weak on maintainability. On the final row, behaviour that no fidelity test covers, both mechanisms are weak — neither catches it. What each mechanism actually catches HUMAN READS THE DIFF THIS MERGE GATE Wire shape matches the spec Weak Strong Behaviour matches recorded real AWS Weak Strong Idiomatic, maintainable code Strong Weak Security properties of the emulator Medium Adversarial pass Behaviour no fidelity test covers Weak Not verified Strong Partial Weak or out of scope
闸门与人各擅长不同的事。最下面那一行是谁都没覆盖的。

这次替换之所以划算,恰恰是因为任务本身。对一个 API 模拟器来说,「地道且可维护」几乎一文不值,而「与参考实现逐字节一致的行为」才是一切——而这正是图上分开的那两列。一个读着 DynamoDB UpdateItem 实现 diff 的人,没法告诉你 set 列表的元素顺序是否按真实 DynamoDB 的方式被保留。一条跑过真实 DynamoDB 的测试可以。闸门并不比人更会评审代码;它只是更会回答这份代码库唯一需要回答的那个问题。

这也顺带告诉你它会在哪里失效。把任务反过来——一个行为依赖品味、没有公开规范、也没有参考实现的产品——闸门就没有可对照的东西,于是退化成风格检查,外加评审智能体恰好持有的那些先验。这里的模式正是黄金运行与无解任务所论证的那一条:自动化评审的上限是裁判的质量,而不是评审者的能力。

哪些东西搬不过来

如果你正打算提议「我们该照 AWS 那么干」,下面是他们拥有、而你需要先核对自己有没有的那张清单。

  • 一份机器可读的规范。Smithy 模型,每个服务一份,早已公开,而且早已是 AWS 自家 SDK 的真相来源。你的对等物是一份从服务生成、而不是在服务旁边手工维护的 OpenAPI 文档。如果你的规范会与你的服务漂移,那它不是裁判,而是第二个会出错的东西。
  • 一个活着的参考实现。AWS 可以把一个候选行为跑在真实 AWS 上并记录答案。这是大多数团队干脆没有的那一块:当你正在构建唯一的那个实现时,没有东西可以对照,而你的测试编码的是你的信念,不是观测到的真相。
  • 一个成功判据清脆且外在的任务。「这个 API 是否返回相同的错误码」是可核验的。「这是否是我们计费领域的正确抽象」不是,而且没有任何合并闸门能让它变成可核验。
  • 对一个已知且已公开的缺口的容忍度。AWS 发布时每个版本都带着按服务的保真度分数,还有一个追踪失败的目录——issues/things-that-do-not-work/,修好的条目会移到 issues/things-that-now-work/。这既是工程决定,也同样是产品决定,而它是大多数组织会拒绝的那一部分。

最后这一点值得强调,因为它颠倒了通常的直觉。这次发布里令人印象深刻的,不是「智能体做对了」这个主张,而是那个缺口被逐条列出、带版本、并且公开,于是用户可以通过读一张清单来回答「我的项目能不能跑」,而不是通过信任一个厂商。一个没有公开缺口清单的智能体构建产物,严格地说比这个更糟,无论它的智能体有多好。

那些盲区,也同样是公开的

读一下运行器的隔离一节,你会得到一张诚实的地图,标明这套流程不防什么。运行器只接受回环地址端点,用模拟器写出的密钥签名,并在跑测试之前把你环境里的 AWS 凭据、profile 与代理设置都剥掉——都很好。接着是:「它不限制测试所启动的工具与容器的网络访问。」保真度测试是任意的 Python,可能部署应用、也可能调起命令行工具,而那条免责声明正是信任边界真正所在的位置。

所以自己跑这套套件的实务姿态,和你对待任何「会执行代码的第三方测试语料」是一样的:跑在一个可丢弃的地方。这些测试是 CC0、由智能体撰写、位于一个不接受 pull request 的仓库里——这是保持语料一致性的合理做法,同时也意味着通常那种社区评审信号是被设计掉的。把这一点与「本仓库只读」合起来看,你得到的是一个应当当作数据来消费、而不是当作你已审查过的代码来消费的产物——审查第三方技能里的推理原封不动地适用,而官方那个 aws-emulator 技能恰恰就是这样一个产物。

还有一条很容易漏掉:遥测默认开启。README 说记录永不包含请求或响应内容、代码、凭据或个人数据,并记录了两种关闭方式。如果你要把这个铺到全组织的 CI 里,请把这件事在中心一次性定下来,而不是让每个开发者各自决定。

该拿它做什么

这里发生了两件可以分开的事,而它们的半衰期不同。

工具。一个免费、本地、不需账号、覆盖 436 个 AWS 服务、每个版本都带保真度分数的模拟器,对智能体最不擅长的那件事立刻有用:在不碰共享基础设施的前提下跑一个测试循环。它比打 mock 是更好的默认,因为给云 API 打 mock 会删掉那些造成你真实故障的错误形状与延迟——这是智能体的预发布环境里的论证。在你相信一套绿色的测试之前,先查一下你所依赖的那些具体服务的保真度分数,并保留那次真实 AWS 的集成运行;模拟器挪动的是你把它花在哪里,而不是取消它。

流程。在照搬之前,先把你的裁判写下来。不是你的测试套件——是你的裁判:那个告诉你「答案是对的」、并且独立于产出答案的代码的东西。如果你能把它命名出来,而且它是生成的而不是手写的,而且你能把一个候选跑在它上面,那么「智能体写实现 + 自动化合并闸门」就是一个站得住的设计。如果你叫不出它的名字,那你要发布的就是「带着一个绿色对勾的未评审代码」——而那个「公开缺口清单」的部分,也就是让 AWS 这个版本诚实的那部分,恰恰是你最不可能照搬的。

常见问题

人类真的一点代码都没评审吗?

那是 AWS 对自身流程的陈述,见于其发布材料,并被发布报道转述,其中「零行实现代码、零个 pull request 评审」的说法被归于团队的一位资深首席工程师。可独立核验的是它的形状:代码是公开的,提交历史是公开的,保真度测试单独发布,而两个仓库都不接受 pull request。

它是 LocalStack 的替代品吗?

就 API 覆盖广度与公开的保真度而言,它是一个认真的新选项;就生态、工具链与多年累积的变通办法而言,LocalStack 遥遥领先。这个选择取决于比「服务数量」更具体的东西,我们在那篇四方对比里把它走了一遍。

我能信任一个由智能体写出来的模拟器吗?

信保真度分数,不要信作者身份。作者身份两头都说明不了什么;而「按服务、按版本的分数」加上「被追踪的缺口目录」,精确地告诉你什么被验证过、什么没有。这比大多数手写模拟器给你的更多。

这是否意味着智能体现在可以无监督地写生产服务了?

它意味着:当正确性由外部规定、而且能廉价地大规模核验时,可以。一个 API 模拟器几乎是为此构造出的有史以来最好的情形:一份公开的线上规范、一个活着的参考实现,以及「要么一致、要么不一致」的行为。大多数服务不是那样。

我今天就该把编码智能体指向它吗?

对,用于本地与 CI 的测试循环,但有两条保留:查一下你那些服务的保真度分数;并且不要把一次绿色的模拟器运行读成关于授权或安全性的证据——那是 AWS 明确排除在外的。

延伸阅读

本站:

来源: