铃阅
❌

普通视图

今日接收 — 2026年11月17日 ⏭ 晚点再听LaterCast

Grok Bot 核心工程师:所有代码都是垃圾(除了我的)丨AI Engineer

2026年11月16日 20:45

原创 Capihom 2026-11-16 20:45 北京

一个防闪烁的补丁,后来变成了 183 个定时器。Lauren Tan 用这个教训讲清楚,怎样让 AI 在提交前就把代码跑一遍、查一遍。

每天挑选一期硅谷AI科技值得关注的播客,让你与前沿同频。如果你现在没空可以收藏进 晚点再听LaterCast,在通勤、走路或做家务时一篇篇轻松听完

"烂代码是可以变成好东西的。"

"代码库恰好是智能体最大的输入之一。"

"如果写代码这一环产出的是烂代码,自动化只会产出更多烂代码。"

Lauren Tan 在 Cursor 团队遇到过一个界面闪烁的问题。智能体用了个很小的补丁:把释放资源的操作放进定时器,稍后再做。它还留了一行注释,解释为什么要这样写。后来,这种写法被复制到共享模块里。她在台上拿出一张时间线,从 9 月 9 日那条补丁讲起,到 10 月 17 日,图上已经有 183 个定时器。

Tan 现在是 SpaceXSI 的首席工程师,在 Grok Bot 团队工作。她在 AI Engineer Code Summit 上讲起这段经历,是因为她后来每天要面对的代码比那时更多。按她在台上的说法,团队一个月有约 11,000 个 PR 进入生产环境。她花了大约半年,才敢让智能体把不少日常修改自行合入。那半年里,她主要改的是智能体工作的代码库,以及它交代码之前必须做的检查。

新代码来得越快,旧写法越容易被抄走

Tan 记得,2024 年上班时,一次可能只要看三条同事提交的 PR。到她做这套流程时,她拿三百条来形容改动涌来的速度。以前一段勉强能用的代码可能会留在原地,今天智能体读完仓库,发现别处也是这么写的,就很容易在新功能里再写一遍。已经废弃的接口、临时绕开的检查、只有老同事知道为什么存在的例外,都会被当成现成范例。

智能体会照着仓库里的代码写,清掉一处坏范例,就少了一条反复被抄走的路。 Tan 用倒三角解释自己怎么分配工程时间。先改代码结构和接口,再用 lint(静态规则检查)、类型、编译和持续集成检查挡住明确违规的写法。接着验证程序跑起来的行为,把确实需要判断的事写进规则、技能或 AGENTS.md,最后留一部分给人审。人仍然要看代码,只是有些问题在提交之前就可以被发现。她把整理仓库比作打理花园,每天都有新东西长出来,偶尔拔一把草不够,还得清掉会继续长出同样问题的地方。

Tan 的倒三角从代码库和自动检查开始,逐层补上验证、文字规则和人工审查。

Tan 的倒三角从代码库和自动检查开始,逐层补上验证、文字规则和人工审查。

有些错误,换一种接口就能少审一遍

做 Grok Bot 时,团队给 Electron 桌面应用写了一个叫 Dune 的客户端框架。Tan 说,可以把它想成 Electron 应用的 Next.js。它收进了团队以前做桌面软件踩过的坑。比如 React 的 `useEffect` 有适用场景,但产品代码里很容易被用来补不清楚的状态关系。Grok Bot 的做法是把它限制在部分 Dune 接口内部,平时写业务代码的智能体就不用反复判断这一处用得合不合适。

另一个坑来自 Cursor。同样用 Electron,智能体有时会把主进程的代码导入渲染端,原本不该拖住界面绘制的耗时任务也跟着进来,软件用起来就容易卡。Dune 把这两端放进两个明确的顶层目录,依赖图检查和 lint 规则禁止两边互相导入。检查根据导入关系判断,实际运行速度还要另测。

一条约束能靠目录和依赖检查说清,就可以在提交时执行。 对 Tan 来说,改过接口以后,后来接手的人也能从目录看出一段代码该放哪儿。她不必在每个 PR 里都重新解释界面线程为什么要保持轻量。

一个防闪烁的定时器,后来变成了 183 个

开头那个补丁之所以能被复制,是因为它当时确实遮住了闪烁,解释也写得有道理。Tan 说,更深的问题在于,Cursor 把 VS Code 偏命令式的写法和 React 偏声明式的写法接在一起。两边不容易协调,智能体就用 `setTimeout`、`requestAnimationFrame` 或 `requestIdleCallback` 推迟操作。定时器被频繁创建、销毁,垃圾回收的负担加重,用户就会感觉到卡顿。

Grok Bot 团队后来大幅减少代码注释。她的投影片给了两个数字,7 月底是 65,824,演讲时剩 1,227。Tan 在意的是,有些注释会过时,有些会把一次临时绕行包装成后人照抄的做法。她见过智能体在 Markdown 里为补丁找理由,也见过它把工程师随口提的一次纠正,当成到处套用的规定。

"注释最麻烦的是,它没法强制执行。"

遇到会反复出现的问题,团队会改接口、清理旧写法,或者让 lint 报错时告诉智能体该从哪儿修。 一条只说「禁止用定时器」的规则容易把正常用法一起拦下。Tan 更在意的是找出哪种情况下智能体总要靠延时补救,再去改那段难以协调的代码。

一处为了解决闪烁而加的定时器被搬进共享模块,技术演讲的时间线最终记录了 183 个定时器。

一处为了解决闪烁而加的定时器被搬进共享模块,技术演讲的时间线最终记录了 183 个定时器。

让智能体把功能跑一遍,再带着证据回来

Grok Bot 的评审有一部分变成了看验证材料,比如截图、录屏、流程图和形式化验证结果。最容易做的验证是给智能体一个能运行应用的环境,也能用 Chrome DevTools Protocol 一类工具调试。Tan 的团队还做了功能地图,列出产品有哪些功能、用户怎么走到那一步,以及看到什么才算走通。这样工程师说「左侧栏那个东西」时,智能体至少有一份可以核对的词表,不必重新猜一遍。

他们把常用操作封装成命令行工具和驱动。下次验证同一个流程时,智能体可以直接调用已有命令,命令本身也可以测试,省得每次都花 token 重新写脚本。代码能执行到结束只是第一步,评审需要知道它走的是哪条用户路径,以及结果在哪里能看见。

有些错误平时点一遍界面不容易碰到。比如通知涉及多台设备和多个平台,操作顺序一变,系统就可能进入另一种状态。团队用 TLA+ 把这类流程写成状态模型,检查应该始终成立的规则。对于自己写的虚拟列表库,他们又试着用 Lean 验证某些算法的性质,关注闪烁和位置抖动一类问题。界面上还试了 Bombadil,让工具探索不同操作组合,检查预先写好的条件。Tan 说,这些试验已经找出了一些缺陷,各种验证还是得搭着用。

功能地图让智能体知道应用里有什么、用户怎么到达,以及怎样证明这个功能走通了。

功能地图让智能体知道应用里有什么、用户怎么到达,以及怎样证明这个功能走通了。

约 0.5% 的回退率,只能回答一个问题

Tan 提到一位叫 Cindy 的同行。半年前,她担心一些不易察觉的错误已经被合并。后来,她说自己每天约 70% 的 token 都花在验证上。Tan 的用量也大多投在验证。她认为,自动化让一些原本嫌贵、不好写也不好维护的测试做得起了。她还在自己的 pstack 插件里加了 state chart 技能,把用户能遇到的状态画出来。评审看完录屏里走通的一条路,也能再看一眼图上还有哪些分支。

谈到交付规模时,Tan 给了两组数据。她个人一个月交付了约 3,000 个 PR,团队同期约 11,000 个。10 月约有 227 人至少贡献过一个 PR,其中一些人并不熟悉整个产品。她说客户端大约一天出一个稳定版,投影片上列出的 10 月数据是 15 个版本,发版间隔的中位数为 28 小时。启动、打字、打开新对话、切换对话,她说也比产品刚上线时更快了。

约 0.5% 是现场图表里被回退的代码提交占比。 图上 6 月是 0.98%,8 月到 10 月在 0.47% 到 0.48% 之间。一个缺陷也可以随后修掉,或者暂时没人发现,因此回退率只能和实际使用表现、测试结果一起看。一个 PR 可以包含多次代码提交,11,000 个 PR 和回退率用的是两个不同的统计单位。

图表按代码提交统计回退率,6 月为 0.98%,8 月至 10 月在 0.47% 到 0.48% 之间。

图表按代码提交统计回退率,6 月为 0.98%,8 月至 10 月在 0.47% 到 0.48% 之间。

一次发布之后,机器人会把新版再跑一遍

Tan 展示的后续流程从客户端切出新版本开始。Grok Bot 自动启动一个 Cursor Project,让智能体跑起整套应用,尝试多种操作组合来找异常。找到可以复现的问题,流程会分别开修复 PR。按她的介绍,这条管道也能自动合并修复。能这么做,有赖于前面已经投入的几层检查,日常改动走同一套流程,重复出错的写法会先被拦下来。

先让一次修改从复现到验收跑得稳,再考虑让它每天自己跑。 这也是 Tan 为什么把发布、通知、调度放在最后讲。如果智能体交上来的改动总得由人重写,多开几条流水线只会让待处理的 PR 堆得更快。一个团队更容易从小处开始,比如让智能体修好一个反复出现的界面问题,也把以后怎么复现、怎么判断修好的办法留在仓库里。

写在最后

下次看到智能体又犯了同一个错,可以把这条 PR 当成检查工程流程的机会。 先找它是不是照抄了旧代码,再看能不能改掉那个范例,或者补上一条会报错的检查。最后让它自己跑一遍应用,把结果带回来。这次多做的一步,下次换个同事或换个模型,还能用得上。

内容来源:"All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI"丨AI Engineer(嘉宾:Lauren Tan)

原视频:https://www.youtube.com/watch?v=O_zcc6Xl12g

相关文章

如果你现在没空,可以收藏进晚点再听,通勤、走路或做家务时一次性听完⇣

⇣ 关注我,每天为你更新硅谷最新的 AI 创业/科技播客总结,让你与前沿保持同频 ⇣

跳转微信打开

❌