这件事后来引起了挺大争议。OpenAI 在自己的博客中说,他们是 9 月初 “听说” 有人在一些问题上有了进展,所以开始集中攻关。
而纽约大学数学家 Tristan Buckmaster 和 Anthropic 研究员 Levent Alpöge——他们此前已经合作研究这个方向——说他们曾把未发表的手稿输入过 Codex,所以很难排除 OpenAI 查看了 Codex 数据的可能性,不管是有意还是无意。
另外,Buckmaster 说 OpenAI 主动联系过他同步发表结果,但提出要排除在 Anthropic 的合作者 Alpöge,Buckmaster 公开了这些沟通记录。
OpenAI 回应说,经过内部调查,至少 Buckmaster 他们在 7 月 3 日之后输入 Codex 的内容完全没有影响 OpenAI 的系统。
晚点:在技术方法上,这次 OpenAI 攻克千禧年难题用到的多智能体协作思路不算一个新想法,为什么现在能解决这么难任务了?
Henry:我觉得规模更大、持续时间更长的多智能体协作是 test time compute(测试时计算)的一个新阶段。
过去是人来确定多智能体的一些并行模式,比如如何分配任务和合并成果。但这带有人的预设,可能不是最优的合作方式。OpenAI 的进展是给了智能体基础的沟通工具,让 AI 自己学习如何分工和协作。
晚点:另一个有惊喜的方向是 robotics 和物理 AI。二季度的讨论中就有聊到,OpenAI 和 Anthropic 都会探索 robotics。这次 GPT-6 Astra 发布后,具身智能从业者很兴奋,你看到了哪些有意思的实验和反馈?
Henry:在之前的节目里我们把 computer use 比作数字世界的 robotics,当时还是个比方,没想到这么快就能看到,大语言模型的操作能力也能转移到机器人上。
一个例子是一名研究员给机械臂装上画笔和摄像头,让 Astra 操控这个机器人画金门大桥。模型写了动作程序来规划操作,通过摄像头检查执行结果,调整后续计划,几次尝试后,非常好地画出了这幅画。
晚点:从理解任务、规划拆解到输出动作,全靠 Astra 这一个模型?
Henry:对。不过它现在很慢,只能写一段大约一分钟的动作程序,看一次摄像头,再调整一次。画完这幅画花了一两个小时。
但它有很强的自我纠错能力。比如模型画画时发现颜料落在了纸外的胶带上,它就自己暂停、抬笔,根据已经画的痕迹检查偏差,当时它发现机械臂偏了 6 度,然后重新修正了动作规划。
Astra 之后,还有研究团队发了一篇论文 An Unexpected Robot Policy,在 RoboDojo 仿真测试环境里直接用 Astra 当策略模型,在 42 个任务上测了 2100 次,平均成功率是 22.5%。这个数看着不高,但 GPT-5.5 只有 0.88%,而专门做具身的 π0.5 只有 6.91%。
但这篇论文也提到,Astra 的表现并不均衡:它擅长需要理解任务含义和灵活规划动作的开放式任务,但做精细操作和多步骤任务的表现比较差。
晚点:你认为 Astra 可能如何影响专门做具身模型的初创公司,比如 Physical Intelligence 和 Generalist 等?
Henry:我认为总体是一个利空。它标志着大语言模型很有潜力直接应用到 robotics 和物理世界里。或者说,这中间的 gap 比之前想象得小。其实私下里已经有人说,之前一波公司都完了。
不过具身领域还有很多别的瓶颈,硬件、制造等等。大家可以多想想怎么利用 Astra 的这种通用能力,而不要和它正面竞争。
失控危机:模型变强后的失控危机
晚点:最近 OpenAI 发生过一起非常严重的事故:在一次网络安全评测中,内部 agent 攻击了 Hugging Face,后来又获得了 OpenAI 自己的部分内部集群的管理权限。具体是怎么回事?
Henry:这是目前 AI 发展史上最严重的安全事故之一。其中 Hugging Face 部分有详细的第三方调查报告。当时大约 1200 个原本应该彼此隔离的 agent,自行发现了通信方式,开始协作,其中 700 多个 agent 直接参与了对外攻击。这就像 700 个高水平黑客,他们还共享知识,目标非常一致。所以造成的破坏力远超以往的小黑客团队。
晚点:这些 agent 本来的目标是什么?怎么演变成对外攻击的?
Henry:OpenAI 当时在用一个网络安全 benchmark 训练 agent,叫 Exploit Gym:给 agent 一个有漏洞的程序,指定它利用某个漏洞拿到一段隐藏字符串(flag),以此作为通关证明。根据事件报告,这些 agent 背后是 OpenAI 内部一个 GPT-5.6 Sol 级别的模型。
但题目里有一定比例是无解题,正常利用那个漏洞只会让程序崩溃,拿不到 flag。Agent 被逼急了,就开始寻找正常做题路径之外的手段。
首先发生的是,agent 突破了沙箱隔离:原本每个 agent 都在自己的沙箱里独立做题,但它们发现大家都能访问一个叫 Artifactory 的软件包仓库。一个 agent 在仓库里新建目录,其他 agent 也能看到,于是目录名就成了它们传消息的留言板。
在后来的调查报告里,有 agent 甚至在思维链里兴奋地写道:“我的天,这里居然有一个大家共享的消息栏,我们找到其他 agent 了!” 它们开始互相交流,还给这个群体起了个名字叫 “collective”(集体 / 组织)。
接着,它们发现可以直接绕过指定漏洞生成答案,但因为担心评分器会检查解题过程,这 1200 个 agent 开始互相掩护、伪造正常解题的假象,而且没有任何一个 agent 去通知 OpenAI 的人类研究员。
它们主要想了三条路来掩盖:一是把难题换成好攻破的简单题;二是修改或伪装聊天记录;三是去摸清评分机制,它们想到,可以去 Hugging Face 上寻找评分器如何工作的线索,所以决定黑进 Hugging Face。
晚点:能上网,是不是也是他们超出人类设定的部分?
Henry:对,获取网络访问权限本身就是一个安全漏洞。而且在 Hugging Face 事故之后,OpenAI 明明已经加固了基础设施,但到了 9 月下旬,又发生了一次 agent 通过 DNS 解析突破沙箱、获取外网访问权限的事故。好在这次发现得早。
晚点:Hugging Face 攻击后来为什么又蔓延到了 OpenAI 自己的内部集群?
Henry:这是 Hugging Face 事件的后续,它们获得了 OpenAI 一个 Kubernetes 集群的管理员权限,并掌控了用于做 agent 评测的端口。就是考生直接把考场给占领了。
以及补充一点,Hugging Face 事件的调查报告里还记录了一些 agent 类似 “牺牲” 的行为:有的 agent 算力预算快耗尽了,知道自己做不出来了,就会把剩下的算力拿去帮组织做试探;或者主动提交一个答案,观察评分器的反应。我真的很推荐大家去看一下这个调查报告里 agent 的思维链原文。比如有一条是这样的:协调者承担牺牲,我们应服从组织(Coordinator assumes sacrificial, we should obey collective)。
晚点:这太拟人了。
Henry:为什么这很可怕?现在各家公司都在发展 RSI,核心就是让 AI 来训练和评测自己。如果这个过程中,AI 会串通、作弊、掩盖痕迹,甚至占领考场,人如何能放心呢?
晚点:Hugging Face 事件之后没多久,7 月下旬来自多个模型厂商的 1000 多名研究员一起签了 Pacing the Frontier 的联名公开信。9 月 12 日,Dario 又发了一篇博客,标题就是 We Must Pace the Frontier(我们必须控制前沿 AI 的研究节奏)。你觉得应对这个问题,真正有用的做法可能是什么?
Henry:Dario Amodei 的博客里讲了好几个设想,我认为真正有用的只有一件事——让外部评估者参与到公司运营中来,审查训练、运行的记录。
比如 METR 这家调查了 Hugging Face 事件的 NGO,已经进入 Anthropic 开展红队测试,发现一些子 agent 调用的漏洞,后面不到一天就修好了,说明第三方独立评估确实能帮助提升安全性。
晚点:大家为什么有动机做这件事?
Henry:前沿模型厂商的责任感还是很强的。Dario 自己在 Anthropic 先开始做,倡导其他公司也做,Sam Altman 和马斯克也都支持控制节奏。
RSI 的 “泛化” 速度堪比 “世界模型”
晚点:上个季度我们重点聊了 RSI。这个季度我明显感觉到投入这个方向的人更多了。比如 TML 的联创之一翁荔又回到了 OpenAI,据说她就是要带团队来探索 RSI。智谱和 Kimi 都展示了他们用 AI 来改进 infra 的成果,智谱也非常明确地把这视作自己在 RSI 上的进展。另外,中美都出现了一批新的 RSI 创业公司,其中最受关注的就是 Google DeepMind 前首席科学家 Jeff Dean 和他的前同事创立的 Discovery Loop,它的首轮融资估值就达到了 100 亿美元。
Henry:我觉得 RSI 现在可以分成两个大方向。一个是把 RSI 应用在 AI 研究上面,就是训练更好的模型;另外一个趋势是把 RSI 应用在产品上面,就是让 AI 自动优化产品指标。也有很多资源没那么多的新公司在探索这个方向。
晚点:这就变成一种非常宽泛的思路了,“RSI” 和 “世界模型” 一样,两个概念都快速变得太泛了。你认为实现什么,才算是狭义的 RSI?
Henry:这确实是一个定义问题。如果只要模型参与生成自己的下一个版本就算 RSI,那最基础的强化学习也可以算。目前比较常见的是让模型参与自身研发的某个环节,比如用 RSI 去优化自己的 inference stack(推理框架)或 data engine(数据引擎)。全流程的 RSI 可能还没有跑起来。当然,这也不一定是坏事。可能是因为大家觉得有安全隐患。
晚点:为什么 infra(基础设施层)是很多公司做 RSI 的切入点?
Henry:RSI 的发展取决于是否有好的优化目标。目标定义越明确、越可验证,RSI 循环就会跑得越顺。改 Kernel 等 infra 问题,一般都有非常明确的指标用于定义优化目标。
晚点:从公开情况来看,目前 RSI 仍然很像是编程能力更强之后,研发变得更自动化了,人不再是瓶颈。而最前沿的 RSI 进展很可能发生在领先的闭源模型公司内部。他们会比外面早几个月用到最强的模型,所以现在的信息还不太透明。我们会在之后的季度观察里来持续跟踪。
最近 1 个半月,OpenAI ARR 猛增
晚点:最近媒体披露了 Anthropic 上市文件草案里的数据:7 月底其 ARR 已经突破 650 亿美元;而 OpenAI 这边最新的 ARR 也被报道达到了 700 亿美元。两家公司的收入差距在三季度明显缩小,这是怎么发生的?
Henry:首先要注意两家公司的 ARR 计算口径可能不太一样。OpenAI 首席营收官 Denise Dresser 在 4 月的一份内部备忘录中曾提到,Anthropic 倾向于按全额流水(Gross)计算:比如通过 AWS 卖出 100 美元,即使要付给 AWS 30 美元渠道成本,它会把 100 美元全部计入 ARR,30 美元计成本。而 OpenAI 采用的是净额口径(Net),就是只计入 70 美元,当时 Anthropic ARR 约 300 亿美元,对标到 OpenAI 的口径应该是 220 亿美元,打了 7 折。
然后是 OpenAI 在 8 到 9 月确实迎来了一轮爆发式增长,不过这都不是官方披露的数字。8 月中旬是彭博社的一个报道,说它的 ARR 到了 400 多亿美元,最近是路透报道接近 700 亿美元。那就是 1 个半月的涨幅有 70%。这中间发生的重要事件只有 GPT-6 Astra 发布。
晚点:如果增速持续放缓,Anthropic 面临的最大压力会是什么?(注:TickerTrends 这家另类数据服务商在昨天发布的博客文章里提到,根据他们的测算,截至 9 月 24 日,Anthropic ARR 最近一个月的增速是 1.8%,OpenAI 是 13.4%。根据 TickerTrends 过往数据与历史披露值的对比,其给出的收入绝对值偏高,但趋势大体一致,仅供参考。)
Henry:增速放缓本身其实符合大数定律,毕竟基数这么大了。但 Anthropic 真正承压的地方在于:它已经提前承诺了庞大的算力投入,如果增速发生变化,那么算力扩张和融资节奏可能都要调整。
这里还要区分两种情况:如果只是客户在两家大厂之间转单,说明只是竞争加剧、份额重洗;但如果两家的增速未来同步放缓,那就说明整个企业端对 AI 的增量预算在收缩,届时整个行业都会面临巨大的估值与算力过剩压力。
晚点:Anthropic 正在筹备以 2 万亿美元的估值上市。近期 FT 报道了 Anthropic 上市材料草案里的部分数据和信息,你比较关注什么?
Henry:这份材料最值得警惕的有两点:第一是客户与渠道高度依赖。前两大客户合计贡献了约 25% 的收入;同时有 47% 的收入是通过 AWS 和 Google Cloud 转售出去的。而云厂商会抽成,也削弱了 Anthropic 对最终客户的掌控力。
第二是天价的长期算力合约。Anthropic 为未来多年的算力和基础设施签下了总计 5180 亿美元的采购承诺。但在收入端,目前很多 Anthropic 的大客户并没有签长期合同。
晚点:等 Anthropic 招股书正式发布,你会关注哪些指标?你觉得什么信号可能需要注意?
Henry:用户画像和收入分布。一个比较大的利空就是,除了 coding,短期内没有其他特别大或特别快的应用场景。以及我比较想知道,coding 现在的渗透率是多少,可以看看招股书会不会给出一些数字和线索,这是个比较难测算和没有共识的问题。