铃阅
❌

阅读视图

自研Agent两场实测均分超过GPT-6,NovaSilicon首提CDK,Fabless之后是Designless?

机器之心 2026-11-16 12:01 北京

CDK 这个概念由 NovaSilicon 首次提出

图片

机器之心发布

1987 年成立的台积电只做代工。晶圆厂把制造工艺封装成 PDK(Process Design Kit,工艺设计套件)交给客户,PDK 是晶圆厂的核心技术,通过有限接口分享给芯片公司 ,保留核心的制造配方。通过使用 PDK,芯片公司可以把制造交出去,自己专心做设计,这类公司被叫作 Fabless。

设计环节里的分工,会不会也变一次?

 NovaSilicon(上海芯星元智能科技有限公司,以下简称 “NovaSilicon”)的方案叫 CDK(Circuit Design Kit,电路设计套件)。它把芯片设计的经验和 Agent 封装成一套系统。从芯片规格到 GDS 版图,中间需要反复迭代的实现环节,由 NovaSilicon 的工程师用 CDK 来做。CDK 这个概念由 NovaSilicon 首次提出,公司把由此形成的分工叫作 Designless—— 产业会形成新的分工,许多 design house 从自建设计团队变成 Designless。

围绕 CDK,公司最近放出的两篇论文,把 CDK 里的两套 Agent 系统和 GPT-6 Astra 等通用 Agent 放在了同一套题上。包含模拟版图设计与数字芯片布图规划(floorplan)。

两个场景的最高平均分,都来自 NovaSilicon 基于 CDK 设计的自研 Agent 系统:模拟版图 0.8154 分(GPT-6 Astra 为 0.7483 分);floorplan 57.97 分,约为 GPT-6 Astra 的 1.9 倍。

NovaSilicon 成立 5 个月以来连续 3 轮融资累计数亿元,最新一轮融资由顺为资本领投,纪源资本、经纬创投跟投。此前,NovaSilicon 已获得五源资本、商汤国香资本、上海未来产业基金、上海科创集团等机构投资。

NovaSilicon 自成立以来,快速聚集并培养了许多同时具备 AI 和芯片设计经验的复合型工程师和研究员。

首提 CDK :设计环节的 PDK

NovaSilicon 的设想,是把晶圆厂做过的事在设计环节再做一次。Agent 和仿真器相当于产线上的设备,CDK 相当于工艺配方,输入是芯片规格,输出是 GDS。

表 1|PDK 与 CDK 的对照。来源:NovaSilicon

Designless 沿用的是 Fabless 的分工思路。芯片公司定义规格,实现环节交给 CDK 和使用它的工程师。NovaSilicon 将 CDK 定位为模型驱动的 AI-IC 设计系统,芯片设计的经验沉淀在 Design Kit 里,不在大模型或 EDA 工具里。

模拟方向 CDK 织女星 Vega,覆盖拓扑选择、网表转原理图、器件尺寸、仿真和版图。数字方向 CDK 天狼星 Sirius,包含后端的设计初始化、floorplan、布局布线、时钟树、物理验证和时序分析,前端的规格理解、建模、RTL 生成和验证。

两篇论文各测了其中一环。模拟版图一篇测的是 Vega 里的 Novara,floorplan 一篇测的是 Sirius 里的 Nova-SI。

通用 Agent 画模拟版图:91.1% 交了卷,21.3% 过了验收

第一篇论文的 benchmark 名叫 AnalogLayoutWorld。

版图是模拟芯片设计的最后一道工序。电路工程师先定好晶体管级网表,相当于一张接线表,写明用哪些器件、尺寸多大、彼此怎么连。版图工程师再照着它画施工图,把每个器件画成硅片上的几何图形,摆好位置,连好金属线,输出一份可以交给晶圆厂的 GDS 文件。

AnalogLayoutWorld 有 40 个任务,覆盖放大器、基准源、电源管理电路、采样电路和振荡器。Agent 拿到固定网表和电气指标进行版图设计,评分看六项:是否交出 GDS、LVS(版图和网表是否一致)、DRC(是否满足线宽、间距等工艺规则)、面积紧凑度、工程质量、后仿真是否达标。工程质量一项由团队和模拟版图工程师一起定义,考查器件匹配、关键信号走线和供电等。

分数之外还有一条验收线。DRC、LVS 和全部后仿真工况都通过,版图的长宽比和形态也合格,才算验收。

团队测了 13 组通用模型与 Agent 框架的组合,织女星中的 CDK:Novara 也在同一套题上跑了一遍。

表 2|AnalogLayoutWorld 主要结果(节选)。数据来源:论文 Table 1

Novara 平均分 0.8154,排第一。验收率 72.5%,也是最高。GPT-6 Astra 的平均分是 0.7483,验收率 70.8%。GPT-6.1 Sol 是 0.7023 和 62.5%。GLM-5.3 的两个配置平均分在 0.46 到 0.48 之间,其余配置都不到 0.30。

Novara 的 LVS 通过率是 100%。工程质量一项,Novara 得分 0.816,排第二的 GPT-6 Astra 是 0.566。

图 1|Novara 与五个通用 Agent 配置的分项对比。DRC、LVS、Post-sim 为通过率,Score 为 40 道题的平均分。图源:论文

GPT-6 Astra 的后仿真通过率是 82.5%,高于 Novara 的 75.0%,但验收率只有 70.8%。论文解释,GPT 系列从仿真到验收之间丢掉的部分,主要是版图的长宽比和形态不合格。Novara 从 75.0% 到 72.5%,过了仿真的版图基本都能验收。

仿真全过,但 GPT 交上来了一根 209 微米的细条

40 道题里有一道电流饥饿型环形压控振荡器(current-starved ring VCO)。GPT-6 Astra 三次尝试全部通过 DRC、LVS 和两项后仿真,但交出来的版图宽约 209 µm、高不到 10 µm,长宽比在 22.63 到 26.31 之间,评测规定的上限是 4。这样的细长条很难和周围电路拼到一起,三次都只拿到 0.3 分。

从轨迹记录看,Astra 先试过把电路里一只长电阻折叠起来,结果折叠方案未通过 LVS 的长度参数匹配,它于是退回一根 203.19 µm 长的直电阻,把其余器件沿着电阻排成一条。这是一种典型的追求硬性指标,而忽视真正模拟电路流片层面的需求的行为。

同一道题,Novara 第一次尝试交出的版图是 34.14 × 42.33 µm,长宽比 1.24,得分 0.9015。Novara 更关注符合工程师真实使用的版图设计思想的建模,也得到了更贴近工程使用的版图结果。

图 2|环形 VCO 的四份版图。左为 Novara 首次尝试,右为 GPT-6 Astra 的三次尝试,四份都通过了 DRC、LVS 和后仿真。图源:论文

99 个硬宏的工业设计:均分约为 GPT-6 Astra 的 1.9 倍

第二篇论文换到数字芯片后端,考的是 floorplan。

数字芯片从逻辑网表变成物理版图,头一步是决定大模块放在哪。这些大模块叫硬宏(hard macro),形状固定,不能缩放。硬宏落位之后,EDA 工具再往剩下的空间里填标准单元、连线。直观来说,这像在一块地上先定好几十栋楼的位置,剩下的地要留给小房子和路。楼摆得不好,总面积够用,局部的路照样会堵。

论文用的是一个工业设计:235,727 个实例,99 个硬宏占掉 14.123 mm² 版图区域的 71.1%,最大和最小的硬宏面积相差约 121 倍。版图区域是 L 形,缺掉的那个角不能使用。

评测把 Agent 交出的硬宏布局接到一条规定好的下游流程上:建电源地网络、做标准单元布局、估算全局布线、分析建立时间。评测的总分满分 100,由拥塞、时序、线长和标准单元利用率四项相乘得到。参评系统分三组。第一组是 NovaSilicon 自研、本地部署的 Nova-SI,第二组是通用工程 Agent,可以查询设计数据库、调用 EDA 工具,拿到下游流程的反馈再修改,第三组只有文件读写权限。

表 3|floorplan 评测结果。各项满分 100,几何无效和交付失败记 0 分。数据来源:论文 Table 1

Nova-SI 的平均分是 57.97,GPT-6 Astra 是 31.17,其余通用配置在 15 到 23 之间。只有文件权限的那一组,12 份输出里有 9 份硬宏越界或重叠,记 0 分。Nova-SI 的 8 份输出全部通过几何检查,中位数是 57.52 分。Astra 的中位数是 21.37 分,4 份输出里有 3 份低于 Nova-SI 的最低分。出方案时,Nova-SI 没有用规定流程的在线反馈,Astra 所在的通用组可以随时调 EDA 看结果再改。token 消耗上,Nova-SI 平均每份输出 36.13M,通用组五个配置在 62.11M 到 286.50M 之间。

去掉 Nova-SI 最好的一份输出,均值是 54.67。论文把七个评分尺度各自乘以 0.5、1、2,试了 2,187 种组合,Nova-SI 的均值比 Astra 高出 22.30 到 30.38 分。8 份输出里得分最高的一份是 81.09 分。作为参照,人类工程师在这个设计上的历史方案是 91.88 分。

图 3|Nova-SI 得分最高的一份布局(07 号,81.09 分),从左到右依次为硬宏、标准单元和拥塞热力图。图源:论文

CDK 的未来

CDK 先用在 NovaSilicon 自己的设计流程里。基于 CDK,NovaSilicon 目前的服务对象是芯片设计公司和有 IP 需求的客户。首批方向有两个。一个是使用 Vega 正在研发的 UCIe PHY IP,UCIe 是芯粒(Chiplet)互联的行业标准,PHY 是其中的物理层接口。另一个是 3D 存算一体(CIM)芯片的设计服务,而数字设计 CDK,Sirius 已经用在这项服务里。

大模型厂商是为 CDK 提供底层基座的设备商,好比台积电使用的光刻机一样重要。然而,正如 PDK 和配方是支持台积电改变半导体行业的核心一样,CDK 也将会重塑半导体行业从 Fabless 走向 Designless。

NovaSilicon 将 Design Kit 从工艺制造中引入设计流程中,这个过程仍会如工艺制造按照摩尔定律演进一样,以飞快的速度持续规模化,实现芯片设计领域新的 Scaling 路线。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

恶劣骗局!AI垃圾论文乱加大佬作者,Hinton、李飞飞、LeCun、吴恩达等中招

原创 关注AI滥用的 2026-11-16 12:01 北京

Christopher Manning:「这是一种更恶劣的骗局」

编辑|Panda

某天,哥德堡大学计算机科学教授 Alan Said 收到了一条谷歌学术的推送:他有一篇新论文发表了。

论文题为《Intelligence Systems Supporting Sustainable Global Development》(支持全球可持续发展的智能系统),刊登在一本名为 American International Journal of Research and Innovation(AIJRI)的期刊上。题目和他「AI 与可持续性」的研究方向沾边,署名也确实是他。

问题是:这篇论文不是他写的。

「我写一篇这个方向的论文并不奇怪,但只要看一眼论文本身和它的参考文献,就知道是 AI 生成的。它没有任何内容,就是一堆 slop。」Said 在接受 Times Higher Education(简称 THE)采访时这样说。

顺着这篇论文,THE 挖出了一个更大的盘子:一批名不见经传的期刊,正在以斯坦福、伯克利等顶尖高校教授的名义,批量发表 AI 生成的垃圾论文。被「署名」的人里,包括 Geoffrey Hinton、Yann LeCun、Yoshua Bengio、李飞飞、Christopher Manning、Michael I. Jordan、吴恩达和 Stuart Russell 等诸多 AI 领域的著名研究者。

甚至有把多位著名研究者名字全堆一起的 AI 垃圾论文

删了作者,论文还在,换个名字接着挂

Said 的第一反应是去投诉。他联系了该期刊的域名注册商,对方回复说文章已被删除。

但论文并没有消失,只是作者从 Said 换成了另一个人。根据 Said 提供给 THE 的截图,两天之后,作者又换了一次。同一篇论文,就这样先后挂在三个不同的人名下。

这个细节相当说明问题:对这类期刊来说,论文内容根本不重要,重要的是挂在上面的名字。名字可以随时替换,就像商品页面换一张模特图。

Said 随后又发现了两本「兄弟期刊」:American Journal of Advanced Multidisciplinary Research and Innovation(AJAMRI)和 American Journal For Multidisciplinary Research(AJFMR)。三本期刊视觉风格相似,主编和编委会成员相同。

其中 AJAMRI 已经发表了几十篇署名知名学者的论文,名单堪称 AI 圈的「全明星阵容」:斯坦福的李飞飞和 Christopher Manning,伯克利的 Michael I. Jordan 和 Stuart Russell。

斯坦福大学计算机科学教授 Jure Leskovec 也在名单之中。他向 THE 明确表态:「我可以确认,我没有写这篇论文,没有参与投稿,也没有授权使用我的名字。在收到你们的邮件之前,我甚至不知道它的存在。这相当令人担忧。」

2026 年注册的域名,却有好几年前的「过刊」

仔细看这三本期刊,破绽并不难找。

三个网站的域名都是 2026 年才注册的,网站上却挂着「数年前」发表的论文存档。它们统一自称「同行评审、开放获取、多学科」期刊,并且明码标价收取发表费用。

收费规则也值得一看。AIJRI 和 AJAMRI 对「五位及以上非印度籍作者」的论文收取 200 美元;AJFMR 则对 1 到 4 位作者收 80 美元,5 位及以上作者只收 10 美元。

三本期刊的主编都写着同一个名字:Denish Brown。联系方式是一个美国区号的 WhatsApp 号码。编委会里列了几十位成员,大多来自印度高校。

但这份编委名单同样经不起推敲。弗吉尼亚联邦大学博士后 Kanakaraju Manupati 就在其中,他告诉 THE:「我不知道这本期刊的存在,也和它没有任何关联。刚刚去看了期刊网站,很惊讶在编委会里看到了自己的名字。」

也就是说,从作者到编委,这些期刊的「学术背书」很可能是整套盗用来的。THE 联系了三本期刊,截至发稿未获回复。

Manning:「这是一种更恶劣的骗局」

报道发出后,被点名的 Christopher Manning 在 𝕏 上回应,他此前已经见过两篇「署名」他的假论文,分别刊登在所谓的 International Journal of Computer Vision and AI Applications 和 International Journal of Clinical and Medical Sciences 上。

前者的名字明显在蹭计算机视觉顶刊 IJCV(International Journal of Computer Vision)的热度;后者更离谱,一位 NLP 学者「发表」在临床医学期刊上。值得注意的是,这两本期刊并不在 THE 调查的三本之列,这意味着类似的操作可能远不止一个团伙。

「骗子期刊一直都有;这是一种更恶劣的骗局。」Manning 写道,「最要紧的是别让它们被索引!拜托了,Google Scholar!」

评论区有用户抱怨,Google Scholar 一直在给他推荐一些明显是假的论文,作者栏里挂着一堆大牛,「我实在想不通动机是什么,为什么有人要这么干?」

Manning 的回复点出了关键:THE 的报道认为,这些期刊把知名学者列为作者,目的是让博士生们也被吸引过来投稿,而这些期刊是收费的。他最后补了一句:「说不定还真管用!」

冒名的生意经:拿大牛的名字当广告牌

这正是 Said 最担心的地方:「如果一位刚入学的博士生在这本期刊上看到我的名字,他可能会觉得投这里也没问题,我真的不希望发生这种事。」

传统的掠夺性期刊(predatory journal)靠的是「快速发表、来稿必登」吸引急于凑论文数的作者。但它们普遍有一个短板:看起来不像正经期刊。而生成式 AI 恰好补上了这块短板,几分钟就能批量「写」出格式规范、引文齐全、看似言之有物的论文,再挂上顶级学者的名字,一本野鸡刊就能在几周内「包装」出体面的过刊和豪华的作者阵容。

这套玩法并非首次出现。雅典经济与商业大学软件工程教授 Diomidis Spinellis 在 2023 年 12 月也遭遇过一模一样的事:一篇题为《Global Business Strategies in the Digital Age》的论文以他的名字和单位,发表在 Global International Journal of Innovative Research(GIJIR)上,还配了一个有效的 DOI。

Spinellis 没有止步于澄清。他把整个 GIJIR 网站爬了下来做分析,并于 2025 年在《Research Integrity and Peer Review》上发表了案例研究。在引文数最少的 53 篇文章中,至少 48 篇看起来是 AI 生成的,Turnitin 检测给出的 AI 概率在多篇论文上高达 100%。他的结论是:这类期刊一方面用冒名的 AI 论文抬高自身地位,另一方面以此吸引那些想要刷论文数的作者。

https://doi.org/10.1186/s41073-025-00165-z

据 JMIR 今年 6 月的一篇报道,Spinellis 把 GIJIR 的论文归为三类:占大头的是期刊自己用 AI 生成、冒用学者姓名的「虚假署名论文」;其次是作者花钱买来的「购买署名论文」;真正的研究反而是少数。

https://www.jmir.org/2026/1/e104934

类似事件在 2026 年明显变得密集。今年 4 月,知名心脏病学家 Eric Topol 发现自己的名字被一本数字健康期刊冒用;5 月,NBC News 报道了一个已发表上百篇 AI 生成论文的假期刊网络,其中部分论文同样冒用了顶尖高校教授的名字。

真正的漏洞在下游

如果这些论文只是躺在一个无人问津的网站上,危害或许有限。但 Manning 的呼吁指向了问题的真正症结:索引。

Said 之所以发现这篇论文,恰恰是因为 Google Scholar 把它收录进了自己的主页,并主动推送给他。一旦被学术搜索引擎收录,这些论文就会出现在学者的个人主页上,进入检索结果,甚至被其他论文引用。Spinellis 那篇冒名论文在发表后的几个月里就收获了 3 次引用。

对 AI 行业来说,还有一层更隐蔽的风险:大量模型训练数据来自爬取的学术文献。当 AI 生成的垃圾论文被挂上真实学者的名字、进入索引,它们就有可能回流进下一代模型的训练语料,形成「AI 生成、AI 收录、再被 AI 学习」的污染闭环。

从技术上说,这并不是无解的问题。Spinellis 在研究中提出的方向包括加强 DOI 和 ORCID 的身份核验机制、改进 AI 内容检测,以及改革以论文数量为导向的科研评价体系。JMIR 的报道还提到,研究者在投稿前可以借助 Think.Check.Submit 这类核查清单核对期刊的 ISSN、DOI 和独立索引情况。

但所有这些措施都绕不开一个现实:生成一篇假论文的成本已经趋近于零,而澄清一篇假论文的成本,全部落在了受害学者身上。Said 投诉之后,论文换了个作者继续挂着;Leskovec 直到记者发邮件才知道自己「发表」了论文;Manupati 被挂在编委会里也毫不知情。

那么,问题来了:当李飞飞和 Manning 这样的名字都可以被随意借用,学术署名本身还能在多大程度上作为信任凭证?在 AI 让「写论文」变得廉价的时代,学术界需要守住的,或许不再只是内容的真实性,还有名字的真实性。

参考链接

https://www.timeshighereducation.com/news/ai-slop-papers-published-under-prominent-academics-names

https://www.nbcnews.com/tech/internet/fake-journals-using-real-professors-names-ai-generated-papers-rcna265479

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进Agent大脑

机器之心 2026-11-16 12:01 北京

SkillMaster:让智能体学会进化自己的技能

随着递归自我改进(Recursive Self-Improvement,RSI)研究的兴起,智能体的长期能力演进受到更多关注。技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。让智能体学会自主创建和改进这些技能,为其持续进化提供了一条具体路径。

图 1 左:外部模块负责管理技能,智能体检索并使用技能。右:SkillMaster 将技能管理纳入智能体自身的策略,与任务执行共同学习。

然而,现有方法中的技能创建与更新,通常依赖外部教师模型、预设规则或辅助模块(图 1 左)。执行任务的智能体学会了使用技能,却很少被直接训练去改进技能。要沿着这条路径实现自主改进,还需要让 “如何进化技能” 成为智能体自身可以学习的能力(图 1 右)。

清华大学李勇教授团队提出了 SkillMaster,相关论文已被 NeurIPS 2026 录用,论文第一作者为北京中关村学院博士生杨敏。

研究以一个直观的洞察为出发点:有价值的技能改进,应当让原来失败的相似任务在后续更容易成功,让原来已经成功的任务以更少的步骤完成。SkillMaster 将这两类效果转化为技能编辑的学习信号,训练同一个智能体根据交互经验创建、更新和保留技能,使技能进化与任务执行共同进入强化学习过程。

  • 论文题目:SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents

  • Author: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

  • Affiliation: Shandong University, Zhongguancun Academy, Tsinghua University,  Southeast University, University of Science and Technology of China

  • arXiv: https://arxiv.org/abs/2605.08693

  • GitHub: https://github.com/sduyangmin/Skill-Master

核心洞察:让失败的任务更容易成功

让成功的任务完成得更高效

要训练智能体改进技能,首先需要知道一次修改给后续任务带来了什么。仅用任务最终是否成功作为奖励,难以区分执行能力与技能质量,更难为某一次技能编辑提供明确的反馈。

为此,SkillMaster 关注技能修改对后续相关任务的实际影响。一条技能如果补上了已有知识的缺口,应当提高原先失败任务的成功机会;如果改进了已有的操作策略,应当让已经能够解决的任务减少不必要的步骤。这两种可观察的变化,为衡量技能修改的效果提供了依据。

方法框架:

联合学习任务执行与技能进化

要让智能体学会自主创建、修订和保留技能,需要解决三个问题:依据什么提出修改、如何评价修改的价值,以及如何联合优化任务执行与技能管理。SkillMaster 分别通过基于轨迹的技能审视、下游效用奖励和 DualAdv-GRPO 实现这三个环节

图 2 SkillMaster 的三个组成部分:基于轨迹的技能审视、反事实技能效用奖励,以及 DualAdv-GRPO 联合优化。

基于交互轨迹学习技能管理

技能审查阶段将任务目标、已检索技能、行动与观察轨迹、最终反馈一起提供给模型。模型通过 propose_skill、update_skill 和 keep_skill 三类工具调用,分别执行创建、更新和保留操作。例如,发现已有技能未覆盖某种搜索策略时,可以补充新技能;观察到实际反馈与已有操作规则冲突时,可以修订原有技能。

任务动作和技能工具调用由同一个策略生成,因此技能管理也直接纳入模型训练。SkillMaster 先通过监督微调,让模型具备基本的任务执行与工具调用能力,再利用技能效用反馈,通过强化学习优化创建、更新和保留技能的决策。

通过反事实对照评价技能效用

对于候选技能编辑,系统选取一组相关的探测任务,分别使用原始技能库与临时修改后的技能库执行,直接比较修改带来的下游变化。原先失败的任务是否转为成功、原先成功的任务是否减少执行步骤,都会体现在效用评分中,为技能编辑提供直接的训练反馈。

探测任务来自训练任务池,并依据任务类别、商品类别或问题语义相似度选择。系统综合考虑探测任务的平均得分变化,以及表现改善和退化的任务数量,计算效用奖励,并据此优化技能编辑决策。训练期间,效用奖励为正的修改才会写入持久技能库。

DualAdv-GRPO 联合优化两类决策

任务执行主要依赖环境结果反馈,技能管理则使用工具调用有效性和下游效用反馈,两类奖励具有不同的尺度与含义。为此,SkillMaster 提出 DualAdv-GRPO,分别计算任务执行与技能管理的优势,再分配给对应的生成内容,共同更新同一个策略。模型由此同时学习有效执行任务和改进可复用技能。

实验结果:

从任务表现到技能进化能力

实验基于 Qwen2.5-7B-Instruct,覆盖 ALFWorld、WebShop 和 SearchQA。其中,ALFWorld 包含六类模拟家庭任务,WebShop 考察多步商品搜索与购买,SearchQA 覆盖七个单跳和多跳问答数据集。

表 1 ALFWorld 与 WebShop 主实验结果。

如表 1 所示,SkillMaster 在 ALFWorld 和 WebShop 上均取得所比较方法中的最佳表现,任务成功率分别达到 98.7% 和 82.0%,较 SkillRL 提高 8.8 和 9.3 个百分点。ALFWorld 六类任务中有四类达到 100% 成功率,其余两类均超过 95%。 

表 2 SearchQA 七个数据集的实验结果。

如表 2 所示,在 SearchQA 上,SkillMaster 的总体得分达到 48.0%,为所比较方法中的最高值,较 SkillRL 提高 0.9 个百分点。七个数据集中有五个优于 SkillRL,体现出该框架在搜索增强问答任务中的效果。

图 3 左:组件消融结果。中:技能管理操作比例的变化。右:技能库规模的变化。

如图 3 左侧所示,去掉技能效用奖励、改用合并的优势归一化,或随机选择探测任务,均会降低表现,支持效用反馈、分离优势估计和相关任务选择的作用。图 3 中间和右侧分别展示了技能管理行为与技能库规模的变化。

在 ALFWorld 训练中,训练早期,创建和更新操作较为活跃,训练后期,保留技能的比例从约 81.25% 升至 97.66%。这一过程体现了模型从补充和修订技能,逐步转向保留已积累技能的行为变化。作者还固定训练后的模型参数,检验其在测试交互中构建技能的能力。此时不使用反事实探测和效用反馈,合法的技能管理操作直接执行,并供后续任务复用。在 WebShop 上,从空技能库出发,同时开启技能构建与检索后,成功率从 65.63% 提升至 71.88%,表明训练后的策略能够根据新交互生成并复用有用技能。

案例分析:

根据执行证据创建和修订技能

图 4 智能体从任务轨迹中发现技能缺口、纠正已有规则,并在相关任务上验证修改效果。

如图 4 所示,在一个 ALFWorld 冷却任务中,智能体将大量步骤花在低概率出现食物的柜子和抽屉上,最终未能完成任务。复盘时,它识别出已有技能缺少搜索优先级规则,于是创建新技能,指导后续搜索优先考虑与目标物体相关的高概率位置。

另一个案例展示了已有技能的修订。按照 ALFWorld 的交互接口,加热需要在智能体持有目标物体时执行,但旧技能要求先把物体放入微波炉。模型依据轨迹中的反馈修订了这一操作条件。图 4 右侧的对照显示,在相关探测任务中,加热环节从 8 步缩短为 2 步,减少了六次多余操作,直接体现了技能修改的下游效用。

研究展望:

通过学习技能进化,探索递归自我改进

SkillMaster 从技能这一可复用的知识载体出发,探索智能体递归自我改进的一条路径。智能体在交互中发现知识缺口或低效策略,通过技能编辑改变后续行为,再根据实际效果学习更有价值的编辑决策。任务执行与技能改进相互衔接,使智能体既能积累技能,也能通过训练提升改进技能的能力。

当前方法已在结构化交互环境和搜索增强问答中得到验证。进一步面向开放环境,需要探索更有效的探测任务选择和更低成本的效用评估,并扩展到技能删除、跨智能体共享和分布变化下的持续学习。这些方向有望使技能库与智能体的能力随长期交互共同演进。

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

刚刚,李沐加入Aimotion!出任联创兼CTO

原创 机器之心 2026-11-15 10:29 辽宁

要做「产业级世界模型」

机器之心编辑部

大家都喜欢的沐神,最近有了新的职业动向。

刚刚,我们得到消息,李沐正式出任 Aimotion 联合创始人兼 CTO,主导下一代产业级 AI 技术体系建设。同时他继续担任 Boson AI 联合创始人兼 CTO。

也就是说,这不是跳槽,而是两边联手,联合攻关产业级世界模型和商业 AI Agent。

李沐这个名字在 AI 圈的分量不用多介绍。卡内基梅隆计算机博士,Apache MXNet 创始人之一,前亚马逊 AWS AI 资深首席科学家 —— 从底层框架到云计算时代的 AI 产业化,他几乎全程站在深度学习工程化的第一线。后来,他创业成立 Boson AI,继续押注下一代模型技术。在国内开发者群体里,他的号召力也少有同行能比:《动手学深度学习》是无数人的入门教材,技术分享动辄百万级播放。

这次他加入的 Aimotion,是一家总部在硅谷的公司,扎根汽车这类高价值、长决策周期的行业,做 AI 销售营销解决方案,业务覆盖美洲、欧洲和亚太。公司近期刚完成 BAI Capital 领投的 A 轮数千万美元融资。

这次合作的核心,是把 Boson AI 的底层模型能力和 Aimotion 的真实产业场景打通,做「产业级世界模型」。

和现在主流的物理仿真类世界模型不同,它建模的是商业规则、客户决策逻辑和业务因果关系,让 AI 能做场景推演、趋势预判和长周期任务规划。落到业务上,就是让 AI Agent 从被动问答的辅助工具,变成能自主执行复杂销售业务、直接创造收益的智能系统。

李沐本人的表态也很明确:AI 下一阶段的发展核心,在于深度落地复杂商业场景,充分释放下一代商业智能体的价值。Aimotion 方面表示,后续将择机公布技术和产品的最新进展。

从会聊天到会做生意,AI 落地这一步怎么走,沐神已经下注了。后续有新进展,我们第一时间跟进。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

马斯克SpaceX创造历史:「筷子夹火箭2.0」,星舰飞船首次被发射塔捕获

原创 机器之心 2026-11-15 10:29 辽宁

「让生命成为跨行星物种所需要的关键突破」

机器之心编辑部

今天凌晨,SpaceX 再次上演了堪称科幻电影的一幕。

在经历超过 22 小时的太空飞行、绕地球飞行 14 圈后,一艘高约 52 米的巨型飞船,重新穿过大气层,飞回美国得克萨斯州的星舰基地。

在距离地面不远的地方,星舰重新点燃发动机,完成最后的翻转与减速,精准进入发射塔两条巨大机械臂之间。随后,发动机关闭,机械臂稳稳接住飞船。

这是人类首次成功用发射塔机械臂捕获一艘从地球轨道返回的星舰,也意味着 SpaceX 距离完全可重复使用的轨道运输系统,又近了一大步。

发射前,马斯克曾在 X 上表示,SpaceX 将尝试同时捕获超重型助推器和星舰上面级。如果两者都成功,将意味着一套轨道火箭的所有主要飞行部分首次完整返回地球。

他将其称为「让生命成为跨行星物种所需要的关键突破」。

不过,SpaceX 此次并未实现预期中的「双回收」。超重型助推器在返回过程中出现异常,最终坠入墨西哥湾。真正创造历史的,是星舰上面级(upper stage)。

从太空返回,再被「筷子」接住

有多难?

过去十多年,SpaceX 已经通过猎鹰 9 号证明,火箭不是只能使用一次。

发射后,猎鹰 9 号的一级助推器可以重新点火、减速并垂直着陆,经过检查和翻修后再次执行任务。这项技术极大改变了商业航天的成本结构。

但猎鹰 9 号始终存在一个限制:它的第二级火箭无法回收。

SpaceX 的星舰,则希望把这种重复使用能力扩展到整套运载系统。

完整的星舰系统高约 124 米,由下方搭载 33 台猛禽发动机的超重型助推器,以及上方的星舰飞船组成。

按照设计,超重型助推器负责将星舰送向太空,随后返回发射场;星舰继续加速入轨,部署卫星或执行其他任务,最后同样返回地球。

两部分都可以重复使用,才有机会让航天运输逐渐接近民航客机的运营模式。

但难点在于,从太空返回一艘飞船,比回收一级助推器复杂得多。

一级助推器在相对较低的速度下分离,经历的返回过程相对短暂。而进入近地轨道的星舰,飞行速度达到每秒约 7.8 公里。要让这样一个庞然大物安全返回,必须同时解决高速再入、热防护、姿态控制和精准着陆等一系列难题。

其中最棘手的,首先是热防护。

当星舰以轨道速度重新进入大气层,前方空气被剧烈压缩,形成极高温气流。飞船需要依靠覆盖在迎风侧的数千块隔热瓦,保护不锈钢箭体免受高温破坏。

这些隔热瓦既要承受发射时的剧烈振动,又要经历太空环境和高速再入,还必须尽可能保持完整。

此前多次试飞中,SpaceX 一直在测试隔热瓦的可靠性,甚至主动移除部分瓦片,观察局部区域在极端高温下的表现。

此次第 15 次试飞,SpaceX 进一步改进了隔热瓦固定方式,并采用新的弧形隔热瓦设计,试图降低瓦片缝隙之间的局部加热。

有意思的是,星舰本次还部署了 26 颗星链 V3 卫星,其中部分卫星搭载专用相机,用于从外部检查星舰隔热盾的状态。

换句话说,星舰送上太空的卫星,还要反过来帮助检查这艘飞船能否安全返回。

而在熬过最危险的再入阶段后,另一场极限操作才刚刚开始。

星舰并不是像传统火箭一样,始终保持尾部朝下的姿态降落。它会先以近似腹部迎风的姿态下降,利用巨大的舰体增加空气阻力,同时通过前后四片襟翼调整飞行姿态和轨迹。

这种方式被称为「腹部下落」(Belly Flop)。

当飞船接近地面时,猛禽发动机重新点火,通过推力快速将舰体翻转至垂直姿态,再不断调整推力和位置,最终进入发射塔两条机械臂之间。

这就是外界熟悉的「筷子夹火箭」。

听起来像是一场高难度杂技,但背后涉及发动机推力控制、导航定位、姿态调整以及机械臂控制等多个系统的协同工作。

为什么非要采用这种看起来相当冒险的方式?原因是重量与效率。

传统着陆腿会增加火箭自身的结构质量,影响运载能力。让地面发射塔承担支撑和捕获任务,可以减少飞船需要携带的额外结构。

更重要的是,飞船直接返回发射塔,还可能省去海上回收、运输和重新吊装等繁琐环节。

当然,这也让回收过程变得更加危险。一旦飞船在最后几秒出现重大偏差,不仅可能损失飞船,还可能破坏昂贵的发射塔。

因此,SpaceX 为本次任务设置了多个状态检查节点,并预留了海上备降方案。只有飞船和地面设施均满足条件,才会继续执行机械臂捕获。

最终,这艘星舰成功完成了从轨道飞行、大气层再入到发射塔捕获的整套流程。

此前,SpaceX 已多次实现超重型助推器的机械臂捕获,但从轨道返回的上面级,直到这一次才真正被接住。

距离完全复用

还有最后几道关卡

值得注意的是,同一次发射中,超重型助推器却遭遇了回收失败。

发射后约 6 分钟,助推器在返回过程中出现异常,未能满足返回发射塔的条件。飞行控制系统随后取消捕获,让其飞向墨西哥湾预设区域。

马斯克在 X 上解释称,助推器当时的推进剂余量略有不足,初步推测可能与部分发动机性能低于预期有关。

他提出了两个可能的改进方向:提升猛禽发动机的性能和一致性,以及调整发动机关机时机,保留更多返回推进剂。不过,最终原因仍需要完整分析遥测数据。

这也暴露了完全复用的一项核心挑战:火箭既要尽可能提高运载效率,又必须留出足够的推进剂用于返回。

多留一些推进剂,意味着有效载荷可能减少;留得太少,又可能因为发动机性能波动而失去回收能力。

但相比之下,星舰上面级这次所验证的技术更具突破性。

此前,SpaceX 已经证明一级火箭可以重复使用。真正需要攻克的难题,是让完成轨道任务的上面级也能完整返回。

当然,成功回收与完全复用,仍然是两个概念。

接下来,SpaceX 还需要证明:回收后的星舰能够再次飞行,隔热瓦可以承受多次高温再入,发动机和飞行控制系统具有足够高的可靠性,而且检查、翻修和重新加注推进剂的过程足够高效。

否则,即使每次都能成功回收,如果维护成本依然高昂、准备周期依然漫长,星舰也很难真正实现高频运营。

星舰回收

改变的不只是航天发射

SpaceX 一直试图改变航天产业的一个基本逻辑:如果飞机每飞一次就要报废,今天的航空运输会昂贵到什么程度?

火箭长期面临的,正是类似的问题。

猎鹰 9 号通过一级重复使用,已经改变了商业航天的经济性。而星舰希望更进一步,让整个运载系统都可以重复使用。

如果未来星舰能够在较短时间内完成检查、加注和再次发射,火箭制造成本就可以分摊到更多任务中,单次入轨运输的成本也有望进一步降低。

最直接受益的,可能就是 SpaceX 自己的星链网络。

本次试飞除了完成回收,还成功部署了 26 颗星链 V3 卫星。按照 SpaceX 公布的数据,这批卫星提供的网络容量,约相当于猎鹰 9 号执行 10 次星链 V2 Mini 卫星发射任务。

未来一旦星舰实现高频运营,SpaceX 就有可能以更低的运输成本,将更大规模、更高性能的卫星送入轨道。

而在星链之外,太空数据中心、大型轨道基础设施以及深空运输等构想,也都需要强大的低成本运载能力。

更远的目标,则是月球和火星。

NASA 已选择星舰作为阿尔忒弥斯计划的载人月球着陆系统方案之一。但真正执行登月任务之前,SpaceX 还必须解决在轨推进剂转移、大规模低温推进剂储存和深空飞行等技术难题。

这意味着,星舰首次被机械臂接住,远远不是终点。

从 2023 年首次整体试飞,到 2024 年首次捕获超重型助推器,再到今天成功接住从轨道返回的星舰,SpaceX 正在逐步将那些看起来疯狂的工程设想变成现实。

但对于马斯克所期待的未来,真正的分水岭或许还在后面。

当同一艘星舰能够第二次、第三次乃至更多次飞向太空,当火箭回收不再是一条全球科技新闻,而成为航天发射的日常操作时,SpaceX 才真正接近它想要实现的未来。

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

Agent如何越用越强?中科院自动化所、美团等推出RSI综述

机器之心 2026-11-15 10:29 辽宁

LLM Agent 递归自我改进综述

从 Prompt 优化到 Harness 进化,梳理 RSI 的发展趋势,用三个问题、七步生命周期,理解 Agent 如何把经验转化为持续改进。

想象这样一个场景:一个编程 Agent 调用 API 时遇到报错,发现接口参数已经更新。经过几轮尝试,它终于修复了问题。

但到了下一个任务,它还会不会犯同样的错误?这次修复能否沉淀为一条规则、一段记忆或一项技能?再遇到新的问题时,过去的经验能否帮助它更快找到原因、提出更有效的修改?

这些问题,正是 Agent 递归自我改进(Recursive Self-Improvement,RSI)研究关注的内容。

近日,中国科学院自动化研究所、美团联合山东大学、中国人民大学、中科院微电子所、上海交通大学、理想汽车等多家单位,推出 LLM Agent 递归自我改进综述。

综述围绕 Prompt 优化、Memory 进化、Skill 进化和 Harness 进化四条主线,梳理 Agent 如何利用交互经验改变自身。论文选取 40 项代表性研究绘制研究全景,并对 20 项研究中的具体更新闭环展开对照分析,将分散在不同方向的方法放进同一套框架:

什么时候应该改?应该改哪里?怎样把经验变成经过验证、能够长期使用的改进?

01 模型权重不变,Agent 也能积累能力

Agent 在完成任务时,会留下工具调用记录、执行结果、用户纠正和失败后的修复过程。这些信息可以成为下一次行动的依据,也可以用于修改 Agent 自身的组成部分。

例如,把一条被反复验证有效的约束写进 Prompt;把用户更新的信息存入 Memory;把成功的操作流程整理为 Skill;或者根据重复出现的失败,调整 Harness 中的工具接口和检查逻辑。

即使执行任务的大模型权重保持不变,Agent 的行为也可能随着这些外部组件的更新而改善。综述重点讨论的就是这类机制,同时也分析了部分结合模型训练的方法。

其中,「递归」还带来了一层要求:保留下来的经验和组件,可以参与后续修改的诊断、生成或筛选。例如,上一次修复的记录,可以帮助系统定位下一次失败;已有的更新经验,也可以帮助它选择更有效的修改策略。

这就把研究问题推进了一步:除了让 Agent 更会完成任务,还要研究它能否更有效地改进自己。

02 三个问题,理解 Agent 自进化的关键

围绕经验如何转化为长期有效的指令、记忆、流程和运行规则,论文提出三个相互关联的问题。

When:什么时候更新,什么时候继续保留?

任务失败、新信息到来或工具接口变化,都可能触发更新。但一个修改是否值得保留,需要进一步检查;后续任务中的表现,则决定它应当继续使用、再次修订,还是停止使用。

Where:问题出在哪里,应该修改哪个组件?

同一次失败可能有不同原因:指令没说清楚、信息已经过期、操作步骤缺失,或者运行机制允许 Agent 跳过必要检查。修改位置需要由执行证据支持。

这四类组件按内容在执行中发挥的作用划分,可以协同工作。例如,同一条 API 规则,可以写入指令、作为记忆检索、封装成调用流程,也可以转化为调用前的参数校验。

How:怎样从经验中提炼修改,再验证并保留下来?

执行日志需要经过分析,才能形成适用范围明确的规则或流程。候选修改还要接受效果检验,检查是否修复了目标问题、是否影响原有能力,再决定如何纳入后续运行。

论文图 1|When、Where、How:经验如何成为 Agent 的结构。

03 四条进化主线,研究走到了哪一步?

四类组件为 Agent 提供了不同的改进位置。沿着各自的发展脉络,可以看到研究关注点如何从生成候选内容,扩展到利用反馈修订、选择和长期维护。

论文图 4|Prompt、Memory、Skill 与 Harness 的代表性研究全景。

Prompt 优化:从搜索更好的指令,到改进指令的生成方式

Prompt 优化的演进经历了三次重心转移。

最初的问题是:能否自动找到一条比人工撰写更好的指令?早期方法通过生成大量候选指令、在任务上评测、保留得分最高的版本来回答这个问题。它们本质上是在指令空间里做搜索。

随后,研究者发现,仅靠打分排序不够——如果能利用失败案例的具体反馈来修改指令,改进会更有针对性。于是出现了一类方法:先从错误中生成文字批评或梯度信号,再据此修订指令。反馈的来源也从简单的正确/错误,扩展到编译报错、执行轨迹等更丰富的结构化信号。

最新的进展则把优化对象推进了一层:不只优化「给任务 Agent 的指令」,而是优化「负责生成指令的那个 Agent」本身的提示词。先让优化器学会如何更好地修改指令,再用这个改进过的优化器去提升目标 Agent。

这条主线逐步深入到两个层面:任务指令如何变得更有效,以及产生新指令的方式如何得到改进。

Memory 进化:从记住过去,到管理经验的有效性

记忆机制的演进,回应的是一个实际问题:Agent 与环境交互越多,积累的信息越多,但并非所有信息都应被同等对待。

最初,记忆解决的是容量问题——上下文窗口放不下全部历史,需要把信息存到外部,按需取回。进一步地,系统开始从成功和失败经历中提炼可复用的经验规则,而不只是存储原始记录。

当记忆条目变多,新的问题浮现:信息之间可能矛盾,同一条事实可能已经过期。例如,用户搬家后,配送任务应使用新地址,而查询过去的居住信息时仍需要旧地址。这不是简单的覆盖旧记忆,而是需要管理信息适用于谁、在什么时间有效。近期研究开始为记忆建立关联结构、标记时效、支持增删改查。

更进一步的问题是:一条记忆被检索出来,不代表它真的有用。最新工作尝试根据后续任务的实际反馈,动态调整记忆的效用估计,让检索选择参考真实使用效果,而非仅凭语义相似度。

Memory 的进化由此覆盖了内容、组织方式,以及经验如何被选中和使用。

Skill 进化:从复用一次成功,到维护一套可用的能力

Skill 将经验组织成可以选择和执行的操作流程。它通常需要说明适用条件、输入、步骤和结果要求,让 Agent 在相似任务中复用。

最早的做法很直观:Agent 完成一个任务后,把成功的操作序列保存为一段可执行程序,下次遇到类似任务时直接调用。这解决了「如何复用一次成功」的问题。

但技能库用起来以后,新的挑战接踵而来。一方面,单项技能可能不完善——缺少某个步骤、未处理边界情况,或者因环境变化而失效。近期工作开始从成功和失败的执行轨迹中提炼修复建议,持续修订已有技能。另一方面,技能越积越多后,系统还要处理重复、冲突和选择困难。一次失败可能来自选错了技能、技能缺少关键步骤,或者执行时跳过了步骤,这三者需要分别诊断和处理。

因此,一些方法开始训练独立的技能管理者,专门负责学习何时增加、修订或淘汰技能。还有工作通过移除实验,暂时删去某项技能再观察表现变化,来判断它是否仍在发挥作用。

Skill 进化同时涉及单项技能的质量,以及整个技能库能否持续保持可用。

Harness 进化:让 Agent 的运行框架也能接受反馈

Harness 可以理解为组织模型、工具、上下文、执行状态和检查机制的运行框架。它决定信息如何进入模型、工具如何被调用、出错后如何继续,以及什么条件下可以交付结果。

此前的研究已经表明,执行接口的设计对 Agent 行为有重要影响——同一个模型在不同的 Harness 下,表现可能截然不同。但 Harness 通常由工程师手工设计和调优。近期工作的核心进展在于:让 Harness 本身也成为经验驱动的修改对象。

一个直观的例子:如果 Agent 修改代码后经常跳过测试,系统可以在 Harness 中自动增加一条完成检查:要求当前补丁对应的测试全部通过,才允许报告完成。这不是修改 Agent 的指令或记忆,而是直接修改它的运行规则。

实现这一点需要闭环:从失败轨迹中提出针对性的 Harness 修改,通过回归测试筛选候选方案,再根据后续轮次的实际效果决定保留还是回滚。更进一步,一些方法还将成功的修改经验保留下来,让改进器在后续修改中参考过去的有效策略。

这让研究从「改善任务执行的框架」,进一步走向「改善产生下一次修改的过程」。

04 七步生命周期,一段报错怎样变成可复用的改进?

为了比较不同方向的更新机制,论文将经验转化过程拆解为七种分析功能,构成一套生命周期框架。

继续看 API 参数变更的例子,这七步分别承担什么作用?

  1. Collect|收集:保存任务、调用参数、接口报错和执行结果,为后续分析保留依据。

  2. Evaluate|评估:判断这次调用是否完成目标,识别失败结果与相关反馈。

  3. Diagnose|诊断:定位原因,例如已有指令仍在使用旧字段,并判断应修改哪些组件。

  4. Abstract|提炼:从具体错误中提炼可复用规则,例如「不同 API 版本需要使用不同字段」。

  5. Update|更新:将规则落实为候选 Prompt、Memory、Skill 或 Harness 修改。

  6. Verify|验证:测试新版调用能否成功,同时检查旧版合法调用是否仍然有效,排查回归问题。

  7. Consolidate|整合保留:选择有依据的修改,记录适用条件和版本信息,供后续任务及更新使用。

其中,Evaluate 评估已有执行,Verify 验证候选修改。前者帮助系统理解发生了什么,后者帮助判断改动是否有效。

七步为分析和设计更新闭环提供共同语言,具体系统可以合并、反复执行或省略部分环节。论文对 20 个更新闭环的比较,也展示了不同方法在诊断、验证和保留决策上的差异。

论文图 2|四类组件与七步生命周期,以及保留经验对后续执行和改进的作用。

05 持续进化,难在后面的每一轮

随着 Agent 长期运行,经验会增加,任务、工具和模型也会变化。综述进一步指出了几个需要解决的问题。

首先是跨组件归因。一次工具调用失败,可能同时涉及过期记忆、缺失步骤和不完善的参数检查。系统需要判断各个组件的作用,确定是否应当协调更新。

其次是长期维护。今天有效的规则,可能在接口升级后失效;曾经有用的技能,可能逐渐与其他技能重复。持续进化需要处理合并、修订、退役和回滚,并付出相应的维护成本。

更关键的是独立验证。任务得分提高,可以说明某项更新在当前设置下有帮助。要进一步说明继承的经验让后续改进更有效,需要在相同起点、任务、反馈与计算预算下,对照有无这些经验时产生的后续修改,并用未参与候选筛选的任务检验效果。

从 Prompt 到 Harness,这篇综述展示了 Agent 从经验中改变自身的多种路径,也给出了比较这些路径的共同视角。

三个问题决定何时改、改哪里、如何改;七步生命周期则帮助追踪,一段经验如何成为能够被验证、复用和继续修订的系统组成部分。

Agent 能否持续进化,最终要看每一轮更新留下了什么,这些内容能否帮助后续任务,以及能否为下一轮改进提供更可靠的依据。

作者信息

第一署名单位:中国科学院自动化研究所(复杂系统认知与决策重点实验室范国梁课题组)。

第一作者:戴思齐,中国科学院自动化研究所复杂系统认知与决策重点实验室博士生。

共同第一作者、项目负责人:阮景晴,美团高级算法工程师。

通讯作者、项目负责人:张斌,中国科学院自动化研究所复杂系统认知与决策重点实验室助理研究员。

研究单位:中国科学院自动化研究所、美团、山东大学、华中科技大学、中国科学院计算技术研究所、理想汽车、中国人民大学、南洋理工大学、上海交通大学、中国科学院微电子研究所。

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

踢开具身Scaling的另一扇门:华为诺亚团队登顶Behavior Challenge 2026

机器之心 2026-11-14 11:34 山东

经典机器人方法,如何走向可扩展的知识体系?

机器之心发布

华为诺亚具身智能团队 The North Star 凭借 HiPhys-RSI 方案,在 BEHAVIOR-1K Challenge 2026 国际具身智能挑战赛中从全球 57 支参赛团队中脱颖而出,以绝对优势夺得冠军,在覆盖 100 项家庭任务的隐藏测试中取得约 0.683 的 Q-score 和 48.2% 的完整任务成功率。

本届赛事为第二届挑战赛,依托斯坦福大学李飞飞团队开发的 BEHAVIOR-1K 基准平台,与机器人领域顶级会议 CoRL 2026(11 月 9 日至 12 日)联动开展,围绕整理、清洁等真实家庭需求,综合评测机器人的高层推理、跨房间导航与双臂精细操作能力。

李飞飞本人也在社交媒体发帖称,机器人学习正在取得令人瞩目的进展,并邀请更多研究者关注 CoRL 2026 的 BEHAVIOR Challenge。

与去年相比,2026 年挑战赛在多个维度实现显著跃升:基准规模扩大 2 倍(任务从 50 项增至 100 项、场景从 3 个增至 7 个),参与度提升 3 倍(参赛者从 96 人增至 265 人、参赛提交从 18 份增至 57 份)。同时,最佳完整任务成功率从 12% 提升至 48%,达到上一届的 4 倍。

作为检验具身智能系统综合能力的高门槛 “试金石”,BEHAVIOR-1K 聚焦长时序任务,与侧重场景泛化的 Robodojo 并列 T0 级具身智能榜单。相较于短时抓取和单一技能评测,该挑战要求机器人依靠机载视觉、深度及本体感知信息,在数分钟级长时序任务中连续完成多物体交互、状态变化处理与多技能协同,对任务规划、感知与动作协同及执行稳定性提出严苛要求。

12 个任务成功 rollout。

要应对这类长时序、多技能协同的复杂挑战,当前业界仍主要沿用 AI 领域最熟悉的 Scaling 路径,即更大的模型、更多的数据、更高的计算投入。

AI 发展中还有另一条能力增长路径:积累知识、规则和操作流程,让系统掌握可推理、组合和执行的方法。早期符号 AI 长期探索这一路径,机器人领域也积累了丰富的感知、规划与控制工具。

当大模型已经能够编写程序、使用工具,并根据执行结果修改方案,这两条路径之间,是否出现了新的连接?

团队在冠军方案技术报告《Scaling by Structure: What Forms Can Scaling Take in Embodied AI?》中,提出了一个更广义的 Scaling 问题:具身智能能否通过构建和改进结构化、可执行的知识与技能,持续扩展能力?

这项工作将可执行程序及其背后的工具、约束和经验,作为能力积累的载体。编程智能体构建、检验和改进这些结构,机器人通过它们完成任务,产生的轨迹又支持视觉 — 语言 — 动作模型(VLA)训练。

让 “系统掌握了多少可执行技能”,也成为具身智能能力增长的一个维度。

经典机器人方法,

如何走向可扩展的知识体系?

机器人领域已经拥有大量有效方法。几何推理处理空间关系和碰撞,SLAM 支持定位与建图,任务与运动规划连接逻辑决策和动作可行性,反馈控制不断纠正执行误差。

这些方法各有适用条件。用于不同任务和环境时,需要组织信息流、连接模块接口、设计操作顺序,并根据物体几何和场景约束调整策略。场景变化后,原有流程可能需要新的抓取方式、动作顺序或恢复机制。

这也构成了结构化机器人系统扩展能力时的关键瓶颈:随着任务增加,构建和维护解决方案所需的人工投入也在增长。

编程智能体提供了自动化承担其中一部分工作的可能。它可以读取执行日志、分析视频、定位失败、修改工具与程序,再运行验证。有效的改进被保留下来,成为后续任务可以调用和调整的知识。

由此,泛化也多了一层含义:系统可以利用已有工具和经验,为新任务构建、适配解决方案。

这种能力的扩展潜力,既取决于覆盖的任务数量,也取决于每增加一项任务所需的工程与交互成本。报告通过实验考察了这两方面。

HiPhys-RSI:把交互经验变成可执行结构

团队提出 Hierarchical Physical Recursive Self-Improvemen (HiPhys-RSI),即分层物理递归自我改进框架。它以参数冻结的编程智能体及视觉语言模型(VLM)为基础,在训练实例中构建并改进自主执行的机器人流水线。

图 1|HiPhys-RSI 总体框架。智能体通过任务体验、程序构建、执行分析和迭代改进积累可执行知识;推理时根据任务条件选择已有流水线或 VLA 策略。(报告图 1)

首先,智能体阅读任务说明与参考示范,并通过工具调用获得交互经验:哪些操作有效,步骤之间有哪些依赖,什么样的观测能够说明任务取得进展。

随后,这些经验被组织成程序。感知输出如何用于规划、控制器何时执行、失败后如何处理,都通过明确的信息流和条件逻辑连接起来。构建完成的流水线可以根据自身的检查和分支逻辑自主执行。

执行结果再进入下一轮分析。日志说明程序调用了什么,视频揭示物理世界实际发生了什么:轨迹执行完毕,物体是否真的移动到位?抓取指令返回成功,物体是否仍然留在桌面?智能体结合这些证据,定位需要修改的模块和策略。

改进既可以发生在高层的工具选择、步骤编排和恢复逻辑,也可以深入到底层工具实现。构建阶段还可以引入人工纠正,为复杂问题提供指导。经过验证的程序与经验被保留,并能够作为后续任务的可复用组件。

同一案例的真实迭代记录,包含失败现象、修改内容和再次执行结果;注明人工参与环节。

在这一过程中,编程智能体和 VLM 的参数保持冻结,改进存储在可执行程序和结构化知识中。最终系统通过能力卡记录各流水线和 VLA 的适用条件、历史表现及已知困难,在推理时选择合适的执行组件。

从工具,到流程,再到可以复用和组合的流程,结构化知识得以逐层积累。

100 项家庭任务,比较两种能力增长方式

团队在 BEHAVIOR-1K 的复杂家庭仿真环境中研究这条路径。评测覆盖 100 项任务、八类能力,涉及移动取物、摆放与分类、精细操作、工具使用、倾倒、设备操作以及物体加工。

这些任务需要持续协调感知、决策和动作。找到目标后能否接近,抓稳物体后能否搬运,完成一步后能否继续下一步,都会影响最终结果。

团队以 2025 年 BEHAVIOR Challenge 冠军方案为基础,适配并比较三组 VLA 设置:在全部 100 项任务的示范数据上联合训练一个 epoch(Meta-1-Epoch);从该检查点出发进行逐任务后训练(Per-Task Post-Training);以及在相同的全任务示范数据上联合训练两个 epoch(Meta-2-Epochs)。一个 epoch 指完整遍历一轮训练数据。

逐任务后训练将基准示范与程序生成的轨迹混合,为每项任务训练独立策略,并引入深度、相对机器人位置的几何信息等三维输入。因此,其效果同时涉及任务适配、数据补充与表征变化。三组 VLA 既作为单独执行任务的对照,也作为最终系统推理时可选择的策略。

图 2|三组 VLA 与 HiPhys-RSI 的 100 项任务表现对比。每根径向柱代表一项任务得分;A–H 依次对应移动取物、一般摆放、匹配放置、精细操作、工具使用、倾倒、设备操作和物体加工。(技术报告图 2)

在报告的实验中,HiPhys-RSI 最终混合系统在几乎所有任务上取得了高于所比较 VLA 方案的得分,优势覆盖全部八类任务。

不同 VLA 设置体现了训练方式的作用。在当前配置下,额外一个 epoch 的全任务联合训练带来的增益相对有限;逐任务后训练提高了部分任务表现,但各类别的能力强弱分布总体仍然保留。这些结果反映的是本次实验条件下各配置的表现。

结构化系统则通过显式分工处理这些任务要求:感知与建图模块提供场景信息,程序组织任务逻辑和约束,专门的规划与控制方法完成动作。编程智能体根据反馈调整它们的组合与实现,使已有机器人知识能够适应更多任务条件。

实验将 Scaling 的讨论扩展到整个系统:训练如何增加策略能力,结构又如何组织和扩展已有能力。

结构如何 Scale:从能力组合,到策略发现

最终得分之外,一个更关键的问题是:结构化知识的增长过程是什么样的?

图 3|流水线改进过程。左:整体任务得分随迭代变化;中:各任务需要的迭代次数;右:不同技能在流水线中的使用频率。(报告图 3)

报告中的曲线呈现出三个阶段:早期快速提升,随后进入平台期,再通过持续探索取得一定增益。

早期增长主要来自能力组合。许多问题可以通过修正工具配置、执行顺序和模块协同解决。原本已经具备的能力被有效组织起来,系统便能覆盖大量任务。

当这些问题逐渐解决,剩余任务需要更深入的策略探索。继续调整原有方案的参数,收益可能已经有限;新的进展开始依赖不同的接触方式、准备动作和操作顺序。部分后期增益来自发现参考示范中没有出现的、更稳定的操作办法。

Task 38,优先提供原策略与改进策略的真实对照,突出接触方式、准备动作和操作顺序的变化。

平台期因此可能标志着改进方式的变化:从把已有能力接好,走向探索新的解法。

结构化 Scaling 因而同时涉及通用能力的复用,以及特殊瓶颈的突破。覆盖更多困难任务所需的投入,可能比任务数量增长得更快,如何分配改进预算也随之成为重要问题。

结构能否迁移,进一步改进又受什么限制?

隐藏评测检验程序能否迁移到开发之外的新实例。多数任务的 Q-score 有所下降,其中大部分降幅低于 0.2;部分任务保持相近表现或取得更高得分,体现出一定的跨实例迁移能力。这里考察的是已知任务在不同初始条件下的表现。

图 4|隐藏评测与此前报告的 Q-score 之差(Qhidden − Qreported)。每根柱对应一项任务;正值表示隐藏评测得分更高,负值表示下降。(技术报告图 5)

较大的降幅主要出现在依赖目标搜索的任务中。物体初始位置变化、遮挡和难以接近的区域,都可能显著增加搜索与操作成本。部分任务的评分条件较少,甚至采用二元评分,单个条件未满足就会造成较大的得分变化;每项任务仅有 10 个测试实例,也带来一定采样波动。

失败模式揭示了进一步改进的瓶颈。在 VLA 基线的失败类型排序中,抓取与放置位居前列;HiPhys-RSI 中排在前列的则是抓取与超时,放置、关节物体操作和物体掉落的排序相对靠后。

图 5|失败模式对比。柱内数字表示该模式在各方法中的频次排名。抓取仍是共同难点,HiPhys-RSI 中超时和导航问题也较突出。各类别并非互斥,同一次执行可能出现多个失败模式。(技术报告图 6)

目标藏在不可见的位置,或者通道与操作空间过于狭窄时,反复搜索和规划会持续消耗执行预算。代码改进仍然受到当前感知能力、搜索策略、物理可达性和执行时间的限制。这说明,结构的积累可以解决许多协调与执行问题,而持续增长也需要进一步改善这些底层能力与环境交互方式。

新的操作策略,怎样成为系统知识?

具体案例展示了结构化知识的内容。通过智能体提出方案与人工引导改进,系统形成了一些适应不同任务的操作方式。

图 6|程序构建与改进中形成的操作策略。上排:木头支撑几何调整、喷壶预处理;中排:锅沿抓取、扫描仪操作与移动;下排:借助盒子支撑纸袋、从车斗前沿搬运独轮车。木头任务也用于后文的评测漏洞分析。(技术报告图 7)

锅柄难以接近时,机器人抓住近侧锅沿,保持锅体水平,再将其搬到炉灶上。独轮车把手被阻挡时,机器人从车轮一侧接近,以双手抓住前部车斗边缘完成搬运。

喷壶直立时难以抓取和启动,系统先改变其姿态,再从更合适的方向操作。外卖打包时,机器人先将空纸袋立在盒子里,再放入汉堡,利用环境支撑降低操作难度。扫描仪则可以先在桌面上启动,再根据位置条件选择推移或抓取搬运。

Task 81 & Task 92,展示准备动作、操作顺序与最终效果。

这些经验包含接触点选择、物体状态调整、环境支撑利用和动作顺序安排。它们被写进程序后,可以在自主执行中再次使用。

更广的策略,也会暴露任务评分中的缺口。在堆木头任务中,系统将木头组成独立的配对,满足了接触条件,却没有形成预期的木堆,是较典型的评测漏洞利用。另一个案例是在冰箱内直接切食物:它获得部分分数,却未完成后续转移目标,其行为既可能是有效中间步骤,也可能停留在获取容易分数的阶段。

图 7|策略探索暴露的评测问题。左:用独立木头配对满足接触条件;右:在冰箱内切食物获得部分分数,但未完成后续目标。(技术报告图 8)

这些观察也推动了对评测的反思:成功条件需要准确表达任务意图,同时保留合法替代方案的空间。系统能否自行判断阶段进展与任务完成,以及判断的准确性和时延,也值得作为独立能力进行评估。

让结构化经验与模型训练连接起来

程序改进产生的经验,还可以通过执行轨迹进入模型训练。

团队将流水线生成的观察 — 动作序列与基准示范混合,用于逐任务 VLA 后训练。程序探索中形成的操作方式与协调经验,由此成为学习策略可以利用的数据;训练得到的策略又与已有流水线一起,参与推理时的选择。

这为结构与策略的进一步协同演化提供了基础:更强的策略可以扩展后续系统构建时可用的能力,持续改进的流水线则可以继续产生训练经验。这种双向过程仍是值得深入探索的后续方向。

这份技术报告进一步提出:具身智能的能力增长,能够以多少种形式发生?

模型训练让经验进入参数,程序构建让经验成为可执行知识。编程智能体连接二者,使机器人领域积累的工具和方法能够通过自动化构建、验证与复用,服务于更广泛的任务。

Scaling by Structure 所探索的,正是这一维度:通过持续积累和改进结构化、可执行的知识,扩展整个具身系统的能力。

核心相关技术

[1] Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Ran Qi, Yixin Xiao, Mark Coates, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. RoboHarness: Memory-Driven Orchestration of Heterogeneous Robot Policies for Long-Horizon Planning. arXiv:2607.18060, 2026. ECCV 2026 Agent in the World Workshop Best Paper Award.

[2] Ran Qi, Yixin Xiao, Dawei Wang, Zhiyuan Li, Jinbang Huang, Xuan Zhao, Yintao Ma, Yangzheng Wu, Tongtong Cao, and Yingxue Zhang. RoboCoEvo: Expanding Robot Capabilities through Agent–Policy Co-Evolution. 2026. Preprint.

[3] Liheng Ma, Rui Heng Yang, Amin Abyaneh, George Z. Xue, Behnam Rahmati, Mateo Clemente, Ziwen Hu, Anlin Chen, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. Faster-WAM: Do World Action Models Need Deep Action Modules? arXiv:2608.02365, 2026.

[4] Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Zhanguang Zhang, Mark Coates, Xingyue Quan, and Yingxue Zhang. Self-CriTeach: LLM Self-Teaching and Self-Critiquing for Improving Robotic Planning via Automated Domain Generation. International Conference on Machine Learning (ICML), 2026.

[5] Jinbang Huang, Yuanzhao Hu, Zhiyuan Li, Ran Qi, Yixin Xiao, Yangzheng Wu, Tengyue Ba, Zhanguang Zhang, and Yingxue Zhang. StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation. arXiv:2609.20791, 2026.

相关链接

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

收购之后,李飞飞、苏姿丰首次同台对话,要点都在这里了

原创 机器之心 2026-11-14 11:34 山东

82 亿美元收购之后,李飞飞与苏姿丰首次在 CoRL 同台

编辑|Panda

「台下有谁需要算力吗?」

主持人 Peter Stone 刚把学术界的算力焦虑摆上桌面,AMD 董事长兼 CEO 苏姿丰就用一句反问接了过去。台下坐着的,是一屋子做机器人学习的学生和教授,他们大概是今天全世界最缺 GPU 的一群人。

这是 11 月 12 日下午,机器人学习顶会 CoRL 2026 在美国奥斯汀进入第三天。李飞飞刚做完一场关于世界模型的主旨演讲,随后与苏姿丰一同坐上了对谈席。

https://www.youtube.com/watch?v=vzyHMAlvglU

就在一个多月前的 9 月 28 日,AMD 宣布以约 82 亿美元的全股票交易收购李飞飞创办的 World Labs。交易预计在今年年底前完成交割,届时李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报。参阅报道《突发!World Labs 加入 AMD,李飞飞出任首席科学家》。

主持人 Peter Stone 是 UT Austin 计算机科学系主任、Texas Robotics 创始主任、Sony AI 首席科学家,也是本届 CoRL 的大会主席之一。他打趣说,要证明李飞飞是「超级明星」并不难:本届大会的另一位主席朱玉可是她带出来的博士,帮忙把会议办起来的 Roberto Martín-Martín 是她带过的博士后。

在约半小时的对谈里,三人从 AMD 的机器人布局一路聊到端到端基础模型的边界、学术界的算力短缺,以及在 AI 时代还该不该读博。用李飞飞的话说,这是一个「文明级技术」带来的「文明级时刻」。

「数千亿美元」的机会

和一位懂负载的首席科学家

Peter Stone 的第一个问题直截了当:AMD 在机器人和物理 AI 上看到的最大机会是什么,World Labs 又处在这盘棋的哪个位置?

苏姿丰先说了一句「飞飞邀请我来蹭你们的派对」,然后给出了她的判断:「我认为物理 AI,尤其是机器人,是一个巨大的机会。在我们看来,这是未来几年数千亿美元量级的机会。关键在于,你必须真正理解物理、模型以及整个环境。」

她把收购 World Labs 的逻辑归结为对「工作负载」的理解。「在我们这个行业,优化硬件要花很多年。你对工作负载理解得越深,对技术走向看得越清楚,就越能做好。硬件、软件、系统协同优化的理念,在机器人领域同样适用。未来五到十年,这将是一个极其重要的领域。」

李飞飞则从两人的私交说起。她说自己和苏姿丰相识快十年了,「回看 Lisa 这十年为 AMD、为整个计算世界所做的事,一直到今天这个 AI 爆发的时代,真的令人叹为观止。」

接着她抛出了一个后来在对谈中反复出现的观点:「AI 中建模与计算之间的关系已经发生了根本性的变化。现在走到世界各地,常有人问我 AI 到底是什么。我的回答是:AI 就是计算,计算就是 AI。」

在她看来,无论是世界模型还是语言模型,各类多模态模型正在走向融合,而这「需要硬件与软件的协同演化、协同设计」。她还特意对台下的学生补充了一层意思:AI 不只是一个有待攻克的问题,也正在变成做科学的工具,「我们正处在一个非常激动人心的团队科学时代」,World Labs 与 AMD 的结合正是这种团队科学的一次实践。

基础模型会「端到端」解决机器人问题吗?

Peter Stone 提到,这届 CoRL 设置了一个 late-breaking papers 环节,把半年前投稿的论文和一个月前投稿的论文放在一起看,技术上的变化一目了然。于是他问了一个整个领域都关心的问题:LLM 等基础模型和视频生成模型已经在机器人上跑出了效果,未来驱动机器人的,还会是分层、分模块各自研发的系统吗?还是基础模型能端到端地一路走到底?

李飞飞的回答以一句「我们要在智识上保持诚实」开头。

「前沿实验室拿出的成果,包括本届大会上发布的一些成果,确实令人惊叹。我们正处在看到拐点的早期阶段,还有大量东西有待探索。我认为由 VLM 或 LLM 驱动的机器人会扮演越来越重要的角色。但在机器人和物理 AI 里,仍有很多问题,我们至今不清楚是否找到了根本性的解法。」

她给出的预测是:「明年的 CoRL 会非常不一样。」她提到自己过去两周一直在看 BEHAVIOR 挑战赛的结果,「变化的速度令人难以置信,我不认为我们已经看到了终点。」

https://huggingface.co/spaces/behavior-1k/2026-challenge-leaderboard

作为研究者,她坦承自己也处在一种紧绷状态:「押注哪个方向,多少有点让人神经紧张。但这同时也非常令人兴奋,因为我们正从多个方向看到信号,有机会把这些潜在的方法结合起来。」

苏姿丰当天有些感冒,她的补充更偏产业视角:「在很多垂直应用里,我们看到的是,并不存在唯一的模型或唯一的方向。面对现实中的各类应用,你需要非常多样的模型。」她认为,有些场景前沿大模型会表现很好,「但我想也会有一些场景,更专用的模型在成本上更划算、在功耗上更高效,最终延迟也更低。」

「机器人会把算力推向下一个台阶」

话题自然转向了算力。Peter Stone 指出,训练模型需要海量算力,而机器人一旦部署,又要在严苛的功耗约束下实时完成感知、推理和行动。那么,机器人从根本上是不是一个系统问题?

苏姿丰正是在这里抛出了开头那句「台下有谁需要算力吗」。随后她认真作答:「算力是基础。以我们今天所处的位置来看,它在很多方面确实等同于智能。」

「我在计算领域干了 30 年,跟你们比算是老人了。但说真的,从来没有哪个时刻比现在更好、更重要。我们在每一个层级都需要算力:在云端训练超大模型,在企业里,在机器人变得如此重要的边缘环境里,还有我们身处的物理环境里。」

她的结论是,模型会有各种尺寸,算力也会有各种尺寸,「但从根本上说,这是一个解决方案问题:硬件、软件、系统一起优化,以尽可能高效的方式解决问题。」

李飞飞紧接着补了一句,让苏姿丰当场回应「我喜欢这个说法」:「既然身在机器人会议,我想说,而且不是因为我在 CoRL 才这么说,我是真心相信:机器人会把算力推向下一个台阶。机器人的进展一直落后于 LLM,因为它是个难题,还要和物理世界打交道。但我们现在看到的拐点是真实的。我没法准确预测斜率,但我们肯定处在上升趋势里,它会以各种形态大规模拉动算力需求,不只在训练端,也在边缘端。」

公共部门的「算力饥荒」

在台下的学生和教授听来,接下来这个问题大概最切身:怎样才能让研究者、创业公司和学生更容易做前沿机器人研究?

李飞飞先说「这个问题我交给 Lisa 回答」,但随即话锋一转,说出了全场最尖锐的一段话。她提到,自己和 Peter Stone 多年来一直在为公共部门争取算力,早在 2019 年就和一些同行一起推动了 NAIRR(国家人工智能研究资源)法案。

「我就直说了:没能给公共部门提供足够的资源,是 AI 历史上最重要的时刻里最大的失误之一。」

她解释说,公共部门包括大学研究者,也包括非营利机构,「这是创新的第一阶段。这个国家的创新引擎,始于公共部门那些天马行空、由好奇心驱动的研究。我们还在为下一代发明者和劳动力培养学生。而现在,AI 领域的公共部门正处于严重的饥荒之中。我们必须解决这个问题,因为我们需要投资未来。」

她还把这件事和负责任的 AI 联系起来:「无论是安全还是安保,公共部门都必须在理解和评测 AI 上发挥关键作用,向公众、也向政府说清楚这些 AI 模型好的、坏的和丑陋的一面。」

轮到苏姿丰,她先开了个玩笑:「我觉得你们应该去问问 AMD 的首席科学家该怎么做。」然后表态:「我百分之百同意飞飞说的。我们正在建设数量惊人的算力,可以说是很多个吉瓦。坦白讲,现在需求远远超过供给。但拿出其中一部分专门用于长期研究、用于大学,确保下一代创新者真正用得上算力,这绝对是我们作为行业领导者的职责之一。」

她说自己刚才那句玩笑「并不完全是玩笑」,自己如此高兴李飞飞以首席科学家身份加入,正是因为 AI 虽然进步巨大,但仍处在非常早期的阶段。「机器人是我认为我们已经很接近、但还没有真正展示出回报的领域之一。我希望 AMD,我相信业内其他公司也一样,能帮助把这个承诺变成现实。」

AMD 有机器人团队吗?

现场 Slido 上得票最高的问题是:AMD 会不会组建一支机器人团队?

苏姿丰反问:「你们是默认我们还没有吗?」

「看来这件事知道的人不如应该的多。我们其实有一支规模相当不错的物理 AI 暨机器人研究团队,虽然还处于非常早期的阶段。」她解释说,从计算栈的角度看,AMD 已经提供了很多进入机器人的嵌入式组件,包括 FPGA、嵌入式处理器和 AI 引擎,今天工业场景里的很多机器人就由它们控制。但面对在座研究者正在做的那类机器人,「我认为我们还处在非常早期的阶段」。

她明确表示,李飞飞在 AMD 的新角色,有一部分就是要大力投入机器人研究,并经营整个生态的合作关系。「我坚信,到头来没有哪一家公司能包揽整个技术栈。这就是为什么今天创业公司在做那么多事情。有产业实验室,有大学,也有大公司,你要的是集各家之所长。」开放的生态、强大的硬件、能在不同层级组合的软件,加上不同实验室各做各的事,在她看来就是加速机器人发展的方式。

至于会不会组建团队,主持人说「我们不会追究你的答案」,苏姿丰笑着回答:「那我就说『会』,这很容易。」

AI 时代,还要不要读博?

很多学生在会上问过 Peter Stone 同一个问题:读博还是不是通往研究的正确道路?他把问题转给李飞飞,还提前「预警」:「我可能不会喜欢你的答案。」

「我们台上三个人其实都有点嫉妒你们,你们这么年轻,生来就身处 AI 革命之中,而我们是长大成人后才走进来的。」李飞飞说,「关于该不该读博、读博时该做什么,我自己的答案也在变。坦白说,我不认为博士适合所有人。尤其在这个 AI 时代,学习工具和软件工程都发生了巨大变化,成为研究者、成为创新者、产生影响的路径比以前多了。」

但她紧接着强调,这并不意味着排斥读博,「我仍然觉得它很棒,我很喜欢读博的那段时间」。

「那博士到底是为了什么?我依然从根本上相信,博士是为好奇心而存在的。这是你人生黄金年华里最受保护的一段时间,你可以去追逐最大胆、最好奇、最有趣、也希望是最有影响力的问题。」

「无论 AI 多么先进,人类智能依然无比珍贵,甚至可能正变得越来越稀缺。现在有大量 token 在和我们的脑电波竞争。但我们正在建设的文明需要人类智能,需要我们大胆的好奇心。所以如果你心里有那种燃烧的渴望和好奇心,博士依然是一条很好的路。但你必须有那份信念,以最无畏的方式去攻克问题。」

苏姿丰分享了自己的经历。她说当年其实并不想读博,是父母劝她「你还太小,继续读书吧」,结果那「真的是我人生中最好的四年」。

「重要的不是你具体做的那个问题。具体问题会变,而且今天变得非常快。重要的是,它给了你成为领域顶尖之一的机会,因为你有探索的自由。人生很长,没人能拿走你的博士学位。你会永远知道,自己曾把一个问题解决到了这个领域的最高水平。」

Peter Stone 趁机提醒台下自己的学生:「请注意,Lisa 说的是最好的四年,不是六年或七年。」苏姿丰立刻附和:「没错,不能拖太久,四年就够了。」主持人随即感叹,她这番话恐怕让在座不少博士导师都紧张了。

至于学生该研究什么,苏姿丰谈到了 AGI 之争:「我从一些同行和业内人士那里听到,我们离 AGI 已经非常近了,好像就差一分钟。我并不相信。」她认为,AI 的进步固然惊人,但它的表现取决于我们把它用在什么问题上、如何引导它。

「把 AI 当成工具,你当然要用最好的工具。但说到底,你仍然拥有自己的专业积累,也就是直觉。招人的时候,你能分辨出谁对自己的领域有真正的直觉,谁只是所谓的『书本聪明』,放在今天,也可以叫『AI 聪明』。」她的建议是,找到一个你足够感兴趣的问题,把直觉培养起来,「这样工具怎么变都无所谓」。

「这在产业界很难做到,因为产业界没有耐心。我们都很急,想让产品更快推出,想让下一个模型更快发布。这正是大学环境的不同之处。」

20 瓦的大脑,与数十亿年的进化

Peter Stone 接着提出了一个颇为「尖锐」的研究方向。他说,当下的 AI 常常和数据中心联系在一起,意味着大量算力、大量电力和大量数据,可人脑用的电少得多,学习所需的数据也少得多。用更少的能耗取得同等性能,在他看来是一个重要的研究方向,尽管这「可能和卖更多芯片的目标相冲突」。

苏姿丰并不回避:「这绝对非常重要。计算没有一刀切的尺寸,物理世界也不是只有一种尺寸。」她承认今天有大型数据中心,有 scaling law,但「到头来我们需要无处不在的算力」,功耗更低、效率更高、寿命更长、延迟更低,这些都必须优化。

李飞飞则提醒大家不要把两件事混为一谈:「我们要小心,别把大脑里的 20 瓦和训练模型所需的巨大能耗相提并论。进化是昂贵的。我们的大脑是数十亿年进化的结果,我还不知道该怎么计算整个动物界为此集体消耗的能量。」

她认为,脑科学是一门科学,理解大脑、复现大脑、治疗脑疾病都很重要;但 AI 也是一门科学,它不必只是复制大脑,「因为我们想解决的计算问题,从写代码到生成仿真再到赋能机器人,在某些方面已经超越了人类的能力。这是两个正交的问题。」

不变的价值与最难的问题

临近结束,Peter Stone 念出了一个 Slido 上的「刁钻」问题:两人正处在「蜜月期」,有没有什么彼此意见不合的地方?

李飞飞想了想:「我觉得湾区更宜居,我爱那里的气候。」随后又补了一句「但我也爱奥斯汀」。两人最终的结论是,她们还没吵过第一架。

在最后的寄语环节,李飞飞说,对很多学生来说,这是最动荡的时候:个人处在学生阶段的变化之中,所在的领域在变,整个文明也在经历一场由文明级技术带来的变化。

「我想邀请所有学生,在变化的时代里去看那些永恒的价值。就像 Lisa 说的,人生很长,很多东西都会变,问题会变,挑战会变,机会也会变。但你能否过上自己想要的人生,很大程度上不取决于那些变化,而取决于那些不变的东西。对我个人而言,这段旅程教给我的永恒价值是:好奇心、正直,以及追求真理、探寻真理的无畏,在智识上既要敢于冒险,也要保持诚实。」

苏姿丰则鼓励学生「非常有野心、非常乐观」,因为他们身处最好的时代。她讲了一个自己在 IBM 做年轻工程师时的故事。那时她入职大概两年,有人问她将来想成为什么样的人。她说 IBM 有两条路,一是被称为 IBM Fellow 的深度研究岗位,一是 IBM 副总裁。「我当时心想,我大概没聪明到能当 IBM Fellow,但或许可以当个副总裁,于是我决定朝那个方向走。」对方给她的建议是:永远朝着最难的问题跑过去。

「当时我并不真正理解这句话的意思,但这么多年来它一直留在我心里,这也是我会给别人的建议。作为工程师、科学家、研究者,我们的工作就是解决问题,解决非常有趣、非常重要、非常激动人心的问题。我们从中获得快乐,获得成功,也借此推动世界向前。所以,无论做什么,都去做最难的问题,并且相信自己能带来巨大的改变。」

写在最后

如果把这半小时的对谈当作一次信号释放,至少有三点值得留意。

第一,AMD 收购 World Labs 的核心逻辑是「做芯片的人必须更早看懂负载」。苏姿丰在台上反复强调对工作负载的理解与软硬协同,这与她在宣布交易时的表态一脉相承;李飞飞在宣布交易时也发文指出,AI 若没有专注的硬件投入,效率和规模都会受到掣肘。世界模型和机器人恰恰是负载形态最不确定、对端侧算力要求最苛刻的方向之一。

第二,两位嘉宾都没有押注单一范式。李飞飞承认 VLM/LLM 驱动的机器人会越来越重要,但也说得很清楚,物理 AI 的不少基础问题还没有根本解法;苏姿丰则更直白地认为,大模型和专用小模型会长期并存。「模型有多少种尺寸,算力就有多少种尺寸」,这个判断对一家产品线从数据中心一直覆盖到 FPGA 和嵌入式处理器的公司来说,显然是有利的叙事。

第三,也是在场听众最关心的一点:苏姿丰明确表示会拿出一部分算力支持长期研究和大学,但没有给出规模和时间表。在需求远超供给的当下,这个承诺能兑现多少,值得在李飞飞正式上任后继续观察。毕竟,在为公共部门争取算力这件事上,李飞飞已经呼吁了很多年,如今她终于站到了一家算力供应商的决策层里。

Peter Stone 那个「省电可能和卖芯片相冲突」的问题,台上并没有给出真正的答案。不过李飞飞那句话或许可以作为一种回应:机器人会把算力推向下一个台阶。如果这个判断成立,那么无论更省电还是更强大,最终都意味着需要更多、更多样的算力。

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

AI自己改科研策略,能过湿实验这一关吗?他们把RSI带入分子发现

机器之心 2026-11-14 11:34 山东

MolRSI 获得了 8 个满足实验特异性判据的结合命中,Claude Science 对照为 0。

寻找新的抗菌分子,要在海量候选中同时权衡抑菌活性、细胞毒性和结构新颖性。MolRSI 自主优化这一筛选流程,湿实验命中率达到 15.9%,此前人类专家设计的非智能体工作流为 8.7%,相对提高约 82%。 两者使用相同的训练数据和约 1210 万个化合物的筛选库,按同一 MSSA 抑菌标准统计命中。

在分子发现中,用哪个模型、怎样组合筛选条件、哪些候选值得送去实验,都需要作出选择。MolRSI 将这些选择纳入搜索,并利用过去任务中积累的经验,改进下一次选择和优化工作流的策略。

研究团队还让 MolRSI 从头设计能够选择性识别 pMHC 的结合蛋白。pMHC 由细胞表面的 MHC 分子及其呈递的短肽组成。难点在于,目标与非目标可能共用同一 MHC,仅在少数肽残基上存在差异。患者的肿瘤抗原和 HLA(人类 MHC)类型可能不同;针对相应 pMHC 定制的结合蛋白,有望成为工程化免疫细胞的识别部件,帮助其识别对应的肿瘤细胞,用于个体化癌症免疫治疗。

在本研究的两个 pMHC 靶标上,MolRSI 获得了 8 个满足实验特异性判据的结合命中,Claude Science 对照为 0。 两者使用相同的设计条件和计算预算。

这两类任务带来了同一个问题:MolRSI 究竟优化出了怎样的流程,过去的搜索经验又具体改变了哪些选择?

找分子之前 先学会怎样找

面对数以千万计的候选分子,研究者需要先决定一条筛选路线:用什么模型预测活性,怎样控制毒性风险,哪些候选值得送进实验室。模型、训练方法和筛选规则的不同组合,会把研究引向不同的分子。寻找一套好流程,本身就是一道搜索题。

MolRSI 把这道题交给了 AI。系统从论文和代码中整理方法,将它们转化为经过运行验证的可执行技能,再组合、测试和修改工作流。一次尝试结束后,得到的不只是一个分数,还有这套流程在哪些条件下有效、哪次修改改善了表现,以及运行出错后怎样修复。

这些记录连接起了 MolRSI 的两个循环。内循环优化当前任务的工作流;外循环把积累的经验带入后续任务,改进搜索策略。 新任务开始时,系统可以据此选择起点、安排探索方向,并利用过去验证过的修改和修复方式。

具体来说,MolRSI 使用经验引导的蒙特卡洛树搜索:每套候选工作流是一个节点,对它的修改形成新的分支。当前任务的评价、相关任务的历史表现和对新方案的探索,共同影响下一步往哪里走。方案记忆、改进记忆和执行记忆,则分别保存流程表现、修改效果和运行经验。

搜索产生经验,经验改变后续的 search policy,新的搜索再带来新的经验。 MolRSI 的递归自我改进由此发生在科研工作流的搜索过程中。

图 1|MolRSI 的双循环。内循环搜索和优化当前工作流,外循环积累并复用经验,影响后续任务中的工作流选择、修改和执行。来源:论文图 1。

带着经验出发

第一次尝试会有什么不同

把经验存下来之后,下一次搜索真的会更好吗?团队先让 MolRSI 在 25 个分子性质预测和细胞毒性任务上积累经验,再把它放到 6 个未进入来源经验池的抗菌预测任务中。

对照设置很直接:两组使用相同的初始技能库、底层模型和搜索预算,也都能利用当前任务中产生的记录;只有一组能够继承过去任务的经验。结果,加入跨任务经验后,6 项任务的平均测试 AUPRC 均有提高。这一指标衡量模型将活性分子排在候选列表前列的能力。

经验的价值,在搜索刚开始时就能显现。大肠杆菌和淋病奈瑟菌两项任务中,MolRSI 首次评估的工作流,已经超过 Biomni、STELLA、Codex、Claude Code 和 Claude Science 各自经过 20 轮搜索选出的最终流程。过去的搜索记录,让新任务有了更好的起点。

图 2|有无跨任务经验的比较。两组均保留当前任务内的记忆更新,w/ RSI 另行继承来源任务经验。zero-search 直接迁移配置,仍需目标任务上的模型训练和验证。来源:论文图 2e。

继续积累经验,会怎样?团队将来源任务池从 2 个逐步扩大到 25 个,回顾性分析其中可供后续任务迁移的工作流。它们在 6 项抗菌任务上的平均测试 AUPRC,从约 0.32 升至约 0.37,超过了无先前经验系统搜索 20 轮后的 0.361。

图 3|来源任务越多,可供迁移的工作流表现越好。实线为各规模经验池可获得迁移表现的回顾性平均;深、浅阴影为经验池组合的 25%–75% 和 5%–95% 分位范围。来源:论文图 2f。

这项回顾性分析说明,更多经验能让更好的工作流进入可迁移的方法库。

从千万个化合物中

筛出值得做实验的候选

基准上的分数提高,最终还要回答一个实际问题:这样的工作流,能否让有限的实验机会找到更多活性分子?

在抗菌发现任务中,MolRSI 优化出了怎样的筛选路线?它先做结构新颖性过滤,剔除指定的常见抗生素骨架及与已知抗生素过于相似的候选,再针对三类人体细胞预测毒性。活性排序则采用两种 MiniMol 方案与 LANTERN–RADR 集成,按 55%、30% 和 15% 的权重组合预测结果。

排序之后,系统把结构相似的分子聚成一组,再从不同组中挑选候选,保留化学多样性。最终流程把模型组合、筛选顺序和选样方式连接起来,从约 1210 万个化合物中选出 107 个进行实验,获得 17 个命中。

图 4|MolRSI 与人类专家设计的非智能体工作流比较。命中率为 17/107 与 21/241,均以 MSSA MIC≤32 μg/mL 定义命中;C3、C32 的 MRSA 活性另行测定。来源:论文图 3。

对比此前人类专家设计的非智能体工作流,两者使用相同的训练数据和筛选库,也按同一阈值统计命中:对甲氧西林敏感金黄色葡萄球菌(MSSA)的最低抑菌浓度(MIC)不高于 32 μg/mL。专家流程测试了 241 个化合物,命中 21 个;MolRSI 测试 107 个,命中 17 个。实验命中率由此从 8.7% 提高到 15.9%,相对提高约 82%。

同一组 271 个独立测试化合物提供了另一项比较:MolRSI 的抗菌活性预测器,在 AUROC 和 AUPRC 上均优于专家工作流中的预测器。其中,AUPRC 从 0.090 提高到 0.300。这一比较使用同一测试集;前述命中率则来自两套流程各自选出的实验候选。

团队还对代表性分子做了进一步测试。C3 和 C32 对耐甲氧西林金黄色葡萄球菌(MRSA)的 MIC 分别为 1 和 8 μg/mL;在三类人体细胞中,两者的半数细胞毒性浓度均高于对应的 MRSA 抑菌浓度。剂量响应曲线将筛选中的预测,落实到了分子的实际活性表现上。

设计结合蛋白

还要认准目标

抗菌任务的起点,是一座现成的化合物库。另一条独立的验证路线,则要求 AI 从头设计 pMHC 结合蛋白,并让它们在相似靶标之间作出区分。

pMHC 可以理解为细胞表面的短肽展示台:MHC 托住一段肽,把它呈递出来。两个靶标可能共用相同的 MHC 框架,仅在肽的少数暴露残基上有所不同。一个看起来结合得很好的候选,也可能主要识别了共同的框架。因此,流程既要判断能否形成可信的结合,还要检查换一条肽之后,候选是否仍然得到同样高的评价。

MolRSI 先从 14 个小蛋白结合分子排序任务中积累经验,再用两组 gp100 数据开发 pMHC 排序流程,将 MART-1 留作独立测试。有先前经验时,排名前 1% 和前 2% 候选的富集因子分别达到 3.65 和 5.55;去掉这些经验,两项均为 0。

这次搜索留下了一套具体的评价流程:ESMFold2-Fast 结构预测,加上八项等权评分。八项指标覆盖界面接触、复合物与界面可信度、单体折叠可信度及螺旋结构特征,先统一为 “越大越好” 的方向,再相加得到排名依据。MolRSI 搜索和选择的是预测模型与评分项的组合。

选择性则通过目标与非目标的配对比较落实到最终筛选中。在研究预先给定的配对里,同一个 binder 分别与两种 pMHC 接受评估:MHC 框架保持相同,只替换呈递的肽。候选须满足目标评分高于非目标评分,并通过界面可信度、单体折叠质量等门槛,随后按目标评分排序。这样,目标结合质量和对相似非目标的区分能力,就成为需要同时考虑的条件。

有了排序流程,MolRSI 将它固定下来,分别为 MART-1 和 SARS-CoV-1 搜索生成方法与配置。每个方案依次经过骨架生成、肽热点接触过滤、SolubleMPNN 序列设计和评分,以排名前 5% 候选的平均分评价方案。30 轮搜索后,得分最高的三个工作流各自扩大生成规模,再合并、去重并筛选候选。先开发评价方法,再用固定的评价方法优化生成,构成了这条设计流程的主线。

前瞻设计阶段,MolRSI 与 Claude Science 使用相同的目标与非目标设定、设计限制和计算预算,各自运行自己的工作流。经过两轮噬菌体展示筛选,MolRSI 在 251 个可评估的 MART-1 设计中获得 5 个特异性结合命中,在 266 个 SARS-CoV-1 设计中获得 3 个;Claude Science 的对应结果为 0/288 和 0/267。两类靶标合计,特异性结合命中为 8 比 0。

这里的实验判据是目标富集 log₂FC>4,且高于该设计所有可测非目标中的最高富集值。它检验的是相对于所测非目标的结合偏好,与前面的计算评分是两套不同的量;定量亲和力和更广泛的交叉反应仍需后续测定。

候选排序到底有没有帮助?去掉 MolRSI 的排序环节后,两个靶标合计 479 个可评估设计中,没有一个满足同样的特异性命中判据。这项对照支持了候选排序对本次实验命中的贡献:生成之后,怎样判断哪些设计值得送去实验,是流程中的关键一步。

代表性命中的预测复合物结构还显示,binder 位于暴露肽上方,可能与多个肽残基形成接触。这与流程希望识别肽差异的设计目标一致,也为读者理解选择性提供了直观线索;具体接触的作用仍需结构与功能实验验证。

图 5|MART-1 和 SARS-CoV-1 两类 pMHC 靶标的实验验证。计数为 “特异性结合命中数 / 可评估设计数”;散点展示目标富集及其相对非目标的差异,下方为预测复合物结构。来源:论文图 5。

一次研究结束后,MolRSI 留下了进入实验验证的候选,也留下了下一项任务可以复用的工作流与搜索经验。当前的策略改进主要来自计算搜索,未来还可进一步纳入湿实验反馈。让一次研究为下一次研究提供更好的搜索起点,正是这项工作的出发点。

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

后GPT-6时代,具身数据怎么做?Ropedia发布Xperience 2,给出下一代数据基石金标准

机器之心 2026-11-13 14:28 北京

建立下一代具身数据的金标准。

机器之心发布

11 月 9 日,Anthropic 发布 Claude Fable 5.2。据报道,它在机器人控制基准 RoboDojo 上拿到 64.9% 的成绩,是上一代 Fable 5.1(27.6%)的两倍多。而就在两个月前,GPT-6 Astra 刚以 22.48% 的平均成功率登顶这一榜单,超过全部 40 个公开策略。

通用大模型的具身能力正以惊人的速度提升,但榜单上的分数,还不等于真实世界里的能力。在一项联合研究 [1] 中,GPT-6 Astra 被部署到 8 种真机配置上:插插头 11 次尝试全部失败,长程导航找物 23 次尝试中仅成功 9 次。研究者的判断是,它已具备初步的具身能力,但距离实用仍有差距。

如何让通用大模型更好地控制机器人,在真实环境中连续完成更长、更复杂的任务?模型既需要可供学习的行为示范,也需要能执行任务、积累经验的环境。大模型有 Scaling Law,物理智能的 Scaling Law 又在哪里?要回答这个问题,首先得弄清楚:该扩展怎样的环境与行为数据,又该如何持续生产和使用?

近日,Physical AI 初创公司 Ropedia 正式发布 Xperience 2,给出了自己的答案:Ropedia Xperience 2 是一套面向 Physical AI 的真实环境与行为数据集,它将真实场景扫描与人的第一视角活动记录相结合,在同一度量坐标系中对齐场景几何、录像、轨迹和身体姿态。

基于这些数据,Ropedia 将人的动作转换为机器人轨迹,并将扫描场景转换为可交互的仿真环境。Ropedia 希望以这种真实采集、精准对齐、覆盖多样且可复用的环境 - 行为一体化数据,建立下一代具身数据的 “金标准”,为后 GPT-6 时代物理智能在环境与行为数据上的规模定律奠定数据基础。

1,812 个场景组成 Xperience 的 X。

物理智能的「金标准」数据:环境与行为,缺一不可

扫描、记录与对齐:让每个行为有真实环境参照

Xperience 2 为每段任务录像保留对应的场景重建。视频中的相机轨迹、手部和全身动作被放进同一个三维坐标系,与房间的几何和布局对齐。使用者可以回看人怎样在这个房间里行动,也可以继续利用这些记录构建机器人任务。

以把杯子放进橱柜为例,视频能记录取杯、开门、放入和关门的过程,供模型学习动作和顺序。机器人真正做这件事时,还需要知道杯子在哪里、柜门朝哪边开、自己的手臂能否够到,以及怎样判断任务完成。这些信息需要结合场景的几何和物体状态来确定。光有录像,机器人还没有一个能试做这项任务的环境。

而只有仿真场景,同样不够。仿真场景让机器人有了练习的地方,人的示范则能提供起步的方法。缺少示范时,抓杯子的位置、开柜门的方向和放杯子的动作都可能需要反复探索,还要设计相应的奖励。任务步骤越多,这样训练的成本往往越高。

现有数据集通常侧重其中一类。ScanNet++、Realsee3D 和 DL3DV-10K 提供三维场景重建和相机位姿,没有对应的人类第一视角任务录像;EPIC Fields、Nymeria 和 HD-EPIC 记录了人的活动和相机位姿,但大多不提供场景网格。

Xperience 2 把场景和人的示范放在一起。两者对齐后,人的动作有了明确的空间参照,可以根据机器人的身体结构转换成运动轨迹,再放回同一场景中检查。原始录像由此可以继续用于机器人的动作研究。

场景完成交互配置后,还可以设定杯子的位置、柜门状态和机器人起点,让机器人在里面执行任务。没抓住杯子、把杯子放在柜子边缘,或者忘了关门,都能根据物体状态判定并记录。失败后重新加载场景,就能再试一次;换一组初始条件,还可以继续采集新的轨迹。

录像与场景对齐后的各层数据:网格、3DGS、第一视角视频、头部轨迹、双手和全身姿态,以及三个时间尺度的活动标注,位于同一个度量坐标系中。

这套采集延续了 Ropedia 在第一视角数据上的积累。此前的 Xperience-10M 包含约 1,000 万个真实世界交互片段、1 万小时第一视角视频与音频。Xperience 2 在这些行为记录之外增加了场景扫描与空间对齐,让每段活动都有对应的真实环境。同一次扫描可以供这个场景中的多段任务录像使用。

两步采集使用不同的设备。手持激光雷达扫描仪可以从不同角度扫描房间,补充人的视角不容易覆盖的区域。录制任务时,操作员戴上 Ropedia 研发的头戴式记录仪 HOMIE Headset 2,双手可以自由操作物体。HOMIE Headset 2 的四路全局快门鱼眼相机、惯性传感器和四声道音频一起记录活动,其中两路朝前的相机拍摄双手和正在操作的物体。整套采集不依赖固定动捕设施,可以进入住宅、餐厅、商店、办公室和户外。

先扫描场景,再逐项录制任务。左侧为两个步骤;右侧依次出现扫描仪的路线与相机位姿、场景重建,以及各段 HOMIE Headset 2 录像的头部轨迹。

操作员先从多个角度扫描房间,得到带真实尺度的场景网格、三维高斯重建(3DGS)以及对应的图像、相机位姿和稀疏点云。这些数据共用一个与重力对齐的坐标系。后续再为物体配置物理属性和可交互部件,场景就能用于仿真。

扫描结束后,操作员戴上 HOMIE Headset 2,逐项完成分配给这个场景的任务。每段录像从任务开始前录到完成后,保留一次完整的活动过程。

录好的视频随后经过自动化处理,得到相机运动轨迹、深度,以及估计的双手和全身姿态。视频、惯性测量和音频按时间对齐,动作则配上三层语言标注:整段在做什么、各个子任务何时发生,以及具体画面里物体和双手处于什么状态。

同一场景中不同时刻的估计全身姿态、轨迹和对应的第一视角画面;下方列出每段录像提供的各层数据。

接下来,把录像和扫描对齐。系统先找出录像画面在扫描场景中的位置,再把相机轨迹、双手和全身动作变换到场景坐标系中。配准后会检查留出的验证帧、重力方向和深度与网格是否吻合,并为每段录像标记 PASS、WEAK 或 FAIL,便于使用者筛选。

录像配准:录像先出现在它自己的坐标系中,再配准到场景坐标系;右上角的卡片列出三项检查,全部通过后标记为 PASS。

处理后的轨迹和姿态与原始画面一同保留,使用者可以回看视频,检查某段动作是否适合自己的训练任务。

从卧室到街头:把真实世界的多样性搬进数据

从卧室和厨房,到办公室、商店和街头,当前发布的 1,589 个场景覆盖 12 类真实空间。其中住宅内部场景有 1,389 个,占 87.4%;卧室和客厅合计 976 个,占 61.4%。整体采集共覆盖 596 处地点,其中 443 处为整户住宅。地点数量采用整体采集统计,与本次发布的场景数量分别计算。

按整体任务采集统计,共记录 74 项任务、4,230 段录像,覆盖取放、清洁、整理、折叠和检查五类活动。按主要动词划分,共有七种动作,其中放入或取出物体有 25 项,擦拭清洁有 23 项,摆放整理有 18 项。74 项任务中,31 项来自餐厅、商店和办公室等工作与零售场景。

高精度数据:让模型的空间能力可以被检验

机器人进入一个陌生房间,要恢复周围的三维结构、找到物体,并理解距离与方向。Xperience 2 围绕这三类能力,在同一组 20 个真实扫描场景上构建了三项 Benchmark。扫描几何、相机位姿与空间标注提供了参照,让模型在真实环境中的能力可以被具体检查。

三项基准的代表性模型对比,每项展示 4 个模型。相机轨迹误差越低越好,物体定位精度与空间问答准确率越高越好。几何评测采用中等输入(11–100 帧)。

还原空间:领先模型展现重建潜力

从图像恢复房间,需要同时恢复场景表面与相机的运动。在 11 个模型的比较中,π³ 在三档输入下的轨迹误差最低、表面重建 F 值最高;DA3-Giant 则在中等与稠密输入下的位姿恢复表现领先。有了扫描几何和相机位姿作为参照,深度、轨迹与表面重建中的误差就能被分别衡量。更丰富的真实场景,也能让后续训练与评测覆盖更多布局和观察条件。

找准物体:真实环境仍是一道难关

恢复了房间的结构,还要确定物体的位置。这项评测要求模型识别目标、预测三维框。表现最好的 Boxer,AP@0.25 为 24.69%,在更严格的 AP@0.5 上为 6.09%。真实环境中的精确定位仍然困难,也凸显了更多开放真实场景数据的需求:让训练与评测覆盖更广泛的布局、遮挡和物体差异,并为模型提供可靠的三维标注。

理解空间:空间问答已有较强表现

空间推理基准包含 500 道题,覆盖平移、旋转、距离、深度、高度和相对位置。Gemini 3.8 Flash 的总体准确率为 74.2%,GPT-6 Astra(High)为 71.8%。在高度与相对位置判断上,两者的准确率都超过 90%,已经能较好地回答多类空间问题。

下一步,是让这些空间理解支持实际行动。 模型需要把对位置、方向和物体关系的判断,用于导航、操作以及连续完成长时程任务。Xperience 2 将真实环境与人的行为对应起来,为模型学习 “在这样的空间里,怎样把任务做完” 提供数据基础。

从真实场景到虚拟训练场:拓展机器人经验生成路径

同一批真实场景和人类活动,可以用于不同类型的机器人数据生产。技术报告介绍了四种用法:Real-to-Sim 把扫描场景转成可交互的仿真环境;人体动作重定向把人的示范转成机器人运动参考;虚拟遥操作在仿真中采集新的交互;长时程轨迹生成则用程序连续完成多步任务,产出完整轨迹。

一次真实采集留下的场景和录像,可以在这些过程中反复使用。新的机器人动作与交互记录,则在原始录像之外继续增加。

四项演示的数据来源、收益与每次采集的成本,以真机遥操作为参照。方块为技术报告中的定性评分,不是测量值。

Real-to-Sim:构建可交互的任务环境

Real-to-Sim 使用场景扫描得到的几何和外观,先把物体逐个重建出来,再加入碰撞、关节和物理属性,让它们能在仿真中被操作。在一个真实住宅的演示中,团队转换得到了 107 个物体,其中 73 个可以交互。

转换后的场景沿用扫描的尺度和坐标,可以与扫描重建从同一个相机视角渲染,再逐像素检查差别。在图示视角中,仿真表面与扫描网格之间的距离中位数约为 2.5 厘米,约 79% 的像素距离不超过 5 厘米。

Real-to-Sim 第一部分,物体的重建。上:同一相机下的扫描重建、两者的逐像素距离和仿真场景;下:转换后按物理类型标出的物体三维框。

团队还在另一处住宅做了对照:让 GPT-6 Astra 只根据采集的图像搭建场景,不提供 3DGS。结果中,物体的颜色、尺寸和位置都出现了偏差;电视、冰箱、微波炉和水壶的三维框,也偏离了它们在 3DGS 中的位置。这个对照以 3DGS 为参照,比较的是两种场景与扫描重建的一致程度。

另一个住宅场景中,同一视角下的 3DGS、GPT-6 Astra 仅凭图像构建的场景和 Real-to-Sim 场景。三维框标出四个匹配物体,衡量与 3DGS 的一致性,并非独立真值。

物体独立建模后,就可以按任务配置它们的行为。演示中的 73 个可交互物体包括 9 个铰接物体,如冰箱门、柜门和抽屉;8 个用有限元方法模拟的软体,如靠垫;以及 4 块布料,如电视罩布和毛巾。开关和遥控器按键可以按下,水龙头可以出水,下图中的七种交互都来自同一次物理仿真。

以收杯子为例,杯子、柜体和柜门分别建模后,才能配置开门、放杯子和关门。配置好的场景可以反复加载,也可以换任务、改起点。同一次真实扫描,因此可以继续用于多轮机器人实验。

Real-to-Sim 第二部分,物体的仿真交互。七个交互都来自同一次物理仿真。

Action Retargeting:为机器人提供人类示范的动作起点

人体动作重定向使用已经对齐到场景的人体与手部动作。人一边转身一边伸手,轮式人形机器人可能需要同时移动底盘、转动躯干、调整手臂和灵巧手。系统结合机器人的结构和运动限制,计算各部分的轨迹,再放回扫描场景中回放。这样,一段人的任务录像就能继续用于机器人的动作研究,现场不需要机器人。

轨迹还要经过速度、力矩、稳定性和碰撞检查:关节速度和力矩不超过上限的 90%,零力矩点保持在支撑多边形内,同时避免与场景或机器人自身发生碰撞。头部和指尖的跟踪误差也会被记录。

人体动作重定向:HOMIE Headset 2 录像中操作员的动作(蓝色人体)转换为轮式人形机器人的动作,在扫描的 3DGS 中回放。

演示选用了同一场景中的 4 段完整录像,分别是放快递并操作空调遥控器、洗衣服、收拾碗碟、叠毛巾并扫地,原始时长合计 10.3 分钟。录像放慢到 0.5 倍速后进行重定向,机器人底盘共行驶 96 米,各段录像中有 35%–41% 的帧处于移动状态。

四段轨迹的指尖跟踪误差中位数为 0.40–0.55 厘米,95 分位误差都低于 2 厘米。所有帧均通过约束检查,关节速度和力矩的峰值分别为上限的 90% 和 89%,零力矩点距离支撑多边形边界至少 0.46 厘米。

同一场景中 4 段录像的重定向结果,标注为各段指尖误差的中位数。橙色为操作员的手部关键点,灰色为机器人。

这一步得到的是机器人的运动参考。回放发生在 3DGS 场景中,物体不会随动作移动;机器人能否真正抓住杯子、把它稳定放进柜子,还要放进可交互的仿真环境里验证。

虚拟遥操作:在环境中采集新的交互经验

虚拟遥操作把操作员接入转换后的仿真场景。人实时控制机器人,物体会随动作发生变化,系统记录机器人的观察和控制指令,并检查指令跟踪、碰撞和关节限位。抓空之后,操作员要根据当前情况继续调整,后面的动作也会随之改变。

每轮结束后,重新加载场景就能复位,继续采集下一次示范。同一个环境可以录下多次执行、不同起始状态以及失败后的调整。这种方式仍然需要操作员,但省去了把实体机器人搬到现场和人工复位的工作。

Code-as-Policy 长程轨迹生成:让机器人经验持续扩展

任务变长后,机器人还要接着前一步的结果往下做。杯子已经放进微波炉,就要从炉内取出;取出后还要关门,再继续后面的任务。商汤牵头的联合研究中,持续跟踪多个子任务的进度,仍然是 GPT-6 Astra 的难点。[3]

团队在前面的 Real-to-Sim 住宅场景里设置了一项八步任务:轮式双臂机器人从厨房台面拿起杯子,打开微波炉,放入杯子,关门加热,取出杯子,再次关门,推开卧室门,最后把杯子放到床头柜上。机器人需要一路从厨房走到卧室,完成沿途的操作,中途不重置场景。

这次演示由策略程序完成各个子任务,通过全身控制器执行动作。程序只从感知输入中观察物体,不读取仿真器里的物体状态。改变机器人和杯子的初始位姿,同一套程序就可以生成不同起点的完整轨迹。

长时程轨迹生成中的一次执行(16 倍速):轮式双臂机器人在由真实住宅扫描转换的仿真场景中连续完成八个子任务。

在 30 个预留初始状态下,机器人和杯子的位置各不相同,30 次执行都完成了全部八步,也都通过了任务规则检查。验收由仿真器中的物体状态决定,包括杯子不能倾倒或掉落,以及电器和门是否处于要求的状态。

每条轨迹有 3,869–4,255 个 30 Hz 控制步,平均对应 2.2 分钟仿真时间。单个仿真进程生成一条轨迹需要 10–16 分钟。场景和程序准备好后,可以继续改变初始状态、增加计算资源来生成轨迹,无需重新采集人类录像。

同一次执行中各子任务完成时的画面与用时;从 30 个预留初始状态出发的执行全部完成八个子任务。

这 30 条轨迹来自同一个场景、同一项任务和同一套策略程序,增加的是不同初始条件下的完整执行经验。场景、机器人和任务规则准备好后,可以继续生成轨迹,用于后续数据生产与模型研究。环境覆盖和行为经验也可以据此分别记录和扩展。

成本与规模扩展:让更多环境承载更多行为

真机采集需要持续投入设备、人手和时间。DROID 在 564 个场景中采集了 350 小时机器人演示,投入了 50 名操作员和 12 个月时间。[4] 机器人要运到现场,操作员要全程控制,每轮结束后还要人工复位。

Ropedia Xperience 2 把其中一部分工作提前到了场景扫描、转换和任务配置。场景建好后可以反复加载,录像中的动作可以继续重定向,虚拟遥操作则省去了实体机器人和人工复位。同一次采集的场景和行为记录,可以在这些用法中继续发挥作用。

长时程轨迹生成则主要消耗算力。按演示中每条轨迹 10–16 分钟计算,单个仿真进程连续运行一天,理论上可以生成 90–144 条轨迹。仿真数据与真机数据的保真度不同,这几条路径可以补充真机采集,实际效果仍需通过真机实验检验。

采集地点也更灵活。操作员带着扫描仪和 HOMIE Headset 2 就能到现场,不必先把机器人运进去。多房间扫描还能保留房间之间的布局,让机器人在仿真里边走边操作。前面的八步任务就从厨房延伸到了卧室,生成的任务和轨迹也不必局限于原始录像。

从第一代到第二代 Xperience 数据集:让数据规模真正转化为物理智能

从今年早些时候发布的 Xperience-10M 到现在的 Xperience 2,Ropedia 走的是一条清晰的路线:先把人在真实世界中的行为规模化地记录下来,再把这些行为放回它们发生的真实空间,最后让环境与行为一起,变成机器人可以学习、练习和验证的数据。

大模型的进步,建立在互联网规模的文本之上;物理智能的进步,同样需要一个足够大、足够真实、能够持续扩展的数据基础。当通用模型在仿真中的能力不断刷新纪录,真正的瓶颈正在转向真实世界的环境与经验。Ropedia 希望以 Xperience 2 为起点,建立后 GPT-6 时代物理智能的环境与行为规模定律,让「数据规模如何转化为模型能力」这个问题,在物理世界中也能被测量、被检验,并最终被回答。

参考资料

[1] An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond

[2] Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies

[3] Has GPT-6-Astra Achieved Embodied Intelligence?

[4] Khazatsky et al. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset. RSS 2024.

[5] 机器之心:《Physical AI 正进入经验工程时代,Ropedia 聚焦全链路数据基建,完成数千万美元融资》,2026 年 8 月 6 日。

[6] 技术报告:Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

斯坦福让GPT-6 Astra直接修改机器人参数:只动65行词嵌入,修复一类指令失灵

机器之心 2026-11-13 14:28 北京

含被改词元的 335 条留出指令,成功率从 74.3%升至 87.5%;另外 430 个回合,成败结果逐一不变。

只改 65 行词嵌入,GPT-6 Astra 修复了一类机器人「换种说法就失败」的问题。

任务是打开炉灶。研究者给机器人的指令是「activate the cooking appliances heat source」——启动烹饪设备的热源。原始策略却伸手去拿盘子,执行 300 步后仍未完成任务。

换上修改后的权重,同一个场景、同一条指令、同一个随机种子,机器人在第 78 步完成了任务。编辑过程中没有做梯度更新,也没有新增机器人示范数据。

动图 1|同一条留出指令,修改前后的机器人行为。左侧原始策略在 300 步超时;右侧编辑后在 78 步成功,随后停留终帧。场景、随机种子 7 和初始状态 0 相同,画面来自真实仿真录像。这是选出的修复案例,完整统计也包括退化回合。

这项研究由 Jusheng Zhang、Keze Wang 和 Liang Lin 共同完成,论文题为《Can LLMs Debug Robots by Editing Their Weights?》。在效果最好的实验中,335 条包含被改词元的留出指令,成功率从 74.3%提高到 87.5%;另外 430 个回合的成败结果逐一不变。这里的「零变化」,指每个回合的成功或失败结果。

论文、实际评测过的权重修改、代码和全部 16 次实验记录均已公开。研究关心的是一个具体问题:机器人已经具备的操作能力,能否通过局部权重修改,被不同的语言表达更可靠地调用?

把 LLM 放在调试器的位置

研究使用 OpenPI 发布的π₀.₅ LIBERO 检查点。它是一种视觉—语言—动作模型:接收相机画面、语言指令和机器人状态,输出接下来要执行的动作。基座已经经过预训练和微调;本次编辑以 LIBERO 操作任务和 LIBERO-Plus 指令改写为测试环境。[1][5][6]

在这套实验里,Astra 负责检查和修改策略的权重。研究者为它提供一个持续保留状态的 Python 工作区,以及可调用的前向工具。Astra 可以查看张量、写入替换值,再检查仿真任务的结果、动作或内部信号。修改确定后,动作仍由被编辑的机器人策略计算。

每次语言编辑有 50 次计入预算的工具请求,一次请求可以包含多个回合或输入。Astra 依靠练习样本的反馈选择候选,最终留出测试的结果不会返回给它。因而,「没有梯度更新」不等于「没有反馈」,更不意味着机器人从未接受过训练。

这使问题从「机器人有没有学过这个动作」,转向了「这条指令在模型里被表示成什么,能不能更可靠地调用已有行为」。

动图 2|GPT-6 Astra调试机器人权重的真实过程回放。研究者公开了50次工具请求中的关键节点,展示Astra如何根据仿真反馈调整词嵌入、检查候选效果,并最终保留65行修改。左侧为同一指令修改前后的机器人行为,底部展示练习样本结果与工具反馈。

65 行,改在语言进入模型的地方

一条指令进入模型后,会先被拆成词元(token)。词元不一定等于完整英文单词。随后,模型按词元 ID 从嵌入表中取出对应的一行向量,后续网络处理的就是这些数值表征。

Astra 最终保留的修改,集中在这张嵌入表上。它选出一部分词元,把向量移向更常见的任务表达,例如 cooker→stove、basin→bowl、fermented→wine。有些行采用目标向量,有些保留一部分原向量;遇到歧义,也可以使用多个目标向量的均值。

开场炉灶指令里的 cooking,就是一个具体例子。对应词元的嵌入被改为 25%的原向量,加上 75%的 stove 向量。输入给机器人的文字仍然包含 cooking,但进入后续网络的数值表示发生了变化。这一行属于整份 65 行修改,研究没有单独评估它的效果。

其余案例也保留了可检查的对应关系:酒瓶指令中的 fermented、grapes 被移向 wine;取碗指令中的 rounded 被移向 bowl,uppermost 被移向 top。完整词元映射和配对录像均已公开。

65 行共改变 132,768 个参数值,占导出检查点的 0.00367%。这里的「行」是嵌入表的行数,并非 65 个参数,也不是 65 行代码。提交的语言修复只改变这些嵌入值;具体词元 ID、目标行和混合比例都已公开。

此前已有研究探索让通用 LLM 直接读取和改写神经网络权重,即权重空间编程(Weight-Space Programming)。[2] ROME、MEMIT、MEND 等工作也研究模型编辑问题。[8][9][10] 本研究检验的是 LLM 借助权重检查与仿真反馈构造机器人策略修改的可行性,没有与这些编辑算法做直接比较。

765 条留出指令:48 次修复,4 次退化

一例成功视频还不能回答修改是否可靠。研究从同一个原始检查点分别开始三次编辑,三次搜索彼此不继承笔记和修改。候选确定后,再在同一组 765 条留出改写指令上与原始策略配对比较。

表 1|三次独立编辑搜索的留出结果。测试使用相同的 765 条指令和随机种子 7;三项主要检验经 Holm 多重比较校正后仍显著。三次搜索共享同一测试集,不能当作三组独立测试数据。

效果最好的 C,将成功数从 660 提高到 704:48 个原本失败的回合成功了,同时有 4 个原本成功的回合失败,净增加 44 次成功。整体成功率从 86.3%升至 92.0%,提升 5.8 个百分点,精确配对检验 p=1.31×10⁻¹⁰。

把指令按是否读到被修改的嵌入行分开,变化的位置更清楚:包含被改词元的 335 个回合,成功数从 249 增至 293,对应 74.3%→87.5%;不包含这些词元的 430 个回合,成败结果逐一不变。

表 2|编辑 C 的词元覆盖分组。完整结果同时计入修复和退化,430 个回合的「零变化」仅指逐回合成败结果。

图 2|编辑 C 的结果变化集中在含被改词元的指令中。最难一级改写的成功率从 59.8%提高到 78.2%;图中数字来自逐回合记录。

这种局部性有一个直接解释:如果指令没有读取被改动的行,查表得到的文本向量就相同。在相机观察、采样噪声等输入固定时,其余未改动的网络得到的计算输入也相同。但包含这些词元的其他新语境仍可能受到影响,不能据此保证模型在所有任务上都没有副作用。

从炉灶到取碗、酒瓶:修复发生在哪里?

取碗任务中,指令用「darkcolored rounded container」和「uppermost storage compartment」描述目标及位置。被改词元 rounded、uppermost 分别移向 bowl、top 的嵌入。相同场景下,原始策略在 220 步超时,编辑后的策略在 138 步成功。

动图 3|取碗:原始策略在 220 步超时,编辑后在 138 步成功。

酒瓶任务把目标描述为装着「fermented grapes」的玻璃容器。fermented 和 grapes 对应的嵌入被移向 wine;这条指令还涉及 atop→top 的修改。原始策略在 300 步超时,编辑后在 90 步成功。上述效果来自整份 65 行修改,未对单个词元分别做消融评估。

动图 4|酒瓶:原始策略在 300 步超时,编辑后在 90 步成功。

这些是从留出测试中选出的修复案例。它们帮助解释模型读到了哪些修改,整体结论仍以全部 765 个回合、包括 4 次退化在内的配对结果为准。完整指令、词元映射和逐回合结果均可在公开代码仓库中查看。

一次高分之后,修改还得经得起下一批样本

最终的 65 行修改,也经历过看起来成功、随后暴露问题的阶段。在一次编辑过程中,原始模型先在 80 条较难的目标任务改写上成功 49 次。Astra 围绕词汇表达提出修改,早期候选在这组诊断样本上做到了 69/80。

换一批样本后,这个候选修复了 8 个失败回合,也让 6 个原本成功的回合退化。旧样本上的高分,没有让这次搜索结束。Astra 继续调整有歧义的词汇映射,形成涉及 65 行嵌入的候选,先冻结修改,再用预留练习样本验证。

对运行错误做同种子重试并去重后,460 个练习样本的成功数从 412 增至 429。最终,Astra 保留了这份修改。选哪些词元、移向哪些目标向量、每行移动多少,均由 Astra 在会话中提出并检查。

这些节点说明了候选怎样被筛选,但不同练习批次的分数不能连成训练曲线,练习中的涨分也不能代替 765 条留出指令上的最终评估。完整试错过程可在公开实验记录中逐次回看。

换一组同义词,就能做到吗?

一个自然的问题是:收益来自 Astra 找到了有意义的词汇对应关系,还是随便做一点参数扰动也能改善结果?研究对相同的 65 个源行做了两种对照。

第一种沿随机方向移动,移动距离与原修改匹配。第二种沿用 Astra 找到的词汇对应关系,把源嵌入完整替换为目标嵌入,也保留多目标均值的设置。这里比较的是嵌入值的完整替换,输入字符串没有被改写。

表 3|同一组 765 个回合上的对照。完整替换有 2 次、随机对照有 3 次运行错误,在表中按失败计;论文同时报告排除无效配对后的分析。随机方向为本次构造的一个对照实例。

这次随机方向对照没有带来提升。完整替换则已经解释了相当一部分收益:成功率达到 90.5%。这意味着,找到哪些词元需要改、应该移向哪里,本身就是修复的重要部分。

Astra 编辑 C 的成功率为 92.0%,点估计更高,退化也更少;但它与完整替换在 763 个有效配对上的直接比较 p=0.0614,尚未达到 0.05 的显著性标准。因此,现有结果没有确认「部分混合显著优于完整替换」,也没有证明它优于独立编制的人工词表、提示词改写或微调方法。

修不好的,也留下了记录

公开的 16 次机器人实验,还覆盖了相机视角、背景、语言扰动、指令后缀,以及 LIBERO-RECOVER 失败恢复和 LIBERO-PRO 鲁棒性搜索。[11][12] 按论文的最终决定统计,三次语言修复全部保留,且都有显著留出收益;其余 13 次搜索中有 12 次放弃候选,唯一计为保留的后缀跟进也没有显著留出收益,p=0.542。

失败恢复实验很能说明区别。一份修改让机器人空抓后更经常重新张开夹爪,但在一组练习评测中,真正完成任务的次数反而从 213/352 降到 208/352。某个内部信号按预期变化,整个任务却没有变好。

在一次恢复搜索的预留练习验证中,最后一轮预留练习验证共有 288 个有效配对,成功数从 166 降到 164,最终撤回修改。研究没有据此声称修复了留出集上的失败恢复能力。

这使保留或撤回候选,成为与提出修改同样需要检查的结果。不过,12/13 只描述这组运行的决定,还不足以证明 LLM 普遍知道「哪些故障能修」。历史运行还出现过收尾代码未执行、撤回候选留在磁盘的情况;框架 bug 已修复,材料中也区分了归档文件与最终决定。

独立发现:指令末尾的数字也会改变成功率

在 FastWAM 实验中,研究还发现了一种指令格式敏感性:在任务描述末尾加上「view 0 0 100 2 354 initstate 0」一类元数据,策略表现就会明显变化。[14]

相同的 210 个配对回合,FastWAM 使用纯任务指令时成功率为 70.0%,加入后缀后降到 48.6%。作为对照,被测π₀.₅的总体成功率两次均为 88.6%,其中有 9 次改善、9 次退化,逐回合结果并非全部不变。

图 3|指令格式敏感性。每个检查点分别在相同 210 个回合上比较纯任务指令和带后缀指令。

这一发现尚未变成稳定的权重修复。首轮 FastWAM 归档候选伴随撤回要求,后续实验也没有确认显著收益。因此,它与前面的π₀.₅词汇修复需要分别看待:一个是被观察到的评测现象,一个是已有留出证据支持的编辑结果。

比较只涉及两个已发布检查点。DreamZero、E0.5 等世界动作模型提供了更广的研究背景,但不在本次后缀测试范围内。[15][16] 它给评测留下的问题很具体:报告成功率时,模型收到的完整指令究竟是什么?

第一版已开源,真机验证正在进行

论文标题问的是:LLM 能靠修改权重调试机器人吗?这组实验对一类词汇理解失败给出了肯定结果:少量直接权重修改,让一批留出指令更可靠地调用了策略已有的操作行为。语言到动作的完整因果通路,目前还没有逐层定位。

验证范围也有明确边界。主留出测试使用同一随机种子;早期 200 条留出子集未检出显著提升,随后是在既有完整留出划分上评测同一候选。补充的多种子检查来自练习集,收益不均匀。所有已公开结果均来自仿真,尚未验证真机迁移或新运动技能的获得。

当前开源的是第一版(v1),第二版研究和真机实验正在进行。GitHub 提供实际评测过的 65 行稀疏修改及应用脚本、运行框架、全部 16 次会话和逐回合证据。读者既能检查最终分数,也能沿着记录看见候选怎样形成、哪些修改被放弃,以及结论在哪些条件下成立。

参考文献

1. π₀.₅: a Vision-Language-Action Model with Open-World Generalization

2. Sparks of Weight-Space Programming: LLMs can natively read and write neural network weights

3. π₀: A Vision-Language-Action Flow Model for General Robot Control

4. OpenVLA: An Open-Source Vision-Language-Action Model

5. LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

6. LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

7. Stable Language Guidance for Vision–Language–Action Models

8. Locating and Editing Factual Associations in GPT

9. Mass-Editing Memory in a Transformer

10. Fast Model Editing at Scale

11. LIBERO-RECOVER: Beyond Task Success Towards Failure Recovery in Robotic Manipulation Models

12. LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

13. LoRA: Low-Rank Adaptation of Large Language Models

14. Fast-WAM: Do World Action Models Need Test-time Future Imagination?

15. World Action Models are Zero-shot Policies

16. E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  

ICSE 2027 | 清华提出CoACT:降低Coding Agent 33% Token开销

机器之心 2026-11-13 14:28 北京

能否在不影响任务完成的前提下压缩上下文?

Coding Agent 的上下文越长,每一步调用的开销越高,能否在不影响任务完成的前提下压缩上下文?

Coding Agent 解决软件问题时,需要反复查看代码、修改程序、运行测试:每一步返回的文件内容、搜索结果和日志,都会留在上下文里,下一轮调用时还要整段重新带上。任务越难,上下文越长,每一步要处理的 token 就越多,费用也越高。统计发现,在 SWE-bench Verified 上,这些 observation 占了总 token 消耗的 45.7%,在 Terminal-Bench 上最高达到 67.8%。

能否直接压缩这些 observation?难点在于:压缩时很难知道被删去的内容后续是否还会被用到。

来自清华大学人工智能学院的团队提出了 CoACT:一种面向 Coding Agent 的 observation 压缩方法。它不看压缩结果像不像原文,而是看压缩之后,Agent 的下一步动作变没变。 在 SWE-bench Verified 的 200 个实例、三个 Agent 模型上,CoACT 平均减少 33.0% 的总 token 消耗,平均 PASS@1 从 69.0% 到 71.0%,任务表现与未压缩时相近。该工作已经被 CCF A 类会议 ICSE 2027 直接接收(Top 5%)。

  • 论文标题:CoACT: Action-Preserving Observation Compression for Coding Agents

一、现有压缩方法的局限

已有方法大致分两路。一路是改写历史:滑动窗口丢掉较早的命令和输出,AgentDiet 则让模型定期回看历史,自己删掉重复或用不上的内容。但历史一旦被改写,原有的 KV Cache 就没法完整复用,模型还得重新预填充改写后的内容,token 少了,开销未必变少。

另一路是在新 observation 进入上下文之前就先压缩。之前的历史原封不动,缓存照常复用。CoACT 选的就是这条对 KV Cache 友好的路。

走这条路,先要想清楚压缩的目标。Agent 的目的是完成任务,因此压缩的效果应以任务能否完成来衡量。所以目标是:在任务成功率(PASS@1)与未压缩 Agent 接近的前提下,尽可能减少总 token 消耗。

这需要在两方面权衡:删减过多,Agent 可能缺少必要信息,导致任务失败或重复读取;删减过少,则无法有效降低开销。

二、核心想法:下一步动作保持(NAP)

最直接的验证办法,是让 Agent 读完压缩结果把任务跑完。但同一份 observation 可以有很多种压缩,每种都跑完全程,成本太高;一次任务里还要压缩很多次,也难以判断最终结果是由哪一次压缩造成的。

我们认为,Agent 的执行过程可以看作 “读取输出、执行动作、获得新输出” 的循环。假设初始环境相同、环境对相同动作的响应也相同,那么只要每次压缩后 Agent 的下一步动作不变,环境收到的操作和返回的结果就一样,往后的动作序列和最终结果,理论上也不会变。

基于这个推导,我们提出下一步动作保持(Next-Action Preservation,NAP):保持任务目标和历史相同,分别让 Agent 读压缩前后的 observation,再比较它接下来的动作。比如读完一段代码后,Agent 本来要去查看里面调用的某个函数,换成压缩结果后它还是去看这个函数,则认为这次压缩保持了下一步动作。这样可以对每次压缩单独检验,无需等到任务结束。

三、怎么造训练数据:

基于 NAP 的压缩示范构造

有了 NAP,我们训练了一个轻量压缩器(以 Qwen3.5-4B 为基座)。做法分几步:

先让教师模型 Gemini3-Flash,为同一份 observation 生成 8 份压缩候选;再让 Agent 在原始 observation 下多次采样,得到 8 个参考动作。每份压缩结果引出的动作,会与参考动作逐个比较,取最相似的 3 个求平均,得分达到 0.6 才算通过。比较时并不是比字符串,而是解析命令的操作类型、目标文件和读取范围,写法不同但读取同一段代码的命令,会被识别为相同操作。

通过检查后,再从中挑选更短的版本,作为训练示范。如果 8 份候选全军覆没,就用原始 observation 当目标,让模型学会该留的时候就留。

四、两阶段训练:离线引导与在线对齐

只用未压缩 Agent 的轨迹造数据,有个隐患:收集数据时,Agent 的历史都是完整的;真正部署后,前几步读到的内容也被压缩过,看到的历史已经不一样了。

CoACT 的做法是:第一阶段用离线轨迹做监督微调,得到初始压缩器;第二阶段让它实际参与 Agent 运行,保留此前已压缩的历史,重新做动作比较和长度筛选,得到第二批数据;最后合并两阶段数据训练最终压缩器。

对照实验中,只用离线数据训练的压缩器,PASS@1 为 56.0%,略低于未压缩的 57.0%;加入第二阶段的在线数据后升到 60.5%,总 token 消耗基本相当。

五、实验结果:省下三分之一,性能没有变

在 SWE-bench Verified 随机抽取的 200 个实例上,CoACT 在 Qwen3.5-35B-A3B、Deepseek-v4-Pro 和 Gemini3-Flash 三个模型上均减少了 token 消耗:Qwen 从 3.795M 降到 2.428M,Deepseek 从 1.068M 降到 0.868M,Gemini 从 0.685M 降到 0.422M,平均降幅 33.0%。三个模型的平均 PASS@1 从 69.0% 变为 71.0%:Qwen 和 Gemini 分别提升 3.5 和 4.0 个点,Deepseek 略降 1.5 个点。平均交互步数也从 56.5 步降到 51.2 步。

压缩后,那些又长又占地方的 observation 明显变少了:在 Qwen3.5-35B-A3B 上,超过 1K token 的 observation 占比从 32.3% 降到 9.4%。

和已有的 observation 压缩方法相比,差距更有意思。以 Qwen 为例,LLMLingua-2 压缩后,PASS@1 从 57.0% 降到 50.0%,总 token 反而从 3.795M 涨到 10.329M;SWE-Pruner 涨到 4.471M;LongCodeZip 降到 3.165M;CoACT 为 2.428M,PASS@1 为 60.5%。在 Deepseek 上,三种基线的总 token 都高于未压缩的 1.068M,CoACT 则降到 0.868M,是两个评测模型上总 token 最低的方法。这说明,仅以缩短 observation 长度为目标,并不能保证整个任务的总开销下降。

CoACT 作为单步压缩方法,还能和历史压缩方法配合。单独使用 AgentDiet 时,总 token 虽然减少,估算总费用却从未压缩的 41.26 美元涨到 45.65 美元,原因是改写历史影响了 KV Cache 复用。在 AgentDiet 流程中先加入 CoACT,估算总费用降到 25.88 美元,任务成功率保持相近,比单独使用 AgentDiet 少了约 43.3%。

作者介绍

本研究由清华大学人工智能学院 AI Agent 课题组完成。通讯作者为清华大学人工智能学院李佳助理教授,主要研究方向为 AI + 软件、可信智能体。第一作者陈浩瑞为清华大学人工智能学院 2027 级直博生(拟入学),主要研究方向为 Efficient AI。

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

  •  
❌