铃阅时讯
❌

阅读视图

ICLR 2027满分论文大赏:什么样的创新最打动人?

原创 让你更懂AI的 2026-11-17 17:38 北京

Rebuttal如何逆转评分

图片

从 2 分升到 4 分,再到三位审稿人集体提分,作者究竟拿出了哪些让人信服的新证据?

ICLR 2027 的「满分作文」,已经出现了。

初审评分公布时,只有三篇论文获得审稿人的一致满分。

随着 Rebuttal 推进,截至 11 月 17 日,已有 8 篇论文获得三位审稿人一致的 4 分最高推荐,其中一篇甚至从 3、3、3 一路升至 4、4、4。

顶会论文的满分答卷,究竟长什么样?那些后来成功提分的,又是怎么说服审稿人的?

初审即获满分

大模型自己管理上下文

论文标题:

Context Language Models

论文地址:

https://openreview.net/forum?id=U1ObEVC4A7

代码地址:

https://github.com/facebookresearch/context-language-models

何时压缩历史、保留哪些信息,通常由外部 Harness 预设的规则决定。

华盛顿大学、Meta 超级智能实验室等机构提出的 Context Language Models(CLM),索性把当前上下文变成可编辑的文件,交由模型自行维护。

模型可以删除冗余记录、整理关键信息,还能为多智能体协作维护各自的上下文。这些管理策略还可以通过指令优化和强化学习进一步改进。

在深度研究基准 BrowseComp-Plus 上,CLM 的准确率相对最强对照方案提高 11.4%,推理计算量(FLOPs)减少21.5%。在 12 小时的代码优化任务中,得分提高 5%,计算量下降59%。

〓上下文语言模型的基本设计与代表性实验结果

参数更大,归纳能力反而变弱?

论文标题:

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

论文地址:

https://openreview.net/forum?id=m5TLPK0U7O

知道知更鸟具有某种特征,人们更容易推测麻雀也有这种特征,却不太会据此推断鲸鱼也有。语言模型会不会在预训练中形成类似的类别归纳能力?

瑞士洛桑联邦理工学院(EPFL)、AXA 等机构的研究团队把带有隐含类别关系的合成知识混入 Pythia 和 OLMo 2 的继续预训练过程,发现仅凭下一个词预测,模型就能学会按类别推断陌生属性。

对模型内部表征进行聚类,甚至能够恢复实验中预设的完整分类树。

在固定且有限的数据预算下,随着模型参数量增大,正确的类别归纳能力反而减弱。

不过,作者在 Rebuttal 中将数据预算扩大四倍后发现,1B 模型最终追上并反超了 160M 模型。更大的模型可能需要更多训练数据,才能充分学会利用潜在类别结构。

〓潜在类别结构与属性归纳的实验设置

Rebuttal后升至满分

64层网络,胜过1024层

论文标题:

Outperforming 1000 Euclidean Layers With Hyperbolic Contrastive RL

论文地址:

https://openreview.net/forum?id=ldn229Iy07

代码地址:

https://github.com/Probabilistic-and-Interactive-ML/HypGCRL

在迷宫中,两个位置的直线距离可能很近,实际路线却隔着一堵墙。

传统对比强化学习通常使用状态—动作表征与目标表征之间的欧氏距离来衡量目标可达性,面对复杂路径结构,往往需要更深的网络才能学好这种关系。

维也纳大学等机构的团队改用双曲空间中的测地距离,让模型更容易捕捉迷宫中的实际可达路径。

在困难的人形机器人迷宫任务中,64 层双曲模型的表现超过 1024 层欧氏模型,训练速度快 12 倍以上,参数量约少 13 倍。

〓64层双曲模型与深层欧氏模型的性能及训练耗时对比

Rebuttal提分观察

审稿人担心跨论文基线的比较不够公平,也质疑机器人是否可能通过越墙到达目标。作者统一训练协议重新测试欧氏基线,并在加高墙体的迷宫中验证结果。一位审稿人的评分由 2 分提高至 4 分。

融合AlphaFold3等模型的表征

论文标题:

Co-folding with a Soup of Representations

论文地址:

https://openreview.net/forum?id=Jn7WiQ9LtS

代码地址:

https://github.com/hsjang0/soupfold

AlphaFold3 之后,生物分子复合物结构预测涌现出多种强模型,但面对同一种复合物,不同模型的预测能力仍有差异。

韩国科学技术院(KAIST)提出的 SoupFold 尝试直接融合模型内部的成对表征,让不同模型捕捉到的结构线索相互补充。

SoupFold 以其中一个模型为主模型,将其他模型的表征映射到它的表征空间,再融合这些信息生成结构。

研究涉及 AlphaFold3、Protenix、ESMFold2 和 OpenDDE 等模型。基础模型无需重新训练,只需学习轻量级的表征映射。

在包含 422 个抗体—抗原预测目标的 CoFold Arena 评测中,SoupFold 融合 OpenDDE、Protenix 和 ESMFold2 的表征,表现超过了当时榜单中的其他模型。

〓SoupFold融合多种共折叠模型的结构表征

Rebuttal提分观察

作者补充了同等计算预算下的强模型对照,并检查训练数据与评测数据的隔离情况,排查性能收益是否来自额外计算或数据泄漏。随后,一位审稿人将评分从 3 分提高至 4 分。

数学证明压缩,也有训练陷阱

论文标题:

LeanPolish: Verified Supervision for Lean Proof Compression

论文地址:

https://openreview.net/forum?id=yRmdNlDhJS

代码地址:

https://github.com/paulinebourigault/leanpolish

AI 生成的数学证明即便能够通过 Lean 验证,也可能冗长、重复。

伦敦帝国理工学院提出的 LeanPolish 希望利用经过验证的修改记录,让模型学会压缩证明。

研究同时发现,只记录搜索遇到的第一个成功修改,可能把候选顺序变成答案提示,让模型学到与证明内容无关的捷径。

〓LeanPolish的证明修改、校验与数据记录流程

团队整理了 33,402 条验证成功的局部修改和 65,596 条失败尝试。在原先的候选排序评测中,一个完全不看证明内容的简单规则,竟然也能达到100%的准确率。

改用完整候选集后,训练模型的排序准确率达到 70.1%,明显超过最强冻结模型的36.9%。

在 miniF2F 上,LeanPolish 的符号方法经过多轮迭代,证明 Token 数的降幅从 19.7% 扩大至 27.5%,超过了论文测试的神经网络混合方案。

利用这些修改数据微调后,DeepSeek-Prover 在单次生成条件下,成功缩短证明的比例也从 12% 提高至 58%。

Rebuttal提分观察

为了确认微调究竟带来了多少实际收益,作者增加了等预算冻结模型对照、多随机种子测试,以及限制验证次数的实验。三位审稿人最终均将评分从 3 分提高至 4 分。

8.8秒完成高精度三维重建

论文标题:

DMap: Efficient Dense Matching and Bundle Adjustment for Accurate 3D Reconstruction

论文地址:

https://openreview.net/forum?id=iikGG5Se3J

视觉基础模型能够快速预测三维场景,但直接回归往往难以保留亚像素级的几何约束;传统束调整虽然精度高,处理稠密对应关系又十分耗时。

DMap 利用预训练多视角模型完成全局初始化,并复用模型提取的特征,通过轻量解码器实现稠密匹配,随后在规则像素网格上进行 GPU 并行的稠密束调整。

〓DMap的多视角匹配与稠密束调整流程

在 ETH3D 的 25 个场景上,其高分辨率版本平均每场景只用 8.8 秒,相对位姿精度指标 AUC@1° 达到 88.6%。

Rebuttal提分观察

作者新增了与其他 GPU 束调整求解器的直接比较,还补充了逐像素深度精度实验。一位审稿人认可这些结果,将评分从 2 分提高至 4 分。

AI生成材料,符合物理规律吗?

论文标题:

What Defines a High-Quality Generated Material? Stress-Testing Generative Models on Amorphous Matter

论文地址:

https://openreview.net/forum?id=PTsclw583x

生成材料的结构指标表现不错,就意味着它符合物理规律吗?

对缺乏长程有序结构的非晶材料而言,传统的几何相似度指标尤其容易漏掉问题。一个局部异常的原子,就可能带来明显不合理的物理行为。

这篇论文提出 AmorphBench,围绕局部结构、拓扑、衍射、力学、能量及构型空间覆盖度,设置六大类 21 项质量指标。

〓AmorphBench的材料体系、评价维度与测试流程

研究评估了 8 种生成与结构拟合方法,覆盖 5 种非晶材料体系、14 组密度和成分条件。

结果显示,一些模型在结构指标上表现不错,却依然存在能量异常、力学性质失真等问题。即使将训练数据增加十倍,各种方法的相对排名也没有发生变化。

Rebuttal提分观察

围绕基准数据量偏小、应用场景不够清晰的疑问,作者增加了扩大数据规模后的评测和计算成本分析,并进一步说明基准适用的材料采样任务。一位审稿人随后将评分从 2 分提高至 4 分。

多模态聚类,负样本也分可信度

论文标题:

What to Preserve and Trust in Multi-modal Clustering: Cross-Guided Information Bottleneck with Reliable Contrastive Learning

论文地址:

https://openreview.net/forum?id=JYMIxuG7ph

多模态聚类希望从不同模态的数据中找到共同的类别结构,难点在于各模态的有效信息因样本而异。对比学习还可能把同一类别的两个样本错误地当作负样本。

交叉引导信息瓶颈针对每个样本,动态调整其他模态提供的信息,促进跨模态共享信息的保留。可靠对比学习则分别估计负样本关系的模糊程度与样本可信度,再调整训练权重。

〓CGIB-RCL的跨模态信息筛选与可靠对比学习框架

在五个多模态数据集上,CGIB-RCL 的聚类准确率和归一化互信息均取得最佳成绩。其中,在 Caltech-3V 数据集上,聚类准确率达到 79.1%,归一化互信息达到 71.6%。

Rebuttal提分观察

审稿人担心性能提升只是因为整体减弱了负样本约束。作者补齐相关方法的对照,并用恒定权重和打乱负样本权重的控制实验检验自适应加权的作用,同时澄清了理论表述。两位审稿人均将评分从 3 分提高至 4 分。

另一篇满分论文

零样本控制,测试时再选策略

论文标题:

Zero-Shot Control with Gaussian Representations and Test-Time Adjustment

论文地址:

https://openreview.net/forum?id=WeUNn9rlIi

最初三篇初审满分论文中,Zero-Shot Control 的情况比较特殊。两位正式审稿人都给了 4 分,11 月 11 日,AC 却在公开评论中给出 2 分弱拒稿意见。

论文提出高斯潜在动力学后继特征(GLDSF),改善零样本控制中的表征学习。

传统方法通常直接根据推断出的任务奖励选择策略,而这项工作将用于评估任务的奖励系数与决定策略的行为编码分开,在测试阶段搜索更合适的预训练策略,无须更新预训练参数或额外与环境交互。

在 ExORL 基准中,未经测试时调整的模型在图像观测下较最强基线整体提升 24.0%。加入调整后,图像任务又提升 8.4%。

〓零样本控制方法在状态和图像观测下的性能对比

更多阅读

·

跳转微信打开

  •  

大模型手搓Harness有多难?GPT-6 Astra夺冠,通过率仅53.05%

让你更懂AI的 2026-11-17 17:38 北京

Doc2Harness首测大模型自建智能体底座

编程智能体的表现,既取决于模型本身,也取决于包在模型外面的 harness:主循环、工具执行、上下文管理、权限、会话状态与故障恢复。

自进化(RSI, recursive self-improvement)要求智能体不断修改约束自身行为的这层基础设施,模型构建 harness 的能力决定了智能体 RSI 的上限。

近日,来自中科院计算所、清华大学、北京大学与东南大学的研究团队提出了 Doc2Harness,这是首个直接评测长程 harness 工程能力的确定性基准。

被测模型依据一份开发文档,从一个只声明接口的契约骨架出发,在隔离容器中构建出完整的候选 harness。

该 harness 随后被冻结,由脚本化的 mock 模型驱动,在 328 个 test case 上评测。19 个前沿模型中排名第一的 GPT-6 Astra,通过率为 53.05%。

论文标题:

Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents

论文地址:

https://arxiv.org/abs/2610.20344

项目主页:

https://geyuyao.com/doc2harness/

代码地址:

https://github.com/YuyaoGe/doc2harness

动机:harness 工程为何需要专门的评测

构建 harness 属于软件工程任务,但现有的软件工程基准难以直接用于评测它。

从数据的角度看,SWE-bench Pro、NL2Repo-Bench、Commit0 等基准使用的开源仓库大多是成熟项目,很可能已多次出现在训练语料中;harness 则是近几年才出现的软件,迭代很快,模型难以依靠记忆完成。

从判定方式的角度看,现有基准依靠任务自带的单元测试,而同一功能在 harness 中可以有多种实现,单元测试只能通过固定接口观察行为。

此外,harness 本身不完成下游任务,必须由模型驱动才能检验其正确性。因此,评测 harness 只能依据它被驱动时的外部行为。

总体设计:在一个容器中构建,在另一个容器中评测

Doc2Harness 分为两个阶段,每个阶段各固定一个组件,以减少混杂因素。

2.1 阶段一:构建

被测的 agent 由构建模型(build model)和一个固定的构建 harness(builder harness)组成。它阅读开发文档,以契约骨架为起点,写出候选 harness。

构建 harness 统一采用开源的 OpenCode。之所以没有使用 Claude Code 或 Codex CLI,是因为它们由模型厂商开发,可能对自家模型存在倾向性。

只有发出提交,构建才算结束。每次提交会触发契约检查(contract check),检查交付物能否编译安装、必需的命令是否齐全、有没有残留占位代码、三个契约接口是否就位。

契约检查只看形式,不运行任何 test case。检查通过,交付物就被冻结为候选 harness,之后不再修改。

检查不通过则退回,被测的 agent 可以修改后再次提交。每次构建最多提交 3 次,墙钟时间上限为 2 小时。

2.2 阶段二:评测

冻结后的候选 harness 被移到与构建环境隔离的容器中运行,每个 test case 使用单独的容器和单独的一份初始文件。

mock 模型按照预设脚本给出回复,驱动候选 harness 走完一次完整的会话。真实大模型的输出带有随机性,会干扰评测;mock 模型的回复完全依照预设脚本,因此每一次判定都是确定的。

每个 test case 从四个可观测通道(observable channel)读取效果:发送给模型的请求、磁盘上的文件、进程退出码和命令输出。

有些 test case 还配有正控(positive control)。一个 test case 只有在自身通过、并且为它把关的每个正控也都通过时,才记为 PASS。

正控本身不计入通过率。构建模型的能力通过候选 harness 在全部 test case 上的通过率间接体现出来,因此 Doc2Harness 排名的是构建模型,而不是某一个 harness。

任务输入:开发文档与契约骨架

两份输入都在尽量减少构建模型对既有知识的依赖,使其依据规格而非记忆完成构建。

3.1 开发文档:整合 12 个前沿 harness 的功能

开发文档的编写分三步。

收集功能清单。研究团队爬取了 12 个前沿 harness 的用户文档,包括 Claude Code、Kimi Code、Gemini CLI、Qwen Code、OpenCode、OpenClaw、Codex CLI、Aider、OpenHands、Cline、Crush 和 Cursor,从中提取候选功能,再逐项补充调用形式、参数语义和边界行为,合并、去重、裁剪后形成一份能力清单。

把清单写成条款。条款是文档的基本单位。文档共 10 章,涵盖交付物与运行接口、内置工具、顶层命令与子命令、权限与角色模式、全局参数、会话内命令与快捷键、持久记忆、约定文件、一致性规则和退出码。

每条条款规定语法、含义和预期行为,其效果必须能通过四个通道之一观察到;除了契约骨架的三个接口,条款不对实现方式作任何限定。

消除歧义。12 个来源的条款难免互相冲突。语义重叠的命令被合并,例如上下文压缩在 Claude Code 中叫  /compact ,在 Cursor 中叫  /summarize ,文档统一用  /compact 。

同名但含义不同的概念被拆开,例如「plan」在 Claude Code 中是六种权限模式之一,意思是只读;在 Aider 中,提出修改和执行修改则分别由 architect 和 editor 两个角色承担。

文档因此把只读约束放进权限,把修改的提出与执行放进角色,各自写成独立的条款。

3.2 契约骨架:约 70 行代码,其余由模型编写

契约骨架由 mini-swe-agent 精简而来,只有 5 个 Python 源文件,合计约 70 行,另附一个安装脚本、一个入口脚本和一份项目配置,不包含任何功能实现。

其中三个接口是不可修改的外部契约:命令行接口(CLI)、Headless 入口,以及供自动化评测驱动的 API。

骨架越薄,模型要自己写的部分就越多。一个有代表性的候选 harness 约有 30 个 Python 源文件、16,000 行代码,其中约 99.6% 是构建模型写的。

每次构建都从一个全新的空容器开始,除了指定的模型网关,容器无法访问外网。构建前会做一次预检,确认容器里没有多余的文件、OpenCode 能正常启动,任何一项不满足就中止构建。

test case 合成:三种方法交替使用

每个 test case 都要锚定在开发文档的某条条款上,同时要能区分不同的实现。

研究团队用三种方法交替合成 test case:前两种扩大覆盖面,第三种加深检查的深度;某种方法的边际产出下降后,就换用下一种。

4.1 公开 Issue 挖掘

这个方法基于对缺陷分布的一个判断:大模型是在人类写的代码上训练出来的,成熟 harness 和模型写的 harness 面对的是同样的接口语义和同类的边界条件,所以成熟 harness 多年来暴露过的缺陷,很可能也是模型会犯的错误。

研究团队拉取了四个前沿 harness 公开仓库中的全部 issue:

记录先按与开发文档的相关度排序,逐条审阅;报告同一现象的记录被聚成一类,形成一个候选 test case。

如果两个候选锚定同一条款、观察的效果又过于接近,它们会在同一批实现上同时通过或同时失败,这时只保留材料更完整的那个。

此外,候选必须能写成确定性的断言,并且没有被现有测试集覆盖,才会被保留。

4.2 跨 harness 对比

公开 issue 的数量和质量有限,这个方法则从源码入手。

研究团队按开发文档列出的功能,把一个候选 harness 的源码划分成若干模块,对 Kimi Code、Qwen Code 等成熟 harness 的源码做同样的划分,然后逐个模块比较:哪些功能成熟实现处理了而候选 harness 没有,哪些边界上两者的行为不一样。

实现上的差异不一定是缺陷,也可能只是写法不同,所以每一处差异都要回到开发文档中核对,只有能从某条条款的意图推导出来的差异,才作为候选 test case。

4.3 单变量扩展

这个方法从一个已经证明有区分度的 test case 出发,把它作为种子 test case,每次只改一个变量。

test case 由场景和断言组成,扩展时断言不变,只改场景。可以改的变量有四类:

  • 工具:同一个目的往往可以用多种工具达到,候选 harness 可能只把其中一部分实现对了;

  • 输入形式:例如检查路径逃逸时,输入可以换成指向文件的符号链接、指向目录的符号链接、多级符号链接或相对路径符号链接;

  • 出错的参数:同一种编码错误可能出现在不同参数上,例如把数值 0 当作缺省;

  • 结果出现的位置:同一行为的结果可能出现在标准输出、标准错误或错误信息中。

每个新候选都要做相似性检查,与种子 test case 太接近的会被舍弃,其余保留为 test case,并作为下一轮扩展的种子 test case。

还没有任何 test case 锚定的条款提供不了种子 test case,这部分只能靠前两种方法补上,所以三种方法需要交替使用。

正控:排除空过(vacuous pass)

5.1 空过问题

test case 通过,并不代表候选 harness 一定实现了对应的需求。

以路径逃逸为例:mock 模型的脚本让候选 harness 用 read 工具读取一个指向工作区外部的符号链接,断言外部文件的内容不会出现在发给模型的请求里。

内容没有出现,可能是实现拦截了这次越界读取,也可能只是它连任何文件都无法读取。两种情况下断言都成立,但只有前者满足需求,后一种情况即为空过。

5.2 三类正控

正控正是为排除空过而设计的。它和所把关的 test case 共用同一个场景和同一组初始文件,只改变输入或访问途径,换成一个不受被测条款约束的情形,并断言一个只要观测前提成立就必然出现的结果。

在断言本身写对的前提下,空过只有三种成因,分别由三类正控排除。

通道正控(Channel):检查工具结果能否到达被观察的通道:用 read 工具读一个普通文件,确认文件内容出现在请求里。

如果这一步失败,说明实现根本不把工具结果写进这个通道,禁止的内容没有出现也就说明不了拦截。

同形正控(Same form):排除没有被测约束也照样会失败的情况:输入形式不变,只换访问途径,通过 bash 工具访问同一个符号链接,确认它确实解析到工作区外,且文件可读。

路径逃逸条款约束的是文件工具,bash 执行的命令不在它的范围内。如果这一步失败,说明实现连不受约束的访问都完成不了,它在被测访问上没读到内容,和拦截无关。

反向正控(Reverse):排除实现出于别的原因一概拒绝这类输入的情况。一个拒绝所有符号链接的实现同样能通过上面的 test case,但它也会拒绝指向工作区内部的符号链接,而这种符号链接在正常使用中是合法的。

把输入换成这样一个符号链接,做同样的读取,确认内容仍然出现。如果这一步失败,说明那次通过并不是因为识别出了越界访问。

下图列出了几种典型实现在这个 test case 和三类正控上的结果。后三种实现的 test case 本身都通过了,但各有一类正控失败,最终都按空过记为 FAIL。

共用同一观测前提的 test case 归在同一个正控下,有多个前提的 test case 由多个正控共同把关。正控一旦失败,它把关的 test case 不论自身结果如何,都记为 FAIL。

测试集统计

根据开发文档的内容和契约骨架的三个外部契约,328 个 test case 被分为 9 个互不相交的类别(左图)。

会话状态 84 个、文件读写 75 个、权限 61 个、Headless 40 个、直接驱动 33 个、交互终端 20 个、交付物检查 7 个、启动 7 个、扩展发现 1 个。

右图是各类别中由正控把关的 test case 比例。130 个 test case 至少有一个正控把关,其中 114 个由一个正控把关,15 个由两个,1 个由三个。

文件读写和权限的覆盖率最高,交互终端最低;交付物检查标为 NA,因为这类 test case 要检查的内容,契约检查已经完整核验过。

覆盖面最广的正控一次把关 6 个 test case,它确认的是指向工作区外部的符号链接确实可读。

实验结果

研究团队评测了来自 11 家厂商的 19 个前沿模型,每个模型独立构建三次,三份候选 harness 全部计分,共 57 份构建。

7.1 远未饱和

如文首主图所示,GPT-6 Astra 的通过率最高,为 53.05%;排在最后的 Hy3 为 27.44%,两者相差约 26 个百分点。最强的模型也有近一半 test case 没有通过。

前两名的差距主要出在边界场景。

在普通场景中,Opus 5 以 80.68% 领先 GPT-6 Astra 的 72.46%;到了边界场景,GPT-6 Astra 以 48.97% 领先,Opus 5 降到 37.02%。

各类别区分模型的能力也不一样。权限类的平均通过率为 43.7%,最强与最弱模型相差 50.8 个百分点,61 个 test case 中有 51 个能区分模型。

文件读写的平均通过率与之相近,为 39.6%,强弱差却只有 20.9 个百分点。交互终端的平均通过率达到 79.9%,已接近饱和。

另有 56 个 test case 没有被任何一份候选 harness 通过。

7.2 名次在类别间变化很大

在六个主要类别上,同一个模型的名次最多相差 16 位:Opus 4.6 在直接驱动上排第 3,在权限上排第 19;Grok 4.7 在文件读写上排第 1,在会话状态上排第 11。

但这并不意味着模型在各类别之间此消彼长。

六个类别两两之间的 15 个相关系数全部为正,平均为 +0.521,说明模型之间的差异主要体现在整体能力上,而不是各自擅长不同的类别。

在全部 test case 上计算的 KR-20 系数为 0.913,测试集的内部一致性很高。

7.3 模块划分越细,得分越低

研究团队解析了全部 57 份候选 harness 的源码。

上图中,左侧每个点是一个模型三份构建的平均,右侧是每个模型三份构建的分布。

同一模型的三份构建规模相近,不同模型之间则相差很大:代码行数的方差有 95.9% 来自模型之间,代码行数与通过率的相关系数为 0.614。

控制代码行数之后,模块数与通过率的偏相关为 −0.423,逐一剔除单个模型后仍在 −0.484 到 −0.309 之间;每模块行数与通过率的偏相关为 +0.504。

在代码量相当时,把横切功能拆到越多模块里的候选 harness,得分越低。

总结

Doc2Harness 把「模型能否构建一个 harness」变成了一个可以确定性测量的问题。

被测模型在固定的构建 harness 中,依据整合了 12 个前沿 harness 功能的开发文档,从约 70 行的契约骨架出发,写出完整的候选 harness。

mock 模型再按预设脚本驱动它运行 328 个 test case,从四个通道读取效果,并用正控排除空过。

构建与评测放在两个隔离的阶段里,判定只依据外部可观测的行为,每一次通过都要经过正控的核验。基于断言的评测普遍存在空过的风险,正控提供了一种系统地排除它的做法。

实验结果显示,这项能力离饱和还很远:最强的模型也有近一半 test case 失败,而且失败集中在横切功能如何在模块之间划分这一实现选择上。研究团队希望 Doc2Harness 能够成为衡量这类长程构建能力的基准。

更多阅读

·

跳转微信打开

  •  

ICLR 2027初审均分仅2.06!清华份额第一,武大均分第三

原创 让你更懂AI的 2026-11-16 21:49 北京

中国高校表现抢眼

图片

今年 ICLR 拿到 2.5 分,究竟排在什么水平?

ICLR 2027 的全球高校成绩单来了,中国高校包揽了论文份额榜前四。

清华大学排在第一,北大、上交、浙大紧随其后。

按初审均分排名,武汉大学以 2.35 分位居全球高校第三,仅次于康奈尔大学和浦项科技大学,排在斯坦福、麻省理工等名校前面。

〓 图源 https://github.com/clareLab/posters/

超过 4 万篇论文的初审均分只有 2.06,近六成评审给出 2 分(Weak Reject),平均分达到 3 分的论文仅占约 4.1%。

一篇论文拿到 2.5 分,在 4 万多篇投稿中究竟是什么水平?

有网友开发了 Score Atlas,输入分数就能查看百分位和并列排名。

随着 Rebuttal 推进,审稿人上调或下调分数的情况,也被网友做成了每日更新的统计。

清华份额第一,武汉大学均分全球第三

有网友从 OpenReview 获取初审评分,通过标题匹配 arXiv 预印本,再利用 OpenAlex 识别作者机构,整理出一份覆盖全球高校、研究机构和大厂的统计榜单。

按分摊投稿量计算,清华大学以 315.2 位居全球第一,关联 734 篇论文。北京大学、上海交通大学和浙江大学紧随其后。排在第五的斯坦福大学为 145.9,尚不及清华的一半。

中国内地高校前十名如下:

中国香港地区单独统计。香港科技大学的分摊投稿量为 113.4,香港中文大学 91.6,香港大学 80.4。

在分摊投稿量不少于 20 的高校中,康奈尔大学以 2.40 分位居全球初审均分第一,浦项科技大学 2.37 分第二,武汉大学 2.35 分第三。

武汉大学关联 90 篇论文,分摊投稿量 29.4,不到清华的十分之一,初审均分却比清华的 2.19 高出约 0.16 分。

中国内地及香港高校中,上海科技大学均分 2.25,同济大学 2.23,香港中文大学(深圳)和香港科技大学约 2.22,也排在均分榜前列。

大厂方面,美团初审均分达到 2.38,腾讯 2.28,阿里 2.27。阿里的分摊投稿量还有 133.7,接近卡内基梅隆大学。

按国家和地区统计,中国内地机构占样本加权投稿量的 33.39%,略高于美国的 31.96%;两者初审均分分别为 2.175 和 2.182,几乎没有差别。

这份榜单基于 10520 篇成功匹配作者机构的论文,约占同期已评分投稿的四分之一,合作论文按作者及机构分摊计数。

近六成评审给2分,2.5分能排在哪?

ICLR 2027 将总体推荐评分从上届的六档改为四档,分别是 1 分(Clear Reject)、2 分(Weak Reject)、3 分(Weak Accept)和 4 分(Clear Accept)。

clareLab 在 11 月 6 日整理的初审数据覆盖 40544 篇论文、125304 份评审,论文初审均分为 2.06,中位数 2.00。

单份评审中,2 分占 57.5%,1 分占约 19%,两者合计超过 76%。相比之下,3 分约占 22%,最高的 4 分仅占 1.5%。

按论文均分计算,只有约 4.1% 的论文达到 3 分及以上。

〓ICLR 2027初审均分与单份评审评分分布

不同研究方向也存在一些差异。

生成模型均分约为 2.16,学习理论 2.13,机器人与规划 2.12。包括大语言模型在内的基础模型方向约为 2.07,与全体均分接近,强化学习则为 2.04。

在在线工具 Score Atlas 中输入 2.50,页面显示 84.8% 的论文均分不高于这一成绩,其中 606 篇与之同分。

〓2.50分在公开评审中的百分位查询结果

大量论文的平均分完全相同,名次也因此出现大规模并列。

例如,三名审稿人分别给出 2、2、3 分,均分约为 2.33,与 8563 篇论文并列,排名区间为第 6818-15380 名。

如果拿到 2、3、3 分,均分约为 2.67,并列论文减少至 4231 篇,对应第 1905-6135 名。

新四分制下,绝大部分论文只有三份评审,可形成的平均分组合相对有限,这也是分数集中、并列名次较多的原因。

除了查询排名,Score Atlas 还支持按研究方向、评审数量和置信度筛选,并可导出 CSV 数据。工具使用 11 月 6 日采集的 40642 篇有评分论文快照。

Rebuttal进行时,改分明显加速

随着 Rebuttal 推进,有网友制作了 ICLR 2027 Rebuttal Tracker,持续追踪 OpenReview 上的评分变化,并将改分方向、每日走势和作者回复情况汇总到一个网页中。

根据 11 月 16 日更新的数据,126395 份评审中已有 3204 份修改评分,占 2.53%。

其中,2916 份评分上调、288 份下调,已经发生的改分中,约 91% 都是上调。

最受关注的是,2006 条评审从 2 分(Weak Reject)升至 3 分(Weak Accept),评分由拒稿倾向转为接收倾向。

全部改分涉及 3029 篇论文,其中 2745 篇的平均分提高。

〓ICLR 2027评审改分趋势

改分数量增长很快。11 月 15 日还只有 1823 条评审发生变化,一天后就增加至 3204 条。

已有 18620 篇论文发布作者回应,其中 5729 篇得到至少一名审稿人的公开回复,约占已回应论文的 30.8%。

Rebuttal官方规则

1. 公开讨论截止时间

作者与审稿人的公开讨论截至 11 月 18 日 AoE(UTC−12)。随后进入内部讨论,12 月 16 日公布最终录用决定。

2. 论文修订与页数

讨论期内可以多次上传修订稿,正文页数上限从初稿的 9 页提高至 10 页。参考文献不计入页数,附录不限页。

作者需要主动说明修改内容及具体位置,审稿人和领域主席没有义务逐一阅读所有修订版本。

3. 新增实验的范围

可以补充实验回应审稿意见,但应围绕原论文已有结果展开。对于与初稿存在重大差异的修改,审稿人和领域主席可以选择不予采纳。

4. 多轮回复与评分调整

每条评论有字数限制,回复总次数不限。审稿人有责任参与讨论,并可根据作者回应调整评分和推荐意见。

作者公开讨论期结束后,审稿人仍可更新评审意见。

5. 向领域主席反馈问题

作者可以通过 OpenReview 的 Readers 设置,向 AC 发送限制可见范围的评论。

如果问题无法通过 AC 解决,还可以联系 PC,邮件标题需以 [Authors-to-PCs] 开头。

6. 双盲匿名要求

修订稿、补充材料、代码仓库及演示链接都必须保持匿名。在线演示网站也不能通过访问记录泄露审稿人身份,否则可能面临 desk reject。

7. SOTA与近期工作

未达到 SOTA,本身不足以成为拒稿理由。

对于投稿截止前不久发表的同期研究,以及仅在 arXiv 公开、尚未经过同行评审的论文,也不能仅因作者缺少相关对比就直接拒稿。

ICLR 2027 Rebuttal Tracker 还提供了往届 ICLR 的改分统计。从初审评分公开到最终决定,往年约有 11%-20% 的评审修改过评分,其中约九成为上调。

图片

参考文献

图片

[1] https://github.com/clareLab/posters

[2] https://songjhpku.github.io/ICLR2027-statistics/

[3] https://iclr.hackmypaper.com/today/2026-11-16.html

[4] https://iclr.cc/Conferences/2027/AuthorGuidelines

[5] https://iclr.cc/Conferences/2027/ReviewerGuidelines

[6] https://iclr.cc/Conferences/2027/AreaChairGuidelines

更多阅读

·

跳转微信打开

  •  

AI学着读懂物理世界:清华张强团队发布自进化AI科学家EvoSim

让你更懂AI的 2026-11-16 21:49 北京

让模型与方法一起进化

从电池实验数据出发,AI 科学家开始自己搭建模型解析物理世界了!

最近,清华大学化工系张强教授团队联合北京清屿科技、香港大学、北京怀柔实验室等机构,在论文《EvoSim: Learning to Model, Modeling to Learn》中提出了一个面向物理建模的 AI 科学家 EvoSim。

论文地址:

https://arxiv.org/abs/2610.11344

物理模型是材料研发和器件设计中的常用工具。研究人员用一组方程描述材料内部发生的过程,算出电压、温度这些可以测量的量,再与实验结果对照。

现有的 AI 科学家系统已经能在物理模型中调整参数、拟合数据,但模型该包含哪些物理过程,通常仍由研究人员事先定好。

EvoSim 把这一步也交给了 AI。当模型算出的结果和实验对不上时,它会判断问题是否出在模型漏掉了某个物理过程,找到后补进模型,再用实验数据检验。

在这个过程中,EvoSim 还会把检验有效的做法整理成建模方法,用到后续任务中。模型在改进,建模方法也在改进,论文把这种两者同步提升的过程称为“自进化”。

〓 图1. EvoSim让物理模型与开发它的 AI 科学家协同进化。图片来自论文。

团队用两项工业级电池建模任务测试了 EvoSim。

第一项任务是预测快充时何时开始析锂,也就是负极表面何时开始析出金属锂。EvoSim 的平均误差为 1.79 个百分点,原研究模型为 2.82 个百分点。

第二项任务是预测车辆行驶时的电池电压。面对建模时没有用过的温度,EvoSim的误差低至 7.62 毫伏,好于此前发表的多个电池电压模型。

更值得注意的是,用上自己总结的建模方法后,EvoSim 在同一任务上的误差降低了 75.4%。在 11 项建模任务的 45 组实验中,它的出错次数减少 36.4%,运行时间缩短 42.6%。

这是怎么做到的?

预测和测量对不上:是参数、求解,还是方程本身出了问题?

AI 在数学、编程等任务上进步很快。这些任务规则清楚,答案对不对可以直接判断。

材料研发和器件设计面对的问题则不同。以锂电池为例,锂离子在电解液中迁移,在电极颗粒中扩散,在电极表面发生反应。

这些过程都发生在微观尺度,没法直接看到。研究人员能拿到的,通常只有电压、电流和温度这些外部数据。

物理模型就是用来连接这两者的。研究人员把内部过程写成方程,通过求解(用计算机算出模型结果)得到电压等数值,再与实验数据比较。两者吻合,说明模型对内部过程的描述大体正确。

真正的难点在两者不吻合的时候。偏差可能来自参数取值不准,可能来自求解过程出错,也可能是方程漏掉了某个物理过程。

前两种情况,调整参数、检查计算就能解决。第三种情况,则要先弄清漏掉的是什么,再把它补进模型。

这恰恰是现有 AI 不擅长的地方。在电池专业知识问答上,前沿大模型的准确率已经很高,但问答只需要从已有知识里找答案。

一旦要求它根据实验现象提出新的物理解释,并用实验去检验,它的表现就不稳定了。

许多 AI 辅助建模工具,也只是在研究人员给定的模型里调参数、跑仿真。如果模型本身漏掉了关键的物理过程,参数调得再细,预测和实验之间那些有规律的偏差也消除不了。

于是,EvoSim 要回答的问题是:预测和实验对不上时,AI 能不能自己找到原因、补上缺失的物理过程,并把这次摸索出的有效做法用到下一个任务里?

EvoSim 的做法,是把每一次预测偏差都当作一个需要研究的问题。

它会先列出几种可能的原因,比如某个参数取值不准,或者模型缺了某个物理过程。

每种原因对应一个修改方案,由此生成一个待检验的模型,称为候选模型。几个候选模型会同时搭建,并调用仿真软件 COMSOL 求解。

每个候选模型都要通过三项检查:修改是否真的在模型中生效;求解是否完整完成、结果有没有异常值;预测与实验数据的误差有多大。三项都通过,候选模型才会被采用。

没被采用的候选模型也有用处。EvoSim 会记下它失败的条件和出错的步骤,并据此提出改进做法。改进做法要在后续任务中用过、确认有效,才会作为建模方法保存下来。

下一轮研究开始时,EvoSim 会调出与当前问题条件相符的建模方法,用来决定先检验哪个原因、先做哪项检查。

〓 图2. 同一轮实验反馈在推动物理模型修订的同时,也为 AI 提炼和检验建模方法提供了证据;更新后的方法继续引导后续的模型探索。图片来自论文。

因此,每一轮研究改进的不只是模型,还有 EvoSim 自己的建模方法。下面两项电池任务,分别展示了这两方面的效果。

快充提速的代价:析锂从哪一刻开始?

充电时,锂离子本应嵌入石墨负极。充电倍率是充电电流与电池容量之比,倍率越高,充得越快。

但倍率过高时,部分锂离子来不及嵌入,就会在负极表面析出为金属锂,这就是析锂。析出的锂有一部分会永久失去活性,导致电池容量下降,还可能带来安全隐患。

析锂起点通常用荷电状态来表示。荷电状态是当前电量占总容量的百分比。析锂起点决定了快充时电池最多能充到多少电量而不析锂,是设计快充策略的重要依据。

预测析锂起点并不容易。它同时受温度、电极厚度、充电倍率等因素影响。充电过程中,负极内部的锂含量又无法直接测量,单看外部电压曲线,很难判断析锂从何时开始。

研究使用的是一项发表在 Nature Energy 上的研究所公开的数据。

这批数据包括来自 61 个测试电池的 20 组析锂起点,覆盖两种厚度的石墨电极、25 至 45 摄氏度,以及 2C 至 6C 的充电倍率(1C 约为 1 小时充满)。

其中 14 组数据用于参数识别,也就是用实验数据确定模型参数的取值。另外 6 组作为验证条件,只用来检验预测,不参与参数识别。

EvoSim从 首先建立了锂离子在电解液和电极颗粒中的迁移,以及锂嵌入石墨的反应。继续,EvoSim 给模型加上了析锂反应,以及已析出的锂重新溶解的剥离反应。

接下来,模型需要估算析出的锂中有多少变成了不可逆锂,也就是再也无法参与充放电的锂。一开始,这个比例被设为固定的 30%。

结果发现,预测偏差随充电倍率有规律地变化。这说明“固定比例”这个假设站不住。

EvoSim 据此提出了新的解释:不可逆锂所占的比例并不固定,而是随充电倍率变化。

背后的道理并不复杂。析出的锂要失去活性需要一段时间,比如与电极断开电接触,或者被电极表面新生成的膜层包裹。

充电倍率越高,充电时间越短,析出的锂在测量前来得及失去活性的比例就越低。

当然,这并不是说快充时析出的锂更少。快充时析锂总量会增加,只是其中失去活性的比例下降了。

EvoSim 随后把这一比例改成了随充电倍率变化的关系。研究用平均绝对误差来衡量结果,也就是把各条件下预测值与实测值之差的绝对值取平均。

在验证条件上,误差从固定比例时的 3.79 个百分点降到了 1.79 个百分点。

作为对比,原研究模型在同样条件上的平均绝对误差为 2.82 个百分点,而且它在建立时用到了全部 20 组数据。

这项任务也体现了 EvoSim 的一个判断:当偏差呈现规律时,它会转去检查物理过程,而不是继续调参数。

换一个从未见过的温度,整段行车电压还能算准吗?

第二项任务,是预测车辆行驶时的电池电压。

车辆加速时,电池放电;制动时,电池回收能量充电。电流不停变化,电压也跟着波动。

电池管理系统是车上负责监测和控制电池的系统。它要靠准确的电压预测,来估计剩余电量、判断能输出多大功率,并让电压保持在安全范围内。

难点在于,电流一变,电池里几个过程的变化快慢不一。电极颗粒内部的锂浓度、电解液中的锂离子浓度、电极表面的电荷,变化速度各不相同。模型要同时描述好这些过程,才能把整段电压曲线算准。

研究使用的是马里兰大学公开的一块磷酸铁锂电池的测试数据,包括两种标准测试工况。

DST 是动态应力测试,电流在充电和放电之间快速切换。US06 是美国环保署制定的驾驶工况,包含高速和急加速。

数据覆盖 -10 至 50 摄氏度的 8 个温度,共 16 条完整曲线、109,746 个数据点。数据每秒记录一次,总时长约 30 小时。

EvoSim 的起始模型用四个变量描述电极状态,分别是正极和负极颗粒中锂的平均含量和表面含量。

EvoSim 重写了这四个变量随时间更新的计算方式,并在模型中加入了两个物理过程:锂离子在电解液中的迁移,以及电极表面电荷的积累和释放。

验证时,每次取出一个温度下的两条曲线,用其余7个温度的14条曲线做参数识别,再去预测取出的那两条。也就是说,模型要预测的,始终是参数识别时没见过的温度。

结果用均方根误差衡量,它反映整条预测曲线与实测曲线的平均偏离程度。30 摄氏度 DST 曲线的误差为 7.62 毫伏,20 摄氏度 US06 曲线为 8.97 毫伏。

其他研究在 DST 和 US06 工况下报告的电压误差,在 12.25 至 49.50 毫伏之间。论文据此认为,EvoSim 的精度超过了此前研究人员发表的模型。

能在没见过的温度下算准电压,说明模型描述的物理过程在不同温度下都成立,而不只是贴合了参与参数识别的那几条曲线。

〓 图3. 析锂起点与动态电压预测:(a)两种电极设计在不同温度和倍率下的析锂起点;(b)20 个工况的实测与预测,以及电压误差与文献对比;(c)两个留出温度下的完整电压轨迹。图片来自论文。

在这项任务中,EvoSim 还碰到了一个计算错误。它解决这个错误的过程,正好说明了建模方法是怎样积累起来的。

一次纠错,改变了 AI 之后的建模思路

模型计算时,会把连续的时间切成每秒一步,每一步都根据当时的电流和温度更新电极状态。

早期模型虽然能算完,算出的电极状态却和作为参照的标准结果对不上,误差达到 88.518 毫伏。

EvoSim 查出问题出在每一步更新电极状态的公式上。改正之后,误差降到了 4.1136 毫伏。

它把这次修正整理成一条建模方法,写清了四件事:每一步更新用的准确公式,每一步该用哪个时刻的电流和温度,电极状态在仿真软件中如何设置,以及求解完成后要检查哪些输出。

这条建模方法到底有没有用?论文设计了一组对照实验。

三组实验做的是同一个任务:30 摄氏度 DST 曲线,共 7,461 个数据点。

三组的起始模型、数据、仿真软件和检查标准都相同,所用的大模型都是 gpt-5.5。每组最多提交 12 个模型,比较前 3 次提交的结果。

三组唯一的区别,是事先拿到的材料。第一组什么都没有;第二组拿到一份按时间顺序整理的过往尝试摘要;第三组拿到的是上面那条检验过的建模方法。

通过全部三项检查的模型,才算有效模型。

前 3 次提交中,三组最好的有效模型误差分别是 89.478、89.383 和 22.015 毫伏。

第三组在第 2 次提交时就拿到了这个结果,误差比第一组低 75.4%。第一组和第二组一直提交到第 12 次,最低误差都没有再下降。

差别就出在材料的内容上。第二组的摘要只写了“后来某个版本改成逐秒更新状态,误差降到约 4 毫伏”,没说具体怎么改。第三组的建模方法则写明了公式和检查项目。

可见,决定下一轮结果的,不是记住过去做过什么,而是把有效的做法整理成能直接照着执行的步骤。

这些建模方法也能用到别的任务上。

在一项同时考虑电化学反应和电池温度变化的建模任务中,EvoSim 用上了一条“先同时比较几种可能的物理机制,再修改模型”的方法。

这里的物理机制,指产生实验现象的物理过程。用上这条方法后,模型修改次数从 10 次减少到了 1 次。

论文还在 11 项建模任务上做了 45 组配对实验。每组中,同一个任务运行两次,一次不用积累的建模方法,一次用,其余条件完全相同。

结果显示,用上建模方法后,出现模型搭建错误或物理机制错误的运行从 33 次减少到 21 次,减少了 36.4%。实际运行时间也缩短了 42.6%。

不止于电池:一种能自我积累的科研方式

EvoSim 展示的,是一种让 AI 不断积累科研能力的方式。

实验数据指出模型解释不了的现象,EvoSim 提出新的物理解释并加以检验。每次研究中的成功和失败,又被整理成建模方法,留给下一次研究。

EvoSim 也会说明自己的结论在什么范围内成立。

在 9 项任务得出的结论中,有 4 条在全部测试条件下成立,4 条只在部分条件下成立。还有 1 条原本被认为普遍适用的物理机制,因为所有相关模型都没通过检验而被否定。这 9 个判断都与检验结果一致。

电池建模任务为这种方式提供了可以量化的检验,而 EvoSim 的这套研究流程并不针对某一种特定的电池模型。

下一步,研究者可以在材料科学、化学工程、生物工程等领域挑选具体问题来测试它,只要这些问题有实验数据,也有可靠的仿真软件。

对 AI 来说,理解材料和器件内部发生了什么,不只在于一次预测准不准,更在于能否根据实验数据不断完善自己的解释,并把行之有效的研究方法积累下来。

作者介绍

最后,介绍一下这篇工作的作者。

论文的三位共同第一作者为宋韫玮、陶进开、张俊东,共同通讯作者为张睿、张强。

清华大学张强教授带领的课题组长期深耕能源化学与能源材料,围绕锂硫电池、锂金属电池和固态电池提出锂键化学、离子溶剂复合结构等重要理论认识,推进高比能电池材料与器件研发。

近年来,又将高通量计算、机器学习和化学机器人引入电解液设计,开发 Uni-Electrolyte 平台与知识—数据双驱动的性质预测方法,探索从分子生成到实验验证的闭环研发。

团队相关成果发表于《自然》(Nature)、《自然·化学》(Nature Chemistry)、《自然·能源》(Nature Energy)、《美国化学会志》、《德国应用化学》(Angewandte Chemie International Edition)等期刊。

更多阅读

·

跳转微信打开

  •  

近70年经典算法大升级!Meta改写K-Means,聚类提速45倍

原创 让你更懂AI的 2026-11-13 20:34 北京

小批量为何能赢全量?

图片

用了近 70 年的 K-Means,Meta 从中心更新规则入手,把训练轮次压到了约十分之一。

K-Means 大概是机器学习里最广为人知的算法之一。

从上世纪 50 年代的经典求解方法,到今天的向量数据库、图像检索和数据压缩,K-Means 已经被用了近 70 年。

几十年来,计算硬件不断升级,但经典 Lloyd 算法仍需要反复扫描整个数据集,才能让聚类中心逐渐收敛。

Meta FAIR 最近推出了 e-means,重新设计了经典 K-Means 的中心更新方式。

新算法平均只需两轮左右,就能超过传统 K-Means 运行 25 轮的聚类效果,GPU 最高提速 45.5 倍。

在 100 亿条向量、约 1677 万个聚类中心的实验中,e-means 只用 2.5 轮就取得了更低的误差。

它借用了深度学习中常见的指数移动平均和余弦退火,还通过 Scaling Laws 自动确定训练参数。相关代码已进入 Faiss 开源仓库。

论文标题:

e-means: outperforming k-means (in one-tenth the epochs)

论文地址:

https://arxiv.org/abs/2611.09501

代码地址:

https://github.com/facebookresearch/faiss/tree/main/contrib/e_means

〓 图1. 百万向量实验中的训练轮次与CPU、GPU耗时对比

K-Means为何还要扫25轮?

K-Means 将一组数据划分为 k 个簇,目标是尽可能减小样本到所属聚类中心的平方距离之和。这个目标沿用至今,求解方法却仍有很大的优化空间。

最常见的 Lloyd 算法,会先把所有样本分配给最近的中心,再用每个簇的样本均值重新计算中心。完成一轮更新,必须遍历一遍数据。

论文以 Faiss 常用的 25 轮配置作为比较基准,百亿级向量上的重复计算尤其昂贵。

小批量 K-Means 早在 1967 年就已经出现。它每处理一部分样本就更新中心,无须等待整轮扫描结束。

但经典的小批量更新会持续累加历史统计量,早期中心位置尚不准确时形成的分配记录,也会长期影响后续结果。

此类方法通常收敛得更快,最终误差却高于充分训练的 Lloyd 算法。批次大小与学习率还需要额外调节。长期以来,聚类训练很难同时兼顾速度、质量与使用门槛。

为什么两轮反而能更准?

e-means 采用指数移动平均(EMA)更新聚类中心。

每处理一个小批次,它就统计各簇接收到的样本数量与向量之和,分别进行移动平均,再用两者的比值计算中心。新的分配能及时修正中心,较早的统计记录则逐渐失去影响力。

EMA 此前已用于向量量化模型的码本更新。Meta 团队发现,将它用于固定数据集的 K-Means,并配合合适的优化策略,同样十分有效。

团队还比较了 EMA 与随机梯度下降的表现。大批次训练中,梯度下降在较大更新步长下容易变得不稳定。

作者认为,EMA 更新能让聚类中心保持在已分配样本构成的凸包内,从而降低大步长更新带来的不稳定性。

小批量更新还改变了算法陷入局部最优的概率。

Lloyd 算法每次更新都会降低当前训练误差,却也可能早早停在不理想的分组方式里。小批量更新带来的随机波动,让 e-means 有机会重新调整这些已经稳定下来的中心。

一组实验将数据分成大小悬殊的两团,要求划分为 8 个簇。Lloyd 有时会给较小的一团分配两个中心,让较大的一团分配不足。e-means 即使从相同状态出发,也有机会恢复合理的中心分布。

在 200 次随机初始化中,Lloyd 有 26% 的运行停留在这种状态,e-means 只有 3.5%。

另一组沿直线排列的五团数据实验中,两者陷入不理想分组的比例分别为 46% 和 0%。

〓 图2. 小批量更新帮助聚类中心摆脱局部最优

另一个关键设计是死亡簇复活机制。部分聚类中心在训练中逐渐得不到样本,原本分配给它们的聚类容量便被浪费。

e-means 每五个批次检查一次,对样本数过少的中心,从较大的有效簇中拆分出新中心,而非简单随机抽取一个样本补位。

在 DEEP 数据集上,关闭复活机制后,最终分配到少于 10 个样本的聚类中心占 26.3%。

使用拆分策略后,这一比例降至 0.3%。在另一组 3 轮训练的消融实验中,不使用复活机制,测试集均方误差还会上升约 2.24%。

〓 图3. 拆分有效簇,让闲置的聚类中心重新参与训练

此外,e-means 从数据中随机选取初始中心,并让初始统计量只保留极小权重。余弦退火则逐渐减小更新步长,避免训练后期反复波动。

最后一轮结束后,还可以直接用该轮分配的样本均值重新计算中心,以很小的额外成本降低训练误差。面向新数据时,也可选用更慢的移动平均来改善测试误差。

Scaling Laws连调参也省了

小批量训练的速度与精度,都离不开批次大小和更新步长。

批次太小,GPU 不容易充分发挥吞吐能力。批次太大,中心更新次数减少。步长过小可能训练不足,过大又容易引起波动。

如果每批处理全部样本,并将更新步长设为 1,移动平均的更新就退化为 Lloyd 式的全量重算。但在不同批次和步长的误差热力图上,这组经典配置位于表现较差的一角,较低误差主要集中在另一片参数区域。

〓 图4. 批次大小和更新步长共同影响聚类误差

作者进行了约 7.5 万次优化实验,研究样本规模、聚类中心数量、训练轮次与最佳参数之间的关系,最终拟合出两条 Scaling Laws,自动选择批次大小与初始更新步长。

这些规律主要从 DEEP 数据集拟合,却能迁移到 SIFT、SPACEV 和文本向量数据集。在留出数据集上,默认批次规律相较最佳参数的中位误差增幅仅约 0.19%。

开发者只需给出数据规模、聚类数量和训练轮次,便能使用算法自动确定的参数配置,无须为每个新数据集单独搜索。

这套方法同时提供兼顾吞吐和偏重质量的批次选择,可根据实际需求调整计算效率与聚类质量之间的取舍。

从百万到百亿,GPU提速45倍

在图像、文本等多种嵌入向量数据集上,e-means 与 Faiss、Flash-KMeans 及已有小批量聚类方法进行了对照。

〓 图5. 四组数据上的训练与测试误差变化

这里使用的是均方误差(MSE),衡量样本到最近聚类中心的平均平方距离。数值越低,说明聚类的整体平方距离误差越小。

以 Flash-KMeans 运行 25 轮后的测试误差为目标,e-means 在主要 GPU 对比中只需 1.4 至 2.6 轮,实际耗时缩短约 9.5 至 45.5 倍。

最高的 45.5 倍,出现在 10 亿条 DINO 向量的实验中。CPU 实验也取得了约 8 至 15 倍的提速。

更少的训练轮次之所以能够转化为实际耗时优势,还得益于专门优化的 GPU 核函数。作者将距离计算与最近中心选择融合处理,避免存储完整、规模巨大的距离矩阵,提高了硬件执行效率。

〓 表1. 各规模下达到基准误差所需的轮次与实际加速

团队把聚类规模继续推至 100 亿条向量、约 1677 万个簇。

为开展这项实验,他们从约 6000 万张图片中提取 DINOv3 图像块特征,构成 1024 维、总体积约 10TB 的 DINO10B 数据集。

使用精确最近中心分配,传统 Lloyd 算法运行 25 轮消耗 6784 GPU 小时,e-means 只运行 2.5 轮,消耗 779 GPU 小时,测试误差就降到了更低的水平。

研究团队还探索了通过倒排文件索引(IVF)加速中心分配。每条向量先搜索少量候选区域,无须逐一计算与全部中心的距离。

采用这一近似分配方案,e-means 运行 3 轮便达到相应的测试误差目标,计算量降至约 23.2 GPU 小时。使用单台 8 卡 H100 服务器,实际耗时约 3 小时。

〓 表2. 百亿向量任务的精确分配与近似分配实验

从聚类提速到向量检索

e-means 已被纳入 Faiss 源码仓库,提供 faiss.contrib.e_means 模块及相应的实验复现代码。

目前尚未包含在 Faiss 正式发行版中,开发者可以从源码使用这一实现,并按照公开的实验配置进行测试。

对于需要经常更新向量索引的系统,聚类训练耗时的下降,意味着这一步可以用更少的计算资源完成。

团队还把新的聚类中心用于倒排索引,在 11 组向量数据上,以 1% 的扫描比例比较了最近邻检索的 Recall@10。

相同索引训练时间下,e-means 通常能获得更高召回率。达到传统算法充分训练后的召回水平,所需时间也明显更短。在大多数数据集上,其最终召回率与传统方法相当或更好。

〓 图6. 不同索引训练时间下的近邻检索召回率

从更少的聚类训练轮次,到更低的索引训练成本,再到实际检索中的召回表现,e-means 已经展示出一条比较完整的性能改进路径。

对于使用 Faiss 处理大规模向量数据的开发者,经典 K-Means 如今多了一个经过百亿规模验证、可以直接评估的高效替代方案。

更多阅读

·

跳转微信打开

  •  

直播预告 | UIUC金海波博士:智能体走向真实世界的最后一公里

和你一起进步的 2026-11-13 20:34 北京

 PaperWeekly × 星弧 STARC 

科研觉醒

AI前沿讲座

 直播主题 

智能体走向真实世界的最后一公里

 直播嘉宾 

金海波

伊利诺伊大学厄巴纳–香槟分校博士生

 直播时间 

2026年11月14日(周六)

11:00-12:00

 参会方式 

腾讯会议:563 000 520

 报告介绍 

Topic

智能体走向真实世界的最后一公里

    本报告讨论智能体走向真实世界的“最后一公里”。我们提出 Agent-Native Primitives,为工具、代码和知识各配上一位熟悉它的“专家”;HEELO 根据当前任务把这些原语组织起来,再依据执行反馈改进它们,让一个任务中验证过的经验也能用在下一个任务上。

    围绕这一思路,我们开发了八类原语,在 20 多个公开基准上进行了 26 组对比实验:在使用相同模型和工具目录的条件下,Tool Primitives 将 ToolBench 的任务通过率从 55.8% 提升到 75.1%;在 Terminal-Bench 4.0 上,Dev-Primitives 将同一模型的任务解决率从 37.3% 提升到 55.5%;在 GAIA-Text-103 上,使用 Navigation Primitives 的系统取得了 58.3% 的问答准确率(迭代式检索方法为 45.6%)。

    在 heelo.dev 平台设计的 46 个真实任务中,Claude Code 和 Codex 独立运行时各完成 9 个,通过 MCP 接入 HEELO 后分别完成 39 个和 35 个。

    报告主要内容包括:

    • 从资源到原语。介绍 Agent-Native Primitives 如何为工具、代码和知识配备常驻语言模型。以代码修改为例,说明一个原语如何利用本地实现完成修改,并与依赖模块的原语协调接口。
    • 为任务搭建执行框架。介绍 HEELO 如何按任务需要组合原语,用环境反馈检验执行结果,定位出错的环节,并将修正后通过验证的原语用于后续任务。
    • 八类原语的能力评测。围绕工具调用、代码仓库构建与修改、数学证明、知识问答和复杂检索等任务,分析八类原语在 20 多个公开基准、26 组对比实验中的表现。
    • 从基准测试到真实操作。介绍开发者如何通过 API 或 MCP 接入 heelo.dev,完成行程预订、邮件外联和内容发布等操作。

    🔍

    现在,在「知乎」也能找到我们了

    进入知乎首页搜索「PaperWeekly」

    点击「关注」订阅我们的专栏吧

    ·

    ·

    跳转微信打开

    •  

    烧算力不烧心!如何在学术界小心地做Scaling?

    原创 Tianzhe Chu 2026-11-12 20:35 北京

    把GPU花在刀刃上

    图片

    GPU 总是不够用,实验却未必越大越好。如何用有限的算力,找到值得投入更多资源的研究方向?

    ©作者 |Tianzhe Chu

    小红书 |@Leslie Chu

    这几个月,我一边劳累地管理集群,一边和 Druv 把 Nestor 搓了出来。本文就是这段经历的产物。

    学校集群通常就有这么一个日经或月经的问题:大家都认为自己的 project 很重要,都想要更多的资源来跑,而出于对各位老师同学的尊重,我又不能直愣愣地说某些 project 是**,纯在浪费。

    即便如此,眼睁睁地看着某些低利用率的任务在集群上跑,我的心在滴血。学校的计算资源一般都来自政府资助,所以无脑烧 GPU 约等于无脑烧爸爸妈妈交出去的税钱。

    本文旨在给我们组的同学一些基本且必要的入门指导。我希望看完这篇文章的同学至少对 GPU 使用有个概念,如果能学会一些 prompt agent 的知识那就更好了。

    本文分以下这几部分:

    • 科学部分,大概介绍一下 scaling ladder 是什么,我们为什么要用?

    • 经验部分,在具体实验里该怎么运用它?

    • 在找老师要更多 GPU 之前你应该注意的事情。

    Scaling Ladder是什么,为什么要用?

    具体的 scaling law 讲解有很多,比如这些 [2]。这周我在大书特书这篇博客的时候,很巧看到 purshow 老师写的博客也在讲这个 [1]。

    这里我们就简单讲一下,当你有至少四组实验记录横跨不同的计算量,你就可以拟合下面这个指数曲线:

    这条曲线出自这里 [6](欢迎历史学家纠正或者补充)。当你有了这个曲线,你就可以轻松地做两件事:

    首先,你不需要真的跑更大的实验,就可以预测更大实验的性能(或者你有足够的 compute,小规模数据点预测的曲线也可以帮你验证大实验到底对不对);

    其次,你可以用各自的曲线来比较两种模型哪个更 work。

    因为所有的比较、预测所需的计算量都可以根据模型结构的设计算出理论的浮点数运算,你在跑大规模实验的时候就不烧心了。

    受 Prof. Tatsunori Hashimoto 的课的启发 [3],我想到了另一个解答为什么的角度:

    1.1 scaling ladder是PhD学生的完美预测目标

    现在我们反着想这个问题,当你在训神经网络的时候,你其实正在用这些实验记录反向训练你的大脑。

    你的实验记录里包含了输入(数据,模型结构,计算量)和标签(模型的效果),这样一来你的 PhD 生涯就可以按照式 2 的方式来最小化预测损失。

    但是呢,很可能单个模型效果不是一个很好的预测目标,比如首先这里是 L2 loss,不好;其次可能这些模型效果没有一个很好的分布,你的大脑学不太来。

    最后,由于这个不同超参数、数据配比、模型结构的排列组合的数据量过于大,大脑的容量可能存不下来。

    Q:那我吗该如何让这个学习过程更高效呢?

    A:我推荐使用 scaling ladder,或者说至少做实验的时候对它有个概念。

    这里,输入和预测目标都变了。

    我们改用了一种更加有结构、有约束的输入:scaling ladder 要求固定的 token per parameters(TPP)预算;在模型结构配置上,我们至少也要固定稀疏度、深度/宽度比,等等。

    在预测目标是,我们把一个O(n)复杂度的数据点预测变成了 3 个变量的预测。

    这种设计其实可以看作是数据增强手段:我们不光增强了数据点之间的相关性,我们还减小了预测目标的噪声和复杂度。这太好了。

    经验教训

    你真要着手开始做 scaling ladder 实验之前,有两件事必须先搞懂,你的横轴纵轴的值选啥。

    通常,横轴我们就用 FLOPs,更实在一点就选真实的 GPU 训练时间,但纵轴,除非你做语言模型,挺难选的。

    我老板是计算机视觉出身,他一开始比较抗拒我为啥转战语言了,但最后还是被我的证据说服了——我在 ImageNet 上怎么折腾都没啥成功迹象的模型一换 DCLM 就一切水到渠成了。

    因此,下面的这部分内容会假设读者就说做语言模型预训练,或者你用同样的方式在训多模态语言模型,或者你已经发明了你领域完美的纵轴统计量。

    2.1 配置

    你有纵轴以后,你要选的下一个问题就是每个具体的数据点的配置该怎么选。通常我们就按 1x 2x 4x 8x,这样可以在 log scale 下均匀分布在图上,非常的漂亮。

    之后呢,你还得保证你的模型训够了足够的数据。

    TPP 通常是越高越好,Chinchilla optimal 建议选 TPP 为20 [7];对 MoE 来说,最优 TPP 有一些别的计算方式 [8]。

    但因为在学术界,我们的计算资源比较少,所以别选太大。我们的 Nestor paper 选了 50 [5]。

    在配置模型结构的时候,有一个问题可能会让你挠头:究竟要不要抹平不同变体在 FLOPs 上的差别呢?

    比如说,你想比较 A 结构和 B 结构,而 B 结构有一个小的 sparse attention 改动使它的 FLOPs 变小了。

    即使 scaling ladder 不要求每个数据点都一一对应相等的 FLOPs,我们在资源有限的情况下,最好还是想着补偿 B 结构一点,来达成 FLOPs 上的一致性。

    这样一来,每个数据点都可以直接比较,如果明显在小规模上就比基准线好,扩大规模的时候就不烧心了。

    2.2 MFU

    在配置完所有东西之后,就该开始跑实验了。最简单的方式是直接 prompt agent 让它“给我拼命跑实验,把 MFU 拉满”。

    但光这句话通常不够用——举个例子,Nestor 的原生 kernel 就被推特上的哥们轻松干翻了 [4]。以下是我从苦难中总结的两个教训:

    并行策略和规模是绑定的。我翻了下实验记录发现了一些搞笑的事:在 200M 规模的实验里,shard 优化器会让实验变慢;而在 1B 规模的实验里,并行则可以允许更大的 batch size。

    总体经验是:花哨的分片策略对大模型 MFU 有帮助,但小模型上你只能忍了,别折腾。

    请特别注意每一步的实际计算量。GPU 通常跑大块的、规则的矩阵乘法效率最高,拆成一堆小 matmul 就会利用率不足,而且会在 kernel 之间产生启动气泡 [9]。

    MoE 和 Nestor 就是两个经典例子——先不管负载均衡,MoE 切片了 FFN 矩阵,Nestor 还额外切片了注意力投影。

    所以三个 FLOPs 相等的模型天然有一个 MFU 排序:dense > MoE > Nestor,虽然高级的基础设施魔法在大规模上可能缩小这个差距。

    计算之外,通信也可能咬你一口。在 Nestor 早期的一次多节点实验中,梯度本应只在每个优化器步同步一次,结果 torch.compile 包裹模型后,辅助函数没认出 DDP 实例,悄无声息地跳过了 no_sync,结果梯度在每个 microbatch 后都在同步。

    雪上加霜的是,网络配置还把跨节点流量全部塞进了一个网络端口。

    以上经验都是和 agent 交流过程中积累的。虽然 Claude 的 infra 技能可能比我强得多,但要是 MFU 值不对劲,或者分解出来的实际计算量有问题,还是得推它一把的。

    没能让b300大人使出全力

    2.3 瓶颈不一定是芯片

    瓶颈可能压根不在芯片身上,尤其是做视觉或机器人的同学,可能是数据加载、模拟器渲染等等;做 RL 的同学可能是推理引擎的速度、RL 算法本身、训练引擎和推理引擎数量的分配。

    说到底,找我要卡之前,先确认一下你的瓶颈真的是算力吗。

    找老师要GPU之前的检查清单

    ☑️ 你应该继续做这个项目吗?

    我们提一个指标:

    其中 GPU hrs 只算最终保留在正文里的实验。你的目标应该是优化这个指标,而不是只想着怎么把 impact 拉满但烧掉多少 GPU 小时无所谓。

    为了给大家一个粗略的算力成本感知,以下是论文中实验的 H200 等价估算,假设 MFU 20%:

    • ResNet: H200 GPU 小时

    • Transformer: H200 GPU 小时

    (粗估)。更不必说大伙的 project 大概率影响力也小于这俩。

    ☑️ 你最小的实验需要多少 GPU 时间?

    假设你组有 K 张 GPU,m 个活跃用户。你分到的配额就是 K/m。

    一个合理的最小实验应该用不超过 K/m × 1/4 的卡,一天之内跑完,给你留出足够的调参空间。

    然后遵循严格的升级规则:把成功的实验升级到 1/2 × K/m 卡 → K/m 卡 → 找导师要超配 → 找我或者 Yi 老师申请临时额外配额。

    ☑️ 你现在的 MFU 是多少?

    你的瓶颈真的是卡不够吗?还是像第二部分提到的那些别的问题?

    ☑️ 你有没有调优你的超参数,或者应用 μP [10]?

    ☑️ 你有没有先跑几个小规模数据点,并证明你的 ladder 赢了基线?

    ☑️ 你有没有跟组员协调一下,看看有没有闲置的任务可以杀掉?

    致谢与结语

    白金致谢位:

    https://github.com/Ma-Lab-Berkeley/Nestor

    感谢 Druv 和朋友们的锐评。

    参考文献

    [1] https://x.com/purshow04/status/2117994165187531061

    [2] https://github.com/stanford-cs336/lectures/blob/main/lecture_09.pdf

    [3] https://deep-learning-alchemy.github.io/

    [4] https://x.com/deepaksinghml/status/2117649184773882239

    [5] https://arxiv.org/abs/2610.31818

    [6] https://arxiv.org/abs/2001.08361

    [7] https://arxiv.org/abs/2203.15556

    [8] https://arxiv.org/html/2509.23678#A7

    [9] https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html

    [10] https://arxiv.org/abs/2203.03466

    更多阅读

    ·

    阅读原文

    跳转微信打开

    •  

    攻击越狠,模型越聪明?阿里用动态对抗驱动「智能涌现」

    让你更懂AI的 2026-11-12 20:35 北京

    大模型越狱率逼近80%

    从动态内容审核、多模态越狱到感知增强的对抗自博弈,阿里安全 AGI 实验室御风大模型团队(Yuvion Team)通过三项连续工作提出:真正可靠的安全能力,需要经受持续对抗的检验;将对抗反馈引入训练,则有望推动模型形成更鲁棒的意图理解能力。

    2025 年 10 月,OpenAI 等机构的研究者发表了 The Attacker Moves Second,对当前大模型安全评测提出了一个尖锐质疑:攻击者后手。

    真实用户可以通过持续的对抗来绕过安全系统;如果评测仍只关注固定攻击集和静态 benchmark 分数,就可能高估系统面对真实对手时的安全性。

    进入大模型时代,攻击者试错与演化的成本持续下降。安全系统面对的不是一份固定试卷,而是一个会根据反馈调整策略的对手。

    当攻击者不断学习,防御者能否也在对抗中变强?

    这也是御风大模型团队长期探索的“对抗即智能”:不仅通过对抗发现问题,更让这些问题推动模型学习更鲁棒、可泛化的规律。

    围绕这一问题,阿里安全 AGI 实验室御风大模型团队先后完成了三项工作。

    前两项工作分别从 AI 安全与内容安全出发,让攻击者真正“动起来”,揭示了现有安全系统在持续对抗下的薄弱性:

    • AI 安全方面,MAMJ 让攻击策略和攻击模型共同进化。Gemini、GPT 等主流多模态模型的攻击成功率,从静态攻击下最低约 3%,升至面对持续进化攻击者时的约 80%。

    • 内容安全方面,EvoHarmBench 让攻击者根据审核反馈持续改写。在 7 个主流大模型审核器上,直接审核时的平均 ASR@Readable 为 38.4%,经过 12 轮动态对抗后升至 80.3%。

    第三项工作 PASP 则给出了团队对这一问题的答案:将动态攻击思想引入训练,并借鉴人类的认知机制,让模型在持续博弈中发现安全盲区,识别变化表达中不变的有害意图,将平均 ASR 从监督微调后的 44.93% 降至 11.46%。

    EvoHarmBench:动态对抗下脆弱的内容安全

    论文链接:

    https://arxiv.org/abs/2608.27844

    收录会议:

    EMNLP2026 Findings

    项目地址:

    https://github.com/Alibaba-VELLDEPTH/EvoHarmBench

    攻击者会不断改写,静态评测够用吗?

    传统内容安全评测通常将一批固定样本一次性输入审核系统,再以准确率、召回率或攻击成功率衡量效果。

    这种评测方式可以回答“模型是否见过并识别这类表达”,却难以回答一个更接近真实对抗行为的问题:当攻击者看到拦截结果、继续修改表达时,审核系统还能守住安全底线吗?

    为此,团队提出 EvoHarmBench,将内容审核评测从一次性的静态测试推进为反馈驱动的持续对抗。

    从单条样本到策略演化:让攻击者根据反馈学习

    EvoHarmBench 基于 5002 条真实场景中的人类对抗样本构建,覆盖引流、赌博欺诈、辱骂、色情和灌水五类违规内容,并按照风险语义与变异模式组织为 229 个评测子簇。

    相较于逐条生成孤立攻击,子簇让系统能够学习和检验一类内容中可复用的规避策略,更接近线上黑产话术成批演化、快速扩散的现实过程。

    在每轮评测中,改写模型依据当前策略生成新表达,目标审核模型给出拦截或放行结果,比较模型判断原始违规意图是否仍然保留,反思模型再根据两类反馈更新下一轮策略。

    只有当簇级综合得分严格提升时,新策略才会被接受。这样既避免把“删掉违规含义后的安全文本”误算为攻击成功,也能够模拟真实用户在失败后继续试探的过程。

    模型的早期改写可能走向两个极端:表达过于直接,则仍会被审核器拦截;或者隐藏过度,虽然被放行,却已经丢失原本的违规意图。

    随着反馈不断返回,后续策略逐渐学会在隐晦表达与语义保留之间取得平衡,最终形成“绕过模型审核,但仍能被人类识别”的文本。这正是单轮静态评测难以发现、却在线上对抗中真实存在的风险。

    关键结果:持续对抗让攻击成功率升至 80.3%

    EvoHarmBench 使用 ASR@Readable 作为核心指标:只有同时满足“绕过审核”和“违规意图仍可被人理解”的文本,才计为攻击成功。

    在 7 个主流大模型审核器上,直接审核的平均 ASR@Readable 为 38.4%;经过 12 轮持续对抗后,平均值升至 80.3%,提升约 42 个百分点。各主流模型的最终结果集中在 73.0%–88.8%。

    这些结果表明:静态评测中的高分,并不等于动态对抗下的可靠安全。内容审核系统既要识别已经出现过的违规模式,也要在攻击者持续改变表达时保持稳定。

    面向真实业务的安全评测,需要同时考察攻击者根据反馈持续调整的能力、改写后的违规意图是否保留,以及攻击能否跨模型迁移,让评测从一次考试变成持续攻防。

    MAMJ:动态对抗下脆弱的AI安全

    论文链接:

    https://arxiv.org/abs/2608.27531

    收录会议:

    EMNLP2026 main

    项目地址:

    https://github.com/Alibaba-VELLDEPTH/MetaJailbreak-VLM

    不只修改图片,攻击者本身能否持续学习?

    AI 安全领域并不缺少对抗研究,但图片带来的风险仍被低估。

    已有多模态越狱方法看似形式多样,却大多建立在人工设计的攻击模板或固定策略上,例如把攻击文本嵌入图片,或者通过图文配合完成角色扮演。

    即使部分方法会反复修改具体的图片和指令,负责生成攻击的策略与模型本身通常并不会学习。

    这类方法可以针对具体样本反复尝试,却往往难以将经验沉淀为攻击者自身的能力。

    两层进化:更新攻击策略,也训练攻击模型

    团队由此提出 Meta-Adaptive Multimodal Jailbreaking(MAMJ):不再只优化一次攻击所使用的图片和文本,而是让攻击者本身根据成败反馈持续进化。这种进化发生在两个层面:

    • 攻击策略持续更新。 攻击者不再依赖人工设计的固定模板,而是根据一组攻击轨迹的成败反馈,持续反思并更新攻击策略,逐步寻找当前防线尚未覆盖的薄弱点。

    • 攻击模型持续学习。 系统利用群体攻击成功率作为奖励,通过强化学习更新攻击模型参数,使其不仅能够“换一种说法”,还可以从历史对抗经验中学习并持续增强攻击能力。

    具体来说,给定恶意目标 ,攻击模型  在攻击策略提示词   的指导下生成图像提示  和文本指令 ,再由图像生成模型 G 生成攻击图片 I,并提交给目标模型 V:

    传统方法主要优化某一次攻击所使用的图片和指令,MAMJ 则把优化目标提升到了攻击者层面:同时寻找更有效的策略 ,并更新攻击模型参数 :

    训练分为两个阶段。

    第一阶段聚合多条失败轨迹,由 LLM 归纳失败原因并迭代更新策略;第二阶段固定已经优化的策略,再通过群组相对奖励和强化学习更新攻击模型。

    前者回答“下一步应该采用什么方法”,后者学习“如何更有效地执行这种方法”。两者结合,使攻击者能够根据目标模型的反馈持续积累经验。

    关键结果:会学习的攻击者,暴露更深的安全盲区

    实验表明,Gemini、GPT 等 SOTA 多模态模型在静态评估中最低仅有约 3% 的攻破率,但面对 MAMJ 时,攻击成功率上升至约 80%,从“基本安全”变成“几乎可以被稳定劫持”。敲响了对抗性下多模态安全的警钟。

    这些结果再次说明:静态攻击下表现安全,并不代表模型能够抵御持续进化的对手。

    EvoHarmBench 与 MAMJ 分别从内容审核和多模态越狱两个场景揭示了同一个问题——当攻击者获得反馈、学习与进化能力后,许多看似稳固的安全边界会迅速失效。

    但这也带来一个更重要的问题:既然持续对抗可以不断增强攻击者,能否把同样的机制交给防御者,让模型也在博弈中成长?

    PASP:借鉴人类认知机制,理解不变的有害意图

    论文地址:

    https://arxiv.org/abs/2610.15449

    模型为什么读不懂人类暗语?

    大模型已经具备很强的语言理解能力,却仍会漏掉一些人类轻易就能读懂的有害表达。

    一句话经过谐音替换、字形拆分或表情符号包装后,原本的含义对人依然清晰,在模型眼中却可能变成无害内容。攻击者正是利用这种认知差距,在保留传播意图的同时绕过审核。

    人类理解这类对抗表达,依靠的不只是字面信息。一方面,人会综合读音、字形与上下文,理解隐晦表达背后的意图;另一方面,人会结合交互情境,推断对方为什么刻意采用某种表达。

    相比之下,以文本 token 为主的输入未能充分呈现这些感知线索,而固定攻击集上的训练也难以让模型适应不断变化的规避策略。

    补充感知线索,在持续博弈中学习理解

    为此,团队提出 Perception-Aware Adversarial Self-Play(PASP),通过多感知视图补充读音与字形线索,并在对抗自博弈中利用持续变化的攻击提供训练反馈,推动模型理解不同表达背后不变的有害意图。

    • 多感知理解:结合语境、读音与字形,理解隐晦表达。 给定一条对抗文本,PASP 将原始文本、拼音表示与文本渲染图像共同输入防御模型,让模型结合不同感知线索,输出意图解释与风险判断。

    • 对抗自博弈:让不断变化的攻击推动模型学习。

      ○ 攻击者生成挑战:从 6 类共 22 种基础策略中选择并组合改写方式,根据防御反馈寻找保留有害意图、且人类仍可理解的规避表达。

      ○ 防御者学习理解:利用这些样本训练,分别对意图理解、审核判断和输出格式给予分段奖励。其中,意图奖励以改写前的真实含义为参照,引导模型理解不同表达背后不变的意图,并通过 GRPO 更新模型。

      ○ 攻防交替演进: 更新后的防御者成为下一轮攻击目标,促使攻击者探索新策略,使训练持续围绕模型新暴露的盲区展开。

    训练还加入采用相同改写策略的良性文本,避免模型将谐音、符号等特殊表达直接等同于风险。模型需要理解的是内容意图,而不是表达是否“看起来可疑”。

    关键结果:防住当前攻击,也应对未见变化

    实验表明,在 Qwen3.5-9B 上,PASP 将 EvoHarmBench 的平均 ASR 从监督微调后的 44.93% 降至 11.46%,相对降低 74.49%。

    这种提升不只体现在训练中出现过的攻击上。

    当训练中排除整个“上下文与结构”攻击族时,模型面对该未知攻击族的 ASR 仍由监督微调的 32.47% 降至 17.32%;面对三个未参与训练的攻击模型,平均 ASR 则由 61.03% 降至 25.65%。

    在二手交易平台的隐晦色情内容审核测试中,PASP 的 F1 从监督微调的 74.53% 提升至 79.33%。

    这些结果表明,训练收益能够延伸到未见攻击策略、不同攻击者和真实场景。

    持续对抗,如何成为智能提升的动力?

    这三项工作指向了一个共同方向:让攻击与防御在持续博弈中相互促进。

    攻击者针对当前防线不断产生难且有意义的问题,暴露模型的理解盲区;防御者则将这些问题转化为训练信号,提升意图理解与风险判断能力。

    更强的防御又促使攻击者探索新策略,使训练始终面对随模型能力变化而更新的挑战。

    这种攻防互促的价值,在于推动模型突破对已知样本和固定模式的依赖。

    面对不断变化的表达与策略,模型需要理解问题背后的意图与情境,学习能够迁移到未知场景的规律。

    这正是“对抗即智能”:让对抗中产生的新问题持续驱动学习,将安全实践中的攻防压力转化为理解与泛化能力的增长。

    更多阅读

    ·

    跳转微信打开

    •  

    从Vibe Coding到Vibe Research:Harness做减法,Human把握关键

    原创 Kaibooo 2026-11-11 21:07 北京

    模型越强,规则越少

    图片

    Prompt 越写越长、Skills 越堆越多,模型就一定越好用吗?

    模型能力越强,你所做的越少。

    过度复杂的规则和 prompt 只会干扰 SOTA 级别的 LLM:把要做什么、花多少 effort、怎么验证说清楚就够了,human 要做的是在最关键的地方给出正确的引导。

    本文整理了我在项目文档管理、effort 选择、测试与 code review、prompt 与 skills、调研与找 idea 上的经验,供大家参考和批判,更希望的是交流。

    文中提到的模型:GPT-6 Astra / GPT-6 Astra Pro / GPT-6 Luna / GPT-5.6 Sol / Fable 5.1 / Opus 5.5 / Gemini 4 Argon。

    模型迭代太快了,很多结论都是有时效性的,说不定下周就不适用了。

      核心观点:harness做减法,human把握关键

      最近 Claude Code 的负责人 Boris Cherny 发了一个 demo:让 Opus 5.5 给 Acquired 播客 Home Depot 那一期做了一个互动网站。

      不过出乎他意料的是,没人关注生成的内容,真正引发关注的反而是他分享的 prompt,人们的关注点在于:prompt 居然如此简单!?

      Boris 原始 prompt(翻译):

      最新一期 Acquired 播客关于 Home Depot 的内容非常精彩。

      我想让你制作一个能够叙述整集内容的 Artifact。把它做成精美且互动的形式,重点传达贯穿整集的商业智慧精华。一定要做得非常出色,使用大量的 token 并不断迭代,直到你对其感到自豪为止。

      也许可以在整个作品中加入水彩插图和历史照片,目标是营造出《纽约客》或《纽约时报》数据可视化的风格,甚至要更好。我认为你可以使用 OpenCV 来处理水彩图片。

      要知道,特别是在 23、24 年,prompt engineering 是一个很火的东西,专门的课程、书籍、教程等等数不胜数,但是人们现在突然发现,原来顶尖的 AI 算法研究员也在用如此朴素的 prompt?

      Boris 自己的回应:

      我很惊讶,大家竟然会对我这样给 Claude 写 prompt 感到惊讶。

      像对待同事一样和 Claude 说话。 prompt 没有什么秘诀,大多数任务不需要过度的约束和规定,给 Claude 一个目标,它自己会想办法。

      在 Sonnet 3.5 那时候, prompt 很重要。而现在,更重要的是向模型讲清楚: 

      1. 你想让它做什么。

      2. 你希望它花多少 effort。

      3. 它应该怎么验证自己做对了。

      我非常认同这样的观点。我的理解是:harness 需要做减法,模型能力越强,你所做的越少。

      最好不要盲目使用一些热度很高的 skills 之类的东西,不要为了用而用;我的使用体验是,普遍而言,很多噱头大于实用性,过度复杂的规则设计和 prompt 会严重干扰 SOTA 级别的 LLM。

      但是为什么同样的 SOTA 模型,在不同人的手里发挥的作用不同?

      因为模型会犯错、会短视、会片面以及类似的各种问题,需要 human 在最关键的部分予以正确的引导,这正是 human-in-the-loop 最核心的价值。

      回过头再看 Boris 的 prompt,虽然简单,但三件事他都说到了:

      一些评论的观点是:这里面最重要的是第一和第三点,只要讲清楚要做什么、怎么算做好,agent 就能自己去验证、去迭代。

      有些评论说得也很直接,也有道理:“你想要什么,解释得多烂都没关系,只要你把它解释出来。”

      后面的内容基本也是围绕这三件事展开的:先说清楚要做什么(项目文档管理),再决定花多少力气(effort 的选择),最后是怎么验证(测试和 code review)。

      Vibe Coding项目管理浅见

      跨会话协作的关键在于文档

      LLM 的 context window 是有限的:Codex 默认只支持 258k(可以调到 1M,但官方都不放心设为默认,所以我不认为手动设到 1M 是好的选择),Claude Code 默认为 1M,Gemini 4 Argon 支持 2M(恐怖如斯!没有体验,但我对 Gemini 的 coding 能力不抱期待)。

      不管是 258k 还是 1M,对大项目而言都毫无疑问不够;而且 context 用到 50% 以上、甚至 70%—80% 时,丢三落四、犯错是不可避免的,因此让 agent 在多个会话之间协作是至关重要的。

      跨会话协作的关键在于做好项目文档维护和管理。

      我的习惯是,在一个工作目录下开启与 agent 的对话,正式开始之前,先初始化 AGENTS.md(最最最核心!Claude 现在也支持 AGENTS.md),以及下面这些文件夹:

      my-project/
      ├─ AGENTS.md          # 最最最核心!
      ├─ docs/              # 核心,存放长期维护的文档
      │  ├─ README.md       # docs/ 的索引,简单的说明
      │  ├─ HANDOFF.md      # 跨对话长期项目的核心
      │  ├─ DATASET.md      # 数据集说明
      │  └─ ENV.md          # 环境说明
      ├─ data/              # 数据集放数据盘,这里建软链接
      ├─ experiments/       # 实验结果,占空间的话也建软链接
      ├─ notes/             # 草稿、待定决策、头脑风暴、调研
      ├─ ref-papers/        # 参考文献的 LaTeX source
      ├─ ref-repos/         # 代码实现的参考
      └─ workspace/         # 真正的开发目录

      ref-papers/ 里最好是去 arXiv 获取 LaTeX 源码,保真度最高,就是给 AI 看的。其中最主要的就是 docs/,放的都是长期维护的文档。

      在这些文件里,你可以没有其他的,但你不能没有 AGENTS.md!

      原则:强烈建议 human-in-the-loop 地创建和维护这些文档!当一个错误 / 问题 Agent 连续犯的时候,就应该把相关说明加到 AGENTS.md 里。

      附:我的 AGENTS.md

      [] 里换成你自己项目的内容即可,仅供参考(节选)

      # Agents Guidelines
      本目录用于 [研究方向] 研究(项目名 [xxx]):[一句话说明目标]。接手先读 docs/HANDOFF.md;当前主线草案见 notes/cur_mainline.md。
      ## 目录与归属
      - ref-papers/:参考论文,只读。论文事实以本地原文为准,不凭记忆转述。
      - workspace/:代码与实验。上游仓库克隆只用于跑基线,改动保持最小;自己的新代码放独立目录;临时文件放 workspace/tmp/<任务名>/。
      - notes/:调研、讨论、未定稿草案。当前有效草案用 cur_ 前缀,过期后移入 notes/archive/。
      - docs/:正式文档。HANDOFF.md 为接手入口,ENV.md 为环境,spec/ 为正式方案。
      - experiments/<name>/:results.md 首屏维护 Current Summary,运行记录写 runs.md。
      ## 环境与执行
      - 安装、启动、评测、环境排障先查 docs/ENV.md。
      - 不要停止非本任务启动的进程。
      - 长时程任务确认正常运行后,报告任务标识和日志路径,然后停止轮询。
      - 数据传输持续低速或失败时,停止并报告;不反复重试,不自行更换下载源。
      ## 测试
      - 默认不写测试:不补单元测试,跑通一次、看一眼输出即可。
      - 复现已发表工作时,以对上论文报告的指标为准。
      - 只有改动自己方法的核心代码(训练流程、数据处理、评分)时才专门验证:先列出可能出错的方式,再用缩小版验证,产出 loss 曲线、指标 JSON 等可核查的结果。
      ## 文档
      - 写入前按上面的归属选位置,不新建平行文档。
      - HANDOFF 只记当前状态、关键决策、已验证结果、接手须知、明确待办;40–70 行量级;修订而非追加。
      - 原则:删掉某句话不影响接手,就删掉。

      关于Thinking effort的选择

      Codex别用Ultra / Max直接coding

      使用 Codex 时,不要用 Ultra / Max 直接去 coding,特别是 Ultra!

      Ultra 会生成大量的 subagent 去 debate!造成的结果是无限的挑刺、抬杠,针对大量无意义的边界问题进行测试、打补丁,导致项目臃肿,浪费 token 且腐化 context!

      本质还是 GPT 本身的问题:过度防御性,经常过度谨慎。

      主代理启用 subagents 去处理任务,本质是为了减轻主代理的负担、隔离上下文、协作完成任务,但是 GPT 的主代理经常会不信任子代理,简直就是反驳型人格。

      子代理都跟他说已经完成了,主代理非得再去 double check 一下,这操作既浪费 token 又污染上下文!Claude Code 的 Ultracode 功能甩 Codex 一万条街!

      Max 同理。建议将规划与执行解耦:规划可用较高 effort,执行用相对低的 effort。

      注意:这里的解耦和使用不同 effort,指的是开多个会话并行处理任务,不是在一个对话中不停切换模型或思考预算。这样会破坏 KV cache(prompt cache),让你的对话更贵、更耗钱。

      thinking effort 可以理解为 system prompt 的一部分,切换后之前的 cache 都要丢掉重新计算;切换模型同理。

      例外:Claude 最新的模型(Fable 5.1 和 Opus 5.5)已经可以做到改变 effort 而不破坏 Claude Code 的提示缓存,对话中途也能直接用 /effort 切换(也许后续 Codex 也会跟进,但目前还没有)。

      Anthropic研究员的370次实验

      你以为 thinking effort 越高模型越聪明?Low 真的要比 High 笨很多吗?实际并不完全是。

      Anthropic研究员 Thariq 用 Fable 5.1 在 Terminal-Bench 3.0 上跑了 370 次,从 low 到 max:

      从宏观上讲,effort 让模型能大致了解你希望它为该任务花费多少计算资源。这在某种程度上与你对任务难度的建模有关。

      我的理解是,effort 本质就是 prompt,它不会从根本上提高模型的智力水平,只会让模型花更多功夫去想、去验证。

      对边界情况多的任务(老代码修 bug、安全、性能优化)很值,但简单的问题过度思考就会过度解读,就像做阅读理解一样。所以 effort 应该与任务难度(以及你想多大程度参与其中)相匹配。

      Thariq 的经验法则:

        他写新功能的流程(多了一步高 effort 验证):

        1. 先给 Claude 一份 spec,让它反过来问你,把缺的细节问清楚;

        2. 用 low 实现;

        3. 自己检查方向对不对,不对就继续用 low 改;

        4. 最后切 high 做验证和测试。

        烦人的单元测试 & 停不下来的code review

        目前 SOTA 的 LLM 莫名其妙地喜欢各种测试(从 GPT-5.6 Sol 开始!真不知道哪学来的坏毛病),它可能写几千行的代码来做一些根本没意义的测试,这只会导致代码极度臃肿并浪费大量 token。这是社区的共识性问题。

        OpenAI 的官方文档其实也解释了一部分原因:以前的模型需要督促才会去跑测试,而 GPT-6 Astra 自己就会做,如果 AGENTS.md 或 prompt 里还留着“记得跑测试”之类的旧指令,就会导致大量不必要的测试。

        所以可以先回头检查一下自己的 AGENTS.md 里有没有这类旧指令(但是实际你就算不写,他也会大量写测试)。

        一位开发者放在 AGENTS.md 最顶部的三条:

        1. 永远不要在写完代码之后再补单元测试。

        2. 强烈倾向于把端到端(E2E)测试作为唯一的测试手段;E2E测试结束时,要产出一个可验证、可复现的产物(artifact)。

        3. 如果确实需要单独测试某个模块,先把它所有可能出错的方式写下来,再写代码。

        我的理解是,LLM 喜欢静态单元测试,写一部分就测一部分,而不是测整个系统,这对 research 而言很多时候毫无帮助,端到端的测试可能更适合我们的场景。

        我自己的写法见前面 AGENTS.md 的“测试”一节。

        停不下来的code review

        让 LLM 去做 code review,最大的问题不是它发现不了问题,而是它总能找出一堆问题,但很多并不是真的问题:它不知道什么时候该停,它只是在迎合你的提问。

        尤其是你可能对你的代码一无所知(很多时候我确实是,我会尽量强迫自己去看一眼代码)。

        一个干净的 context、简洁且约束完整的 prompt,再加上事先写清楚完成标准,或者对系统顶层架构有深入理解,也许有帮助。

        不只是在 code review 时这样,论文审稿也一样,所以 best paper 也可能被贬得一文不值。

        Prompt与Skills

        我建议不要太依赖 GPT 写的 prompt。GPT(每个模型都有,但 GPT 尤甚)自己写的 prompt 无敌繁琐,各种约束,会让模型陷入局部最优,而且可读性很差,又臭又长。

        可以让它写的时候加一些要求,比如:

        我认为这种 harness 应该做减法,也就是不给太多复杂的约束,因为模型能力够强,约束过多只会对模型造成干扰。

        总之要有自己的判断,vibe 的每个阶段、每个步骤,都应该 human-in-the-loop。

        也可以直接把 OpenAI 的官方文档《Rethinking skills and prompts for GPT-6 Astra》发给它,我觉得最值得记住的几点:

        • Skill 描述要短,写清楚什么时候用:太长会被 Codex 截断,模型更难选对。

        • 渐进式披露:根文档只指向子文档和脚本,用到时再读。

        • 不要写成很细的流程清单:过于具体的指导现在反而会拖后腿。

        • 定期检查 AGENTS.md 每一条是否还需要:“每次编辑前先读 xxx.md”改成“改 schema 时看 database.md”。

        • 事先写清楚完成标准:以前的强约束可能被过度当真,在你希望它继续的地方停下来。

        Skills分享

        推荐Research-Paper-Writing-Skills(GitHub:Master-cai),很简洁。好的 skills 就应该这样简洁,很多就像随手写的 prompt 一样,但效果很不错。

        比如之前很火的 grill-me,但 grill-me 对我来说效果就那样:有时问得太细,反而钻牛角尖;而且我对项目架构没有清晰规划时,它 grill 我,我也不知道怎么回答哈哈。

        几十 K stars 的全自动科研 skills 我也试过不少,太冗余了,完全是干扰项,产出的 idea 和写作质量都很一般。

        图片

        Research:调研、找idea

        不要太依赖 LLM 直接输出的 idea;LLM 缺乏 research 的 taste,需要强 human-in-the-loop!

        用Pro做调研

        Web 端独有的 Pro 模型很强,特别是 GPT-6 Astra Pro,但是最好不要指望它去写代码。

        Web 端缺乏相应的 harness,Codex + 较弱的模型产出的代码质量一定是强于 Web 端 + Pro 模型的。

        Pro 很适合做调研,但它会钻牛角尖,要多调整 prompt,以及自己用关键词检索一下;我发现它反反复复就搜到那几篇 paper,漏掉不少其他 paper。

        我的找idea流程

        1. 用 Pro 做几轮(两轮、三轮很足够了)独立调研,对输出的内容简单整理,放到 Project source 里。

        2. 去精读一些 paper,最终选择两三篇你认为最可以做、可以结合的 paper。这里需要靠你的 taste、你的直觉,这是最关键的一步。

        3. 把这几篇 paper 和之前的调研一起放进 Project source,进行最终轮问答(不满意就继续迭代),讲讲你对这几篇 paper 的理解和吸引你的点。

        别轻信GPT的novelty判断

        让 GPT 判断你的 idea 有没有 novelty 时,它经常会 search 一堆 paper,只读摘要,不读具体的方法、贡献,就得出结论:“paper A 已经这样做了、paper B 已经那样做了……因此只是这样并不足够……”最终你得到一个毫无价值的结论,还陷入自我怀疑。

        然而你自己读了 paper 之后可能会发现,这些论文和 GPT 说的根本不是一回事!所以一定要 human-in-the-loop。

        图片

        Research:Benchmark工作

        我认为一个好的 benchmark 需要回答下面两个层面的问题,可以直接拿来问 GPT:当前构思的方案是否足够好地回答了这些问题?

        层面一:三个顶层追问

        层面二:研究组织层面的六问

        • 主线与边界:整项工作围绕哪个核心问题展开,各个任务为什么属于同一项研究,哪些问题明确不在范围内?

        • Taxonomy:问题空间按什么依据拆分,这些分类是否区分了有意义的能力或困难,并真正指导数据覆盖与结果分析?

        • 任务与设计:抽象能力如何落实为明确的输入、输出、成功条件和数据约束,每个关键设计为什么必要?

        • 验证与诊断:实验是否不仅比较模型,还检验 benchmark 本身,并帮助区分能力不足与数据、接口或评分造成的问题?

        • Insight 与贡献:结果揭示了什么有证据支持的能力边界或失败规律,而不只是模型排名和“当前模型还不够好”?

        • 复用与延续:别人能否独立运行、核查并持续使用这套评价,让后续研究能够在共同标准下积累进展?

        图片

        读paper的tips & 杂谈

        我现在喜欢把 paper 翻译成中文去看。我曾经也觉得这样很 low、不专业,也想锻炼英语,所以一直坚持读英文。

        但后来发现太浪费时间了,特别是快速读大量 paper 时,效率低,还读了后面忘前面,所以我决定将读 paper 和学英语解耦。

        做法是让 Codex(GPT-6 Luna Medium 绰绰有余)拉 arXiv 的 LaTeX 源码,逐句意译后重新编译出中文版 pdf(可以拆给多个子代理并行翻译)。

        翻译质量很好,排版清晰;不想让“token”被翻成“词元”,改一下 prompt 就行。

        杂谈:

        • Codex 的 Fast 模式多耗约 2—2.5 倍 token,只快 1.2—1.5 倍,衡量一下值不值。

        • 用好 ChatGPT Web 端的 Project 功能。不满意就重开对话或建分支(branch),别追问“xxx 是不是更好?”,不然你会收到“你说得对!”。

        • Codex 的 Side chat 真的是最好用的功能(等价于 Claude Code 的 /btw)。

        • LLM leaderboard 推荐 Artificial Analysis,较权威。

        各家模型擅长什么(纯个人体验):

        更多阅读

        ·

        阅读原文

        跳转微信打开

        •  

        EMNLP 2026 | 代码Agent会写不会跑?RAT让GitHub仓库自动跑起来

        让你更懂AI的 2026-11-11 21:07 北京

        代码Agent也会配环境了

        有没有 clone 完 GitHub 项目,对着一堆报错怀疑人生的时刻?

        依赖缺、版本冲突、Dockerfile 失踪、CI 脚本失效…… 你让 Agent 修一个 Bug,前提是它先能把项目环境配置好。

        如果项目依赖缺失、版本冲突、CI 脚本失效、README 不完整,那么再强的代码能力也无从发挥。

        对于代码 Agent 来说,环境配置(Environment Setup)其实是所有软件工程任务的第一步。而这一步,恰恰是目前最容易失败的地方。

        项目主页:

        https://sitaod.github.io/rat/

        论文地址:

        https://arxiv.org/abs/2604.23190

        代码地址:

        https://github.com/gemelom/RunAnyThing

        数据集地址:

        https://huggingface.co/datasets/gemelom/RAT-bench

        环境配置,为什么这么难?

        很多人觉得环境配置无非就是:

        ➢  pip install -r requirements.txt

        但真实世界远没有这么简单。一个 GitHub 仓库可能涉及:Python、Java、Rust 等不同语言;多种包管理器;Docker 环境;CI/CD 脚本;系统级依赖;外部服务依赖。 

        更麻烦的是,很多仓库可能压根没有完整配置文件。README 可能过期。Dockerfile 可能不存在。CI 脚本可能已经失效。甚至连测试程序都没有。

        这意味着 Agent 必须像工程师一样需要理解仓库结构,推断运行环境,自动安装依赖,处理报错,包括验证最终是否运行成功。而不是简单执行一条安装命令。

        RAT:让Agent学会“把仓库跑起来”

        本工作提出了 RAT,其核心目标非常直接:给定任意 GitHub 仓库,自动完成环境配置,并最终得到可运行环境。 

        第一步:先识别语言生态,不搞 “一刀切”

        环境配置最容易犯的错,就是拿同一套思路去处理所有语言。表面上都是跑代码,但 Python、Java、Rust、JS/Go 的依赖管理、构建流程、高频报错点完全不一样:

        • Python 常栽在系统依赖缺失、虚拟环境不兼容上

        • Java 多是 Maven/Gradle 构建冲突、多模块依赖版本打架

        • Rust 容易卡在工具链版本、原生库链接上

        所以 RAT 先做语言感知抽象:先识别仓库的主编程语言,再给 Agent 匹配对应语言的专属配置逻辑 —— 包括依赖文件怎么找、包管理器怎么调、测试用例怎么跑、常见错误怎么排。

        所有语言的能力都封装在统一的接口里,未来要加新语言(比如 C++),只需要新增一套适配模块,不用改动整个系统核心。

        第二步:智能挑选基础镜像,开局就少踩一半坑

        很多配置失败,其实从选基础镜像那一刻就注定了。

        PyTorch 项目用了纯 Python 轻量镜像、CUDA 项目驱动版本对不上、低版本系统跑不了新语法…… 基础选错了,后面再怎么补都事倍功半。

        RAT 专门使用 ImageRetriever 模块解决这个问题:先用大模型对仓库的 README、配置文件做语义分析,精准推断出项目需要的语言版本、操作系统、核心框架、关键依赖。

        先从预定义的标准镜像池里挑最合适的打底;如果是复杂项目,还会自动生成检索词,去 Docker Hub 搜更有针对性的专用镜像,再通过打分选出最优的初始化环境。

        第三步:迭代式排错,不是死跑脚本,是边错边改

        传统的自动化配置,本质就是把一串安装命令按顺序跑一遍,错了就直接失败,不会自己调整。而人手动配环境,其实是个反复试错的过程:装依赖→看报错→查原因→改配置→再试一次。

        RAT 将过程自动化了:它用 ReAct 框架把环境配置建模成持续交互的任务,还配了一套专门面向配置的工具集——切版本、装依赖、解析 CI/CD 脚本取官方步骤、搜历史 Issue 找现成解法、报错自动修复、项目没测试还能自己生成冒烟测试做验证。

        它不会一条路走到黑,而是走一步看一步,根据实时的系统反馈动态调整策略,一步步逼近正确的可运行环境。

        环境配置基准:RATBench

        研究环境配置还有一个问题:缺少可信的评测数据。

        很多已有的基准,要么就覆盖几十个仓库,样本少得可怜;要么只死磕 Python 一门语言,相当于考试只出课后题,分数看着高,一碰到真实项目就失灵。

        但现实的软件生态根本不是标准化的:项目有大有小,配置有全有缺,语言五花八门,坑点千奇百怪。

        因此本文构建了 RATBench。包含 2500 多个真实 GitHub 仓库。用分层抽样的方式,把不同项目规模、不同流行度、不同编程语言、不同配置完整度的场景都覆盖全了。

        更关键的是,我们不搞 “静态扫代码就打分” 的纸面评测,是真刀真枪跑起来测能构建通过、能跑通测试才算配置成功,完全按真实开发的标准来衡量。

        实验结果

        本文使用 ESSR(Environment Setup Success Rate)衡量环境配置成功率。简单来说:只有真正把项目跑起来,且能运行测试程序或入口程序才算成功。

        实验结果表明,RAT 在环境配置成功率上显著优于现有方法,平均提升约 36.1%。

        在多种语言和不同配置难度场景下均表现稳定,即使在缺少文件的情况下,也能够有效推断执行环境并完成验证。相比于通用 Agent 如 Claude code 智能体,RAT 在特定领域任务上取得了更优的表现。

        同时本文比较人类其表现甚至接近或超过资深工程师的手动配置能力,对于大规模代码 Agent、仓库挖掘以及软件工程自动化场景而言,自动化带来的规模优势往往比单次配置速度更加重要。

        此外实验还发现有趣的结论: 随着计算预算增加,模型能力会持续提升类似于 scaling law。相比之下,基准几乎没有表现出类似规律。表明一个好的 agent 设计能保持较好的计算量—性能增长关系。

        实际部署

        下面是本文的可视化 Web 界面,RAT 的全流水线操作都浓缩在这一步:往输入框里填一个 GitHub 仓库地址就行。

        结语

        如果说过去的软件工程 Agent 解决的是“如何写代码”,那么 RAT 关注的则是如何让“代码跑起来”。

        环境配置看似只是开发流程里的一小步,却是所有自动化软件工程任务的地基。

        通过将静态代码仓库转化为可执行环境,RAT 可以为在真实世界代码上规模化开展代码智能体轨迹生成、数据合成、基于执行的评测以及代码领域强化学习奠定了可运行环境基础。 

        更多阅读

        ·

        跳转微信打开

        •  

        扩散语言模型也能一步生成?Seq-Drifting提供一种可能

        让你更懂AI的 2026-11-04 12:05 北京

        多轮去噪压成一步

        扩散语言模型能够并行生成多个词元(token),却通常仍需经过多轮去噪,才能得到高质量文本。

        如果把生成过程压缩到一步,模型能否在一次前向计算中,直接生成一整段连贯的文字?

        近日,来自香港城市大学、深圳大学、中国科学技术大学和牛津大学的研究团队提出 Seq-Drifting,将 drifting 生成建模引入文本序列,通过依赖当前生成上下文的漂移场,训练模型协调不同位置的词元选择,实现一步文本生成。

        在无条件的 128-token 生成中,Seq-Drifting 的生成困惑度(Gen-PPL)达到 36.01,相较四步蒸馏基线 FMLM,实现 11.2 倍的实际运行时间加速。

        研究还在条件续写、机器翻译、摘要生成及推理任务上验证了这一框架,探索一步生成在不同文本任务中的适用性。

        相关论文题为 One-Step Text Generation by Seq-Drifting,代码和模型权重已公开。

        论文地址:

        https://arxiv.org/abs/2610.12879

        代码地址:

        https://github.com/jyliu-ai/Seq-Drifting

        模型权重:

        https://huggingface.co/jyliuAI/Seq-Drifting

        从多步去噪到一步生成

        当前主流自回归语言模型按顺序生成词元:先确定前一个词元,再预测下一个词元。这种机制便于利用已有上下文,但生成过程存在串行依赖,输出越长,等待时间通常越久。

        扩散语言模型尝试并行更新多个位置,以减少逐词解码的限制;然而,为了协调词元之间的关系,往往仍需要反复去噪或修正。

        减少生成步数,难点在于保持输出的一致性。一个位置上的词元即使单独看起来合理,也可能与其他位置的选择不兼容。

        例如,句子开头选择了某个主体,后面的动作、指代和描述就需要与之呼应。压缩为一步后,模型必须在一次计算中共同决定这些选择,而不能依靠后续去噪逐轮修正。

        Seq-Drifting 直接训练从高斯噪声到文本序列的映射。Drifting 的更新发生在训练过程中:模型依据漂移场提供的目标不断调整参数,逐渐学会一次生成。将这种思路用于文本时,需要回答一个关键问题:训练应当把每个位置的输出引向哪些词元,才能让整段文字彼此协调?

        让漂移场随着生成上下文变化

        Seq-Drifting 的核心是上下文依赖的漂移场(context-dependent drifting field)。

        训练时,模型先并行生成一组连续词元表示,再根据当前生成的上下文,为每个位置构造一组合理的候选词元。候选集合为该位置提供吸引目标;随着生成上下文变化,这组目标也随之调整。

        例如,当前前缀是“她把书放在”时,后续位置可以对应“桌上”“书架上”等合理续接。如果前缀变为“她把书送给”,相应候选就应转向能够承接这一动作的对象。

        这个示例体现了方法的关键:后续位置的监督需要回应模型当前生成了什么,而不能始终沿用某条训练文本在同一位置上的词元。

        候选集合有两种构造方式。

        第一种直接从数据集中检索:例如,通过 n-gram 匹配,寻找与当前生成片段相近的真实文本,再收集匹配位置上的词元作为候选。

        第二种使用另一个语言模型,称为支持模型(support model):冻结其参数,根据生成器当前产生的前缀,对各位置的下一词元进行评分,并选取高概率词元组成候选集合。

        前者从真实语料中获取候选,后者利用模型预测来适应当前生成上下文。

        吸引作用引导输出靠近候选集合中相容的词元表示,而不同噪声输入仍可选择不同的合理续接。

        这种监督允许一个上下文拥有多个合理后续,避免把所有噪声输入都绑定到同一个固定答案,或将多个词元的表示混成模糊的平均值。

        在支持模型方案中,每个位置的候选随当前生成上下文变化,词元选择便通过训练监督联系起来,帮助生成器学习连贯的联合输出。

        仅有吸引作用,模型可能反复生成少数相似的文本,或在同一句话中重复相同词元。

        为此,Seq-Drifting 加入两类排斥作用:样本之间的排斥帮助不同噪声输入产生不同输出,序列内部的排斥则抑制同一段文本中的重复。它们与依赖上下文的吸引目标共同构成漂移场。

        Seq-Drifting 的完整训练与生成流程

        如图 1 所示,训练从高斯噪声开始,生成器通过一次前向计算,并行输出所有位置的连续词元表示,再将它们归一化到单位球面上。

        随后,依据数据检索或支持模型构造各位置的候选集合,并结合样本之间与序列内部的负样本,计算吸引和排斥作用,得到每个位置的漂移方向。

        沿球面进行一次有界更新后,便得到该位置的训练目标。

        〓 图1. Seq-Drifting 的主方法与训练流程

        生成器通过回归这些训练目标更新参数,逐渐学会从不同噪声直接产生相容且多样的词元序列。

        球面约束使吸引和排斥主要改变表示方向,而不是不断增大向量长度,与依据余弦相似度恢复词元的方式相匹配。

        消融实验显示,去掉序列内部的排斥会出现明显重复;改用不受球面约束的更新,则可能导致训练发散。

        推理时,只需将噪声和可选条件输入训练好的生成器,用一次前向计算得到全部位置的表示,再映射为离散词元,输出完整文本。

        构造候选集合、计算漂移方向和回归目标都属于训练过程;使用支持模型训练的版本在推理时也无需调用支持模型。

        在条件生成中,生成器额外接收给定前缀,并通过交叉注意力利用条件信息;支持模型则结合该前缀与当前生成的续写构造候选集合。

        训练先进行无条件预热,让模型学会生成流畅文本,再引入真实前缀学习条件依赖。这一框架因而能够同时用于开放式生成和给定输入的文本生成。

        一步生成的质量与效率

        研究分别在 LM1B 和 OpenWebText 上评估短文本与长文本生成,对应输出长度为 128 和 1024 tokens。

        为了区分监督来源,论文报告两种设置:S 版本使用在相同语料上从头训练的支持模型;P 版本使用公开预训练的 GPT-2。两者的生成器在推理时都只执行一次前向计算。

        〓 图2. LM1B 128-token 生成的质量与效率比较(Ours 为 P 版本)

        在 LM1B 上,S 版本的一步 Gen-PPL 为 93.81,优于四步 FMLM 的 98.76;P 版本进一步达到 36.01。

        P 版本利用了公开预训练支持模型的知识,因此这两组结果分别反映相同语料监督与预训练知识支持下的表现。论文同时考察了词元熵和 Self-BLEU,以检查生成多样性。

        效率方面,Seq-Drifting 相较四步 FMLM,在 LM1B 和 OpenWebText 上分别实现 11.2 倍和 10.1 倍的实际运行时间加速。

        条件续写实验中,S 和 P 两个版本也都优于所比较的少步蒸馏基线。这表明,上下文依赖的监督能够支持一次性生成与给定前缀相衔接的文本。

        从文本生成到翻译摘要与推理

        研究进一步在 WMT14 德英翻译和 XSum 摘要任务上测试 Seq-Drifting。一步生成在翻译及大部分摘要指标上优于所比较的少步基线,但与表现更强的多步模型仍有差距。

        实验还发现,扩大支持模型规模能够改善一步生成质量,为利用更强语言模型构造训练监督提供了依据。

        在推理任务上,研究将生成器与比较模型的规模设为 0.5B,测试了数学推理数据集 SVAMP、ASDiv 和逻辑推理数据集 ProofWriter,结果见表 1。研究团队计划进一步扩大模型与训练规模,探索一步生成在数学推理中的表现。

        〓 表1. 数学与逻辑推理结果 准确率为百分比 单样本时间为毫秒

        探索更大规模的一步文本生成

        Seq-Drifting 展示了一条直接学习一步文本生成的路径:训练时,根据模型当前生成的上下文构造相容的词元目标,让各位置的选择逐渐形成一致的序列;推理时,用一次前向计算共同生成全部词元。

        研究将继续探索更强的支持模型、更丰富的语义监督和更可靠的词元恢复方式,并进一步评估扩大规模后的数学推理能力。

        公开代码与模型权重为复现结果和拓展这一方向提供了基础。

        更多阅读

        ·

        跳转微信打开

        •  
        ❌