铃阅
❌

阅读视图

近70年经典算法大升级!Meta改写K-Means,聚类提速45倍

原创 让你更懂AI的 2026-11-13 20:34 北京

小批量为何能赢全量?

图片

用了近 70 年的 K-Means,Meta 从中心更新规则入手,把训练轮次压到了约十分之一。

K-Means 大概是机器学习里最广为人知的算法之一。

从上世纪 50 年代的经典求解方法,到今天的向量数据库、图像检索和数据压缩,K-Means 已经被用了近 70 年。

几十年来,计算硬件不断升级,但经典 Lloyd 算法仍需要反复扫描整个数据集,才能让聚类中心逐渐收敛。

Meta FAIR 最近推出了 e-means,重新设计了经典 K-Means 的中心更新方式。

新算法平均只需两轮左右,就能超过传统 K-Means 运行 25 轮的聚类效果,GPU 最高提速 45.5 倍。

在 100 亿条向量、约 1677 万个聚类中心的实验中,e-means 只用 2.5 轮就取得了更低的误差。

它借用了深度学习中常见的指数移动平均和余弦退火,还通过 Scaling Laws 自动确定训练参数。相关代码已进入 Faiss 开源仓库。

论文标题:

e-means: outperforming k-means (in one-tenth the epochs)

论文地址:

https://arxiv.org/abs/2611.09501

代码地址:

https://github.com/facebookresearch/faiss/tree/main/contrib/e_means

〓 图1. 百万向量实验中的训练轮次与CPU、GPU耗时对比

K-Means为何还要扫25轮?

K-Means 将一组数据划分为 k 个簇,目标是尽可能减小样本到所属聚类中心的平方距离之和。这个目标沿用至今,求解方法却仍有很大的优化空间。

最常见的 Lloyd 算法,会先把所有样本分配给最近的中心,再用每个簇的样本均值重新计算中心。完成一轮更新,必须遍历一遍数据。

论文以 Faiss 常用的 25 轮配置作为比较基准,百亿级向量上的重复计算尤其昂贵。

小批量 K-Means 早在 1967 年就已经出现。它每处理一部分样本就更新中心,无须等待整轮扫描结束。

但经典的小批量更新会持续累加历史统计量,早期中心位置尚不准确时形成的分配记录,也会长期影响后续结果。

此类方法通常收敛得更快,最终误差却高于充分训练的 Lloyd 算法。批次大小与学习率还需要额外调节。长期以来,聚类训练很难同时兼顾速度、质量与使用门槛。

为什么两轮反而能更准?

e-means 采用指数移动平均(EMA)更新聚类中心。

每处理一个小批次,它就统计各簇接收到的样本数量与向量之和,分别进行移动平均,再用两者的比值计算中心。新的分配能及时修正中心,较早的统计记录则逐渐失去影响力。

EMA 此前已用于向量量化模型的码本更新。Meta 团队发现,将它用于固定数据集的 K-Means,并配合合适的优化策略,同样十分有效。

团队还比较了 EMA 与随机梯度下降的表现。大批次训练中,梯度下降在较大更新步长下容易变得不稳定。

作者认为,EMA 更新能让聚类中心保持在已分配样本构成的凸包内,从而降低大步长更新带来的不稳定性。

小批量更新还改变了算法陷入局部最优的概率。

Lloyd 算法每次更新都会降低当前训练误差,却也可能早早停在不理想的分组方式里。小批量更新带来的随机波动,让 e-means 有机会重新调整这些已经稳定下来的中心。

一组实验将数据分成大小悬殊的两团,要求划分为 8 个簇。Lloyd 有时会给较小的一团分配两个中心,让较大的一团分配不足。e-means 即使从相同状态出发,也有机会恢复合理的中心分布。

在 200 次随机初始化中,Lloyd 有 26% 的运行停留在这种状态,e-means 只有 3.5%。

另一组沿直线排列的五团数据实验中,两者陷入不理想分组的比例分别为 46% 和 0%。

〓 图2. 小批量更新帮助聚类中心摆脱局部最优

另一个关键设计是死亡簇复活机制。部分聚类中心在训练中逐渐得不到样本,原本分配给它们的聚类容量便被浪费。

e-means 每五个批次检查一次,对样本数过少的中心,从较大的有效簇中拆分出新中心,而非简单随机抽取一个样本补位。

在 DEEP 数据集上,关闭复活机制后,最终分配到少于 10 个样本的聚类中心占 26.3%。

使用拆分策略后,这一比例降至 0.3%。在另一组 3 轮训练的消融实验中,不使用复活机制,测试集均方误差还会上升约 2.24%。

〓 图3. 拆分有效簇,让闲置的聚类中心重新参与训练

此外,e-means 从数据中随机选取初始中心,并让初始统计量只保留极小权重。余弦退火则逐渐减小更新步长,避免训练后期反复波动。

最后一轮结束后,还可以直接用该轮分配的样本均值重新计算中心,以很小的额外成本降低训练误差。面向新数据时,也可选用更慢的移动平均来改善测试误差。

Scaling Laws连调参也省了

小批量训练的速度与精度,都离不开批次大小和更新步长。

批次太小,GPU 不容易充分发挥吞吐能力。批次太大,中心更新次数减少。步长过小可能训练不足,过大又容易引起波动。

如果每批处理全部样本,并将更新步长设为 1,移动平均的更新就退化为 Lloyd 式的全量重算。但在不同批次和步长的误差热力图上,这组经典配置位于表现较差的一角,较低误差主要集中在另一片参数区域。

〓 图4. 批次大小和更新步长共同影响聚类误差

作者进行了约 7.5 万次优化实验,研究样本规模、聚类中心数量、训练轮次与最佳参数之间的关系,最终拟合出两条 Scaling Laws,自动选择批次大小与初始更新步长。

这些规律主要从 DEEP 数据集拟合,却能迁移到 SIFT、SPACEV 和文本向量数据集。在留出数据集上,默认批次规律相较最佳参数的中位误差增幅仅约 0.19%。

开发者只需给出数据规模、聚类数量和训练轮次,便能使用算法自动确定的参数配置,无须为每个新数据集单独搜索。

这套方法同时提供兼顾吞吐和偏重质量的批次选择,可根据实际需求调整计算效率与聚类质量之间的取舍。

从百万到百亿,GPU提速45倍

在图像、文本等多种嵌入向量数据集上,e-means 与 Faiss、Flash-KMeans 及已有小批量聚类方法进行了对照。

〓 图5. 四组数据上的训练与测试误差变化

这里使用的是均方误差(MSE),衡量样本到最近聚类中心的平均平方距离。数值越低,说明聚类的整体平方距离误差越小。

以 Flash-KMeans 运行 25 轮后的测试误差为目标,e-means 在主要 GPU 对比中只需 1.4 至 2.6 轮,实际耗时缩短约 9.5 至 45.5 倍。

最高的 45.5 倍,出现在 10 亿条 DINO 向量的实验中。CPU 实验也取得了约 8 至 15 倍的提速。

更少的训练轮次之所以能够转化为实际耗时优势,还得益于专门优化的 GPU 核函数。作者将距离计算与最近中心选择融合处理,避免存储完整、规模巨大的距离矩阵,提高了硬件执行效率。

〓 表1. 各规模下达到基准误差所需的轮次与实际加速

团队把聚类规模继续推至 100 亿条向量、约 1677 万个簇。

为开展这项实验,他们从约 6000 万张图片中提取 DINOv3 图像块特征,构成 1024 维、总体积约 10TB 的 DINO10B 数据集。

使用精确最近中心分配,传统 Lloyd 算法运行 25 轮消耗 6784 GPU 小时,e-means 只运行 2.5 轮,消耗 779 GPU 小时,测试误差就降到了更低的水平。

研究团队还探索了通过倒排文件索引(IVF)加速中心分配。每条向量先搜索少量候选区域,无须逐一计算与全部中心的距离。

采用这一近似分配方案,e-means 运行 3 轮便达到相应的测试误差目标,计算量降至约 23.2 GPU 小时。使用单台 8 卡 H100 服务器,实际耗时约 3 小时。

〓 表2. 百亿向量任务的精确分配与近似分配实验

从聚类提速到向量检索

e-means 已被纳入 Faiss 源码仓库,提供 faiss.contrib.e_means 模块及相应的实验复现代码。

目前尚未包含在 Faiss 正式发行版中,开发者可以从源码使用这一实现,并按照公开的实验配置进行测试。

对于需要经常更新向量索引的系统,聚类训练耗时的下降,意味着这一步可以用更少的计算资源完成。

团队还把新的聚类中心用于倒排索引,在 11 组向量数据上,以 1% 的扫描比例比较了最近邻检索的 Recall@10。

相同索引训练时间下,e-means 通常能获得更高召回率。达到传统算法充分训练后的召回水平,所需时间也明显更短。在大多数数据集上,其最终召回率与传统方法相当或更好。

〓 图6. 不同索引训练时间下的近邻检索召回率

从更少的聚类训练轮次,到更低的索引训练成本,再到实际检索中的召回表现,e-means 已经展示出一条比较完整的性能改进路径。

对于使用 Faiss 处理大规模向量数据的开发者,经典 K-Means 如今多了一个经过百亿规模验证、可以直接评估的高效替代方案。

更多阅读

·

跳转微信打开

  •  

直播预告 | UIUC金海波博士:智能体走向真实世界的最后一公里

和你一起进步的 2026-11-13 20:34 北京

 PaperWeekly × 星弧 STARC 

科研觉醒

AI前沿讲座

 直播主题 

智能体走向真实世界的最后一公里

 直播嘉宾 

金海波

伊利诺伊大学厄巴纳–香槟分校博士生

 直播时间 

2026年11月14日(周六)

11:00-12:00

 参会方式 

腾讯会议:563 000 520

 报告介绍 

Topic

智能体走向真实世界的最后一公里

    本报告讨论智能体走向真实世界的“最后一公里”。我们提出 Agent-Native Primitives,为工具、代码和知识各配上一位熟悉它的“专家”;HEELO 根据当前任务把这些原语组织起来,再依据执行反馈改进它们,让一个任务中验证过的经验也能用在下一个任务上。

    围绕这一思路,我们开发了八类原语,在 20 多个公开基准上进行了 26 组对比实验:在使用相同模型和工具目录的条件下,Tool Primitives 将 ToolBench 的任务通过率从 55.8% 提升到 75.1%;在 Terminal-Bench 4.0 上,Dev-Primitives 将同一模型的任务解决率从 37.3% 提升到 55.5%;在 GAIA-Text-103 上,使用 Navigation Primitives 的系统取得了 58.3% 的问答准确率(迭代式检索方法为 45.6%)。

    在 heelo.dev 平台设计的 46 个真实任务中,Claude Code 和 Codex 独立运行时各完成 9 个,通过 MCP 接入 HEELO 后分别完成 39 个和 35 个。

    报告主要内容包括:

    • 从资源到原语。介绍 Agent-Native Primitives 如何为工具、代码和知识配备常驻语言模型。以代码修改为例,说明一个原语如何利用本地实现完成修改,并与依赖模块的原语协调接口。
    • 为任务搭建执行框架。介绍 HEELO 如何按任务需要组合原语,用环境反馈检验执行结果,定位出错的环节,并将修正后通过验证的原语用于后续任务。
    • 八类原语的能力评测。围绕工具调用、代码仓库构建与修改、数学证明、知识问答和复杂检索等任务,分析八类原语在 20 多个公开基准、26 组对比实验中的表现。
    • 从基准测试到真实操作。介绍开发者如何通过 API 或 MCP 接入 heelo.dev,完成行程预订、邮件外联和内容发布等操作。

    🔍

    现在,在「知乎」也能找到我们了

    进入知乎首页搜索「PaperWeekly」

    点击「关注」订阅我们的专栏吧

    ·

    ·

    跳转微信打开

    •  

    烧算力不烧心!如何在学术界小心地做Scaling?

    原创 Tianzhe Chu 2026-11-12 20:35 北京

    把GPU花在刀刃上

    图片

    GPU 总是不够用,实验却未必越大越好。如何用有限的算力,找到值得投入更多资源的研究方向?

    ©作者 |Tianzhe Chu

    小红书 |@Leslie Chu

    这几个月,我一边劳累地管理集群,一边和 Druv 把 Nestor 搓了出来。本文就是这段经历的产物。

    学校集群通常就有这么一个日经或月经的问题:大家都认为自己的 project 很重要,都想要更多的资源来跑,而出于对各位老师同学的尊重,我又不能直愣愣地说某些 project 是**,纯在浪费。

    即便如此,眼睁睁地看着某些低利用率的任务在集群上跑,我的心在滴血。学校的计算资源一般都来自政府资助,所以无脑烧 GPU 约等于无脑烧爸爸妈妈交出去的税钱。

    本文旨在给我们组的同学一些基本且必要的入门指导。我希望看完这篇文章的同学至少对 GPU 使用有个概念,如果能学会一些 prompt agent 的知识那就更好了。

    本文分以下这几部分:

    • 科学部分,大概介绍一下 scaling ladder 是什么,我们为什么要用?

    • 经验部分,在具体实验里该怎么运用它?

    • 在找老师要更多 GPU 之前你应该注意的事情。

    Scaling Ladder是什么,为什么要用?

    具体的 scaling law 讲解有很多,比如这些 [2]。这周我在大书特书这篇博客的时候,很巧看到 purshow 老师写的博客也在讲这个 [1]。

    这里我们就简单讲一下,当你有至少四组实验记录横跨不同的计算量,你就可以拟合下面这个指数曲线:

    这条曲线出自这里 [6](欢迎历史学家纠正或者补充)。当你有了这个曲线,你就可以轻松地做两件事:

    首先,你不需要真的跑更大的实验,就可以预测更大实验的性能(或者你有足够的 compute,小规模数据点预测的曲线也可以帮你验证大实验到底对不对);

    其次,你可以用各自的曲线来比较两种模型哪个更 work。

    因为所有的比较、预测所需的计算量都可以根据模型结构的设计算出理论的浮点数运算,你在跑大规模实验的时候就不烧心了。

    受 Prof. Tatsunori Hashimoto 的课的启发 [3],我想到了另一个解答为什么的角度:

    1.1 scaling ladder是PhD学生的完美预测目标

    现在我们反着想这个问题,当你在训神经网络的时候,你其实正在用这些实验记录反向训练你的大脑。

    你的实验记录里包含了输入(数据,模型结构,计算量)和标签(模型的效果),这样一来你的 PhD 生涯就可以按照式 2 的方式来最小化预测损失。

    但是呢,很可能单个模型效果不是一个很好的预测目标,比如首先这里是 L2 loss,不好;其次可能这些模型效果没有一个很好的分布,你的大脑学不太来。

    最后,由于这个不同超参数、数据配比、模型结构的排列组合的数据量过于大,大脑的容量可能存不下来。

    Q:那我吗该如何让这个学习过程更高效呢?

    A:我推荐使用 scaling ladder,或者说至少做实验的时候对它有个概念。

    这里,输入和预测目标都变了。

    我们改用了一种更加有结构、有约束的输入:scaling ladder 要求固定的 token per parameters(TPP)预算;在模型结构配置上,我们至少也要固定稀疏度、深度/宽度比,等等。

    在预测目标是,我们把一个O(n)复杂度的数据点预测变成了 3 个变量的预测。

    这种设计其实可以看作是数据增强手段:我们不光增强了数据点之间的相关性,我们还减小了预测目标的噪声和复杂度。这太好了。

    经验教训

    你真要着手开始做 scaling ladder 实验之前,有两件事必须先搞懂,你的横轴纵轴的值选啥。

    通常,横轴我们就用 FLOPs,更实在一点就选真实的 GPU 训练时间,但纵轴,除非你做语言模型,挺难选的。

    我老板是计算机视觉出身,他一开始比较抗拒我为啥转战语言了,但最后还是被我的证据说服了——我在 ImageNet 上怎么折腾都没啥成功迹象的模型一换 DCLM 就一切水到渠成了。

    因此,下面的这部分内容会假设读者就说做语言模型预训练,或者你用同样的方式在训多模态语言模型,或者你已经发明了你领域完美的纵轴统计量。

    2.1 配置

    你有纵轴以后,你要选的下一个问题就是每个具体的数据点的配置该怎么选。通常我们就按 1x 2x 4x 8x,这样可以在 log scale 下均匀分布在图上,非常的漂亮。

    之后呢,你还得保证你的模型训够了足够的数据。

    TPP 通常是越高越好,Chinchilla optimal 建议选 TPP 为20 [7];对 MoE 来说,最优 TPP 有一些别的计算方式 [8]。

    但因为在学术界,我们的计算资源比较少,所以别选太大。我们的 Nestor paper 选了 50 [5]。

    在配置模型结构的时候,有一个问题可能会让你挠头:究竟要不要抹平不同变体在 FLOPs 上的差别呢?

    比如说,你想比较 A 结构和 B 结构,而 B 结构有一个小的 sparse attention 改动使它的 FLOPs 变小了。

    即使 scaling ladder 不要求每个数据点都一一对应相等的 FLOPs,我们在资源有限的情况下,最好还是想着补偿 B 结构一点,来达成 FLOPs 上的一致性。

    这样一来,每个数据点都可以直接比较,如果明显在小规模上就比基准线好,扩大规模的时候就不烧心了。

    2.2 MFU

    在配置完所有东西之后,就该开始跑实验了。最简单的方式是直接 prompt agent 让它“给我拼命跑实验,把 MFU 拉满”。

    但光这句话通常不够用——举个例子,Nestor 的原生 kernel 就被推特上的哥们轻松干翻了 [4]。以下是我从苦难中总结的两个教训:

    并行策略和规模是绑定的。我翻了下实验记录发现了一些搞笑的事:在 200M 规模的实验里,shard 优化器会让实验变慢;而在 1B 规模的实验里,并行则可以允许更大的 batch size。

    总体经验是:花哨的分片策略对大模型 MFU 有帮助,但小模型上你只能忍了,别折腾。

    请特别注意每一步的实际计算量。GPU 通常跑大块的、规则的矩阵乘法效率最高,拆成一堆小 matmul 就会利用率不足,而且会在 kernel 之间产生启动气泡 [9]。

    MoE 和 Nestor 就是两个经典例子——先不管负载均衡,MoE 切片了 FFN 矩阵,Nestor 还额外切片了注意力投影。

    所以三个 FLOPs 相等的模型天然有一个 MFU 排序:dense > MoE > Nestor,虽然高级的基础设施魔法在大规模上可能缩小这个差距。

    计算之外,通信也可能咬你一口。在 Nestor 早期的一次多节点实验中,梯度本应只在每个优化器步同步一次,结果 torch.compile 包裹模型后,辅助函数没认出 DDP 实例,悄无声息地跳过了 no_sync,结果梯度在每个 microbatch 后都在同步。

    雪上加霜的是,网络配置还把跨节点流量全部塞进了一个网络端口。

    以上经验都是和 agent 交流过程中积累的。虽然 Claude 的 infra 技能可能比我强得多,但要是 MFU 值不对劲,或者分解出来的实际计算量有问题,还是得推它一把的。

    没能让b300大人使出全力

    2.3 瓶颈不一定是芯片

    瓶颈可能压根不在芯片身上,尤其是做视觉或机器人的同学,可能是数据加载、模拟器渲染等等;做 RL 的同学可能是推理引擎的速度、RL 算法本身、训练引擎和推理引擎数量的分配。

    说到底,找我要卡之前,先确认一下你的瓶颈真的是算力吗。

    找老师要GPU之前的检查清单

    ☑️ 你应该继续做这个项目吗?

    我们提一个指标:

    其中 GPU hrs 只算最终保留在正文里的实验。你的目标应该是优化这个指标,而不是只想着怎么把 impact 拉满但烧掉多少 GPU 小时无所谓。

    为了给大家一个粗略的算力成本感知,以下是论文中实验的 H200 等价估算,假设 MFU 20%:

    • ResNet: H200 GPU 小时

    • Transformer: H200 GPU 小时

    (粗估)。更不必说大伙的 project 大概率影响力也小于这俩。

    ☑️ 你最小的实验需要多少 GPU 时间?

    假设你组有 K 张 GPU,m 个活跃用户。你分到的配额就是 K/m。

    一个合理的最小实验应该用不超过 K/m × 1/4 的卡,一天之内跑完,给你留出足够的调参空间。

    然后遵循严格的升级规则:把成功的实验升级到 1/2 × K/m 卡 → K/m 卡 → 找导师要超配 → 找我或者 Yi 老师申请临时额外配额。

    ☑️ 你现在的 MFU 是多少?

    你的瓶颈真的是卡不够吗?还是像第二部分提到的那些别的问题?

    ☑️ 你有没有调优你的超参数,或者应用 μP [10]?

    ☑️ 你有没有先跑几个小规模数据点,并证明你的 ladder 赢了基线?

    ☑️ 你有没有跟组员协调一下,看看有没有闲置的任务可以杀掉?

    致谢与结语

    白金致谢位:

    https://github.com/Ma-Lab-Berkeley/Nestor

    感谢 Druv 和朋友们的锐评。

    参考文献

    [1] https://x.com/purshow04/status/2117994165187531061

    [2] https://github.com/stanford-cs336/lectures/blob/main/lecture_09.pdf

    [3] https://deep-learning-alchemy.github.io/

    [4] https://x.com/deepaksinghml/status/2117649184773882239

    [5] https://arxiv.org/abs/2610.31818

    [6] https://arxiv.org/abs/2001.08361

    [7] https://arxiv.org/abs/2203.15556

    [8] https://arxiv.org/html/2509.23678#A7

    [9] https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html

    [10] https://arxiv.org/abs/2203.03466

    更多阅读

    ·

    阅读原文

    跳转微信打开

    •  

    攻击越狠,模型越聪明?阿里用动态对抗驱动「智能涌现」

    让你更懂AI的 2026-11-12 20:35 北京

    大模型越狱率逼近80%

    从动态内容审核、多模态越狱到感知增强的对抗自博弈,阿里安全 AGI 实验室御风大模型团队(Yuvion Team)通过三项连续工作提出:真正可靠的安全能力,需要经受持续对抗的检验;将对抗反馈引入训练,则有望推动模型形成更鲁棒的意图理解能力。

    2025 年 10 月,OpenAI 等机构的研究者发表了 The Attacker Moves Second,对当前大模型安全评测提出了一个尖锐质疑:攻击者后手。

    真实用户可以通过持续的对抗来绕过安全系统;如果评测仍只关注固定攻击集和静态 benchmark 分数,就可能高估系统面对真实对手时的安全性。

    进入大模型时代,攻击者试错与演化的成本持续下降。安全系统面对的不是一份固定试卷,而是一个会根据反馈调整策略的对手。

    当攻击者不断学习,防御者能否也在对抗中变强?

    这也是御风大模型团队长期探索的“对抗即智能”:不仅通过对抗发现问题,更让这些问题推动模型学习更鲁棒、可泛化的规律。

    围绕这一问题,阿里安全 AGI 实验室御风大模型团队先后完成了三项工作。

    前两项工作分别从 AI 安全与内容安全出发,让攻击者真正“动起来”,揭示了现有安全系统在持续对抗下的薄弱性:

    • AI 安全方面,MAMJ 让攻击策略和攻击模型共同进化。Gemini、GPT 等主流多模态模型的攻击成功率,从静态攻击下最低约 3%,升至面对持续进化攻击者时的约 80%。

    • 内容安全方面,EvoHarmBench 让攻击者根据审核反馈持续改写。在 7 个主流大模型审核器上,直接审核时的平均 ASR@Readable 为 38.4%,经过 12 轮动态对抗后升至 80.3%。

    第三项工作 PASP 则给出了团队对这一问题的答案:将动态攻击思想引入训练,并借鉴人类的认知机制,让模型在持续博弈中发现安全盲区,识别变化表达中不变的有害意图,将平均 ASR 从监督微调后的 44.93% 降至 11.46%。

    EvoHarmBench:动态对抗下脆弱的内容安全

    论文链接:

    https://arxiv.org/abs/2608.27844

    收录会议:

    EMNLP2026 Findings

    项目地址:

    https://github.com/Alibaba-VELLDEPTH/EvoHarmBench

    攻击者会不断改写,静态评测够用吗?

    传统内容安全评测通常将一批固定样本一次性输入审核系统,再以准确率、召回率或攻击成功率衡量效果。

    这种评测方式可以回答“模型是否见过并识别这类表达”,却难以回答一个更接近真实对抗行为的问题:当攻击者看到拦截结果、继续修改表达时,审核系统还能守住安全底线吗?

    为此,团队提出 EvoHarmBench,将内容审核评测从一次性的静态测试推进为反馈驱动的持续对抗。

    从单条样本到策略演化:让攻击者根据反馈学习

    EvoHarmBench 基于 5002 条真实场景中的人类对抗样本构建,覆盖引流、赌博欺诈、辱骂、色情和灌水五类违规内容,并按照风险语义与变异模式组织为 229 个评测子簇。

    相较于逐条生成孤立攻击,子簇让系统能够学习和检验一类内容中可复用的规避策略,更接近线上黑产话术成批演化、快速扩散的现实过程。

    在每轮评测中,改写模型依据当前策略生成新表达,目标审核模型给出拦截或放行结果,比较模型判断原始违规意图是否仍然保留,反思模型再根据两类反馈更新下一轮策略。

    只有当簇级综合得分严格提升时,新策略才会被接受。这样既避免把“删掉违规含义后的安全文本”误算为攻击成功,也能够模拟真实用户在失败后继续试探的过程。

    模型的早期改写可能走向两个极端:表达过于直接,则仍会被审核器拦截;或者隐藏过度,虽然被放行,却已经丢失原本的违规意图。

    随着反馈不断返回,后续策略逐渐学会在隐晦表达与语义保留之间取得平衡,最终形成“绕过模型审核,但仍能被人类识别”的文本。这正是单轮静态评测难以发现、却在线上对抗中真实存在的风险。

    关键结果:持续对抗让攻击成功率升至 80.3%

    EvoHarmBench 使用 ASR@Readable 作为核心指标:只有同时满足“绕过审核”和“违规意图仍可被人理解”的文本,才计为攻击成功。

    在 7 个主流大模型审核器上,直接审核的平均 ASR@Readable 为 38.4%;经过 12 轮持续对抗后,平均值升至 80.3%,提升约 42 个百分点。各主流模型的最终结果集中在 73.0%–88.8%。

    这些结果表明:静态评测中的高分,并不等于动态对抗下的可靠安全。内容审核系统既要识别已经出现过的违规模式,也要在攻击者持续改变表达时保持稳定。

    面向真实业务的安全评测,需要同时考察攻击者根据反馈持续调整的能力、改写后的违规意图是否保留,以及攻击能否跨模型迁移,让评测从一次考试变成持续攻防。

    MAMJ:动态对抗下脆弱的AI安全

    论文链接:

    https://arxiv.org/abs/2608.27531

    收录会议:

    EMNLP2026 main

    项目地址:

    https://github.com/Alibaba-VELLDEPTH/MetaJailbreak-VLM

    不只修改图片,攻击者本身能否持续学习?

    AI 安全领域并不缺少对抗研究,但图片带来的风险仍被低估。

    已有多模态越狱方法看似形式多样,却大多建立在人工设计的攻击模板或固定策略上,例如把攻击文本嵌入图片,或者通过图文配合完成角色扮演。

    即使部分方法会反复修改具体的图片和指令,负责生成攻击的策略与模型本身通常并不会学习。

    这类方法可以针对具体样本反复尝试,却往往难以将经验沉淀为攻击者自身的能力。

    两层进化:更新攻击策略,也训练攻击模型

    团队由此提出 Meta-Adaptive Multimodal Jailbreaking(MAMJ):不再只优化一次攻击所使用的图片和文本,而是让攻击者本身根据成败反馈持续进化。这种进化发生在两个层面:

    • 攻击策略持续更新。 攻击者不再依赖人工设计的固定模板,而是根据一组攻击轨迹的成败反馈,持续反思并更新攻击策略,逐步寻找当前防线尚未覆盖的薄弱点。

    • 攻击模型持续学习。 系统利用群体攻击成功率作为奖励,通过强化学习更新攻击模型参数,使其不仅能够“换一种说法”,还可以从历史对抗经验中学习并持续增强攻击能力。

    具体来说,给定恶意目标 ,攻击模型  在攻击策略提示词   的指导下生成图像提示  和文本指令 ,再由图像生成模型 G 生成攻击图片 I,并提交给目标模型 V:

    传统方法主要优化某一次攻击所使用的图片和指令,MAMJ 则把优化目标提升到了攻击者层面:同时寻找更有效的策略 ,并更新攻击模型参数 :

    训练分为两个阶段。

    第一阶段聚合多条失败轨迹,由 LLM 归纳失败原因并迭代更新策略;第二阶段固定已经优化的策略,再通过群组相对奖励和强化学习更新攻击模型。

    前者回答“下一步应该采用什么方法”,后者学习“如何更有效地执行这种方法”。两者结合,使攻击者能够根据目标模型的反馈持续积累经验。

    关键结果:会学习的攻击者,暴露更深的安全盲区

    实验表明,Gemini、GPT 等 SOTA 多模态模型在静态评估中最低仅有约 3% 的攻破率,但面对 MAMJ 时,攻击成功率上升至约 80%,从“基本安全”变成“几乎可以被稳定劫持”。敲响了对抗性下多模态安全的警钟。

    这些结果再次说明:静态攻击下表现安全,并不代表模型能够抵御持续进化的对手。

    EvoHarmBench 与 MAMJ 分别从内容审核和多模态越狱两个场景揭示了同一个问题——当攻击者获得反馈、学习与进化能力后,许多看似稳固的安全边界会迅速失效。

    但这也带来一个更重要的问题:既然持续对抗可以不断增强攻击者,能否把同样的机制交给防御者,让模型也在博弈中成长?

    PASP:借鉴人类认知机制,理解不变的有害意图

    论文地址:

    https://arxiv.org/abs/2610.15449

    模型为什么读不懂人类暗语?

    大模型已经具备很强的语言理解能力,却仍会漏掉一些人类轻易就能读懂的有害表达。

    一句话经过谐音替换、字形拆分或表情符号包装后,原本的含义对人依然清晰,在模型眼中却可能变成无害内容。攻击者正是利用这种认知差距,在保留传播意图的同时绕过审核。

    人类理解这类对抗表达,依靠的不只是字面信息。一方面,人会综合读音、字形与上下文,理解隐晦表达背后的意图;另一方面,人会结合交互情境,推断对方为什么刻意采用某种表达。

    相比之下,以文本 token 为主的输入未能充分呈现这些感知线索,而固定攻击集上的训练也难以让模型适应不断变化的规避策略。

    补充感知线索,在持续博弈中学习理解

    为此,团队提出 Perception-Aware Adversarial Self-Play(PASP),通过多感知视图补充读音与字形线索,并在对抗自博弈中利用持续变化的攻击提供训练反馈,推动模型理解不同表达背后不变的有害意图。

    • 多感知理解:结合语境、读音与字形,理解隐晦表达。 给定一条对抗文本,PASP 将原始文本、拼音表示与文本渲染图像共同输入防御模型,让模型结合不同感知线索,输出意图解释与风险判断。

    • 对抗自博弈:让不断变化的攻击推动模型学习。

      ○ 攻击者生成挑战:从 6 类共 22 种基础策略中选择并组合改写方式,根据防御反馈寻找保留有害意图、且人类仍可理解的规避表达。

      ○ 防御者学习理解:利用这些样本训练,分别对意图理解、审核判断和输出格式给予分段奖励。其中,意图奖励以改写前的真实含义为参照,引导模型理解不同表达背后不变的意图,并通过 GRPO 更新模型。

      ○ 攻防交替演进: 更新后的防御者成为下一轮攻击目标,促使攻击者探索新策略,使训练持续围绕模型新暴露的盲区展开。

    训练还加入采用相同改写策略的良性文本,避免模型将谐音、符号等特殊表达直接等同于风险。模型需要理解的是内容意图,而不是表达是否“看起来可疑”。

    关键结果:防住当前攻击,也应对未见变化

    实验表明,在 Qwen3.5-9B 上,PASP 将 EvoHarmBench 的平均 ASR 从监督微调后的 44.93% 降至 11.46%,相对降低 74.49%。

    这种提升不只体现在训练中出现过的攻击上。

    当训练中排除整个“上下文与结构”攻击族时,模型面对该未知攻击族的 ASR 仍由监督微调的 32.47% 降至 17.32%;面对三个未参与训练的攻击模型,平均 ASR 则由 61.03% 降至 25.65%。

    在二手交易平台的隐晦色情内容审核测试中,PASP 的 F1 从监督微调的 74.53% 提升至 79.33%。

    这些结果表明,训练收益能够延伸到未见攻击策略、不同攻击者和真实场景。

    持续对抗,如何成为智能提升的动力?

    这三项工作指向了一个共同方向:让攻击与防御在持续博弈中相互促进。

    攻击者针对当前防线不断产生难且有意义的问题,暴露模型的理解盲区;防御者则将这些问题转化为训练信号,提升意图理解与风险判断能力。

    更强的防御又促使攻击者探索新策略,使训练始终面对随模型能力变化而更新的挑战。

    这种攻防互促的价值,在于推动模型突破对已知样本和固定模式的依赖。

    面对不断变化的表达与策略,模型需要理解问题背后的意图与情境,学习能够迁移到未知场景的规律。

    这正是“对抗即智能”:让对抗中产生的新问题持续驱动学习,将安全实践中的攻防压力转化为理解与泛化能力的增长。

    更多阅读

    ·

    跳转微信打开

    •  

    从Vibe Coding到Vibe Research:Harness做减法,Human把握关键

    原创 Kaibooo 2026-11-11 21:07 北京

    模型越强,规则越少

    图片

    Prompt 越写越长、Skills 越堆越多,模型就一定越好用吗?

    模型能力越强,你所做的越少。

    过度复杂的规则和 prompt 只会干扰 SOTA 级别的 LLM:把要做什么、花多少 effort、怎么验证说清楚就够了,human 要做的是在最关键的地方给出正确的引导。

    本文整理了我在项目文档管理、effort 选择、测试与 code review、prompt 与 skills、调研与找 idea 上的经验,供大家参考和批判,更希望的是交流。

    文中提到的模型:GPT-6 Astra / GPT-6 Astra Pro / GPT-6 Luna / GPT-5.6 Sol / Fable 5.1 / Opus 5.5 / Gemini 4 Argon。

    模型迭代太快了,很多结论都是有时效性的,说不定下周就不适用了。

      核心观点:harness做减法,human把握关键

      最近 Claude Code 的负责人 Boris Cherny 发了一个 demo:让 Opus 5.5 给 Acquired 播客 Home Depot 那一期做了一个互动网站。

      不过出乎他意料的是,没人关注生成的内容,真正引发关注的反而是他分享的 prompt,人们的关注点在于:prompt 居然如此简单!?

      Boris 原始 prompt(翻译):

      最新一期 Acquired 播客关于 Home Depot 的内容非常精彩。

      我想让你制作一个能够叙述整集内容的 Artifact。把它做成精美且互动的形式,重点传达贯穿整集的商业智慧精华。一定要做得非常出色,使用大量的 token 并不断迭代,直到你对其感到自豪为止。

      也许可以在整个作品中加入水彩插图和历史照片,目标是营造出《纽约客》或《纽约时报》数据可视化的风格,甚至要更好。我认为你可以使用 OpenCV 来处理水彩图片。

      要知道,特别是在 23、24 年,prompt engineering 是一个很火的东西,专门的课程、书籍、教程等等数不胜数,但是人们现在突然发现,原来顶尖的 AI 算法研究员也在用如此朴素的 prompt?

      Boris 自己的回应:

      我很惊讶,大家竟然会对我这样给 Claude 写 prompt 感到惊讶。

      像对待同事一样和 Claude 说话。 prompt 没有什么秘诀,大多数任务不需要过度的约束和规定,给 Claude 一个目标,它自己会想办法。

      在 Sonnet 3.5 那时候, prompt 很重要。而现在,更重要的是向模型讲清楚: 

      1. 你想让它做什么。

      2. 你希望它花多少 effort。

      3. 它应该怎么验证自己做对了。

      我非常认同这样的观点。我的理解是:harness 需要做减法,模型能力越强,你所做的越少。

      最好不要盲目使用一些热度很高的 skills 之类的东西,不要为了用而用;我的使用体验是,普遍而言,很多噱头大于实用性,过度复杂的规则设计和 prompt 会严重干扰 SOTA 级别的 LLM。

      但是为什么同样的 SOTA 模型,在不同人的手里发挥的作用不同?

      因为模型会犯错、会短视、会片面以及类似的各种问题,需要 human 在最关键的部分予以正确的引导,这正是 human-in-the-loop 最核心的价值。

      回过头再看 Boris 的 prompt,虽然简单,但三件事他都说到了:

      一些评论的观点是:这里面最重要的是第一和第三点,只要讲清楚要做什么、怎么算做好,agent 就能自己去验证、去迭代。

      有些评论说得也很直接,也有道理:“你想要什么,解释得多烂都没关系,只要你把它解释出来。”

      后面的内容基本也是围绕这三件事展开的:先说清楚要做什么(项目文档管理),再决定花多少力气(effort 的选择),最后是怎么验证(测试和 code review)。

      Vibe Coding项目管理浅见

      跨会话协作的关键在于文档

      LLM 的 context window 是有限的:Codex 默认只支持 258k(可以调到 1M,但官方都不放心设为默认,所以我不认为手动设到 1M 是好的选择),Claude Code 默认为 1M,Gemini 4 Argon 支持 2M(恐怖如斯!没有体验,但我对 Gemini 的 coding 能力不抱期待)。

      不管是 258k 还是 1M,对大项目而言都毫无疑问不够;而且 context 用到 50% 以上、甚至 70%—80% 时,丢三落四、犯错是不可避免的,因此让 agent 在多个会话之间协作是至关重要的。

      跨会话协作的关键在于做好项目文档维护和管理。

      我的习惯是,在一个工作目录下开启与 agent 的对话,正式开始之前,先初始化 AGENTS.md(最最最核心!Claude 现在也支持 AGENTS.md),以及下面这些文件夹:

      my-project/
      ├─ AGENTS.md          # 最最最核心!
      ├─ docs/              # 核心,存放长期维护的文档
      │  ├─ README.md       # docs/ 的索引,简单的说明
      │  ├─ HANDOFF.md      # 跨对话长期项目的核心
      │  ├─ DATASET.md      # 数据集说明
      │  └─ ENV.md          # 环境说明
      ├─ data/              # 数据集放数据盘,这里建软链接
      ├─ experiments/       # 实验结果,占空间的话也建软链接
      ├─ notes/             # 草稿、待定决策、头脑风暴、调研
      ├─ ref-papers/        # 参考文献的 LaTeX source
      ├─ ref-repos/         # 代码实现的参考
      └─ workspace/         # 真正的开发目录

      ref-papers/ 里最好是去 arXiv 获取 LaTeX 源码,保真度最高,就是给 AI 看的。其中最主要的就是 docs/,放的都是长期维护的文档。

      在这些文件里,你可以没有其他的,但你不能没有 AGENTS.md!

      原则:强烈建议 human-in-the-loop 地创建和维护这些文档!当一个错误 / 问题 Agent 连续犯的时候,就应该把相关说明加到 AGENTS.md 里。

      附:我的 AGENTS.md

      [] 里换成你自己项目的内容即可,仅供参考(节选)

      # Agents Guidelines
      本目录用于 [研究方向] 研究(项目名 [xxx]):[一句话说明目标]。接手先读 docs/HANDOFF.md;当前主线草案见 notes/cur_mainline.md。
      ## 目录与归属
      - ref-papers/:参考论文,只读。论文事实以本地原文为准,不凭记忆转述。
      - workspace/:代码与实验。上游仓库克隆只用于跑基线,改动保持最小;自己的新代码放独立目录;临时文件放 workspace/tmp/<任务名>/。
      - notes/:调研、讨论、未定稿草案。当前有效草案用 cur_ 前缀,过期后移入 notes/archive/。
      - docs/:正式文档。HANDOFF.md 为接手入口,ENV.md 为环境,spec/ 为正式方案。
      - experiments/<name>/:results.md 首屏维护 Current Summary,运行记录写 runs.md。
      ## 环境与执行
      - 安装、启动、评测、环境排障先查 docs/ENV.md。
      - 不要停止非本任务启动的进程。
      - 长时程任务确认正常运行后,报告任务标识和日志路径,然后停止轮询。
      - 数据传输持续低速或失败时,停止并报告;不反复重试,不自行更换下载源。
      ## 测试
      - 默认不写测试:不补单元测试,跑通一次、看一眼输出即可。
      - 复现已发表工作时,以对上论文报告的指标为准。
      - 只有改动自己方法的核心代码(训练流程、数据处理、评分)时才专门验证:先列出可能出错的方式,再用缩小版验证,产出 loss 曲线、指标 JSON 等可核查的结果。
      ## 文档
      - 写入前按上面的归属选位置,不新建平行文档。
      - HANDOFF 只记当前状态、关键决策、已验证结果、接手须知、明确待办;40–70 行量级;修订而非追加。
      - 原则:删掉某句话不影响接手,就删掉。

      关于Thinking effort的选择

      Codex别用Ultra / Max直接coding

      使用 Codex 时,不要用 Ultra / Max 直接去 coding,特别是 Ultra!

      Ultra 会生成大量的 subagent 去 debate!造成的结果是无限的挑刺、抬杠,针对大量无意义的边界问题进行测试、打补丁,导致项目臃肿,浪费 token 且腐化 context!

      本质还是 GPT 本身的问题:过度防御性,经常过度谨慎。

      主代理启用 subagents 去处理任务,本质是为了减轻主代理的负担、隔离上下文、协作完成任务,但是 GPT 的主代理经常会不信任子代理,简直就是反驳型人格。

      子代理都跟他说已经完成了,主代理非得再去 double check 一下,这操作既浪费 token 又污染上下文!Claude Code 的 Ultracode 功能甩 Codex 一万条街!

      Max 同理。建议将规划与执行解耦:规划可用较高 effort,执行用相对低的 effort。

      注意:这里的解耦和使用不同 effort,指的是开多个会话并行处理任务,不是在一个对话中不停切换模型或思考预算。这样会破坏 KV cache(prompt cache),让你的对话更贵、更耗钱。

      thinking effort 可以理解为 system prompt 的一部分,切换后之前的 cache 都要丢掉重新计算;切换模型同理。

      例外:Claude 最新的模型(Fable 5.1 和 Opus 5.5)已经可以做到改变 effort 而不破坏 Claude Code 的提示缓存,对话中途也能直接用 /effort 切换(也许后续 Codex 也会跟进,但目前还没有)。

      Anthropic研究员的370次实验

      你以为 thinking effort 越高模型越聪明?Low 真的要比 High 笨很多吗?实际并不完全是。

      Anthropic研究员 Thariq 用 Fable 5.1 在 Terminal-Bench 3.0 上跑了 370 次,从 low 到 max:

      从宏观上讲,effort 让模型能大致了解你希望它为该任务花费多少计算资源。这在某种程度上与你对任务难度的建模有关。

      我的理解是,effort 本质就是 prompt,它不会从根本上提高模型的智力水平,只会让模型花更多功夫去想、去验证。

      对边界情况多的任务(老代码修 bug、安全、性能优化)很值,但简单的问题过度思考就会过度解读,就像做阅读理解一样。所以 effort 应该与任务难度(以及你想多大程度参与其中)相匹配。

      Thariq 的经验法则:

        他写新功能的流程(多了一步高 effort 验证):

        1. 先给 Claude 一份 spec,让它反过来问你,把缺的细节问清楚;

        2. 用 low 实现;

        3. 自己检查方向对不对,不对就继续用 low 改;

        4. 最后切 high 做验证和测试。

        烦人的单元测试 & 停不下来的code review

        目前 SOTA 的 LLM 莫名其妙地喜欢各种测试(从 GPT-5.6 Sol 开始!真不知道哪学来的坏毛病),它可能写几千行的代码来做一些根本没意义的测试,这只会导致代码极度臃肿并浪费大量 token。这是社区的共识性问题。

        OpenAI 的官方文档其实也解释了一部分原因:以前的模型需要督促才会去跑测试,而 GPT-6 Astra 自己就会做,如果 AGENTS.md 或 prompt 里还留着“记得跑测试”之类的旧指令,就会导致大量不必要的测试。

        所以可以先回头检查一下自己的 AGENTS.md 里有没有这类旧指令(但是实际你就算不写,他也会大量写测试)。

        一位开发者放在 AGENTS.md 最顶部的三条:

        1. 永远不要在写完代码之后再补单元测试。

        2. 强烈倾向于把端到端(E2E)测试作为唯一的测试手段;E2E测试结束时,要产出一个可验证、可复现的产物(artifact)。

        3. 如果确实需要单独测试某个模块,先把它所有可能出错的方式写下来,再写代码。

        我的理解是,LLM 喜欢静态单元测试,写一部分就测一部分,而不是测整个系统,这对 research 而言很多时候毫无帮助,端到端的测试可能更适合我们的场景。

        我自己的写法见前面 AGENTS.md 的“测试”一节。

        停不下来的code review

        让 LLM 去做 code review,最大的问题不是它发现不了问题,而是它总能找出一堆问题,但很多并不是真的问题:它不知道什么时候该停,它只是在迎合你的提问。

        尤其是你可能对你的代码一无所知(很多时候我确实是,我会尽量强迫自己去看一眼代码)。

        一个干净的 context、简洁且约束完整的 prompt,再加上事先写清楚完成标准,或者对系统顶层架构有深入理解,也许有帮助。

        不只是在 code review 时这样,论文审稿也一样,所以 best paper 也可能被贬得一文不值。

        Prompt与Skills

        我建议不要太依赖 GPT 写的 prompt。GPT(每个模型都有,但 GPT 尤甚)自己写的 prompt 无敌繁琐,各种约束,会让模型陷入局部最优,而且可读性很差,又臭又长。

        可以让它写的时候加一些要求,比如:

        我认为这种 harness 应该做减法,也就是不给太多复杂的约束,因为模型能力够强,约束过多只会对模型造成干扰。

        总之要有自己的判断,vibe 的每个阶段、每个步骤,都应该 human-in-the-loop。

        也可以直接把 OpenAI 的官方文档《Rethinking skills and prompts for GPT-6 Astra》发给它,我觉得最值得记住的几点:

        • Skill 描述要短,写清楚什么时候用:太长会被 Codex 截断,模型更难选对。

        • 渐进式披露:根文档只指向子文档和脚本,用到时再读。

        • 不要写成很细的流程清单:过于具体的指导现在反而会拖后腿。

        • 定期检查 AGENTS.md 每一条是否还需要:“每次编辑前先读 xxx.md”改成“改 schema 时看 database.md”。

        • 事先写清楚完成标准:以前的强约束可能被过度当真,在你希望它继续的地方停下来。

        Skills分享

        推荐Research-Paper-Writing-Skills(GitHub:Master-cai),很简洁。好的 skills 就应该这样简洁,很多就像随手写的 prompt 一样,但效果很不错。

        比如之前很火的 grill-me,但 grill-me 对我来说效果就那样:有时问得太细,反而钻牛角尖;而且我对项目架构没有清晰规划时,它 grill 我,我也不知道怎么回答哈哈。

        几十 K stars 的全自动科研 skills 我也试过不少,太冗余了,完全是干扰项,产出的 idea 和写作质量都很一般。

        图片

        Research:调研、找idea

        不要太依赖 LLM 直接输出的 idea;LLM 缺乏 research 的 taste,需要强 human-in-the-loop!

        用Pro做调研

        Web 端独有的 Pro 模型很强,特别是 GPT-6 Astra Pro,但是最好不要指望它去写代码。

        Web 端缺乏相应的 harness,Codex + 较弱的模型产出的代码质量一定是强于 Web 端 + Pro 模型的。

        Pro 很适合做调研,但它会钻牛角尖,要多调整 prompt,以及自己用关键词检索一下;我发现它反反复复就搜到那几篇 paper,漏掉不少其他 paper。

        我的找idea流程

        1. 用 Pro 做几轮(两轮、三轮很足够了)独立调研,对输出的内容简单整理,放到 Project source 里。

        2. 去精读一些 paper,最终选择两三篇你认为最可以做、可以结合的 paper。这里需要靠你的 taste、你的直觉,这是最关键的一步。

        3. 把这几篇 paper 和之前的调研一起放进 Project source,进行最终轮问答(不满意就继续迭代),讲讲你对这几篇 paper 的理解和吸引你的点。

        别轻信GPT的novelty判断

        让 GPT 判断你的 idea 有没有 novelty 时,它经常会 search 一堆 paper,只读摘要,不读具体的方法、贡献,就得出结论:“paper A 已经这样做了、paper B 已经那样做了……因此只是这样并不足够……”最终你得到一个毫无价值的结论,还陷入自我怀疑。

        然而你自己读了 paper 之后可能会发现,这些论文和 GPT 说的根本不是一回事!所以一定要 human-in-the-loop。

        图片

        Research:Benchmark工作

        我认为一个好的 benchmark 需要回答下面两个层面的问题,可以直接拿来问 GPT:当前构思的方案是否足够好地回答了这些问题?

        层面一:三个顶层追问

        层面二:研究组织层面的六问

        • 主线与边界:整项工作围绕哪个核心问题展开,各个任务为什么属于同一项研究,哪些问题明确不在范围内?

        • Taxonomy:问题空间按什么依据拆分,这些分类是否区分了有意义的能力或困难,并真正指导数据覆盖与结果分析?

        • 任务与设计:抽象能力如何落实为明确的输入、输出、成功条件和数据约束,每个关键设计为什么必要?

        • 验证与诊断:实验是否不仅比较模型,还检验 benchmark 本身,并帮助区分能力不足与数据、接口或评分造成的问题?

        • Insight 与贡献:结果揭示了什么有证据支持的能力边界或失败规律,而不只是模型排名和“当前模型还不够好”?

        • 复用与延续:别人能否独立运行、核查并持续使用这套评价,让后续研究能够在共同标准下积累进展?

        图片

        读paper的tips & 杂谈

        我现在喜欢把 paper 翻译成中文去看。我曾经也觉得这样很 low、不专业,也想锻炼英语,所以一直坚持读英文。

        但后来发现太浪费时间了,特别是快速读大量 paper 时,效率低,还读了后面忘前面,所以我决定将读 paper 和学英语解耦。

        做法是让 Codex(GPT-6 Luna Medium 绰绰有余)拉 arXiv 的 LaTeX 源码,逐句意译后重新编译出中文版 pdf(可以拆给多个子代理并行翻译)。

        翻译质量很好,排版清晰;不想让“token”被翻成“词元”,改一下 prompt 就行。

        杂谈:

        • Codex 的 Fast 模式多耗约 2—2.5 倍 token,只快 1.2—1.5 倍,衡量一下值不值。

        • 用好 ChatGPT Web 端的 Project 功能。不满意就重开对话或建分支(branch),别追问“xxx 是不是更好?”,不然你会收到“你说得对!”。

        • Codex 的 Side chat 真的是最好用的功能(等价于 Claude Code 的 /btw)。

        • LLM leaderboard 推荐 Artificial Analysis,较权威。

        各家模型擅长什么(纯个人体验):

        更多阅读

        ·

        阅读原文

        跳转微信打开

        •  

        EMNLP 2026 | 代码Agent会写不会跑?RAT让GitHub仓库自动跑起来

        让你更懂AI的 2026-11-11 21:07 北京

        代码Agent也会配环境了

        有没有 clone 完 GitHub 项目,对着一堆报错怀疑人生的时刻?

        依赖缺、版本冲突、Dockerfile 失踪、CI 脚本失效…… 你让 Agent 修一个 Bug,前提是它先能把项目环境配置好。

        如果项目依赖缺失、版本冲突、CI 脚本失效、README 不完整,那么再强的代码能力也无从发挥。

        对于代码 Agent 来说,环境配置(Environment Setup)其实是所有软件工程任务的第一步。而这一步,恰恰是目前最容易失败的地方。

        项目主页:

        https://sitaod.github.io/rat/

        论文地址:

        https://arxiv.org/abs/2604.23190

        代码地址:

        https://github.com/gemelom/RunAnyThing

        数据集地址:

        https://huggingface.co/datasets/gemelom/RAT-bench

        环境配置,为什么这么难?

        很多人觉得环境配置无非就是:

        ➢  pip install -r requirements.txt

        但真实世界远没有这么简单。一个 GitHub 仓库可能涉及:Python、Java、Rust 等不同语言;多种包管理器;Docker 环境;CI/CD 脚本;系统级依赖;外部服务依赖。 

        更麻烦的是,很多仓库可能压根没有完整配置文件。README 可能过期。Dockerfile 可能不存在。CI 脚本可能已经失效。甚至连测试程序都没有。

        这意味着 Agent 必须像工程师一样需要理解仓库结构,推断运行环境,自动安装依赖,处理报错,包括验证最终是否运行成功。而不是简单执行一条安装命令。

        RAT:让Agent学会“把仓库跑起来”

        本工作提出了 RAT,其核心目标非常直接:给定任意 GitHub 仓库,自动完成环境配置,并最终得到可运行环境。 

        第一步:先识别语言生态,不搞 “一刀切”

        环境配置最容易犯的错,就是拿同一套思路去处理所有语言。表面上都是跑代码,但 Python、Java、Rust、JS/Go 的依赖管理、构建流程、高频报错点完全不一样:

        • Python 常栽在系统依赖缺失、虚拟环境不兼容上

        • Java 多是 Maven/Gradle 构建冲突、多模块依赖版本打架

        • Rust 容易卡在工具链版本、原生库链接上

        所以 RAT 先做语言感知抽象:先识别仓库的主编程语言,再给 Agent 匹配对应语言的专属配置逻辑 —— 包括依赖文件怎么找、包管理器怎么调、测试用例怎么跑、常见错误怎么排。

        所有语言的能力都封装在统一的接口里,未来要加新语言(比如 C++),只需要新增一套适配模块,不用改动整个系统核心。

        第二步:智能挑选基础镜像,开局就少踩一半坑

        很多配置失败,其实从选基础镜像那一刻就注定了。

        PyTorch 项目用了纯 Python 轻量镜像、CUDA 项目驱动版本对不上、低版本系统跑不了新语法…… 基础选错了,后面再怎么补都事倍功半。

        RAT 专门使用 ImageRetriever 模块解决这个问题:先用大模型对仓库的 README、配置文件做语义分析,精准推断出项目需要的语言版本、操作系统、核心框架、关键依赖。

        先从预定义的标准镜像池里挑最合适的打底;如果是复杂项目,还会自动生成检索词,去 Docker Hub 搜更有针对性的专用镜像,再通过打分选出最优的初始化环境。

        第三步:迭代式排错,不是死跑脚本,是边错边改

        传统的自动化配置,本质就是把一串安装命令按顺序跑一遍,错了就直接失败,不会自己调整。而人手动配环境,其实是个反复试错的过程:装依赖→看报错→查原因→改配置→再试一次。

        RAT 将过程自动化了:它用 ReAct 框架把环境配置建模成持续交互的任务,还配了一套专门面向配置的工具集——切版本、装依赖、解析 CI/CD 脚本取官方步骤、搜历史 Issue 找现成解法、报错自动修复、项目没测试还能自己生成冒烟测试做验证。

        它不会一条路走到黑,而是走一步看一步,根据实时的系统反馈动态调整策略,一步步逼近正确的可运行环境。

        环境配置基准:RATBench

        研究环境配置还有一个问题:缺少可信的评测数据。

        很多已有的基准,要么就覆盖几十个仓库,样本少得可怜;要么只死磕 Python 一门语言,相当于考试只出课后题,分数看着高,一碰到真实项目就失灵。

        但现实的软件生态根本不是标准化的:项目有大有小,配置有全有缺,语言五花八门,坑点千奇百怪。

        因此本文构建了 RATBench。包含 2500 多个真实 GitHub 仓库。用分层抽样的方式,把不同项目规模、不同流行度、不同编程语言、不同配置完整度的场景都覆盖全了。

        更关键的是,我们不搞 “静态扫代码就打分” 的纸面评测,是真刀真枪跑起来测能构建通过、能跑通测试才算配置成功,完全按真实开发的标准来衡量。

        实验结果

        本文使用 ESSR(Environment Setup Success Rate)衡量环境配置成功率。简单来说:只有真正把项目跑起来,且能运行测试程序或入口程序才算成功。

        实验结果表明,RAT 在环境配置成功率上显著优于现有方法,平均提升约 36.1%。

        在多种语言和不同配置难度场景下均表现稳定,即使在缺少文件的情况下,也能够有效推断执行环境并完成验证。相比于通用 Agent 如 Claude code 智能体,RAT 在特定领域任务上取得了更优的表现。

        同时本文比较人类其表现甚至接近或超过资深工程师的手动配置能力,对于大规模代码 Agent、仓库挖掘以及软件工程自动化场景而言,自动化带来的规模优势往往比单次配置速度更加重要。

        此外实验还发现有趣的结论: 随着计算预算增加,模型能力会持续提升类似于 scaling law。相比之下,基准几乎没有表现出类似规律。表明一个好的 agent 设计能保持较好的计算量—性能增长关系。

        实际部署

        下面是本文的可视化 Web 界面,RAT 的全流水线操作都浓缩在这一步:往输入框里填一个 GitHub 仓库地址就行。

        结语

        如果说过去的软件工程 Agent 解决的是“如何写代码”,那么 RAT 关注的则是如何让“代码跑起来”。

        环境配置看似只是开发流程里的一小步,却是所有自动化软件工程任务的地基。

        通过将静态代码仓库转化为可执行环境,RAT 可以为在真实世界代码上规模化开展代码智能体轨迹生成、数据合成、基于执行的评测以及代码领域强化学习奠定了可运行环境基础。 

        更多阅读

        ·

        跳转微信打开

        •  

        扩散语言模型也能一步生成?Seq-Drifting提供一种可能

        让你更懂AI的 2026-11-04 12:05 北京

        多轮去噪压成一步

        扩散语言模型能够并行生成多个词元(token),却通常仍需经过多轮去噪,才能得到高质量文本。

        如果把生成过程压缩到一步,模型能否在一次前向计算中,直接生成一整段连贯的文字?

        近日,来自香港城市大学、深圳大学、中国科学技术大学和牛津大学的研究团队提出 Seq-Drifting,将 drifting 生成建模引入文本序列,通过依赖当前生成上下文的漂移场,训练模型协调不同位置的词元选择,实现一步文本生成。

        在无条件的 128-token 生成中,Seq-Drifting 的生成困惑度(Gen-PPL)达到 36.01,相较四步蒸馏基线 FMLM,实现 11.2 倍的实际运行时间加速。

        研究还在条件续写、机器翻译、摘要生成及推理任务上验证了这一框架,探索一步生成在不同文本任务中的适用性。

        相关论文题为 One-Step Text Generation by Seq-Drifting,代码和模型权重已公开。

        论文地址:

        https://arxiv.org/abs/2610.12879

        代码地址:

        https://github.com/jyliu-ai/Seq-Drifting

        模型权重:

        https://huggingface.co/jyliuAI/Seq-Drifting

        从多步去噪到一步生成

        当前主流自回归语言模型按顺序生成词元:先确定前一个词元,再预测下一个词元。这种机制便于利用已有上下文,但生成过程存在串行依赖,输出越长,等待时间通常越久。

        扩散语言模型尝试并行更新多个位置,以减少逐词解码的限制;然而,为了协调词元之间的关系,往往仍需要反复去噪或修正。

        减少生成步数,难点在于保持输出的一致性。一个位置上的词元即使单独看起来合理,也可能与其他位置的选择不兼容。

        例如,句子开头选择了某个主体,后面的动作、指代和描述就需要与之呼应。压缩为一步后,模型必须在一次计算中共同决定这些选择,而不能依靠后续去噪逐轮修正。

        Seq-Drifting 直接训练从高斯噪声到文本序列的映射。Drifting 的更新发生在训练过程中:模型依据漂移场提供的目标不断调整参数,逐渐学会一次生成。将这种思路用于文本时,需要回答一个关键问题:训练应当把每个位置的输出引向哪些词元,才能让整段文字彼此协调?

        让漂移场随着生成上下文变化

        Seq-Drifting 的核心是上下文依赖的漂移场(context-dependent drifting field)。

        训练时,模型先并行生成一组连续词元表示,再根据当前生成的上下文,为每个位置构造一组合理的候选词元。候选集合为该位置提供吸引目标;随着生成上下文变化,这组目标也随之调整。

        例如,当前前缀是“她把书放在”时,后续位置可以对应“桌上”“书架上”等合理续接。如果前缀变为“她把书送给”,相应候选就应转向能够承接这一动作的对象。

        这个示例体现了方法的关键:后续位置的监督需要回应模型当前生成了什么,而不能始终沿用某条训练文本在同一位置上的词元。

        候选集合有两种构造方式。

        第一种直接从数据集中检索:例如,通过 n-gram 匹配,寻找与当前生成片段相近的真实文本,再收集匹配位置上的词元作为候选。

        第二种使用另一个语言模型,称为支持模型(support model):冻结其参数,根据生成器当前产生的前缀,对各位置的下一词元进行评分,并选取高概率词元组成候选集合。

        前者从真实语料中获取候选,后者利用模型预测来适应当前生成上下文。

        吸引作用引导输出靠近候选集合中相容的词元表示,而不同噪声输入仍可选择不同的合理续接。

        这种监督允许一个上下文拥有多个合理后续,避免把所有噪声输入都绑定到同一个固定答案,或将多个词元的表示混成模糊的平均值。

        在支持模型方案中,每个位置的候选随当前生成上下文变化,词元选择便通过训练监督联系起来,帮助生成器学习连贯的联合输出。

        仅有吸引作用,模型可能反复生成少数相似的文本,或在同一句话中重复相同词元。

        为此,Seq-Drifting 加入两类排斥作用:样本之间的排斥帮助不同噪声输入产生不同输出,序列内部的排斥则抑制同一段文本中的重复。它们与依赖上下文的吸引目标共同构成漂移场。

        Seq-Drifting 的完整训练与生成流程

        如图 1 所示,训练从高斯噪声开始,生成器通过一次前向计算,并行输出所有位置的连续词元表示,再将它们归一化到单位球面上。

        随后,依据数据检索或支持模型构造各位置的候选集合,并结合样本之间与序列内部的负样本,计算吸引和排斥作用,得到每个位置的漂移方向。

        沿球面进行一次有界更新后,便得到该位置的训练目标。

        〓 图1. Seq-Drifting 的主方法与训练流程

        生成器通过回归这些训练目标更新参数,逐渐学会从不同噪声直接产生相容且多样的词元序列。

        球面约束使吸引和排斥主要改变表示方向,而不是不断增大向量长度,与依据余弦相似度恢复词元的方式相匹配。

        消融实验显示,去掉序列内部的排斥会出现明显重复;改用不受球面约束的更新,则可能导致训练发散。

        推理时,只需将噪声和可选条件输入训练好的生成器,用一次前向计算得到全部位置的表示,再映射为离散词元,输出完整文本。

        构造候选集合、计算漂移方向和回归目标都属于训练过程;使用支持模型训练的版本在推理时也无需调用支持模型。

        在条件生成中,生成器额外接收给定前缀,并通过交叉注意力利用条件信息;支持模型则结合该前缀与当前生成的续写构造候选集合。

        训练先进行无条件预热,让模型学会生成流畅文本,再引入真实前缀学习条件依赖。这一框架因而能够同时用于开放式生成和给定输入的文本生成。

        一步生成的质量与效率

        研究分别在 LM1B 和 OpenWebText 上评估短文本与长文本生成,对应输出长度为 128 和 1024 tokens。

        为了区分监督来源,论文报告两种设置:S 版本使用在相同语料上从头训练的支持模型;P 版本使用公开预训练的 GPT-2。两者的生成器在推理时都只执行一次前向计算。

        〓 图2. LM1B 128-token 生成的质量与效率比较(Ours 为 P 版本)

        在 LM1B 上,S 版本的一步 Gen-PPL 为 93.81,优于四步 FMLM 的 98.76;P 版本进一步达到 36.01。

        P 版本利用了公开预训练支持模型的知识,因此这两组结果分别反映相同语料监督与预训练知识支持下的表现。论文同时考察了词元熵和 Self-BLEU,以检查生成多样性。

        效率方面,Seq-Drifting 相较四步 FMLM,在 LM1B 和 OpenWebText 上分别实现 11.2 倍和 10.1 倍的实际运行时间加速。

        条件续写实验中,S 和 P 两个版本也都优于所比较的少步蒸馏基线。这表明,上下文依赖的监督能够支持一次性生成与给定前缀相衔接的文本。

        从文本生成到翻译摘要与推理

        研究进一步在 WMT14 德英翻译和 XSum 摘要任务上测试 Seq-Drifting。一步生成在翻译及大部分摘要指标上优于所比较的少步基线,但与表现更强的多步模型仍有差距。

        实验还发现,扩大支持模型规模能够改善一步生成质量,为利用更强语言模型构造训练监督提供了依据。

        在推理任务上,研究将生成器与比较模型的规模设为 0.5B,测试了数学推理数据集 SVAMP、ASDiv 和逻辑推理数据集 ProofWriter,结果见表 1。研究团队计划进一步扩大模型与训练规模,探索一步生成在数学推理中的表现。

        〓 表1. 数学与逻辑推理结果 准确率为百分比 单样本时间为毫秒

        探索更大规模的一步文本生成

        Seq-Drifting 展示了一条直接学习一步文本生成的路径:训练时,根据模型当前生成的上下文构造相容的词元目标,让各位置的选择逐渐形成一致的序列;推理时,用一次前向计算共同生成全部词元。

        研究将继续探索更强的支持模型、更丰富的语义监督和更可靠的词元恢复方式,并进一步评估扩大规模后的数学推理能力。

        公开代码与模型权重为复现结果和拓展这一方向提供了基础。

        更多阅读

        ·

        跳转微信打开

        •  

        具身智能也需要Harness?港中文发布Agentic Robots综述

        原创 让你更懂AI的 2026-11-03 23:23 北京

        串起模型、数据、环境与 Harness

        图片

        VLA、世界模型、机器人技能都有了,谁来负责协调它们?

        要让机器人完成“打开抽屉、取出蓝色方块、放到桌面”的任务,仅学会几个单独的动作还不够。

        抽屉没拉到位、物体被遮挡、抓取后掉落,都可能打断原定计划。机器人还需要判断任务进度,决定接下来调用哪项能力,以及出错后如何补救。

        这正是 Agentic Robots 关注的核心问题:如何协调已有的模型、工具与技能,根据执行反馈调整行为,并积累可供后续任务复用的经验。

        Agent 的作用也由此延伸到模型训练、数据采集和仿真环境构建等环节。

        香港中文大学 MMLab、复旦大学等机构的团队发布了综述《Towards Agentic Robots: Model, Data, Environment, and Harness》。

        论文围绕模型、数据、环境与 Harness 四大领域、17 个功能类别,系统梳理了 Agent 如何参与机器人能力的开发、使用与迭代。

          论文地址:

          https://arxiv.org/abs/2610.20442

          文献仓库:

          https://github.com/chonghanqin/Awesome-Agentic-Robots

          机器人有了动作能力,Agent 还能做什么?

          仍以开抽屉取物为例。传统机器人策略通过示范或奖励信号学习抓取、拉动等动作;视觉语言动作模型(VLA)将预训练的视觉、语言知识融入动作生成,帮助机器人理解场景与指令。

          世界模型预测动作可能引起的环境变化,世界动作模型则将未来预测与动作学习结合起来。

          这些能力可以共同支撑一项任务,系统则需要根据执行情况决定何时调用哪项能力:抽屉只开了一半,是继续拉开,还是已经可以取物?看不清蓝块的位置,是补充观测,还是调整观察视角?

          Agentic Robots 关注的正是这些执行过程中的决策,并通过反馈调整后续行动。VLA、世界模型、规划器与机器人技能可以在同一系统中配合使用,承担不同的功能。

          〓 图1. 从传统机器人策略到 Agentic Robots 的能力扩展

          四大领域,串起任务执行与能力开发

          完成当前任务,只是 Agent 在机器人系统中发挥作用的一个环节。

          如果同类失败反复出现,还需要进一步判断:问题出在动作能力、训练数据,还是训练环境?

          这篇综述将这些问题放在同一框架下讨论。

          模型(Model):讨论 Agent 如何参与训练、感知、规划、机器人控制与自适应,回答学什么、如何理解环境、怎样采取行动。

          数据(Data):围绕采集、标注与优化,讨论如何获取经验,并将其整理成可用的数据。

          环境(Environment):涵盖环境重建、任务生成与评测构建,回答在哪练、练什么、怎么检验效果。

          Harness:通过编排、记忆、监测与恢复、技能、基础设施和分层系统,协调模型、工具与机器人执行。

          这些类别按功能划分,可以共存于同一系统中。例如,一次抓取失败既可能触发重新规划,也可能为后续的数据筛选、技能更新或训练调整提供依据。

          〓 图2. 模型、数据、环境与 Harness 四大领域及其 17 个功能类别。

          模型:失败之后,该调整哪一环?

          一次取物失败,原因可能在不同环节。没看清把手,需要补充观测;抽屉尚未打开就开始抓取,需要调整计划;目标位置判断正确,但抓取角度不合适,则需要修正控制指令。

          围绕这些问题,综述将模型领域划分为训练、感知、规划、机器人控制和自适应五个方向,分别讨论 Agent 如何参与能力学习、理解当前状态、制定计划、控制机器人,以及根据经验调整模型。

          这些调整的作用范围有所不同。重新观测、调整计划,主要服务于当前任务;改变训练方法或更新模型,则可能影响后续任务的表现。

          理清失败发生的环节和改动的作用范围,才能判断一项改进究竟解决了什么问题。

          〓 图3. 以开抽屉取物任务展示模型领域五个方向的作用

          数据与环境:怎样让每次尝试更有价值?

          任务最终失败,不代表整段数据都没有价值。机器人可能已经成功拉开抽屉,也可能在抓空后完成了有效补救。只按最终成败筛选记录,容易遗漏这些有用片段。

          数据领域因此关注三个环节:

          • 采集决定尝试哪些任务、补充哪些经验;

          • 标注为记录补充任务描述、阶段划分与结果信息;

          • 优化筛选有效片段,修正不可靠的标签或监督信号。Agent 可以参与这些环节的决策,让执行记录更好地支持后续学习。

          〓 图4. 数据采集、标注与优化,将执行经验转化为可用的数据

          获取有用经验,也离不开合适的交互环境。以抽屉任务为例,仿真场景既要还原外观,也要支持拉动、碰撞等与任务相关的物理交互。

          环境重建研究如何将观测到的场景转化为机器人可以操作的环境。

          任务生成进一步明确目标、约束与成功条件,例如取哪个物体、放到什么位置、需要避开哪些障碍。

          评测构建则规定测试场景、复位方式与评价指标,检验机器人在更换物体、调整布局或受到干扰时能否完成任务。

          环境与数据由此相互联系:环境提供交互条件,执行过程产生经验,数据处理再将经验整理为学习所需的数据。这些工作是否提升了机器人的能力,仍需通过独立测试验证。

          〓 图5. 环境重建、任务生成与评测构建,共同支持机器人学习与测试

          Harness:让模型、工具与技能协同执行

          即使各个组件能够独立工作,协同执行时仍可能出现问题。

          开抽屉的技能返回“执行完成”,抽屉却没有打开到合适位置;抓取模块收到的目标坐标,仍然依据物体移动前的画面生成。一次调用结束,并不意味着任务取得了预期进展。

          Harness 是围绕模型构建、支持任务执行的软件与机制。它协调模型、工具与机器人接口,负责组件调用、信息传递和过程记录,并根据执行反馈决定继续、重试还是切换方案。

          综述从六类功能展开介绍:

          • 编排:协调组件之间的调用与交接。

          • 记忆:保存可供后续决策使用的信息。

          • 监测与恢复:检查任务进度,识别并处理执行失败。

          • 技能:提供可复用的操作方法或可调用的执行程序。

          • 基础设施:提供模型与机器人之间的接口和运行支持。

          • 分层系统:协调高层推理、动作策略与底层控制。

          执行经验也可以通过 Harness 保留并复用。例如,将一次有效的补救过程整理成操作提示或可调用技能,加入技能库,或据此修改后续会复用的执行代码。这些更新可以在不重新训练模型的情况下完成。

          经验得到保留,并不意味着能力一定提升。新技能能否用于其他任务、代码修改是否影响原有行为,都需要进一步验证。

          当前任务中的成功修正,与后续任务中可复用的改进,需要分开评估。

          图片

          走向实际应用,还需要解决哪些问题?

          公平评测:成功率的提升来自哪里?

          更强的底层策略、更完整的观测信息和更多重试机会,都可能影响最终结果。评测需要在可控、可比的条件下考察 Agent 的规划、工具选择和恢复能力,同时报告计算、交互与人工协助的成本。

          真机部署:计划能否转化为可执行的动作?

          视觉误差、机械臂的可达范围限制和场景变化,都可能导致执行失败。Agent 需要了解技能的适用条件,在信息不足时补充观测,并根据真实反馈确认执行状态,再选择后续操作。

          使用效率:何时需要调用大模型?

          常规动作可以由已有技能执行,并配合轻量监测;遇到异常时,再由推理模型介入。调用时机需要结合任务进度和响应延迟确定。效率评估应覆盖完整任务,将推理、通信、物理执行和重试的开销一并纳入统计。

          跨本体泛化:更换机器人后,哪些经验可以复用?

          轮式机器人、机械臂和无人机的传感器、动作接口与运动约束各不相同。部分通用任务经验可能适用,具体操作则需要根据新机器人的能力重新调整。

          如何识别这些能力与约束、调整执行方案,以及需要多少额外配置或训练,仍有待研究。

          图片

          写在最后

          这篇综述希望帮助读者理清 Agent 在机器人系统中的作用:哪些决策由 Agent 完成,哪些操作由机器人执行,哪些经验可以保留并复用。

          论文与配套文献仓库均已公开,欢迎研究者与开发者阅读、交流,并补充相关工作。

          更多阅读

          ·

          跳转微信打开

          •  

          EMNLP 2026 | 多模态数学推理别急着“想”,UniCAR-RL让模型先看清

          黎宇哲 2026-11-03 23:23 北京

          视觉数学均分最高涨9.9分

          ©作者 | 黎宇哲

          单位 | 华中科技大学硕士生

          研究方向 | 多模态大模型

          UniCAR-RL 不再让一个最终答案奖励同时承担“看”和“想”的监督,而是用三条共享参数的 RL 分支把感知与推理拆开优化,再在端到端 QA 中重新合起来。

          本文介绍华中科技大学与华为合作的 UniCAR-RL:一个面向多模态视觉数学推理的三分支强化学习框架。

          工作从一个很直接的问题出发:模型做错视觉数学题,很多时候并不是“不会推理”,而是第一步就把图看错了。

          UniCAR-RL 不再把所有错误都压缩成一个最终答案奖惩,而是显式拆分感知、推理和端到端问答三种训练信号,仅依赖原始短答案监督,就能针对细粒度视觉感知进行强化学习优化。

          该工作已被 EMNLP 2026 Findings 接收。

          论文标题:

          UniCAR-RL: Seeing Better before Thinking Deeper in Visual Mathematics

          收录会议:

          EMNLP 2026 Findings

          作者单位:

          华中科技大学、华为

          论文地址:

          https://arxiv.org/abs/2609.13849

          代码地址:

          https://github.com/yzli9/UniCAR-RL

          模型“算错”之前,可能已经“看错”

          过去两年,强化学习显著提升了大模型的数学推理能力。但把同样的范式直接搬到多模态数学问题上,会遇到一个更基础的瓶颈:图像中的条件并不总能被模型可靠地读出来。

          几何图里的直角标记、共线关系、刻度值,统计图中的轴标签,甚至一个很小的符号,都可能决定后续推理是否成立。

          这类错误有一个很麻烦的特点:一旦视觉前提错了,后面的推理即使逻辑完全自洽,也只是在错误前提上“认真地算错”。

          因此,视觉数学推理中的失败至少包含两种来源——感知错误和推理错误。

          传统端到端 RL 往往只看最终答案对不对。答案错了,模型得到负奖励;但训练过程并不知道究竟是“图没看清”,还是“逻辑推错”。这种稀疏全局奖励对推理能力有效,却很难精准修复感知能力。

          另一条常见路线是先用更强的教师模型生成带视觉描述的高质量 CoT,再做监督微调,但代价是额外的数据生成成本,而且教师模型自己的视觉幻觉也可能被一起蒸馏进去。

          〓 图1:视觉数学推理中的感知瓶颈,以及直接 RL、感知增强 CoT 蒸馏与 UniCAR-RL 的差异(来自论文 Figure 1)

          核心想法:把“看清楚”变成一个可验证的奖励

          UniCAR-RL 的出发点很简单:如果一段图像描述真的保留了做题所需的关键信息,那么一个“看不到原图”的强文本模型,应该能够只根据这段描述和题目,推导出正确答案。

          于是,原本很难直接评价的“视觉描述质量”,被转化成了一个可验证的问题:把模型生成的 caption 交给一个纯文本 verifier,如果 verifier 仅凭 caption 就能解出 ground-truth answer,就说明这段描述至少在任务层面是充分的。

          这样得到的奖励,不需要人工标注详细视觉描述,也不要求教师模型生成完整的感知 CoT。

          这个设计的重要之处在于,它评价的不是 caption 写得像不像人工描述,而是它对下游求解是否“够用”。

          换句话说,UniCAR-RL 关心的是 task sufficiency,而不是表面文本相似度。

          UniCAR-RL:三个分支分别解决“看、想、答”

          UniCAR-RL 把训练拆成 Caption-RL、Reasoning-RL 和 QA-RL 三个协同分支。

          三个分支共享同一个目标 VLM 的参数,并在每次迭代中共同更新,因此不是先训练一个模块、再冻结去训练另一个模块,而是让感知与推理在同一策略中持续共同演化。

          〓 图2:UniCAR-RL 总体框架。三条分支共享参数,同时提供感知、推理和端到端问答三种优化信号(来自论文 Figure 2)

          3.1 Caption-RL:先别问它题目,让它把图看完整

          Caption-RL 有一个刻意的设计:生成图像描述时,不把问题 q 提供给模型。这样做是为了避免模型只盯着“可能与当前问题相关”的局部区域,而忽略其他视觉元素。

          没有问题提示后,模型必须更完整地描述图像,从而形成更全面、偏置更小的视觉 grounding。

          对每张图,策略生成 G 个 caption rollout。随后,纯文本 verifier 只接收 caption、原问题和任务 prompt,不接触原始图像。

          如果它能从某个 caption 推导出正确短答案,该 caption 就得到正的 perception reward。

          一个被漏掉的刻度、直角符号或图例,都可能让 verifier 无法解题,从而直接给感知分支提供纠错信号。

          3.2 Reasoning-RL:把图拿走,只训练“怎么想”

          Caption-RL 得到多个候选描述后,UniCAR-RL 从中选择奖励最高的 caption 作为当前样本的 gold caption。

          接下来,Reasoning-RL 不再给模型原图,而只给 gold caption 和问题,让模型在纯文本条件下完成推理。

          这一步的意义是切断“视觉看错 → 推理跟着错”的级联链条。因为输入已经被转成相对可靠的文本描述,Reasoning-RL 的奖励主要反映逻辑推导能力,而不是视觉读取能力。

          随着 Caption-RL 逐步提高描述质量,Reasoning-RL 接收到的输入也会越来越丰富,形成一种自然的 curriculum。

          3.3 QA-RL:最后还要回到真实测试形态

          如果只训练前两个专门分支,模型可能擅长“描述图”和“基于描述推理”,却偏离真正部署时的 image + question 输入形式。

          因此第三条 QA-RL 分支保留原生端到端问答:输入图像和问题,直接生成推理与短答案。

          三个分支的 reward semantics 不同,因此论文在每个 rollout group 内分别做 advantage normalization,再使用标准 clipped GRPO objective。

          最终三个 objective 在同一次反向传播中共同更新共享参数:局部上把不同能力拆开训练,全局上仍然保持一个统一模型。

          实验:不只“答对更多”,感知能力本身也在提升

          训练使用 MMRL30k 中的 30k 样本,评测覆盖 WeMath、MathVerse、MathVista 和 MathVision 四个视觉数学推理基准,并进一步在 ChartQA、HallusionBench 上测试通用多模态能力。

          主干模型包括 Qwen2.5-VL 和 Qwen3-VL 的多个参数规模。

          四个数学基准的平均分(Avg.)

          〓 注:UniCAR-RL 结果采用论文中对应配置;不同 backbone 的 verifier 配置见原论文 Table 1/2。

          最明显的趋势是:初始感知能力越弱的 backbone,收益往往越大。

          Qwen2.5-VL-7B 的四项平均分从 48.3 提升到 58.2,绝对增益达到 9.9;Qwen2.5-VL-3B 也从 42.9 提升到 52.2。

          Qwen3-VL 这类更强的新模型依然能稳定获益,4B 配置在 Gemini 3 Pro verifier 下从 61.5 提升到 65.9。

          更关键的是,论文单独测了“视觉描述是否更有用”。

          统一使用 Gemini 3 Pro 作为 solver 时,Qwen3-VL-4B 零样本 caption 的 verifier-solve 平均准确率是 71.4;普通 GRPO 只提升到 72.8(+1.4),而 UniCAR-RL 达到 75.9(+4.5)。

          这说明最终数学成绩的提升并不只是模型更会“猜答案”或更会写推理链,视觉描述本身确实变得更充分。

          这种感知增益也能迁移到更一般的多模态任务。以 Qwen3-VL-4B 为例,ChartQA 从 83.0 提升到 89.5,HallusionBench 从 73.7 提升到 75.5。

          论文因此认为,针对细粒度 perception bottleneck 的优化并不只服务于数学图形。

          为什么三条分支都不能少?

          分支消融给出了一个很直观的结果。

          完整 UniCAR-RL 在 Qwen3-VL-4B + Gemini 3 Pro 设置下平均分为 65.9;去掉 Reasoning-RL 后下降到 64.2。

          去掉 Caption-RL 后就退化成普通 Vanilla GRPO,只有 62.8;再去掉 QA-RL,则回到 base model 的 61.5。

          这组结果说明,单纯加 RL 并不足以解决视觉数学里的感知瓶颈。

          Caption-RL 提供针对感知的直接信号,Reasoning-RL 负责在可靠视觉条件上强化逻辑,QA-RL 则保证前两种专门能力能够重新整合到真实的端到端推理流程中。

          案例:普通 GRPO 会纠正“推理错”,但未必能纠正“看错”

          论文中的定性案例很能体现这种差别。

          在第一类题目里,baseline 和普通 GRPO 都把图中的几何关系读错,例如产生错误的共线判断;即使后续推导写得很完整,最终答案仍然错误。UniCAR-RL 则先修正了视觉关系,再完成正确计算。

          另一类题目主要是逻辑推导错误。这里普通 GRPO 已经能够起作用,而 UniCAR-RL 仍能保持并强化这种推理纠错能力。

          也就是说,三分支设计并不是用“感知训练”替代传统 RL,而是在保留推理优化的同时,额外补上过去难以直接监督的视觉感知环节。

          〓 图3:Baseline、GRPO 与 UniCAR-RL 的定性对比。上例主要是感知错误,下例主要是推理错误(来自论文 Figure 3)

          代价:每一步更贵,但整体训练开销没有线性放大

          三分支训练显然会带来额外成本,其中最主要的开销来自 Caption-RL,因为每个 caption 还要经过 verifier 求解。

          论文统计显示,一个完整 UniCAR-RL iteration 的总耗时约为 Vanilla GRPO step 的 3.75 倍。

          不过,在实验观察中 UniCAR-RL 需要的优化迭代更少:大约 70 次,而 Vanilla GRPO 约 150 次。

          因此最终总训练时间约为 Vanilla GRPO 的 1.75 倍。换句话说,方法不是“免费提升”,但额外成本明显低于把三分支的单步倍率直接乘到整个训练过程上。

          从“先看清,再深想”出发

          UniCAR-RL 想解决的其实是一个比视觉数学更普遍的问题:对于多模态大模型,推理链的上限往往受制于输入理解的下限。

          只要第一步视觉解析出了问题,后面再强的 reasoning 也很难补救。

          这项工作的核心并不是额外构造一套昂贵的感知标注,而是利用“一个文本 solver 能否从描述中还原正确答案”作为任务相关的验证信号,把原本难以监督的 perception 变成可做 RL 的对象。

          最终,Caption-RL 负责“看清”,Reasoning-RL 负责“想对”,QA-RL 负责“在真实输入里把两件事一起做好”。

          目前方法主要在视觉数学和少量通用视觉任务上验证,三分支训练也会增加计算开销。

          后续一个值得继续探索的方向,是把这种 perception-reasoning decoupling 扩展到图表理解、文档推理、科学图示等更广泛的多模态任务中。

          更多阅读

          ·

          跳转微信打开

          •  
          ❌