HARTS:面向长程 Agentic RL 的混合注意力前缀共享训练系统
蚂蚁技术AntTech 2026-11-17 13:12 浙江
长程 Agent 在执行任务时,需要反复读取此前的操作和环境反馈。训练样本也常包含这些累计历史:如果每个样本都独立计算完整输入,同一段前缀就会重复参与前向和反向计算。
HARTS 为混合注意力模型提供前缀共享训练,在微批次内合并相同前缀的计算,并在同一共享窗口内跨连续微批次复用前缀结果。各条轨迹仍分别计算自己的训练目标。在所测配置下,HARTS 的训练更新吞吐为逐轨迹非共享计算方案的 4.77–10.45 倍;这一指标不包含轨迹采样耗时。
1
同一段交互历史,为什么会重复计算
以代码修复为例,Agent 读取代码、修改实现、运行测试,再根据报错继续尝试。每次作出新决策时,模型都需要读取此前的操作和环境反馈,输入上下文也随之增长。这些交互记录构成训练轨迹。Agent 强化学习(Agentic RL)利用这些轨迹及其任务反馈更新模型参数。
图1|代码修复中的多轮交互、子任务协作和分支探索。
主 Agent 可以把定位、检索或验证委派给子 Agent,再根据返回结果继续决策。某条路径受阻时,也可以回到中间节点,尝试其他方案。无论沿同一路径继续,还是从中间节点探索不同分支,都可能产生包含相同历史的训练样本。
两种样本构造方式可以说明这种重复。Step-wise RL 按交互步骤构造样本,每个样本包含截至该步骤的累计上下文;Tree-Step RL 进一步从同一段历史探索不同分支,再沿各分支按步骤构造样本。因此,前后步骤之间、不同分支之间都可能存在相同前缀。
例如,两个样本分别包含“A→B”和“A→B→C”。独立训练这两个样本时,前缀“A→B”会计算两次。如果还能从“A→B”探索出另一条后续路径,这段前缀就会再次重复计算。共享历史越长、包含它的样本越多,重复计算就越多。
将具有相同 token 前缀的样本合并,就能把它们组织成一棵或多棵前缀树。这里的共享依据是完全相同的输入前缀。Agent 通过摘要或截断缩短上下文后,需要根据变化后的输入重新判断共享关系。
2
混合注意力模型共享前缀时,难在哪里
Ling-3.0 系列中的 Tiny 和 Flash 采用混合注意力 MoE 架构,在同一模型中交替使用线性注意力(KDA)和全注意力(MLA)。要共享前缀,这两类注意力需要的历史信息都必须正确传递。
全注意力读取历史 token 的 Key/Value(KV)。 KV 由该层输入投影得到,可以在调用注意力内核前准备好。支持前缀树的内核可以让各分支读取祖先路径上的 KV,并通过一次调用处理这些分支。
线性注意力依赖前序计算积累的递归状态。 本文采用的分块线性注意力内核要求,每条独立序列的起始状态必须在调用开始前准备好。如果某个分支需要的状态要在当前调用中才能算出,它就必须等这次调用结束,才能以独立序列启动。
图2|线性注意力的分支启动时间受起始状态约束。A→B 连续执行,C 作为独立序列启动;即使分叉位于允许恢复状态的块边界,C 仍须等待所需状态从调用中返回。下半部分展示分叉位于块内时的状态恢复要求。
一种直接的实现是沿树逐节点调用内核,等父节点计算结束后再启动子节点。但树节点的片段可能很短,每次调用能处理的工作较少,也难以把不同路径上的工作集中执行,因而限制 GPU 执行效率。
此外,分支状态需要保持原轨迹的分块计算方式;各条轨迹的梯度、标签和损失权重也必须正确保留。前缀复用还会改变各微批次的实际计算量,多卡负载因而需要重新安排。HARTS 将这些问题放在同一套训练流程中处理。
3
HARTS 如何组织共享训练
HARTS 在两个范围内复用前缀计算。
微批次内共享。 一个微批次是一次训练更新中分批处理的一组样本。在微批次内,相同前缀只保留一份 token 表示,各分支继续计算自己的后续内容。这种去重后的 token 排列称为紧凑布局。
跨微批次共享。 同一数据并行(DP)副本上的连续若干微批次组成一个共享窗口,进一步复用前缀结果。这里的共享限于同一次训练更新内。
HARTS 将窗口内的计算组织为两类微批次:producer 集中处理共享前缀,consumer 对应各个原始微批次,继续计算剩余部分。
设窗口内有 m 个 consumer,分别持有前缀树 T₁,…,Tₘ。系统先对这些树两两取交集,再将所有交集组织成 producer 的前缀树:
这里,交集表示两棵树从根开始完全相同的 token 路径,并集则将这些公共路径组织成一棵前缀树。producer 既包含所有 consumer 共有的前缀,也包含部分 consumer 之间更长的共享前缀。例如,三个 consumer 都共享 A,其中两个还共享 A→B,producer 就会计算 A→B:三个 consumer 都复用 A,其中两个进一步复用 B。
图3|上半部分展示微批次分组、共享窗口和数据并行副本的安排。各窗口以共享前缀 A 为例,同一副本上的连续微批次复用 A。下半部分展示微批次 MB0 中未缓存部分的执行过程。条带长度和调用轮次仅作示意。
整个流程分为四步:
分组与放置(L1/L2):决定哪些轨迹组成微批次、哪些连续微批次共享前缀,以及各微批次由哪个数据并行副本执行。
规划线性注意力调用:分别为共享前缀和各微批次的剩余部分制定计划,连接可以连续执行的片段,并打包起始状态已就绪的独立序列。
按紧凑布局执行:全注意力、线性注意力和 Dense/MoE 层沿同一份 token 排列计算,避免在层与层之间重新展开轨迹。
按原轨迹计算损失:从紧凑输出中取出各轨迹位置对应的目标 token 对数概率,结合各自的标签、损失权重和强化学习元数据计算损失与统计量。
前向时,不同路径复用共享前缀的结果;反向时,先汇总各路径对共享部分的梯度,再完成共享部分的反向计算。
4
两级规划:减少重复计算,安排多卡负载
把具有相同前缀的轨迹集中执行,通常能减少重复计算;但如果把过多工作分给同一个数据并行副本,其他副本就可能等待。微批次还必须满足容量限制。
缓存进一步改变了负载:即使两个微批次的原始输入长度相近,缓存命中较多的一个也可能只需计算少量新内容。因此,规划器需要同时考虑轨迹如何分组、微批次如何排序和放置,以及共享之后还剩多少工作。
图4|L1 通过分组减少微批次内的重复前缀计算;L2 调整放置,增加跨微批次复用。交换 MB1、MB2 的位置后,DP0 上的 MB0、MB2 可以复用 A,DP1 上的 MB1、MB3 可以复用 B。图中各微批次的轨迹成员保持不变,条带长度仅作示意。
L1:优先减少微批次内的重复计算
L1 根据实际输入的 token 序列构建前缀树,比较不同微批次数量和成员划分得到的方案。将轨迹按 token 字典序排列后,可以利用相邻轨迹的最长公共前缀(LCP)计算各分组去重后的 token 数。
如果把共享长前缀的一组轨迹拆到不同微批次中,这段前缀就需要分别计算。因此,分组数量和切分位置都需要考虑,不能只看微批次数。
为了衡量副本之间的工作量,系统把各副本按执行顺序编号后,对应的第 j 个微批次合称第 j 个 slot。L1 按优先级依次比较三个指标:
所有微批次去重后的 token 总数。
各 slot 内最重副本的工作量之和。
各副本累计工作量中的最大值。
后一个指标只在前面的指标相同时起作用。
L2:按复用后的工作量调整放置
L2 进一步调整微批次所属的副本、slot、执行顺序和共享窗口,也会在局部重新分配完整轨迹。
producer 从窗口内所有 consumer 共有的前缀出发,进一步纳入部分 consumer 之间更长的共享路径。这些路径组成 producer 的前缀树,其中不同分支可以供不同的 consumer 子集复用。
L2 分别估计各 slot 中 consumer 的前向、反向成本,以及各窗口中 producer 的前向、反向成本。对每一项成本,先取所有副本中的最大值,再将这些最大值相加,作为方案的瓶颈成本评分。
这样评估,是因为只比较各副本的累计工作量会漏掉局部瓶颈:某个 slot 仍可能受最慢副本限制,而且前向和反向的最慢副本可能不同。
成本估计同时考虑 token 数和全注意力中 Query 与可见 Key 的配对数量;可见 Key 包括祖先前缀缓存中的 KV。规划器在有限数量的候选方案中,优先降低瓶颈成本,再比较实际执行的 token 行数和副本负载差异。
在推理与训练共用 GPU 的部署中,CPU 上的 L1/L2 规划还可以与从推理切换到训练时的权重交换并行执行,从而减少可见的规划开销。
前缀成本与两级规划目标
去重后的 token 数
设微批次 M 中的轨迹按 token 字典序排列为 x₁,…,xₖ,|xᵢ| 表示轨迹长度。先计入第一条轨迹的全部 token,再依次计入后续轨迹相对于已有前缀新增的后缀,得到:
令 W(a,b) 表示第 a 至第 b 条轨迹合组后去重的 token 数。如果在第 t 条轨迹之前切成两组,新增的 token 计算量恰好等于 xₜ₋₁ 与 xₜ 的最长公共前缀长度:
L1 的目标与候选搜索
L1 依次比较所有微批次的去重 token 总数、各 slot 内副本最大工作量之和,以及各副本累计工作量中的最大值:
只有前一个指标相同时,才比较后一个指标。
对于小规模输入,L1 在给定的微批次数量范围内,利用动态规划寻找满足容量限制的最小总工作量划分;搜索限于 token 字典序中的连续区间。
令 F[k,e] 表示前 e 条轨迹分成 k 个连续分组时的最小总工作量。枚举最后一组的起点 s+1,可得到:
递推只考虑满足 0≤s<e、W(s+1,e) 不超过微批次容量,且前驱状态可行的切分位置。初始状态为 F[0,0]=0,不可行状态的代价设为正无穷。候选微批次总数须能被数据并行副本数整除,使各副本获得相同数量的非空微批次。
对于大规模输入,L1 通过合并和拆分生成候选方案。此外,基于前缀树的贪心方法还会生成非连续分组候选。
上述动态规划仅保证给定组数下、字典序连续划分的总工作量最小。合并拆分、非连续分组和放置使用启发式方法;各类候选最后统一按 L1 的三个指标比较。
L2 的瓶颈成本
公式用 C、P 分别表示 consumer 和 producer,用 F、B 分别表示前向和反向;w、j、d 分别是共享窗口、slot 和数据并行副本的索引。
各 slot 的 consumer 瓶颈成本为:
各窗口的 producer 瓶颈成本及总评分为:
每项成本由实际执行的 token 行数 n 和全注意力计算量共同估计:前向使用因果可见的 Q–K 配对数量 A,反向使用 Q–K 矩形面积 R:
A、R 根据各片段的 Query 长度及其可见的祖先和当前 KV 范围计算。在模型与后端固定时,成本估计使用固定系数。已由 producer 完成并缓存的注意力及 Dense/MoE 计算,只计入 producer 成本,不在 consumer 中重复计入。
规划器选择已考察的可行方案中评分最低的一个。该成本模型不直接预测通信、线性注意力重放以及流水线窗口交叠的影响。
5
线性注意力:恢复分支状态,减少串行调用
分组和共享范围确定后,系统还需要恢复各分支的起始状态,并安排线性注意力的调用顺序。
从正确的边界恢复状态
本文采用的线性注意力后端按固定大小的块(chunk)执行。若分叉位于块内,直接用父片段末尾的状态启动独立分支,会改变原轨迹的分块计算方式。
HARTS 从原路径上最近一个允许恢复状态的块边界启动,再重复执行边界至分叉之间的状态更新;这一过程称为重放。每条独立旁支的重放长度小于一个块,且只执行线性注意力核心的状态更新。投影和局部卷积结果直接复用。
将状态已就绪的分支放进同一轮
HARTS 将没有分叉的连续路径合并为一个片段。片段由树的分叉位置划分,与后端固定大小的 chunk 不是同一概念。
一次打包调用(packed call)可以处理多条长度不同的独立序列,每条序列都可以跨越多个 chunk。每个分叉最多选择一个子分支直接延续父片段,其余子分支必须作为独立序列启动。如果它们所需的状态在当前调用中才产生,就必须等调用结束后再启动。
以 chunk 大小为 64、主链上有两个分叉为例:
第一个分叉位于第 63 个 token 之后。 旁支所需的恢复起点是调用前已有的零状态,因此可以重放前 63 个 token,与主链在同一轮启动。
第二个分叉位于第 65 个 token 之后。 旁支需要第 64 个 token 之后的边界状态,而该状态在第一轮中才会产生。因此,它必须等到第二轮,重放第 65 个 token 后再继续。
在这个例子中,第一轮执行主链和第一个旁支,第二轮执行第二个旁支,两轮即可完成。
图5|第 63 个 token 后的分叉可以使用已有零状态,第 65 个 token 后的分叉需要等待新边界状态。分叉恰好位于第 64 个 token 之后时,虽然不需要重放,独立旁支仍须等该边界状态返回后才能启动。条带长度仅作示意。
每个分叉选择哪个子分支直接延续,会影响整棵树的串行调用轮数。直接延续 token 最多的分支,并不一定最优:较短的分支也可能包含更多需要等待新状态的分叉。
HARTS 根据状态在调用前是否就绪,为每棵子树计算最少调用轮数,再构造逐轮执行计划。计算轮数和构造计划的时间,都与片段及树边数量成正比。
最少调用的结论限定在本文采用的执行模型内:旁支从最近的合法边界恢复,每个非重放输出只计算一次,调用中新产生的状态只能在返回后供其他独立序列使用。在这些条件下,算法使每层线性注意力的串行调用次数达到全局最少,既定的重放总量保持不变。
即使去重后的 token 数相同,不同的调用粒度和调用轮数也会带来不同的执行效率。实际吞吐仍取决于模型、输入和并行配置,后文用消融实验衡量其收益。
最少调用轮数的递推、计划构造与完整案例
状态边界与两种入口条件
设共享前缀长度为 p、chunk 大小为 B,最近一个允许恢复状态的边界为:
片段 v 对应原轨迹区间 [sᵥ,eᵥ),其入口恢复边界记为 aᵥ=a(sᵥ)。算法为每个片段记录两个值:
Tpre(v):入口边界状态在当前调用前已就绪时,完成整棵子树所需的最少轮数。
Tin(v):v 直接延续父序列、入口边界状态在当前调用中才产生时,完成整棵子树所需的最少轮数。
两者都计入当前轮。叶子片段没有后续分叉,即使跨越多个 chunk,也只需要一轮调用。
轮数递推
在 Tin 情形下,选择子节点 o 直接延续父序列时,o 无需额外等待;其余子节点要到下一轮才能独立启动。因此:
式中的 o、u 均为片段 v 的子节点。内层 max 表示直接延续子树与全部旁支中较晚的完成时间;外层 min 选择使完成轮数最少的直接延续子节点。
当且仅当入口状态在调用前已就绪,且 eᵥ<aᵥ+B 时,旁支仍可使用已有的入口边界状态,在本轮启动。此时:
其他情况下,Tpre(v)=Tin(v)。这里必须使用严格小于号:当 eᵥ=aᵥ+B 时,旁支虽不需要重放,但所需的新边界状态仍在当前调用中产生。
从叶子向根递推这些值,即可得到整棵树的最少调用轮数。固定直接延续子节点后,整棵子树不可能早于直接延续部分和旁支中最晚完成的一侧结束。上述安排能够达到这个下界;再对直接延续子节点取最优选择,即可逐层证明递推最优。
根的零状态在第一轮前已存在。若一个微批次包含多棵独立树,各树同一轮的序列可以一起打包,因此总轮数等于各树所需轮数的最大值。
构造执行计划
以根节点的最少轮数作为初始轮数预算。若旁支可以在同一轮启动,记等待量 δ=0;若必须等待下一轮,则记 δ=1。当前子树的剩余预算为 k 时,旁支可使用的预算为 k−δ。
候选直接延续子节点 o 的完成轮数必须不超过 k:δ=0 时使用 Tpre(o),δ=1 时使用 Tin(o)。其他子节点的 Tpre 均须不超过 k−δ。按固定顺序选择第一个满足条件的子节点,即可在不增加全树轮数的前提下,使用非关键子树中剩余的轮数预算。
最终计划为每条独立序列记录起始轮次、初始状态来源和重放范围,并标记需要导出的边界状态。同一轮的序列合成一次变长打包调用。运行时,各层直接执行固定计划,无需重新规划。
保存子节点 Tpre 的最大值和次大值,可以避免反复扫描兄弟节点。递推时,每个子节点只访问常数次;构造计划时,每条树边也只访问常数次,因此两步的时间复杂度都是线性的。
重放总量
每个内部片段只有一个直接延续子节点,其余子节点都需要重放 eᵥ mod B 个祖先 token,因此总重放量为:
deg(v) 表示片段 v 的子节点数,求和只遍历内部片段。这里的 R 表示重放 token 总数,与两级规划成本公式中表示 Q–K 矩形面积的 R 含义不同。
选择哪个子节点直接延续不会改变重放总量。该规划不通过从更早边界重放多个 chunk,或重复计算片段输出来减少调用轮数。
案例:36 个片段如何组织成三轮调用
这个示例包含 36 个片段,chunk 大小为 64。颜色表示调用轮次,粗实线表示直接延续,虚线表示独立启动;r 表示需要重放的 token 数。
连接可以直接延续的片段后,36 个片段组成 19 条独立序列,再根据状态就绪时间分为三轮调用:
第 1 轮:5 条独立序列,重放 26 个 token。
第 2 轮:13 条独立序列,重放 340 个 token。
第 3 轮:1 条独立序列,重放 7 个 token。
一轮可以同时执行多条独立序列,因此第二轮的 13 条序列只需要一次打包调用。三轮合计重放 373 个 token,用于恢复线性注意力状态,不产生额外训练输出。
在这份计划中,C12 直接延续 C10。旁支 C13 需要等待第二轮返回边界状态,才能在第三轮重放 7 个 token 并继续执行。因此,串行调用轮数由状态依赖决定,不能直接用片段数量代替。
6
紧凑执行:共享计算,
但是保留各轨迹的训练信号
HARTS 共享相同前缀的模型计算,同时按原轨迹保留标签、优势估计、动作掩码和损失权重。各条轨迹仍按自身的训练目标计算损失,并将梯度贡献汇总到对应的共享计算。
调用计划确定 token 在内存中的排列后,全注意力、线性注意力和 Dense/MoE 层都沿同一份紧凑布局执行,各算子的输出也写回对应位置。
全注意力的 Query 来自当前计算片段,KV 则包含其祖先路径和当前片段。各 Query 只能访问原轨迹中允许访问的历史位置,以保持因果关系。局部卷积所需的历史 token,也从对应的祖先路径中补齐。
跨微批次共享时,producer 缓存模型主体层的前缀结果及后续所需状态。各 consumer 读取缓存,计算主体层中尚未缓存的部分,再将两部分结果按本微批次的紧凑布局组合起来。随后,每个 consumer 分别执行模型输出层并计算自己的训练目标。
图6|producer 计算共享前缀树 A→{B,C}。MB0、MB1 复用 A/B,分别新算 X、Y;MB2、MB3 复用 A/C,分别新算 Z、W。四个 consumer 分别执行输出层,计算训练目标 ℓ₀、ℓ₁、ℓ₂、ℓ₃。对缓存结果的梯度按读取关系累加到相应共享接口,全部汇总后,共享部分只执行一次反向。
共享隐藏状态,也要保留不同的标签和权重
在分叉位置,同一个隐藏状态可能对应不同分支的下一个目标 token。例如,一个分支的目标是 A,另一个分支的目标是 B。两者可以使用同一份全词表预测分数(logits),但需要分别取出 A、B 对应的对数概率,再计算各自的损失。
HARTS 为每个紧凑 logits 向量计算一次归一化项,再根据各轨迹位置的目标 token,取出对应的对数概率。因此,全词表 logits 不必按原轨迹位置重复复制;反向时,各位置的梯度贡献累加到对应的紧凑 logits 行。
优势估计、动作掩码(action mask)、旧策略及参考策略的对数概率,以及损失权重,仍按各原轨迹位置分别保留。即使目标 token 相同,优势估计或权重不同,也会产生不同的梯度贡献。因此,不能把一份策略损失直接乘以复用次数。
按原轨迹位置计算对数概率
令 m(s) 表示原轨迹位置 s 映射到的紧凑 token 行,yₛ 表示该位置的目标 token,z 表示 logits。该位置的目标 token 对数概率等于目标 logit 减去整个词表的 log-sum-exp 归一化项:
同一紧凑行的归一化项只需计算一次。不同轨迹位置仍分别读取各自目标 token 的 logit,并结合各自的优势估计、动作掩码和损失权重计算损失。反向时,再将这些位置的梯度贡献累加到对应的紧凑行。
正确汇总状态梯度和 MoE 统计
线性注意力算子在分块递推过程中导出计划需要的边界状态。反向时,各分支对起始状态的梯度累加后,沿计算图回传到生成该状态的计算。跨微批次共享也遵循同一原则:相关 consumer 的梯度全部汇总后,共享前缀只执行一次反向。
MoE 路由损失和专家负载统计,还需计入每个紧凑 token 在原始样本中的出现次数。在确定性 top-k 路由、且不丢弃 token 的条件下,相同隐藏状态只需进行一次路由和专家计算,再按其出现次数恢复路由损失权重和专家负载统计。
全层激活重计算沿用固定执行计划,重建相同的状态依赖,以及共享窗口内的梯度累积关系。
7
流水线调度:减少共享窗口之间的等待
流水线需要同时调度 producer 和 consumer:producer 先计算共享前缀,consumer 再读取结果并继续执行;producer 的反向则必须等待相关 consumer 的梯度全部汇总。
1F1B 是流水线中交替安排前向和反向的调度方式。在这里,前向 F、反向 B 的计数单位都是 consumer。共享窗口还包含 producer 的前向 PF 和反向 PB。
在每个流水线阶段,PF 安排在本窗口第一个 consumer 的前向之前,PB 则合入本窗口最后一个 consumer 的反向。PF、PB 不单独占用 consumer 的调度计数,但仍有实际计算开销。
满足这些依赖后,相邻窗口可以交叠执行:下一窗口的 PF 可以在上一窗口的 PB 完成前启动。假设新 PF 已完成,新 consumer 的前向与旧窗口的反向都可以执行,此时有两种顺序:
反向优先:新 PF → 旧 B+PB → 新 F。
HARTS:新 PF → 新 F → 旧 B+PB。
两种顺序都满足计算依赖。反向优先会使新 F 延后,下游阶段也要更晚才能收到新的前向结果。HARTS 保持既定的 consumer 1F1B 顺序,先完成计划中的新 F,再处理旧窗口反向。
图7|PF、PB 表示 producer 的前向和反向,F、B 表示 consumer 的前向和反向。图中的 PP0 先执行下一窗口的 PF_____B 和 F₃,再执行旧窗口的 B₂+PB;PF_____B 的下标 B 表示窗口名称。下方细条展示窗口资源的保留时间,本例中只有 PP0 同时保留两个窗口的资源。事件列只表示执行顺序,不表示实测耗时。
窗口交叠期间,尚未完成反向的共享接口及其梯度连接必须保留。规划器限制同时保留计算图的 producer 数量,各流水线阶段在完成对应 PB 后释放资源。
8
实验:吞吐提高多少,训练表现如何
实验在推理与训练共用 GPU 的模式下,测试 Ling-3.0 Tiny 和 Flash 两种混合注意力 MoE 模型,总参数量分别为 7.9B 和 124B,使用 8–64 张 H20-3e GPU。实验使用 BF16、全层激活重计算和 partial rollout;两种方案均关闭 dropout。
Baseline 按照非共享的方式计算完整输入;各组对比使用相同的模型、输入和并行配置。
本文的训练更新吞吐,是所有数据并行副本上的原始轨迹 token 总数,除以一次完整训练更新的耗时。同一前缀在多个样本中出现时,每次出现都分别计数。计时包含规划、数据准备、布局转换、前向、反向、通信和优化器更新,不包含轨迹采样(rollout)。排除预热阶段后,对其余所有训练步的逐步吞吐取算术平均。
完整系统:训练更新吞吐为 Baseline 的 4.77–10.45 倍
图8|五组配置下,Baseline 与 HARTS 的训练更新吞吐,单位为 tokens/s。
在 Tree-Step RL 下,三组配置的吞吐结果分别为:
Tiny、8 卡:从 43,745 提高到 208,492 tokens/s,为 Baseline 的 4.77 倍。
Flash、32 卡:从 31,414 提高到 262,560 tokens/s,为 Baseline 的 8.36 倍。
Flash、64 卡:从 59,612 提高到 496,616 tokens/s,为 Baseline 的 8.33 倍。
在 Step-wise RL 下,两组配置的吞吐结果分别为:
Flash、32 卡:从 30,993 提高到 318,893 tokens/s,为 Baseline 的 10.29 倍。
Flash、64 卡:从 59,922 提高到 625,990 tokens/s,为 Baseline 的 10.45 倍。
这些结果展示了完整系统在所测模型、GPU 规模及两种采样方式下的收益。下面分别考察规划、线性注意力执行和流水线调度的作用。
两级规划:减少重复计算,安排多卡负载
实验使用历史训练第 0–9 步的轨迹数据,离线展示两级规划的作用:L1 通过微批次内的前缀压缩减少重复计算,L2 进一步利用跨微批次共享,并安排共享后的多卡负载。评估指标包括规划后的 token 计算量和副本负载分布,不直接测量 GPU 吞吐。
十份输入共包含 16,170 条轨迹记录、435,034,818 个原始 token。规划使用 8 个数据并行副本,微批次容量为 65,536 个 token。
图9|压缩比为原始 token 总数除以共享后仍需计算的 token 总数。
L1 在微批次内合并重复前缀,取得 5.588× 的压缩比;按 token 数衡量的整体负载均衡指标为 98.62%。
L2 在此基础上复用跨微批次的共享前缀,并按复用后的工作量安排多卡执行。完成两级规划后,整体压缩比达到 7.543×,不计重放的 token 计算量在 L1 的基础上进一步减少 25.91%,整体负载均衡指标为 97.59%。
这里的均衡指标只按 token 数统计。L2 规划实际负载时,还考虑全注意力的 Q–K 配对计算量,优化的是共享后的瓶颈成本。
线性注意力执行:相同压缩比,也有不同吞吐
图10|Tiny、8 卡、Tree-Step 配置下,Baseline、逐树节点执行线性注意力、HARTS 的吞吐分别为 43,745、104,642 和 208,492 tokens/s。逐节点方案与 HARTS 的规划、跨微批次共享及其他组件相同,微批次内压缩比均为 3.91×。
逐节点方案本身已经共享前缀。仅将线性注意力从逐节点调用改为按轮打包,吞吐就达到逐节点方案的 1.99 倍。这说明,去重后的 token 数相同,执行效率仍可能有明显差异。
整体加速还受到跨微批次复用、算子执行效率和流水线调度的共同影响,因此不能用微批次内的压缩比直接限定整体吞吐加速比。
流水线调度:窗口交叠之外,执行顺序也有影响
流水线消融使用相同的微批次与共享窗口规划,仅改变任务执行顺序,分别衡量窗口交叠和 consumer 调度顺序的贡献。
图11|Tiny、8 卡、Tree-Step 配置下,仅改变流水线调度方式。窗口依次执行为 167.7k tokens/s;窗口交叠、前后向均可执行时优先反向为 190.4k;HARTS 保持 consumer 1F1B 顺序,为 208.5k。HARTS 相对前两者分别提高 24.3% 和 9.5%。
数值一致性与在线学习趋势
数值一致性(Tiny)。 在三种并行配置下,HARTS 与 Baseline 的逐 token 全词表 logits 平均余弦相似度均超过 0.9997,差异接近 Baseline 自身重复运行时的波动。
在线训练(Flash)。 在 SWE-bench 和 τ³-Bench banking 上,Baseline 与 HARTS 的 Flash 实验在观察的 150 步内均呈现稳定的 reward 学习趋势。
图12|Baseline 与 HARTS 均使用 Flash,展示训练至第 150 步的 reward。浅色曲线表示每步 reward,粗线表示 7 步中心滑动均值。
研究论文:HARTS: A Prefix-Sharing Training System for Agentic RL with Hybrid-Attention Models。
END