全面梳理 Muon 优化器的工业挑战及应用实践
原创 AI闲谈 2026-05-04 12:00 北京
本文中我们简单梳理一下 Muon 优化器的数学原理、分布式训练中的工程挑战以及工业界落地的相关案例。
一、引言
Muon(MomentUm Orthogonalized by Newton–Schulz)由 Keller Jordan 等人于 2024 年 10 月正式发布 Muon: An optimizer for hidden layers in neural networks [1]。其在 NanoGPT speedrun 项目中刷新最快训练纪录,全面超越以 AdamW 为代表的旧优化器,从此快速“出圈”。
然而真正让 Muon 进入大模型工业界的是 Moonshot AI 2025 年发布的两项工作:
Moonlight([2502.16982] Muon is Scalable for LLM Training [2]) :首个公开论证 Muon 在 16B 量级 MoE 上 scalable 的工作,给出 "达到相同验证 loss 仅需 AdamW 约 52% 计算量" 的 scaling law;
Kimi K2([2507.20534] Kimi K2: Open Agentic Intelligence [3]):1.04T 参数 MoE 使用 MuonClip(Muon + QK-Clip),在 15.5T Tokens 训练中实现 "零 loss spike",是首个公开规模达到 1T 的非 AdamW 预训练模型。
除了 Moonshot 之外,很多大模型也逐渐开始采用 Muon 优化器,包括:
智谱 AI 在 GLM-4.5([2508.06471] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [4]) 和 GLM-5([2602.15763] GLM-5: from Vibe Coding to Agentic Engineering [5]) 中使用了 Muon 优化器。
最近 DeepSeek 开源了 DeepSeek-V4-Pro(deepseek-ai/DeepSeek-V4-Pro · Hugging Face [6]),模型参数量达到 1.6T,同样声称使用了 Muon 优化器。
本文中我们简单梳理一下 Muon 优化器的数学原理、分布式训练中的工程挑战以及工业界落地的相关案例。相关工作可以参考笔者之前的文章:
二、数学原理
Muon 的核心思想可以简单概括为:把动量矩阵 Mt谱正交化(近似映射到 UVT)后再做参数更新,等价于在 谱范数(spectral / Schatten-∞ 范数) 下做最陡下降。
2.1 更新规则
Muon 仅作用于模型中二维矩阵参数(即 hidden layers 的 W ∈ RAxB 权重 )。对每一个这样的参数进行如下迭代:
其中 Gt=▽WL(Wt-1) 为当前 mini-batch 梯度,Mt 表示第 t 次迭代的梯度动量,t=0 时初始化为零矩阵。μ 为动量系数(默认 0.95,常用 Nesterov 变体),η 为学习率,NewtonSchulz5(*) 是 5 步 Newton–Schulz 迭代。
NS 迭代目的是将 SGD-momentum 的更新矩阵替换为与其最接近的“半正交矩阵”,等价于将更新替换为 UVT,其中 Mt = UΣVT (奇异值分解),(MtMtT)-1/2Mt= UVT。
Muon 优化器不支持 embedding、un-embedding、所有 1D 参数(bias、LayerNorm/RMSNorm 的 scale),所以此类参数继续使用 AdamW —— Keller Jordan 官方实现 MuonWithAuxAdam 也是如此 。
2.2 Newton–Schulz 五次多项式
精确求 UVT 需要 SVD,复杂度是 O(min(A,B)*AB) (PS:并且不是一次)且数值实现不友好(特别是 BF16 下)。Muon 使用 T 步标准 Newton-Schulz 迭代来近似,每步计算:
其中 at, bt, ct 是精心选择的多项式系数。
可以通过奇异值分解来理解 Newton-Schulz 的作用方式。令 X0 = UΣVT ,其中 U 和 V 是正交矩阵(UTU = VTV = I),Σ 是非负奇异值组成的对角矩阵。第一次迭代给出:
同理,X1 = U(a1Σ + b1Σ3 + c1Σ5)VT = U ᐧ p1(Σ) ᐧ VT,其中定义了多项式 p1(x) = a1x + b1x3 + c1x5。 关键是 U 和 V 保持不变,只有奇异值被多项式 p1 所变换。经过 T 步之后:
Newton-Schulz 使用的多项式序列要满足:
因此:
于是:
这个洞察解释了 Newton-Schulz 的工作原理——它逐步将矩阵的奇异值推向 1,同时保持奇异向量不变。这样,经过足够多步后,输出矩阵接近极分解 UVT。
若初始 X = M / |M|F 的奇异值都在 (0, 1],则 5 次迭代后所有奇异值应稳定在 1 附近。传统 Newton–Schulz 用 (1.5, -0.5, 0)(对应牛顿迭代),但需要约 30 步才收敛到 1。Keller Jordan 通过数值优化求解:
得到经验最优系数:
5 步迭代后所有奇异值落入 [0.7, 1.3],且整个过程在 BF16 下数值稳定(无需切换到 FP32)。注意:这并不是收敛到精确 UVT,而是"足够接近"——因为正交化只是一种 trust-region 形状约束,不要求 𝝈i = 1。
2.3 谱范数最陡下降视角
Muon 看似"工程 trick",实则有清晰的几何意义。Bernstein & Newhouse 在 [2409.20325] Old Optimizer, New Norm: An Anthology [7] 中证明:在矩阵 W 上做约束最陡下降:
其中 || ᐧ ||𝝈 是谱范数(最大奇异值),其闭式解为:
也就是说,把梯度做 SVD 然后扔掉奇异值正好是谱范数下的"最速下降方向"。Muon 把 G 替换为动量 M 后再做这步操作,等价于在谱范数 trust-region 下的 momentum SGD。
为什么谱范数是"对的"范数? 神经网络的前向传播 y = Wx 把输入向量的 L2 范数最多放大 ||W||𝝈 倍。控制更新的谱范数就是控制"每层最多能改变多少特征激活的能量"。这与 muP(Maximal Update Parametrization,[2203.03466] Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer [8])主张的"宽度无关学习率"目标完全一致:muP 通过参数化使各层的 ||ΔW||𝝈 在宽度 ->∞ 时保持 𝚯(1);Muon 则直接显式地约束这个量。
2.4 计算开销
NS 迭代每步 5 次 matmul(X XT、A2、BX 等),但矩阵规模为单层权重,相对 Forward / Backward 主体(Attention + MLP)极小。Keller Jordan 在 Llama-405B 规模上测得 NS 总 FLOPs overhead 约 0.5%。
2.5 与既有优化器的关系
与 Shampoo 的形式联系:当 Shampoo 的 Preconditioner 统计量不做累积、只用瞬时 GGT / GTG,可以推导出更新方向接近 UVT(其中 G = UΣVT)。因此 Muon 可视为 "instantaneous, rank-free Shampoo"。但 Muon 用 NS 多项式替代了昂贵的特征分解,把 wall-clock 成本降到 Adam 同量级。
与 Orthogonal-SGDM 的差异:Tuddenham 等在 2022 年([2202.07052] Orthogonalising gradients to speed up neural network optimisation [9])就尝试用精确 SVD 做正交化更新,但训练效果不如 AdamW。Muon 用 NS 替代 SVD,并配合 Nesterov 动量、合适的 LR 缩放等若干工程细节,最终把这条路径打通。
适用范围限制:1D 参数(norm scale、bias)没有"奇异值结构"可言;embedding 实质是 lookup table 而非线性变换的稠密权重;它们都不适合谱正交化,沿用 AdamW 即可。也正是 MuonWithAuxAdam 的设计核心。
三、Scaling Law 与放大到 LLM 训练
3.1 Moonlight 的核心结论
Moonshot AI 在 Muon is Scalable for LLM Training [2] 中把 Muon 推到工业 LLM 量级并报告 Scaling Law。其 Chinchilla 风格的 token-efficiency 实验得到:Muon 达到与 AdamW 相同验证 Loss 所需的训练 FLOPs 约为 AdamW 的 52% —— 即 ≈ 2× compute-efficiency。
Moonlight 模型本身:3B 激活 / 16B 全参 MoE(架构与 DeepSeek-V3-Small 同源),训练 5.7T Tokens,MMLU 70.0,建立了同尺寸开源模型新的帕累托前沿。
3.2 缩放修复 Decoupled Weight Decay
Keller Jordan 原版 Muon 不含 weight decay。在小规模(NanoGPT 124M)上没问题,但 Moonshot 团队将其应用到 16B 规模、BF16 下持续训练时,观察到权重 Frobenius 范数会持续增长直至溢出。修复方法是引入 AdamW 风格的 decoupled weight decay:
如下图 Figure 2 所示,加入 WD 后训练才能长期稳定:
3.3 缩放修复 RMS-Matched Adjusted LR
不同形状的权重矩阵,其更新 RMS 差别巨大。Moonlight 论文指出:对一个全秩矩阵 W ∈ RAxB,正交化输出的 RMS 满足:
而 AdamW 的更新 RMS 在大尺度 LLM 上经验值约 0.2 ~ 0.4。如果直接复用 AdamW 调好的学习率,Muon 会因更新过小(大矩阵)或过大(小矩阵)而表现异常。Moonshot 的 "RMS-matched" 做法把更新规则改为:
这样所有形状的层都呈现一致的更新 RMS(≈0.2),AdamW 的超参(LR、WD、warmup schedule)可以直接迁移到 Muon —— 折算应用落地极为关键的"零调参"性质。
3.4 Essential AI 的独立验证
Essential AI 的 [2505.02222] Practical Efficiency of Muon for Pretraining [10] 在 Moonlight 之外独立复现了 Muon 的效率优势,证明 Muon 拓展了计算-时间的帕累托前沿。通过绘制 “等损失曲线”,直观地展示了 Muon 如何用更少的设备和更短的时间达到相同的训练效果,并发现:
Muon 的优势在超过 critical batch size(CBS) 的大批量训练区间尤为显著;
与 muP 协同使用可进一步降低超参搜索成本。
3.5 频谱性质实证
Moonlight 论文还给出一个有趣的诊断:用 Muon 训练得到的权重矩阵,其 SVD entropy(奇异值分布的熵)显著高于 AdamW —— 即奇异值分布更"扁平",模型利用了更多方向。这与谱范数下降的几何直觉一致:Muon 倾向于均匀地更新所有奇异方向,而 Adam 倾向于强化少数主方向。
四、分布式训练的工程挑战
4.1 NS 迭代与参数 Sharding 的根本冲突
现代 LLM 训练几乎都依赖参数切分:
ZeRO/FSDP:
ZeRO-1:仅切分优化器状态;权重与梯度仍全副本;
ZeRO-2:进一步切分梯度;
ZeRO-3 / FSDP:进一步切分权重,每张卡只持有一个 1/N 的分片;
Tensor Parallel (TP):把单层权重沿行或列切到多张卡;
Pipeline Parallel (PP):不同层放到不同卡;
Expert Parallel (EP):MoE 中不同 Expert 放到不同卡;
Sequence / Context Parallel (SP/CP):沿序列长度切分激活。
Newton–Schulz 迭代的核心运算是 XXT、(XXT)2 X —— 这些必须在完整的二维矩阵上才有数学意义。如果直接在 ZeRO-3 / FSDP 的本地分片上做 NS,得到的不是原矩阵的正交化结果,而是每个分片自己的"局部正交化",数学上完全错误。 这就是为什么 AdamW 可以做到几乎所有并行策略下"逐元素更新"(因为它对每个标量参数独立操作),而 Muon 必须显式处理矩阵的全局结构。
4.2 Distributed Muon 算法(Moonlight Algorithm 1)
针对 ZeRO-1 场景(参数全副本,优化器状态按 DP 维 sharding), [2502.16982] Muon is Scalable for LLM Training [2] 提出的 Distributed Muon 算法可总结如下:
关键设计权衡:
重复计算 vs. 节省通信:所有 DP Rank 都做完整的 NS(被丢弃 1 - 1/NDP 部分),换取避免一次额外的 ReduceScatter + 本地分片 NS 算不正确的问题。在 H800 等高算力卡上,5 次 Matmul 的开销远小于大量网络开销。
优化器状态显存:Muon 只需 1 份动量 Buffer,AdamW 需 m + v 两份;切到 ZeRO-1 后,Muon 优化器状态显存约为 AdamW 的一半。
通信开销:相比 Distributed AdamW,多出一次 DP AllGather;论文实测 wall-clock 总通信开销在 1.0x–1.25x 之间。
4.3 与 Megatron-LM 的集成
Moonshot 把 Distributed Muon 给 Megatron-LM 提了 PR(a proof of concept for Distributed Muon#1428 [11]),与既有的 TP / PP / EP / SP / CP 维度全部正交兼容:
TP:单层权重沿行(Attention output / MLP down-proj)或列(Attention QKV / MLP up-proj)切分。Distributed Muon 把 NS 放在 DP 维 AllGather 后执行,对 TP 透明——TP 切分仍发生在 NS 之外的更细粒度上,每个 TP Rank 仍持有完整的本层矩阵的某个 TP 分片,并在该分片上独立完成 DP AllGather + NS。
PP:每个 PP Stage 各自维护本 Stage 内层的 Muon 状态,无跨 Stage 通信。
EP:MoE 的每个 Expert 是独立的 2D 权重组,可独立做 Distributed Muon;跨 Expert 之间不共享 NS 计算。
CP/SP:仅切分激活/序列维度,不影响参数维度,故对 Muon 完全透明。
4.4 在 ZeRO-2 / ZeRO-3 / FSDP 下的难点
如果继续向更激进的切分前进:
ZeRO-2 / FSDP-grad-shard:梯度切分,但参数仍全副本。可以在 ReduceScatter 出局部梯度后,先做 AllGather 还原完整梯度(或动量),再走原版 Muon —— 引入额外通信但可行。
ZeRO-3 / FSDP full-shard:参数本身也切分了。要做 NS 必须 AllGather 完整参数 + 完整动量,做完 NS 再 Scatter。这相当于把 ZeRO-3 在 Muon 这一步局部退化为 ZeRO-1,显著增加峰值显存与通信。这是当前 PyTorch FSDP 使用 Muon 的主要痛点,社区典型解法是:
把 Muon 优化器步骤包在 unshard_ 上下文里,临时还原完整参数;
改用 [2504.05295] Dion: Distributed Orthonormalized Updates [12]。
4.5 BF16 数值稳定性
NS 迭代涉及 XXT,会平方放大数值误差。使用 FP32 累积会更安全,但优化器状态显存翻倍,同时计算效率很低(NVIDIA 常见 GPU 的 FP32 算力远低于 BF16)。Keller Jordan 调出的 (3.4445, -4.7750, 2.0315) 系数有一个隐含设计目标:让 5 步迭代在 BF16 下也不溢出/失稳。这是它能在工业训练中替代 FP32 SVD 路线的关键理由。
五、工业落地案例
5.1 Kimi K2:MuonClip = Muon + QK-Clip
Kimi K2([2507.20534] Kimi K2: Open Agentic Intelligence [3])是首个开源、使用 Muon 优化器训练的旗舰模型(超过 1T 参数量),相应模型配置如下所示(moonshotai/Kimi-K2.5 at main [13]):
5.1.1 为什么 Muon 在大规模 attention 上会引发 logit 爆炸
Kimi 团队 Muon 大规模训练时观察到一个新问题:Attention logits 在训练后期持续增长,最终可能突破 FP16/BF16 数值范围导致 Spike。论文 Appendix E 给出的假设是:Muon 的更新方向 UVT 是满秩(不像 Adam 主要朝少数主方向更新),导致它与原权重矩阵的奇异向量更容易"对齐"。这种对齐在 Wq 和 Wk 上累积,使得 WqWkT 的谱范数稳步增长,最终触发 Attention logit qTk 爆炸。
这是 Muon 谱范数性质的"另一面":好的方向利用率 ↔ 容易在 Attention 这种乘积结构里触发联合放大。
5.1.2 QK-Clip 机制
K2 在每个 Muon 优化步骤之后追加 QK-Clip:实时监控每个 Attention Head 的 logit 最大值:
若 Shmax > 𝛕(论文设 𝛕 = 100),则按 per-head 比例缩放对应的 Whq 和 Whk:
由于 qTk 是关于 WqWk 的双线性形式,各乘一边可保证 qTk 整体被乘 𝛾h,从而拉回阈值之内。
5.1.3 MLA 适配
K2 采用 MLA(Multi-head Latent Attention)。MLA 中 q/k 被分解为 content 部分 qC, kC(per-head)和 rotary 部分 qR, kR。QK-Clip 的关键工程细节:
对 head-specific 的 qC、kC、qR 都按上述
缩放;
不缩放kR:MLA 中 kR 在所有 head 之间共享(rotary embedding 部分),如果按 head 缩放它会破坏其他 head。
5.1.4 自动失活与零 loss spike
实测训练曲线显示:
训练前 70k 步约 12.7% 的 head 触发过 QK-Clip;
70k 步之后所有 head 的 Shmax 都自然降到 100 以下,QK-Clip 完全不再激活;
整个 15.5T tokens 训练全程 0 次 loss spike。 这个"自动失活"现象很重要:它表明 QK-Clip 不是一个粗暴的硬性约束,而是把训练前期的"危险窗口"温和地拉回稳定流形之后,模型自己就能维持稳定。
如下图 Figure 2 所示,作者用 MuonClip(τ=100)训练了大规模 MoE 模型 Kimi K2,并在整个训练过程中监控最大 Attention logits(右图)。随着训练的推进,最大 logits 逐渐衰减至典型工作范围,无需对 τ 进行任何调整。
如下图 Figure 3 所示,在 Kimi K2 的训练中,训练损失保持平滑稳定,未出现任何可观察到的 Spike,验证了 MuonClip 在大规模语言模型训练中提供了对注意力动态的稳健且可扩展的控制。
5.2 GLM-4.5 / GLM-5(智谱 AI)
5.2.1 GLM-4.5
GLM-4.5 公开技术报告 [2508.06471] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [4] 中提及同样使用了 Muon 优化器。GLM-4.5 模型包含 355B 总参数,32B 激活参数、训练了 23T Tokens、hybrid reasoning 架构。此外,也使用了 QK-Norm 来稳定 Attention logits 范围(GLM-4.5: Reasoning, Coding, and Agentic Abililties [14])。
5.2.2 GLM-5
智谱在 [2602.15763] GLM-5: from Vibe Coding to Agentic Engineering [5] 中继续沿用了 Muon 优化器,并进行了一些优化,提出 Muon-split。原本统一进行 Muon 正交化处理的、用于生成 Q、K、V 的大型上投影矩阵,拆分成多个更小的矩阵(每个对应一个 Attention Head)后再分别应用 Muon 优化(PS:实际上本来也是独立的投影矩阵)。这样,不同 Attention Head 中的权重便能以不同的尺度独立更新,灵活性远高于统一处理。结果如下图 Table 1 所示:
GLM-5 中还对 Muon 优化器进行了性能优化。原生 Muon 在每个 DP 进程上,都采用 All-Gather 收集全部模型参数,会导致瞬时的显存峰值和不必要的冗余通信,在训练超大规模模型(如 GLM-5 的 744B 总参数量)时会产生巨大的开销。为此,论文提出了一种零冗余通信方法,核心优化有两步:
分片通信:将 All-Gather 的范围严格限制在每个进程(rank)所“拥有”的参数分片(parameter shards)上,而不是获取全部模型信息。
通信计算重叠:利用分片通信带来的独立数据流,设计算法使其能与本地的正交化计算(Newton-Schulz 迭代)等操作进行 Overlap,从而消除冗余通信并显著降低优化器相关的峰值内存开销。
5.3 阿里 Canzona
阿里在 [2602.06079] Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers [15] 中同样针对 Muon 优化器场景进行了优化。总体思路可以概括为:
在 DP 侧,采用静态分区(Static Partitioning),保证一个参数只归一个 Rank 更新,同时不破坏 ZeRO-1 的几何结构。
在 TP 侧,采用异步微组(Micro-Group)调度,把被切碎的 Tensor 更新当成任务来调度,通过通信融合和离线负载均衡来降低开销。
5.3.1 DP-ASC
如下图 Figure 1 数据并行(DP)分区策略对比:
(左图)DP-SC:可直接被优化器采用的方案是 DDP,该方案在所有计算节点上复制优化器状态,导致冗余计算——每个节点执行相同的矩阵运算(同步模式)。
(右图)DP-ASC:通过状态分区消除冗余。
Equal Chunk(标准 ZeRO-1,灰色箭头与连线):
标准分区方案(如 AdamW)将缓冲区均匀切分为 |B|/R 个分片。这种任意切片(虚线标示)违反了矩阵优化器(如 Muon)所需的原子性约束。
本文方案(静态分区,橙色/绿色箭头):通过遵循 Tensor 边界确保参数原子性。
负载
负载不均衡(橙色箭头、连线及方框):简单的原子分配会因参数计算成本差异导致显著的计算滞后与通信 Bubble(虚线框)。
负载均衡(绿色箭头、连线及方框):本文的 α 平衡算法优化静态布局,通过重新分配完整参数实现跨节点工作负载均衡。
注:本图中标有 P 的模块代表优化器状态及其对应参数的更新计算。在 Forward 和 Backward 过程中,参数本身仍保持跨节点复制(遵循 ZeRO-1 协议)。
5.3.2 TP-ASC
如下图 Figure 2 张量并行(TP)分区策略对比:
(左图)TP-SC:在标准的 TP-SC(NVIDIA 的逐层优化器实现)中,每个 Rank 都必须对每个参数通信并计算完整 Tensor。导致图中高亮部分显示的冗余计算,即所有设备执行相同的操作(例如,“对全量 G1 进行计算”),无论 Tensor 所有权如何。
(右图)TP-ASC:本文的 TP-ASC 中,通过静态规划的异步计算流水线消除了这种冗余。其离线算法将这些 Tensor 分配给特定的 Rank,以均衡负载。具体流程包括:
Gather 梯度:把多个 Tensor 的梯度碎片打包成一个 Micro Group,比如(G1, G3)和(G2),通过一次融合后的 All2All 发到对应的 Host Rank。这样避免了很多小通信导致的低带宽利用率。
异步计算:Host Rank 在本地拿到完整梯度和驻留状态后(TP1 Rank 拿到 (G1, G3)),执行矩阵型优化器计算,例如 Muon 的矩阵更新。
Scatter:更新结果 ΔW 再被切回 shard,通过融合后的 All2All 分发回参数原 owner。
本地应用更新:每个 Rank 只把自己收到的更新 shard 应用到本地参数 shard 上。
5.3.3 关键结果
如下图 Figure 7 所示,本文的方案明显优于 NV 的 layerwise 方案,获得与 AdamW(Reduce-Scatter)相近的速度:
5.4 Microsoft Dion
Microsoft 在 2025 年提出 [2504.05295] Dion: Distributed Orthonormalized Updates [12],它使用 amortized power iteration 替代 Newton-Schulz,不再对整个矩阵进行精确正交化,而是迭代式地逼近其前几个主要方向(低秩近似),从而避免了完整矩阵的重建,从设计上避免这个问题。如下图 Figure 1 所示为论文中的关键结果:
Amortized power iteration:每步只做约 2 次 matmul(而非 NS 的 5 次),用跨步累积的近似奇异向量代替每步重算;
Low-rank + error feedback:可只对 rank fraction 1/16 ~ 1/64 的子空间做正交化,剩余分量用 error feedback 补偿;这在 405B 规模仍稳定收敛;
FSDP2 + TP 原生兼容:power iteration 的 reduce-scatter / all-reduce 可与 FSDP2 通信原语融合;
在 ≥ 3B 规模上报告了优于 Muon 的 loss-vs-wall-clock-time 曲线。如下图 Figure 1 所示为论文中的关键结果。
5.5 Gram Newton-Schulz
Tri Dao 团队在 Gram Newton-Schulz: A Fast, Hardware-Aware Newton-Schulz Algorithm for Muon [16] 中提出一种通过对 Newton-Schulz 进行等价数学变换,从而实现了更高效 GPU Kernel 的方案。核心思想是:不再直接对矩形输入矩阵 X∈Rn×m 进行迭代,而是对更小的 Gram 矩阵 XXT∈Rn×n 进行迭代。
NS 的每次迭代包含 3 个步骤,每个步骤包含一次矩阵乘法:
总计算量为:T(4mn2 + 2n3) = 2T(2ɑ + 1)n3。对于 T=5,总 FLOPs 为:(20ɑ + 10)n3,ɑ = m/n >> 1 表示矩形的程度(ɑ=1 表示方阵,ɑ >> 1 表示高度矩形)。
当 ɑ 很大(矩阵高度矩形)时,XXT 和 BX 这两项矩形乘法主导了总开销(约 4Tɑn3 FLOPs),而方阵乘法 A2 相对较小。
Tri Dao 方案中 Gram Newton-Schulz 的目标正是将原本作用在 X 上(每次迭代都需要昂贵的矩形乘法)的 Newton-Schulz 迭代,等价转换为仅作用在 Gram 矩阵 Rt = XtXtT上的迭代。这样一来,所有昂贵的中间乘法都限制在较小的 n x n 空间内(步骤 2)。
5.6 DeepSeek 系列
DeepSeek-V2、R1、V3.1、V3.2 等同系列模型公开报告中未见使用 Muon。而 DeepSeek-V4 中公开介绍其使用了 Muon 优化器。由于 DeepSeek-V4-Pro 的特殊 Attention 机制,可以直接在 Q 以及 KV entry 上进行 RMSNorm,从而有效防止 Attention logits 爆炸,因此也就未使用QK-Clip。此外进行了两个改进。
5.6.1 Hybrid Newton-Schulz Iterations
采用 Hybrid Newton-Schulz 方法,在两个不同阶段执行共 10 次迭代。
在前 8 Step 中,使用系数 (a, b, c)=(3.4445, -4.7750, 2.0315) 来驱动快速收敛,使奇异值接近 1。
在最后 2 Step 中,切换到系数 (a, b, c)=(2, -1.5, 0.5),从而将奇异值精确稳定在 1。
如下图所示是 Megatron-LM 的优化器(Emerging-Optimizers [17])中的对应实现:
5.6.2 Efficient Implementation of Muon
为了解决 ZeRO 方案中切分方式导致的额外通信问题,设计了一种适用于 Muon 的混合 ZeRO 分桶策略。
针对 Dense 参数:限制 ZeRO 并行度的最大规模,并采用背包算法将参数矩阵分配到各计算节点,确保每个节点管理大致均衡的负载。每个节点上的桶会填充至与所有节点中最大桶相同的大小,以支持高效的 ReduceScatter 操作。在作者的配置中(每个节点管理的参数矩阵不超过五个),这种填充通常仅带来不到 10% 的内存开销。当 DP 的整体规模超过 ZeRO 的限制时,会在额外的 DP 组中冗余计算 Muon 更新,以计算开销换取总桶内存的减少。
针对 MoE 参数,对每个 Expert 独立优化。
首先将所有层中所有 Expert 的 SwiGLU 下投影矩阵展平。
随后依次展平上投影矩阵和门控矩阵。
接着对展平后的向量进行填充,确保该向量能被均匀分配到所有节点,且不会分割任何逻辑上独立的矩阵。
鉴于专家数量庞大,不对 MoE 参数的 ZeRO 并行度设置限制,且填充开销亦可忽略不计。
此外,在每个节点上,形状相同的连续参数会被自动合并,从而实现对 NS 迭代的批量执行,以提升硬件利用率。 作者进一步观察到,Muon 中的 NS 迭代在使用 BF16 矩阵乘法计算时仍保持稳定。基于此,采用 Stochastic Rounding 方式,将需跨 DP 节点同步的 MoE 梯度量化至 BF16 精度,使通信量减半。 为避免低精度加法器引入的累积误差,采用两阶段方法替代传统的基于树或环的 Reduce-Scatter。首先,通过 All2All 操作在 Rank 之间交换 Local 梯度,随后每个 Rank 在 FP32 精度下执行 Local 求和。