铃阅
❌

普通视图

AI Infra 的各种挑战和 Tips 系列 - NVIDIA Nemotron-3 Ultra

2026年6月12日 08:00

原创 AI闲谈 2026-06-12 08:00 北京

比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off

一、引言

比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off。

本次梳理对应的论文为:Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

相关工作可以参考笔者之前的文章:

二、模型结构

如下图 Figure 2 所示为 Nemotron 3 Ultra 模型的结构,总参数量 550B,每 Token 激活参数量 55B。是典型的混合架构,并且混合的方式也和常规的大模型不同,总层数 108:

  • Mamba-2 层数:48

  • Full Attention(GQA)层数:12

  • LatentMoE 层数:48

如下图 Table 1 所示为模型的详细配置,有几点可以关注:

  • KV Cache:GQA 中 Q 和 KV 的比例高达 64:2,非常接近于 MQA,这个和 Qwen3.5-122B-A10B 以及 Qwen3.5-397B-A17B 类似,主要动机都是可以极大降低长序列场景下的 KV Cache 大小。

    • GQA:Mamba-2=1/4,Full Attention 只有 1/4。

    • Q:KV=32/1,极低的 KV 占比进一步大幅度降低 KV Cache 大小。

  • LatentMoE:得益于 LatentMoE 的机制,可以在不增加 MoE All2All 通信量的同时增加专家数和路由专家数,提升专家的组合能力。因此这里每个 LatentMoE 层包含 512 个专家,22 个路由专家。

  • MTP:2 个 MTP layer,共享权重。MTP 在训练阶段可以作为辅助目标,在推理和 RL Rollout 阶段可以作为内置 Draft Model,加速生成。

可以看出,该模型是综合考量模型效果,训练、推理效率/成本而协同设计的,并不一定在所有场景最优。比如:

  • 总参数量 550B,激活参数量达到 55B,而常见旗舰 LLM 的稀疏比例达到 20-30 倍。55B 的激活参数,对于 Prefill Heavy 的场景不一定有优势。

  • Mamba 能省 KV Cache,但会引入 SSM State Cache,对于短、中等上下文场景,FP32 Mamba Cache 可能比 FP8 KV Cache 更大。

三、预训练

3.1 数据配比

共 20T Token 的预训练数据,由 19 个 High-Level 组成,比如 web crawl、synthetic web crawl、math、code、academic、wiki、multilingual、legal、SFT-style data 等。

  • 第一阶段:15T,web crawl 与 synthetic web crawl 约占 49% 左右。更偏多样性和广泛性。

  • 第二阶段:5T,web crawl 与 synthetic web crawl 占比降到 38%。更偏高质量数学、代码等。

3.2 训练超参

预训练总共 20T Token,使用 WSD(Warmup-Stable-Decay)学习率:

  • Warmup:200B tokens

  • 峰值 LR:2.5e-4。

  • 最小 LR:2.5e-6。

  • 最后 5T tokens 使用 minus-sqrt decay

  • MTP loss scaling factor:0.1。

3.3 NVFP4 预训练

Nemotron-3 Ultra 的最主要特点是预训练阶段使用了 NVFP4,而不仅仅是后训练阶段。NVFP4 训练的关键细节如下:

  • 使用 Transformer Engine 的 cuBLAS NVFP4 GEMM Kernel 覆盖 fprop、dgrad 和 wgrad。

  • NVFP4 层使用 E2M1 数据类型,权重使用二维分块量化。

  • 对 wgrad 输入使用随即哈达玛变换。

  • 梯度使用 Stochastic Rounding。(PS:这也是 Blackwell NVSwitch 和交换机支持的特性)

  • 对最后的 15% 层(16 层)、Mamba output projection、latent projection、QKV 和 attention projection、MTP layer、embedding layer 都保持高精度。

为了监控 NVFP4 训练的健康度,从 5T、10T、16T 的 Checkpoint 分支出 BF16 继续训练 74B Token,可以作为高精度代理,并对比 NVFP4 Loss 和 BF16 Loss 的误差。如下图 Figure 3 可以看出,Loss 误差很小:

3.4 Checkpoint 合并

NVIDIA 在预训练中使用 Offline 的 Checkpoint 合并策略,具体来说:

  • Checkpoint 间隔:25B Token。

  • 滑动合并窗口:500B Token。

  • 权重按模拟 LR Decay 的方式组合。

  • 预训练结束后,最终 Checkpoint 是从一系列不同合并配置的大量 Checkpoint 中选择的。包括:

    • Token 数变化,尝试 125B 到 1T 的合并窗口。

    • 采用顺序变化:顺序、随机和反向排序。

  • 最终选出一个 500B Token 合并窗口下,能够在知识、数学和代码四项基准上展现出均衡权衡表现的 Checkpoint。

对于大规模训练很实用:单个 Checkpoint 在不同能力上波动时,离线合并提供了一个低成本的模型选择/平滑机制,避免只依赖最后一步或少量评估的 Checkpoint。

3.5 长上下文扩展

长上下文阶段在预训练末尾做 Continuous Pretraining:

  • 目标上下文:1M Token。

  • 总 Token:33B。

  • LR:固定 2.5e-6。

  • 训练硬件:GB200 GPU。

  • 并行配置:32CP、8TP、128EP、2PP。

  • 数据混合:46% long-context 数据,54% 阶段 2 数据。

  • 训练迭代:92% iteration 使用 1M 长度,8% iteration 使用 4K 长度。

  • 每个 iteration 固定 25,165,824 tokens。

  • 同一个 iteration 内不混合 1M 和 4K。

  • 4K iteration 只放 math 和 code SFT-style data,用于维持短上下文 benchmark。

需要注意的是:

  • 1M 上下文必须引入 CP,否则激活/KV/序列维度很难落到可训练的显存范围。

  • 短长上下文混训不是“混合在一个 batch 里”,而是iteration 粒度的长度切换。可以减少 Kernel、Padding、通信 Pattern 的复杂性。

  • 长上下文 CPT 容易稀释短任务能力,因此混入 4K 短序列,不过只保留 Math/Code,算是一种能力保护策略。

3.6 预训练稳定性

Nemotron-3 Ultra 预训练中出现了 2 次 Loss 发散问题。

3.6.1 BF16 Gradient Reduction 丢失 MTP 小梯度

如上图 Figure 5 所示,第一次发散发生在 8T Token 左右。NVIDIA 排查发现是输出层 Local Gradient Accumulation 精度从 FP32 降到 BF16 导致的,这样做的初衷是把 DP 的 Gradient Reduction 以 BF16 传输来提升吞吐(不确定累加时是否使用 BF19?)。 具体来说:

  • 模型有 2 个 MTP Block。

  • 总 MTP loss scaling 是 0.1,即每个 MTP Block 大约 0.05。

  • MTP Block 对 Shared Output Layer 的 wgrad 贡献很小。

  • BF16 只有 7 mantissa bits,这部分小梯度在输出层累加/规约中基本丢失。

  • MTP-2 loss 先出现 spike/divergence,然后 train/validation loss 跟随发散。 

解决方案也比较简单,回滚到较早 Checkpoint,并恢复 Full FP32 Gradient Reduction。从 Figure 6 可以看出,解决后 Loss 没有再发散:

从这个案例中也可以看出,BF16 Gradient Reduction 还是存在风险,要想使用,还需添加细粒度的监控指标,不只是主 Loss,还有各种辅助 Loss;以及 output layer、shared projection、router、auxiliary head 等梯度路径。

3.6.2 16T 附近位置原因

第二次发散发生在 16T Token 附近。NVIDIA 没有找到确凿的根因,如下图 Figure 7 所示,通过消融实验发现:

  • 从 15T Checkpoint 回滚后立刻开始 LR 退火可以缓解发散。

  • 5T Decay 和 10T Decay 都有缓解效果。

  • 最终根据实际需求把总预训练数据截到 20T Token。 

他们观察到两个相关现象:

  • 专家不均衡/ dead 专家。

    • 使用 MaxVio 衡量单个专家的最大负载相对均衡均值。

    • Ultra 初期 median layer MaxVio 约 1.2,最大约 4.8。

    • 训练一段时间后 median 仍约 1.2,但 first MoE layer 的最大 MaxVio 到 12T 时增长到约 12。

    • MaxVio 不一定是根因,但与不稳定相关。

  • 残差流激活范数不平衡,如下图 Figure 8 所示。

    • Super 中残差范数在起始层上升后会下降并稳定。

    • Ultra 中残差范数在起始层约为 7.5T 开始上升,约 11T 出现大 spike。

    • 深度方向残差范数相差可到 4 个数量级,提示信号传播变差。

从这个案例中也可以看出,大规模 MoE 模型训练稳定性需要结合 expert load、dead expert、router entropy、per-layer residual norm、wgrad norm 等联合监控。此外,发散的早期信号可能先出现在 first MoE layer、MTP-2 loss 或 early-layer residual norm,而不是主 loss。

四、后训练

如下图 Figure 9 所示,Nemotron-3 Ultra 后训练包括多个阶段,首先从通用 SFT 开始,然后是标准的 RLVR。此后添加了 MOPD(Multi-teacher On-Policy Distillation),从而同时实现了广泛能力获取与特定领域的精专化。最后还增加了 MTP Boosting 训练。

4.1 SFT 阶段

SFT 分为两个阶段,如下图所示:

在 SFT 阶段也有些需要注意:

  • Long Context:构造 512K long-context SFT 数据,用于 multi-document reasoning、sequential scanning、synthetic table querying。

  • Reasoning Control:构造 reasoning trace 被随机 budget 截断的数据,响应保持不变;被截断样本中的 </think> token 不计入 SFT loss。

  • Safety:从约 45K 英文 safety 数据 扩到约 135K 多语言数据;翻译后再翻译回去,与原始英文 Pair 相似度低于 0.8 的过滤掉,每种语言过滤约 10%-15%。

  • Search:包括 Wikidata 多跳搜索、OpenResearcher 离线浏览器环境、BrowseComp 难样本;部分轨迹需要 50-100 次搜索。

  • Terminal-Use:约 370K 多轮对话,覆盖软件工程、数据处理、文件操作、科学计算等,使用 live terminal feedback。

  • Math:非证明数学包括 1.8M tool-calling 样本和 1.9M non-tool 样本。

  • Competitive Code:1.2M Python reasoning traces、1.0M C++14 traces、1.3M Python tool-calling traces。

  • CUDA:约 100K kernel generation、repair、optimization samples,包括 Nsight Compute log、CUDA C++ kernel、CUDA-X library 数据。

  • RTL:约 1.2M training samples,覆盖 spec-to-RTL、editing、debugging。

这些数据不是简单的文本语料,而是大量“带环境/工具/执行反馈/日志/验证器”的轨迹。对训练 Infra 也会有一定的挑战,比如:

  • 数据对象更大,单样本 Token 长度和结构差异很大。

  • 数据质量过滤依赖执行器、编译器、Benchmark、LLM Judge 和启发式分析。

  • Packing 时既要减少 Padding,又要保持完整对话,避免拆断上下文造成幻觉。

NVIDIA 使用 length-aware best-fit packing:

  • 多个对话 Packing 到最大上下文长度内。

  • Round-Robin 读取并交错源文件。

  • 内存里只保留固定大小的序列池。

  • 对每个新对话选择剩余容量最贴合的序列。

  • 不切断、不切分对话。

  • 打包序列内去重,避免相同 Prompt 出现在同一个打包序列。

  • 打包完后再 Shuffle。

这个实现强调了一个大规模训练常见坑:如果按 source shard 直接拼接,会造成强分布局部性,降低优化稳定性。Packing 不是单纯提升利用率,也是在控制 Batch 分布。

4.2 RLVR 和 MOPD

4.2.1 RLVR

统一多环境 RLVR 覆盖 terminal、office/productivity、software engineering、search、general tool-calling、math、code、STEM、safety、chat、instruction following、long-context QA、inductive/transductive reasoning、structured outputs 等。

训练配置如下:

  • 算法:主要遵循异步 GRPO,并带稳定性优化。

  • 数据混合:采用 Gaussian-based 方法。

  • Global batch size:8192。

  • 每个 Sample 生成 16 Rollout。

  • 最大生成长度:从 48K 增到 64K。

从 Infra 的角度也要关注:

  • RL Batch 的真实计算量是 8192 prompt * 16 rollout * 可变生成长度,其中 、Straggler 生成会影响 Step 时间。

  • 多环境 RL 的难点不仅有 Reward,还有环境执行、Sandbox、Tool Call、Judge、Generation Engine 的端到端可靠性。

  • 不同 Harness 和交互形式混合训练,可以降低对单一 Harness 的过拟合,不过也会放大系统异构性。

4.2.2 MOPD

MOPD 用来解决统一 RLVR 中每个 Domain 在 Batch 中信号被稀释的问题。NVIDIA 训练了 10 个以上特定 Domain 的 Teacher,然后让 Student 在所有 Domain 上生成 Rollout,由对应 Teacher 提供稠密的 Token-Level Guidance。其中:

  • Student Rollout 生成、Teacher 打分、Student 优化全流水异步。

  • Nemotron 3 Ultra 做了两轮 MOPD:MOPD Checkpoint 出来后,再从更新后的 Student 分支训练新 Teacher,再合回下一轮 MOPD。

  • MOPD 最大生成长度:192K。

  • 每 Batch 1024 Prompt。

  • 每 Prompt 1 个 Rollout,多 Rollout 在消融实验中没有带来额外收益。

需要注意的是:

  • MOPD 对 Agentic Domain 更有效,因为 Warmup 能提升 Student Rollout 与 Teacher-supported trajectories 的 Overlap。

  • 对 HLE 这类 Self-contained reasoning benchmark,warmup 收益较小。

  • 如果 Teacher 会但 Student 很少采样到相关路径,Dense Scoring 信息仍然可能比较低效。

  • MOPD 是 RL 和 Distillation 的混合系统,瓶颈从单纯 Policy 更新变成 Rollout、Teacher Serving、Token-level Scoring 和 Learner 之间的流水平衡。

  • Teacher 数量增多后,Teacher Serving 本身成为资源调度问题,需要与 Student Rollout 的 Domain 分布匹配。

  • 对 Agentic 任务,MOPD 前的 Warmup 是为了改善数据分布 Overlap,不是为了“多训一点 SFT”。

4.4 MTP Boosting

MTP Head 在预训练和 SFT 阶段一直存在,但原始的 Teacher-Forced MTP 训练与推理时 Draft 的分布不一致。因此 NVIDIA 加入了 MTP Boosting 过程:

  • 从 MOPD Checkpoint 开始,冻结 Backbone,只训练 MTP Head。

  • 训练 MTP,使第 K 步输入从前面 MTP Step 的 Hidden State 集合中采样,更接近推理噪声。

  • 数据来自 MOPD Checkpoint 的 On-Policy Rollout,temperature=1。

  • 训练 12K Step。

  • Global batch size:64。

  • Sequence cap:8K。

  • Loss:temperature-scaled forward-KL against backbone logits,关闭 gold-token cross-entropy。

冻结 Backbone 可以显著降低优化器状态和激活内存占用。MTP 即成为推理加速组件,也成为 RL Rollout 加速组件。具体来说,如下图 Figure 12 所示:

  • RLVR Rollout 生成中,MTP Token 数 k=5 相比无 MTP 加速 1.46x,收益主要来自最慢的长尾生成。

  • 低延迟单用户推理场景 ISL/OSL/BS = 10K/16K/1、单 GB200 节点、TP=4 下,Draft Length=6 最高加速 2.89x。

五、Infra 问题及优化

5.1 RL Infra 故障分布

生产集群是 NVIDIA GB200,使用 Slurm 编排,并且有 Co-located CPU 用于 Sandbox 执行。RL 的软件故障如下 Table 7 所示,其中主要是 Generation Engine、Sandbox、Tool-call 这些训练外系统的问题,而不是 Learner 的问题。

5.2 RL GCS 和 Slurm 启动

NeMo-RL Job 是异构 Job,需要在不同节点启动 Training worker、vLLM 生成 worker、gym worker、judge worker 等,且各角色需要的资源不同。在作者的后训练中,原始启动脚本会对每个节点发起多次独立 srun 调用,每个 srun 都是向 Slurm 控制器守护进程(slurmctld)发起 RPC 调用,且必须串行处理,节点比较多时,数百个串行 RPC 在 Slurm controller 排队,启动成本按 O(n) 放大。3K+ GPU 下,Ray Actor 同时注册,单线程 GCS 被打爆,启动 25-49 分钟并伴随雪崩式启动失败。

作者实施了一系列优化:

  • 改成 single multi-node srun,把 Slurm controller 交互降为 O(1),启动从 30+ 分钟降到 10 分钟。

  • 把 short-lived Actor 改成 task,消除约 40% Actor 注册操作。

  • 按节点合并初始化 Actor。

  • 实施激进的 GCS 调优措施。

  • Ray 2.55 修复了相关 GCS 扩展退化问题。

5.3 NVLink Domain 感知排布

GB200 NVL72 的 NVLink Domain 覆盖整个 Rack,包含 18 Node、72 GPU。如果 Worker 排布不感知拓扑,Megatron EP Group 会跨 Rack,MoE All2All 从 NVLink 退化到 InfiniBand。

NVIDIA 的解决方案是:

  • 容器启动时用 nvidia-smi -q 解析 NVLink fabric ClusterUUID。

  • 将同一 NVLink Domain 注册成 Ray Custom Resource。

  • 从 SLURM_TOPOLOGY_ADDR 派生 topo_rank。

  • 在 RayVirtualCluster 中按 (domain_min_topo_rank, topo_rank, gpu_id) 排序 Bundle。

  • 设置 external_gpu_device_mapping=True,让 Megatron 信任 Ray 的 GPU Pinning。

  • 不完整 Segment 的 Domain Bundle 被丢弃,保证 EP Group 落在完整 NVLink Domain 内。

优化后训练、生成 Actor 都被放在同一 NVLink Domain;EP 的 All2All 都走 NVLink,不走 Infiniband。GB200 上 End2End 吞吐提升 20%。

5.4 Numa 绑定

GB200 NVL72 的 Grace CPU 有 socket/NUMA 结构,GPU 0/1 和 GPU 2/3 对应不同 NUMA Node。若 Ray Worker 随机跑在远端 Socket,下述操作都会跨 Socket 走 Coherence Link 再到 NVLink-C2C,降低带宽:

  • 优化器状态 Offloading。

  • Checkpoint 在 CPU-GPU 之间传输。

  • tokenization/数据预处理。

  • Pinned Memory 分配。

NVIDIA 的优化方案是:将 Policy Worker 和 vLLM Worker 显式绑定到其 GPU 的 Local CPU Socket。优化后 GB200 上 End2End 吞吐提升 10%。

5.5 Checkpoint Blocking

训练中也发现 Checkpoint 保存每次会阻塞训练约 60S。对此相应的优化方案如下所示,优化后暴露出来的保存时间降低到 1s 以内:

  • 使用 NVIDIA Resiliency Extension(NVRx)的异步 Checkpointing,把模型参数复制到 CPU 后后台持久化,暴露阻塞降到 6-8 秒。

  • NCCL 数据传输与 D2H Copy Overlap,缩短同步暂存窗口。

  • 持久化 Checkpoint 工作进程,避免每次 fork/spawn。

  • Checkpoint 最终确认操作放后台线程,彻底避免其对训练进程的阻塞。

  • 对分布式保存计划进行缓存,确保仅在首次生成后续可用版本。

  • 借助 Megatron-Core Distributed Optimizer 让优化器状态在 DP Rank 分片,每 Rank 只保存本地 Slice。

5.6 JIT Cache 和初始化

1K GPU 冷启动初始化约 49 分钟,其中约 38.8 分钟由 JIT 编译主导,因此进行优化,优化后 JIT 冷启时间从 38.8 分钟降低到 0.4 分钟。

  • Job 结束时把 JIT Artifact 写到持久化共享存储,压缩成 tar 包。

  • 启动前每节点把缓存的 tar 包解压到本地 /tmp。

  • 后续 JIT Write 全部写本地 /tmp,避免共享文件系统元数据风暴。

  • FlashInfer Cubin 在容器构建时被集成到镜像中。

5.7 多节点 vLLM 稳定性

多节点 vLLM 采用 Ray 作为其分布式执行引擎。每个 vLLM 数据并行主节点会生成若干 EngineCore 子进程,这些子进程各自调用 ray.init() 以连接全局控制存储(GCS)。在大规模部署环境下,还会存在其他的问题导致启动失败:

  • 包与内核 ABI 不匹配,RL Stack 的不同组件安装了不同的 GPU Kernel library。

  • 子进程环境差异,主 Ray Actor 进程中设置的环境变量未能传递给通过 multiprocessing.spawn 生成的子进程,导致子进程解析到与父进程不同的库版本,进而在内核加载时失败。

  • 集合通信不兼容,部分 JIT 编译内核与 GB200 集群中 NCCL 的多节点 NVLink 内存注册机制存在不兼容,从而导致分布式初始化过程中发生挂起。

相应的解决方案为:

  • 统一 RL Stack 所有组件的 GPU Kernel Library 版本。

  • Spawn 时显式传递 Library Path 和环境变量。

  • 对受影响路径禁用 multi-node NVLink memory 注册,等待上游 FlashInfer 修复。

  • 增加 vLLM 监控检查,验证 Device 分配和 TP NCCL 通信组。

  • RPC timeouts、Graceful shutdown、Orphan process cleanup。

5.8 Container 与存储 I/O

规模化部署后,所有节点在 Job 启动阶段同时从共享存储读取镜像(约 44GB),形成数 TB 级并行读取风暴。部分节点 Input/output error 或 extraction stall 12+ 分钟。Job 结束时所有节点同时写回 JIT Cache,形成第二次 I/O 风暴。

针对这些问题也提供了相应的解决方案:

  • 容器缓存机制:Enroot 的本地 squashfs 缓存确保节点完成容器镜像解压后,后续作业可重复使用本地缓存副本。

  • 不对称读写缓存路径:训练期间 JIT writes 全部写 node-local 存储,Job 结束只让一个 sidecar 进程把 Cache 归档回共享存储。启动时每节点顺序读取压缩 tar 包到本地,避免大量小文件 metadata I/O。

六、量化

6.1 PTQ

量化使用 Model-Optimizer,对 Nemotron 3 Ultra 做 NVFP4 PTQ,目标是 Blackwell 高效推理。相应的精度如下图 Table 12 所示:

最终选择了 5.03 BPE(Bits Per Element)的模型,主要原因是:

  • 多数 Benchmark 在 4.85 - 7.19 BPE 之间基本饱和。

  • 真正敏感的是 Long-Context AA-LCR,4.85 -> 5.03 提升约 2.4 分。

  • 5.03 之后继续加 bits 到 7.19,即增加约 43% bit budget,没有实质收益。

6.2 FP4 Scale 选择

NVIDIA 对 FP4 Weight Scale 选择做了 max、MSE、Four-Over-Six 对比,最终

  • 路由专家 Weight Scale 选择 Four-Over-Six。

  • Activation Scale 仍使用 max 校准。

  • 更保守的 5.03 / 5.43 BPE 下,MSE 略优于 max。

  • 激进的 4.85 BPE 下,max 与 MSE 接近。

  • Four-Over-Six 在 5.03 BPE 最好,但在 4.85 BPE 下大幅退化,可能因为 Mamba 对 Outlier 敏感。

6.3 Megatron-LM vs HuggingFace PTQ

Ultra 的 550B BF16 权重大约 1.1TB,单节点 HuggingFace transformers PTQ 需要 CPU offload;Megatron-LM 可以多节点、多维并行、EP/DP 加速量化。说明对超大 MoE,PTQ 也需要分布式系统支持,不能按“小模型离线脚本”理解。

6.4 Mamba SSM Cache

Mamba 的 SSM state 是每 Batch 元素常量大小缓存,而 KV Cache 随序列长度增长。但在 Nemotron 3 Ultra 中,FP32 Mamba Cache 在 64K 以内可能比 FP8 KV Cache 更大,因此会成为 DRAM 占用和 DRAM 读压力瓶颈。因此需要压缩,如下图 Figure 14 所示,最终选择:

  • Mamba SSM Cache:FP16 with stochastic rounding。

  • KV Cache:FP8。

NVIDIA 也探索了 8-bit Mamba Cache 和周期性 Cache Checkpointing:

  • INT8 with stochastic rounding 基本可以保持 FP32 Cache 精度。

  • FP8 E4M3 降质更明显,可能因为有效精度不足。

  • 周期性 Cache Checkpointing,每 CC 步保存一次 State,并通过激活回放补偿,降低连续量化误差,但当前优化 Kernel 仍在开发。

6.5 一个 NVFP4 checkpoint 同时服务 Blackwell 和 Hopper

NVIDIA 最终只发布一个 NVFP4 Checkpoint:

  • Blackwell:原生 FP4 匹配 W4A4/NVFP4。

  • Hopper:无原生 FP4 Tensor Core,以 W4A16 运行,即 Weight NVFP4、Activation BF16。

为什么不单独发布 FP8 Checkpoint:

  • H100 8-GPU 节点,TP8,总 HBM 约 640GiB。

  • FP8 Checkpoint 约 540GiB,每 GPU 只剩约 10GiB 给 Activation、KV Cache、Mamba State。

  • NVFP4 Checkpoint 约 330GiB,每 GPU 约剩 40GiB。

  • FP8 虽有更高 Tensor Core 峰值,但 Batch Size 被 Cache Budget 限制,无法进入 Compute-Bound 区域。

  • NVFP4 W4 开销小,还能把 MTP Weight 放进同一个 8-GPU 节点,FP8 Checkpoint 则需要两台 H100 节点,失去单 NVLink Domain 优势。

为什么不使用 W4A8:

  • NVFP4 的 E2M1 + E4M3 Block Scale 等效范围接近 E6M4,直接 Cast 到 FP8 E4M3 会溢出。

  • 保精度需要 W4 -> BF16 -> FP8,每个 GEMM 前会多一个 Cast OP。

  • 在目标约束下 W8A8 已不比 W4A16 快,W4A8 只会更差。

七、推理部署

7.1 Workload 分化

报告中用 GB200 NVL72、NVFP4、关闭投机采样对比两类 Workload:

  • Decode-heavy:8K input / 64K output。

  • Prefill-heavy:50K input / 2K output。

如下图 Figure 15 可以看出

  • Decode-heavy 下,Nemotron 3 Ultra 领先,报告中相对 GLM-5.1 的吞吐为 5.9x;Kimi-K2.6 相对 GLM-5.1 的吞吐为 1.2x,Qwen-3.5-397B-17B 相对 GLM-5.1 的吞吐为 3.7x。

  • Prefill-heavy 下,Qwen-3.5-397B-17B 领先;Nemotron 3 Ultra 相对 GLM-5.1 为 3.9x, Qwen-3.5-397B-17B 相对 GLM-5.1 为 4.6x。

主要原因是:

  • Prefill Compute-Bound,成本主要看激活参数量。Nemotron-3 Ultra 是 55B,对 Qwen-3.5-397B-17B 的 17B 有约 3.2x FLOPs 惩罚。

  • Large-Batch Decode 中,几乎所有专家都会被激活,成本更像全参 I/O。Nemotron-3 Ultra 550B 对 Qwen-3.5-397B-17B 397B 的差距约 1.39x,此时 Mamba-2 的常量 Per-Step Decode 开销变成优势。

7.2 TP/EP 选择

Nemotron 3 Ultra 推理必须多 Rank 并行。报告中对 TP/EP 的取舍做了分析:

  • 小 Batch、低延迟:权重读取 Memory Bandwidth Bound,大 TP 有利,每 Rank HBM 读按 TP 维度降低,Hidden Vector 的 AllReduce 相对便宜。

  • 大 batch、高吞吐:激活通信成为瓶颈,大 EP 更好,通信集中在 MoE 前后的 All2All,GEMM/Attention/Mamba/路由专家都 Rank-Local。

  • 某些低延迟场景下,TP + EP + Attention/Mamba DP 的组合优于单一方案。

对 GB200 NVL72:

  • 72 GPU 在同一 NVLink Domain,对大 EP 尤其合适。

  • EP All2All 可以留在 NVLink Domain,不跨 InfiniBand。

  • 服务还要做最少负载 Worker 路由,避免同步 All2All 中负载小的 Rank 等负载大的 Rank。

  • 热专家可以通过专家级负载均衡/专家副本缓解。

7.3 PD 分离

Nemotron 3 Ultra 采用了 PD 分离,让 Prefill 和 Decode Worker 使用不同并行策略和调度机制。

Hybrid Mamba-Attention 会引入额外的复杂性:

  • 纯 Attention 只需要传 KV Cache,Hybrid 模型还需要传 Mamba SSM State。

  • Cache-State Event 必须区分 KV Cache 与 Mamba SSM State。

报告称进行了相关上游改动,在 Prefill-Heavy Workload 上测得最多约 10% 吞吐提升:

  • 语义 KV-Event Metadata Path,用于标识 Hybrid Cache Group。

  • 多节点 Ray 所需的 NIXL 侧信道主机解析修复。

7.4 Prefill 与 MoE chunking

Prefill-Heavy Workload 常用 Request-Level Chunked Prefill,以便 Prefill Chunk 与 Decode Forward 交错。但 Chunk Size 太小会伤害 TPOT;Chunk Size 太大又会让路由专家 Kernel 在大 EP 下碰到 Kernel-Level 资源限制。

解决方案是 MoE-Side Chunking:在 MoE Kernel 内部把 Token Batch 切开,使 Request-Level Chunk Size 可以增大,同时不触发 MoE Kernel 资源上限。

7.5 GEMM Shape 与 Padding

某些 TP 维度、量化格式、硬件的组合会让 Per-Rank GEMM 维度不满足 Kernel 对齐。NVIDIA 当前做法是在加载时 Padding 受影响的权重,并让运行时忽略 Padded 位置。

工程建议:未来模型设计时提前选择内部维度,使常见 (TP, 量化, 硬件) 组合天然满足 Kernel  友好的 Shape,避免部署期 Padding。

跳转微信打开

全面梳理 Muon 优化器的工业挑战及应用实践

2026年5月4日 12:00

原创 AI闲谈 2026-05-04 12:00 北京

本文中我们简单梳理一下 Muon 优化器的数学原理、分布式训练中的工程挑战以及工业界落地的相关案例。

一、引言

Muon(MomentUm Orthogonalized by Newton–Schulz)由 Keller Jordan 等人于 2024 年 10 月正式发布 Muon: An optimizer for hidden layers in neural networks [1]。其在 NanoGPT speedrun 项目中刷新最快训练纪录,全面超越以 AdamW 为代表的旧优化器,从此快速“出圈”。

然而真正让 Muon 进入大模型工业界的是 Moonshot AI 2025 年发布的两项工作:

  • Moonlight([2502.16982] Muon is Scalable for LLM Training [2]) :首个公开论证 Muon 在 16B 量级 MoE 上 scalable 的工作,给出 "达到相同验证 loss 仅需 AdamW 约 52% 计算量" 的 scaling law;

  • Kimi K2([2507.20534] Kimi K2: Open Agentic Intelligence [3]):1.04T 参数 MoE 使用 MuonClip(Muon + QK-Clip),在 15.5T Tokens 训练中实现 "零 loss spike",是首个公开规模达到 1T 的非 AdamW 预训练模型。

除了 Moonshot 之外,很多大模型也逐渐开始采用 Muon 优化器,包括:

  • 智谱 AI 在 GLM-4.5([2508.06471] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [4]) 和 GLM-5([2602.15763] GLM-5: from Vibe Coding to Agentic Engineering [5]) 中使用了 Muon 优化器。

  • 最近 DeepSeek 开源了 DeepSeek-V4-Pro(deepseek-ai/DeepSeek-V4-Pro · Hugging Face [6]),模型参数量达到 1.6T,同样声称使用了 Muon 优化器。

本文中我们简单梳理一下 Muon 优化器的数学原理、分布式训练中的工程挑战以及工业界落地的相关案例。相关工作可以参考笔者之前的文章:

二、数学原理

Muon 的核心思想可以简单概括为:把动量矩阵 Mt谱正交化(近似映射到 UVT)后再做参数更新,等价于在 谱范数(spectral / Schatten-∞ 范数) 下做最陡下降。

2.1 更新规则

Muon 仅作用于模型中二维矩阵参数(即 hidden layers 的 W ∈ RAxB 权重 )。对每一个这样的参数进行如下迭代: 

其中 Gt=▽WL(Wt-1) 为当前 mini-batch 梯度,Mt 表示第 t 次迭代的梯度动量,t=0 时初始化为零矩阵。μ 为动量系数(默认 0.95,常用 Nesterov 变体),η 为学习率,NewtonSchulz5(*) 是 5 步 Newton–Schulz 迭代。

NS 迭代目的是将 SGD-momentum 的更新矩阵替换为与其最接近的“半正交矩阵”,等价于将更新替换为 UVT,其中 Mt = UΣVT (奇异值分解),(MtMtT)-1/2Mt= UVT。

Muon 优化器不支持 embedding、un-embedding、所有 1D 参数(bias、LayerNorm/RMSNorm 的 scale),所以此类参数继续使用 AdamW —— Keller Jordan 官方实现 MuonWithAuxAdam 也是如此 。

2.2 Newton–Schulz 五次多项式

精确求 UVT 需要 SVD,复杂度是 O(min(A,B)*AB) (PS:并且不是一次)且数值实现不友好(特别是 BF16 下)。Muon 使用 T 步标准 Newton-Schulz 迭代来近似,每步计算:

其中 at, bt, ct 是精心选择的多项式系数。

可以通过奇异值分解来理解 Newton-Schulz 的作用方式。令 X0 = UΣVT ,其中 U 和 V 是正交矩阵(UTU = VTV = I),Σ 是非负奇异值组成的对角矩阵。第一次迭代给出: 

同理,X1 = U(a1Σ + b1Σ3 + c1Σ5)VT = U ᐧ p1(Σ) ᐧ VT,其中定义了多项式 p1(x) = a1x + b1x3 + c1x5。 关键是 U 和 V 保持不变,只有奇异值被多项式 p1 所变换。经过 T 步之后:

Newton-Schulz 使用的多项式序列要满足: 

因此:

于是:

这个洞察解释了 Newton-Schulz 的工作原理——它逐步将矩阵的奇异值推向 1,同时保持奇异向量不变。这样,经过足够多步后,输出矩阵接近极分解 UVT。

若初始 X = M / |M|F 的奇异值都在 (0, 1],则 5 次迭代后所有奇异值应稳定在 1 附近。传统 Newton–Schulz 用 (1.5, -0.5, 0)(对应牛顿迭代),但需要约 30 步才收敛到 1。Keller Jordan 通过数值优化求解: 

得到经验最优系数:

5 步迭代后所有奇异值落入 [0.7, 1.3],且整个过程在 BF16 下数值稳定(无需切换到 FP32)。注意:这并不是收敛到精确 UVT,而是"足够接近"——因为正交化只是一种 trust-region 形状约束,不要求 𝝈i = 1。

2.3 谱范数最陡下降视角

Muon 看似"工程 trick",实则有清晰的几何意义。Bernstein & Newhouse 在 [2409.20325] Old Optimizer, New Norm: An Anthology [7] 中证明:在矩阵 W 上做约束最陡下降:

其中 || ᐧ ||𝝈 是谱范数(最大奇异值),其闭式解为:

也就是说,把梯度做 SVD 然后扔掉奇异值正好是谱范数下的"最速下降方向"。Muon 把 G 替换为动量 M 后再做这步操作,等价于在谱范数 trust-region 下的 momentum SGD。 

为什么谱范数是"对的"范数? 神经网络的前向传播 y = Wx 把输入向量的 L2 范数最多放大 ||W||𝝈 倍。控制更新的谱范数就是控制"每层最多能改变多少特征激活的能量"。这与 muP(Maximal Update Parametrization,[2203.03466] Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer [8])主张的"宽度无关学习率"目标完全一致:muP 通过参数化使各层的 ||ΔW||𝝈 在宽度 ->∞ 时保持 𝚯(1);Muon 则直接显式地约束这个量。

2.4 计算开销

NS 迭代每步 5 次 matmul(X XT、A2、BX 等),但矩阵规模为单层权重,相对 Forward / Backward 主体(Attention + MLP)极小。Keller Jordan 在 Llama-405B 规模上测得 NS 总 FLOPs overhead 约 0.5%。

2.5 与既有优化器的关系

与 Shampoo 的形式联系:当 Shampoo 的 Preconditioner 统计量不做累积、只用瞬时 GGT / GTG,可以推导出更新方向接近 UVT(其中 G = UΣVT)。因此 Muon 可视为 "instantaneous, rank-free Shampoo"。但 Muon 用 NS 多项式替代了昂贵的特征分解,把 wall-clock 成本降到 Adam 同量级。

与 Orthogonal-SGDM 的差异:Tuddenham 等在 2022 年([2202.07052] Orthogonalising gradients to speed up neural network optimisation [9])就尝试用精确 SVD 做正交化更新,但训练效果不如 AdamW。Muon 用 NS 替代 SVD,并配合 Nesterov 动量、合适的 LR 缩放等若干工程细节,最终把这条路径打通。

适用范围限制:1D 参数(norm scale、bias)没有"奇异值结构"可言;embedding 实质是 lookup table 而非线性变换的稠密权重;它们都不适合谱正交化,沿用 AdamW 即可。也正是 MuonWithAuxAdam 的设计核心。

三、Scaling Law 与放大到 LLM 训练

3.1 Moonlight 的核心结论

Moonshot AI 在 Muon is Scalable for LLM Training [2] 中把 Muon 推到工业 LLM 量级并报告 Scaling Law。其 Chinchilla 风格的 token-efficiency 实验得到:Muon 达到与 AdamW 相同验证 Loss 所需的训练 FLOPs 约为 AdamW 的 52% —— 即 ≈ 2× compute-efficiency。

Moonlight 模型本身:3B 激活 / 16B 全参 MoE(架构与 DeepSeek-V3-Small 同源),训练 5.7T Tokens,MMLU 70.0,建立了同尺寸开源模型新的帕累托前沿。

3.2 缩放修复 Decoupled Weight Decay

Keller Jordan 原版 Muon 不含 weight decay。在小规模(NanoGPT 124M)上没问题,但 Moonshot 团队将其应用到 16B 规模、BF16 下持续训练时,观察到权重 Frobenius 范数会持续增长直至溢出。修复方法是引入 AdamW 风格的 decoupled weight decay:

如下图 Figure 2 所示,加入 WD 后训练才能长期稳定:

3.3 缩放修复 RMS-Matched Adjusted LR

不同形状的权重矩阵,其更新 RMS 差别巨大。Moonlight 论文指出:对一个全秩矩阵 W ∈ RAxB,正交化输出的 RMS 满足:

而 AdamW 的更新 RMS 在大尺度 LLM 上经验值约 0.2 ~ 0.4。如果直接复用 AdamW 调好的学习率,Muon 会因更新过小(大矩阵)或过大(小矩阵)而表现异常。Moonshot 的 "RMS-matched" 做法把更新规则改为:

这样所有形状的层都呈现一致的更新 RMS(≈0.2),AdamW 的超参(LR、WD、warmup schedule)可以直接迁移到 Muon —— 折算应用落地极为关键的"零调参"性质。

3.4 Essential AI 的独立验证

Essential AI 的 [2505.02222] Practical Efficiency of Muon for Pretraining [10] 在 Moonlight 之外独立复现了 Muon 的效率优势,证明 Muon 拓展了计算-时间的帕累托前沿。通过绘制 “等损失曲线”,直观地展示了 Muon 如何用更少的设备和更短的时间达到相同的训练效果,并发现:

  • Muon 的优势在超过 critical batch size(CBS) 的大批量训练区间尤为显著;

  • 与 muP 协同使用可进一步降低超参搜索成本。

3.5 频谱性质实证

Moonlight 论文还给出一个有趣的诊断:用 Muon 训练得到的权重矩阵,其 SVD entropy(奇异值分布的熵)显著高于 AdamW —— 即奇异值分布更"扁平",模型利用了更多方向。这与谱范数下降的几何直觉一致:Muon 倾向于均匀地更新所有奇异方向,而 Adam 倾向于强化少数主方向。

四、分布式训练的工程挑战

4.1 NS 迭代与参数 Sharding 的根本冲突

现代 LLM 训练几乎都依赖参数切分:

  • ZeRO/FSDP:

    • ZeRO-1:仅切分优化器状态;权重与梯度仍全副本;

    • ZeRO-2:进一步切分梯度;

    • ZeRO-3 / FSDP:进一步切分权重,每张卡只持有一个 1/N 的分片;

  • Tensor Parallel (TP):把单层权重沿行或列切到多张卡;

  • Pipeline Parallel (PP):不同层放到不同卡;

  • Expert Parallel (EP):MoE 中不同 Expert 放到不同卡;

  • Sequence / Context Parallel (SP/CP):沿序列长度切分激活。

Newton–Schulz 迭代的核心运算是 XXT、(XXT)2 X —— 这些必须在完整的二维矩阵上才有数学意义。如果直接在 ZeRO-3 / FSDP 的本地分片上做 NS,得到的不是原矩阵的正交化结果,而是每个分片自己的"局部正交化",数学上完全错误。 这就是为什么 AdamW 可以做到几乎所有并行策略下"逐元素更新"(因为它对每个标量参数独立操作),而 Muon 必须显式处理矩阵的全局结构。

4.2 Distributed Muon 算法(Moonlight Algorithm 1)

针对 ZeRO-1 场景(参数全副本,优化器状态按 DP 维 sharding), [2502.16982] Muon is Scalable for LLM Training [2] 提出的 Distributed Muon 算法可总结如下:

关键设计权衡:

  • 重复计算 vs. 节省通信:所有 DP Rank 都做完整的 NS(被丢弃 1 - 1/NDP 部分),换取避免一次额外的 ReduceScatter + 本地分片 NS 算不正确的问题。在 H800 等高算力卡上,5 次 Matmul 的开销远小于大量网络开销。

  • 优化器状态显存:Muon 只需 1 份动量 Buffer,AdamW 需 m + v 两份;切到 ZeRO-1 后,Muon 优化器状态显存约为 AdamW 的一半。

  • 通信开销:相比 Distributed AdamW,多出一次 DP AllGather;论文实测 wall-clock 总通信开销在 1.0x–1.25x 之间。

4.3 与 Megatron-LM 的集成

Moonshot 把 Distributed Muon 给 Megatron-LM 提了 PR(a proof of concept for Distributed Muon#1428 [11]),与既有的 TP / PP / EP / SP / CP 维度全部正交兼容:

  • TP:单层权重沿行(Attention output / MLP down-proj)或列(Attention QKV / MLP up-proj)切分。Distributed Muon 把 NS 放在 DP 维 AllGather 后执行,对 TP 透明——TP 切分仍发生在 NS 之外的更细粒度上,每个 TP Rank 仍持有完整的本层矩阵的某个 TP 分片,并在该分片上独立完成 DP AllGather + NS。

  • PP:每个 PP Stage 各自维护本 Stage 内层的 Muon 状态,无跨 Stage 通信。

  • EP:MoE 的每个 Expert 是独立的 2D 权重组,可独立做 Distributed Muon;跨 Expert 之间不共享 NS 计算。

  • CP/SP:仅切分激活/序列维度,不影响参数维度,故对 Muon 完全透明。

4.4 在 ZeRO-2 / ZeRO-3 / FSDP 下的难点

如果继续向更激进的切分前进:

  • ZeRO-2 / FSDP-grad-shard:梯度切分,但参数仍全副本。可以在 ReduceScatter 出局部梯度后,先做 AllGather 还原完整梯度(或动量),再走原版 Muon —— 引入额外通信但可行。

  • ZeRO-3 / FSDP full-shard:参数本身也切分了。要做 NS 必须 AllGather 完整参数 + 完整动量,做完 NS 再 Scatter。这相当于把 ZeRO-3 在 Muon 这一步局部退化为 ZeRO-1,显著增加峰值显存与通信。这是当前 PyTorch FSDP 使用 Muon 的主要痛点,社区典型解法是:

    • 把 Muon 优化器步骤包在 unshard_ 上下文里,临时还原完整参数;

    • 改用 [2504.05295] Dion: Distributed Orthonormalized Updates [12]。

4.5 BF16 数值稳定性

NS 迭代涉及 XXT,会平方放大数值误差。使用 FP32 累积会更安全,但优化器状态显存翻倍,同时计算效率很低(NVIDIA 常见 GPU 的 FP32 算力远低于 BF16)。Keller Jordan 调出的 (3.4445, -4.7750, 2.0315) 系数有一个隐含设计目标:让 5 步迭代在 BF16 下也不溢出/失稳。这是它能在工业训练中替代 FP32 SVD 路线的关键理由。

五、工业落地案例

5.1 Kimi K2:MuonClip = Muon + QK-Clip

Kimi K2([2507.20534] Kimi K2: Open Agentic Intelligence [3])是首个开源、使用 Muon 优化器训练的旗舰模型(超过 1T 参数量),相应模型配置如下所示(moonshotai/Kimi-K2.5 at main [13]):

5.1.1 为什么 Muon 在大规模 attention 上会引发 logit 爆炸

Kimi 团队 Muon 大规模训练时观察到一个新问题:Attention logits 在训练后期持续增长,最终可能突破 FP16/BF16 数值范围导致 Spike。论文 Appendix E 给出的假设是:Muon 的更新方向 UVT 是满秩(不像 Adam 主要朝少数主方向更新),导致它与原权重矩阵的奇异向量更容易"对齐"。这种对齐在 Wq 和 Wk 上累积,使得 WqWkT 的谱范数稳步增长,最终触发 Attention logit qTk 爆炸。

这是 Muon 谱范数性质的"另一面":好的方向利用率 ↔ 容易在 Attention 这种乘积结构里触发联合放大。

5.1.2 QK-Clip 机制

K2 在每个 Muon 优化步骤之后追加 QK-Clip:实时监控每个 Attention Head 的 logit 最大值:

若 Shmax > 𝛕(论文设 𝛕 = 100),则按 per-head 比例缩放对应的 Whq 和 Whk: 

由于 qTk 是关于 WqWk 的双线性形式,各乘一边可保证 qTk 整体被乘 𝛾h,从而拉回阈值之内。

5.1.3 MLA 适配

K2 采用 MLA(Multi-head Latent Attention)。MLA 中 q/k 被分解为 content 部分 qC, kC(per-head)和 rotary 部分 qR, kR。QK-Clip 的关键工程细节:

  • 对 head-specific 的 qC、kC、qR 都按上述缩放;

  • 不缩放kR:MLA 中 kR 在所有 head 之间共享(rotary embedding 部分),如果按 head 缩放它会破坏其他 head。

5.1.4 自动失活与零 loss spike

实测训练曲线显示:

  • 训练前 70k 步约 12.7% 的 head 触发过 QK-Clip;

  • 70k 步之后所有 head 的 Shmax 都自然降到 100 以下,QK-Clip 完全不再激活;

  • 整个 15.5T tokens 训练全程 0 次 loss spike。 这个"自动失活"现象很重要:它表明 QK-Clip 不是一个粗暴的硬性约束,而是把训练前期的"危险窗口"温和地拉回稳定流形之后,模型自己就能维持稳定。 

如下图 Figure 2 所示,作者用 MuonClip(τ=100)训练了大规模 MoE 模型 Kimi K2,并在整个训练过程中监控最大 Attention logits(右图)。随着训练的推进,最大 logits 逐渐衰减至典型工作范围,无需对 τ 进行任何调整。

如下图 Figure 3 所示,在 Kimi K2 的训练中,训练损失保持平滑稳定,未出现任何可观察到的 Spike,验证了 MuonClip 在大规模语言模型训练中提供了对注意力动态的稳健且可扩展的控制。 

5.2 GLM-4.5 / GLM-5(智谱 AI)

5.2.1 GLM-4.5

GLM-4.5 公开技术报告 [2508.06471] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [4] 中提及同样使用了 Muon 优化器。GLM-4.5 模型包含 355B 总参数,32B 激活参数、训练了 23T Tokens、hybrid reasoning 架构。此外,也使用了 QK-Norm 来稳定 Attention logits 范围(GLM-4.5: Reasoning, Coding, and Agentic Abililties [14])。 

5.2.2 GLM-5

智谱在 [2602.15763] GLM-5: from Vibe Coding to Agentic Engineering [5] 中继续沿用了 Muon 优化器,并进行了一些优化,提出 Muon-split。原本统一进行 Muon 正交化处理的、用于生成 Q、K、V 的大型上投影矩阵,拆分成多个更小的矩阵(每个对应一个 Attention Head)后再分别应用 Muon 优化(PS:实际上本来也是独立的投影矩阵)。这样,不同 Attention Head 中的权重便能以不同的尺度独立更新,灵活性远高于统一处理。结果如下图 Table 1 所示: 

GLM-5 中还对 Muon 优化器进行了性能优化。原生 Muon 在每个 DP 进程上,都采用 All-Gather 收集全部模型参数,会导致瞬时的显存峰值和不必要的冗余通信,在训练超大规模模型(如 GLM-5 的 744B 总参数量)时会产生巨大的开销。为此,论文提出了一种零冗余通信方法,核心优化有两步:

  • 分片通信:将 All-Gather 的范围严格限制在每个进程(rank)所“拥有”的参数分片(parameter shards)上,而不是获取全部模型信息。

  • 通信计算重叠:利用分片通信带来的独立数据流,设计算法使其能与本地的正交化计算(Newton-Schulz 迭代)等操作进行 Overlap,从而消除冗余通信并显著降低优化器相关的峰值内存开销。

5.3 阿里 Canzona

阿里在 [2602.06079] Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers [15] 中同样针对 Muon 优化器场景进行了优化。总体思路可以概括为:

  • 在 DP 侧,采用静态分区(Static Partitioning),保证一个参数只归一个 Rank 更新,同时不破坏 ZeRO-1 的几何结构。

  • 在 TP 侧,采用异步微组(Micro-Group)调度,把被切碎的 Tensor 更新当成任务来调度,通过通信融合和离线负载均衡来降低开销。

5.3.1 DP-ASC

如下图 Figure 1 数据并行(DP)分区策略对比:

  • (左图)DP-SC:可直接被优化器采用的方案是 DDP,该方案在所有计算节点上复制优化器状态,导致冗余计算——每个节点执行相同的矩阵运算(同步模式)。

  • (右图)DP-ASC:通过状态分区消除冗余。

    • Equal Chunk(标准 ZeRO-1,灰色箭头与连线):

      • 标准分区方案(如 AdamW)将缓冲区均匀切分为 |B|/R 个分片。这种任意切片(虚线标示)违反了矩阵优化器(如 Muon)所需的原子性约束。

      • 本文方案(静态分区,橙色/绿色箭头):通过遵循 Tensor 边界确保参数原子性。

    • 负载

      • 负载不均衡(橙色箭头、连线及方框):简单的原子分配会因参数计算成本差异导致显著的计算滞后与通信 Bubble(虚线框)。

      • 负载均衡(绿色箭头、连线及方框):本文的 α 平衡算法优化静态布局,通过重新分配完整参数实现跨节点工作负载均衡。

  • 注:本图中标有 P 的模块代表优化器状态及其对应参数的更新计算。在 Forward 和 Backward 过程中,参数本身仍保持跨节点复制(遵循 ZeRO-1 协议)。 

5.3.2 TP-ASC

如下图 Figure 2 张量并行(TP)分区策略对比:

  • (左图)TP-SC:在标准的 TP-SC(NVIDIA 的逐层优化器实现)中,每个 Rank 都必须对每个参数通信并计算完整 Tensor。导致图中高亮部分显示的冗余计算,即所有设备执行相同的操作(例如,“对全量 G1 进行计算”),无论 Tensor 所有权如何。

  • (右图)TP-ASC:本文的 TP-ASC 中,通过静态规划的异步计算流水线消除了这种冗余。其离线算法将这些 Tensor 分配给特定的 Rank,以均衡负载。具体流程包括:

    • Gather 梯度:把多个 Tensor 的梯度碎片打包成一个 Micro Group,比如(G1, G3)和(G2),通过一次融合后的 All2All 发到对应的 Host Rank。这样避免了很多小通信导致的低带宽利用率。

    • 异步计算:Host Rank 在本地拿到完整梯度和驻留状态后(TP1 Rank 拿到 (G1, G3)),执行矩阵型优化器计算,例如 Muon 的矩阵更新。

    • Scatter:更新结果 ΔW 再被切回 shard,通过融合后的 All2All 分发回参数原 owner。

    • 本地应用更新:每个 Rank 只把自己收到的更新 shard 应用到本地参数 shard 上。 

5.3.3 关键结果

如下图 Figure 7 所示,本文的方案明显优于 NV 的 layerwise 方案,获得与 AdamW(Reduce-Scatter)相近的速度:

5.4 Microsoft Dion

Microsoft 在 2025 年提出 [2504.05295] Dion: Distributed Orthonormalized Updates [12],它使用 amortized power iteration 替代 Newton-Schulz,不再对整个矩阵进行精确正交化,而是迭代式地逼近其前几个主要方向(低秩近似),从而避免了完整矩阵的重建,从设计上避免这个问题。如下图 Figure 1 所示为论文中的关键结果:

  • Amortized power iteration:每步只做约 2 次 matmul(而非 NS 的 5 次),用跨步累积的近似奇异向量代替每步重算;

  • Low-rank + error feedback:可只对 rank fraction 1/16 ~ 1/64 的子空间做正交化,剩余分量用 error feedback 补偿;这在 405B 规模仍稳定收敛;

  • FSDP2 + TP 原生兼容:power iteration 的 reduce-scatter / all-reduce 可与 FSDP2 通信原语融合;

  • 在 ≥ 3B 规模上报告了优于 Muon 的 loss-vs-wall-clock-time 曲线。如下图 Figure 1 所示为论文中的关键结果。

5.5 Gram Newton-Schulz

Tri Dao 团队在  Gram Newton-Schulz: A Fast, Hardware-Aware Newton-Schulz Algorithm for Muon [16] 中提出一种通过对 Newton-Schulz 进行等价数学变换,从而实现了更高效 GPU Kernel 的方案。核心思想是:不再直接对矩形输入矩阵 X∈Rn×m 进行迭代,而是对更小的 Gram 矩阵 XXT∈Rn×n 进行迭代。

NS 的每次迭代包含 3 个步骤,每个步骤包含一次矩阵乘法:

总计算量为:T(4mn2 + 2n3) = 2T(2ɑ + 1)n3。对于 T=5,总 FLOPs 为:(20ɑ + 10)n3,ɑ = m/n >> 1 表示矩形的程度(ɑ=1 表示方阵,ɑ >> 1 表示高度矩形)。 

当 ɑ 很大(矩阵高度矩形)时,XXT 和 BX 这两项矩形乘法主导了总开销(约 4Tɑn3 FLOPs),而方阵乘法 A2 相对较小。

Tri Dao 方案中 Gram Newton-Schulz 的目标正是将原本作用在 X 上(每次迭代都需要昂贵的矩形乘法)的 Newton-Schulz 迭代,等价转换为仅作用在 Gram 矩阵 Rt = XtXtT上的迭代。这样一来,所有昂贵的中间乘法都限制在较小的 n x n 空间内(步骤 2)。

5.6 DeepSeek 系列

DeepSeek-V2、R1、V3.1、V3.2 等同系列模型公开报告中未见使用 Muon。而 DeepSeek-V4 中公开介绍其使用了 Muon 优化器。由于 DeepSeek-V4-Pro 的特殊 Attention 机制,可以直接在 Q 以及 KV entry 上进行 RMSNorm,从而有效防止 Attention logits 爆炸,因此也就未使用QK-Clip。此外进行了两个改进。

5.6.1 Hybrid Newton-Schulz Iterations

采用 Hybrid Newton-Schulz 方法,在两个不同阶段执行共 10 次迭代。

  • 在前 8 Step 中,使用系数 (a, b, c)=(3.4445, -4.7750, 2.0315) 来驱动快速收敛,使奇异值接近 1。

  • 在最后 2 Step 中,切换到系数 (a, b, c)=(2, -1.5, 0.5),从而将奇异值精确稳定在 1。

如下图所示是 Megatron-LM 的优化器(Emerging-Optimizers [17])中的对应实现:

5.6.2 Efficient Implementation of Muon

为了解决 ZeRO 方案中切分方式导致的额外通信问题,设计了一种适用于 Muon 的混合 ZeRO 分桶策略。

  • 针对 Dense 参数:限制 ZeRO 并行度的最大规模,并采用背包算法将参数矩阵分配到各计算节点,确保每个节点管理大致均衡的负载。每个节点上的桶会填充至与所有节点中最大桶相同的大小,以支持高效的 ReduceScatter 操作。在作者的配置中(每个节点管理的参数矩阵不超过五个),这种填充通常仅带来不到 10% 的内存开销。当 DP 的整体规模超过 ZeRO 的限制时,会在额外的 DP 组中冗余计算 Muon 更新,以计算开销换取总桶内存的减少。

  • 针对 MoE 参数,对每个 Expert 独立优化。

    • 首先将所有层中所有 Expert 的 SwiGLU 下投影矩阵展平。

    • 随后依次展平上投影矩阵和门控矩阵。

    • 接着对展平后的向量进行填充,确保该向量能被均匀分配到所有节点,且不会分割任何逻辑上独立的矩阵。

    • 鉴于专家数量庞大,不对 MoE 参数的 ZeRO 并行度设置限制,且填充开销亦可忽略不计。

此外,在每个节点上,形状相同的连续参数会被自动合并,从而实现对 NS 迭代的批量执行,以提升硬件利用率。 作者进一步观察到,Muon 中的 NS 迭代在使用 BF16 矩阵乘法计算时仍保持稳定。基于此,采用 Stochastic Rounding 方式,将需跨 DP 节点同步的 MoE 梯度量化至 BF16 精度,使通信量减半。 为避免低精度加法器引入的累积误差,采用两阶段方法替代传统的基于树或环的 Reduce-Scatter。首先,通过 All2All 操作在 Rank 之间交换 Local 梯度,随后每个 Rank 在 FP32 精度下执行 Local 求和。

六、参考链接

  1. https://kellerjordan.github.io/posts/muon/

  2. https://arxiv.org/abs/2502.16982

  3. https://arxiv.org/abs/2507.20534

  4. https://arxiv.org/abs/2508.06471

  5. https://arxiv.org/abs/2602.15763

  6. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

  7. https://arxiv.org/abs/2409.20325

  8. https://arxiv.org/abs/2203.03466

  9. https://arxiv.org/abs/2202.07052

  10. https://arxiv.org/abs/2505.02222

  11. https://github.com/NVIDIA/Megatron-LM/pull/1428

  12. https://arxiv.org/abs/2504.05295

  13. https://huggingface.co/moonshotai/Kimi-K2.5/tree/main

  14. https://z.ai/blog/glm-4.5

  15. https://arxiv.org/abs/2602.06079

  16. https://tridao.me/blog/2026/gram-newton-schulz/

  17. https://github.com/NVIDIA-NeMo/Emerging-Optimizers/tree/main

跳转微信打开

NVIDIA BlueField-DPU 解析 & 生态汇总

2026年5月2日 20:00

原创 AI闲谈 2026-05-02 20:00 北京

本文全面梳理了 NVIDIA BlueField-DPU 的硬件代际、关键子系统(DPA / GDS / NVMe-oF RDMA)、网络互联、AI Factory 与大模型场景下的收益、CMX 上下文记忆存储等。信息比较多可能存在误差,以 NVIDIA 官方 Datasheet、DOCA SDK 等为准

一、引言

本文全面梳理了 NVIDIA BlueField-DPU 的硬件代际、关键子系统(DPA / GDS / NVMe-oF RDMA)、网络互联、AI Factory 与大模型场景下的收益、CMX 上下文记忆存储等。信息比较多可能存在误差,以 NVIDIA 官方 Datasheet、DOCA SDK 等为准。

相关内容可以参考:

二、各代 BlueField DPU 对比

2.1 DPU 概念与 BlueField 平台定位

DPU(Data Processing Unit) 是继 CPU、GPU 之后的"第三颗主芯片"。它将网络、存储、安全、虚拟化等"基础设施税"(Infrastructure Tax,业内估计占数据中心 CPU 周期的 20%–30%)从 Host CPU 卸载到专用 SoC。

NVIDIA 的 BlueField 系列(NVIDIA BlueField Networking Platform)源自 2019 年收购 Mellanox 后的产品线,融合了 Mellanox ConnectX 系列网卡的硬件加速引擎、Arm 多核 SoC、PCIe Switch 与 NVIDIA 的 DOCA 软件栈,已成为云、HPC 与 AI Factory 的事实标准 DPU 之一。

BlueField 的核心价值为:

  • Offload:把 OVS、vRouter、NVMe-oF Initiator/Target、TLS/IPsec、防火墙等从 Host CPU 卸载,降低 CPU 负载。

  • Accelerate:硬件加速 RDMA、加密、压缩、正则匹配、流分类、Packet Pacing 等。

  • Isolate:Host 与基础设施控制面(Tenant vs. Operator)物理隔离,零信任架构的天然落点。

进入大模型时代后,BlueField 进一步承担了“AI Factory 的基础设施 OS”角色,成为 GPU 计算单元之外、为 AI 数据流水线提供网络、存储、安全、KV Cache 服务的核心芯片。

2.2 BlueField 详细数据与硬件结构

2.2.1 BlueField-1(2017,Mellanox 时代)

如下图所示为 BlueField-1 的硬件架构图(NVIDIA® Mellanox® BlueField® Data Processing Unit (DPU)):

  • 网络:集成  ConnectX-5,峰值带宽 100Gb/s,EDR/HDR100 InfiniBand。

  • Arm 子系统:最多 16 个 Armv8 A72 核(部分 SKU 8 核)。

  • PCIe:Gen3/Gen4 ×16(同时可作为 PCIe Switch,下挂 NVMe SSD,构成 BlueField Storage Controller / JBOF Reference Design)。

  • 内存:板载 DDR4。

  • 典型用例:NVMe over Fabrics (NVMe-oF) 全闪存阵列 (AFA)、JBOF 存储控制器、服务器缓存 (memcached)、分离式机架存储及 Scale-Out 扩展直连存储。

  • 意义:奠定了"NIC + Arm SoC + PCIe Switch"的 DPU 形态,但当时尚未配 DOCA,需要使用 Mellanox OFED + 自研 SDK。

2.2.2 BlueField-2(2020)

如下图所示为 BlueField-2 的硬件架构图(nvidia bluefield-2 dpu):

  • 网络:集成 ConnectX-6 Dx,单/双口,最高 2×100 GbE 或 1×200 Gb/s(Ethernet 与 HDR100 InfiniBand)。

  • Arm 子系统:8 颗 Armv8 A72 核,4 MB L2。

  • PCIe:Gen4 ×8/16(支持 PCIe Switch + EP/RC 模式切换)。

  • 内存:16/32 GB 板载 DDR4。

  • 加速器:

    • RDMA / RoCEv2(ConnectX-6 Dx ASAP² 引擎)

    • 硬件加密:AES-XTS-256/512、AES-GCM、TLS/IPsec

    • 正则表达式加速(RegEx)

    • SHA-256、压缩/解压(DEFLATE)

    • SR-IOV、VirtIO-net

  • NVMe SNAP™:把远端 NVMe-oF 目标在 Host 侧伪装成本地 PCIe NVMe 盘。

  • 形态:HHHL 单宽/双宽 PCIe 卡,OCP 3.0 SFF 卡,部分有集成 BMC 形态。

2.2.3 BlueField-3(2022 量产,2023 大规模出货)

如下图所示为 BlueField-2 的硬件架构图(NVIDIA BLUEFIELD-3 DPU):

  • 网络:集成 ConnectX-7,单口 400 Gb/s(或 2×200 GbE / 4×100 GbE / NDR200 IB)。

  • Arm 子系统:16 个 Armv8.2 A78 核,8 MB L2, 16 MB 共享 L3。

  • PCIe:Gen5 ×32(可拆 2×16 或 1×16 + Switch),支持 PCIe Switch 模式,下挂 GPU、NVMe。

  • 内存:16 GB 板载 DDR5(5600 MT/s,支持 ECC)。

  • DPA(Datapath Accelerator):16 个超线程 RISC-V 执行单元 × 每核 16 hw 线程 = 256 个硬件线程,专用于 Dataplane 包处理、拥塞控制(PCC)、SHARP collectives、storage-init 等微内核。

  • 加速器:

    • 200/400 Gb/s 线速 RoCEv2、Adaptive Routing、Out-of-Order RDMA Write

    • GPUDirect RDMA、GPUDirect Storage

    • NVMe-oF(TCP / RDMA / FC-NVMe)initiator+target 卸载

    • SNAP 4.x:NVMe / VirtIO-blk / VirtIO-net 设备仿真

    • 公钥 / 对称加密、TLS

    • 压缩 / 解压、Regex

2.2.4 BlueField-4(2025 GTC 公布,2026 出货)

NVIDIA 目前还未提供 BlueField-4 的硬件架构(NVIDIA BlueField-4 DPU datasheet):

  • 核心定位:AI Factory 的 "operating system processor",与 ConnectX-9、Spectrum-X 第二代、Rubin/Vera-Rubin GPU 同代发布。

  • 架构融合:把 NVIDIA Grace CPU 子系统与 ConnectX-9 网络引擎直接整合到一颗 SoC,构成全片上一致性内存 + 网络 + 加速器域。

  • 网络:单卡 800 Gb/s,支持 800G Ethernet(Spectrum-X Gen2)与 800G InfiniBand(Quantum-X800 / XDR)。

  • Arm 子系统:基于 Grace 系列 Arm Neoverse V2,64 核心(同源于独立 Grace CPU),114MB 共享 L3 Cache。

  • 内存:128GB 板载 LPDDR5X 统一内存。

  • 存储:512GB 可插拔 SSD。

  • 算力倍增(官方):

    • 6x 通用计算性能(vs. BlueField-3)

    • 支持 4x 更大规模的 AI Factory

    • 800 Gb/s 网络带宽 是 BF-3 的 2x

  • DPA:第二代 Datapath Accelerator,16 核心,256 线程。

  • PCIe:Gen6(与 Rubin/Vera 平台对齐)。

  • DOCA Microservices 原生支持:容器化、可热插拔的 Networking / Security / Storage / AI Data 服务在 BF-4 上以微服务方式运行。

2.3 关键差异对比

三、配套 GPU、服务器与参考设计

3.1 与 NVIDIA GPU 的搭配(典型)

3.2 NVIDIA DGX/HGX/MGX 系统

在 NVIDIA 的 DGX 系统中通常会配置 BlueField DPU,而在 HGX、MGX 平台通常为选配:

  • DGX A100:每节点 8 x ConnectX-6 + 2 x BlueField-2(管理 + 存储面)。

  • DGX H100 / H200:标配 8 x ConnectX-7 SuperNIC + 2 x BlueField-3,提供 8×400 Gb/s 计算面与独立存储/管理面。

  • DGX GB200 NVL72 / GB300 NVL72:72×GB200/B300 + Spectrum-X 后端;BlueField-3 用作 in-rack 网络/存储/安全 offload。

  • HGX Reference:OEM 自由配置 ConnectX/BlueField;HGX H100 8-GPU baseboard 推荐每 GPU 配 1× BF-3 SuperNIC。

  • MGX 模块化平台(2023+):BlueField 作为可选 Infra 卡,与 Grace、Hopper、L40S、Blackwell 自由组合。

3.3 OEM/ODM 服务器生态

支持 BlueField-3/4 的主流厂商(NVIDIA-Certified):

  • Dell PowerEdge XE 系列

  • HPE ProLiant Compute、Cray XD

  • Lenovo ThinkSystem SR / ThinkAgile

  • Supermicro AS / SYS / GPU SuperServer

  • Cisco UCS X-Series(与 Cisco Hypershield 集成)

  • ASUS、Gigabyte、Pegatron、ASRock Rack

  • NVIDIA RTX PRO Server(2025):Blackwell + BlueField-3,企业 AI Factory 验证设计的标配模块

存储侧 JBOF(Just a Bunch of Flash,全闪存阵列) / All-Flash Array 厂商:

  • VAST Data、DDN、Pure Storage、NetApp、Hitachi Vantara、IBM、WekaIO、Hammerspace、Dell PowerScale、Kioxia、Samsung、Micron 等都有基于 BlueField-2/3 的产品或参考设计;

  • BlueField-4 则被用于 NVIDIA STX 与 CMX(Context Memory Storage)平台。

JBOF 使用 DPU 相比传统的 x86 CPU 方案具有显著优势,比如具有更高的集成度、更低的时延、更高的吞吐量、更低的功耗等:

四、DOCA 软件栈与 DPA(Datapath Accelerator)

4.1 DOCA 总览

DOCA(Data Center Infrastructure-on-a-Chip Architecture)是 BlueField 的官方 SDK + Runtime,对标 GPU 上的 CUDA(NVIDIA DOCA Software Framework)。包括:

  • DOCA Drivers:MLNX_OFED / DOCA-OFED(rdma-core, mlx5, ib-verbs)。

  • DOCA Libraries:Flow(ASAP² OVS offload)、RDMA、Comch、DMA、SHA、AES-GCM、Compress、Erasure Coding、Telemetry、App Shield、Device Emulation、GPUNetIO、UROM、Rivermax、PCC,以及 DOCA Memos(KV Cache 共享,BF-4 起,详见 §10)。

  • DOCA Services / Microservices:BlueField Service Function Chains,K8s 友好的容器化基础设施服务(Firewall、IDS、Telemetry、HBN host-based networking、Memos KV Router 等)。BF-4 起官方主推"DOCA Microservices"运行时,与 NIM 推理微服务对齐。

  • DOCA Runtime / BFB Image:BlueField OS 镜像,基于 Ubuntu/Alma,预装 DOCA 全栈。

4.2 DPA(Datapath Accelerator)

DPA(Datapath Accelerator)是 BlueField-3 新引入的嵌入子系统,之前的 SmartNIC 只能提供控制面的处理能力,而 DPA 可以进一步加速某些数据包和 I/O 处理工作负载中需要高性能访问 NIC 引擎的任务。DPA 子系统的特点是拥有众多可并行工作的执行单元,以克服延迟问题(如访问 Host 内存)并提供更高的整体吞吐量(DPA Subsystem - NVIDIA Docs)。具体来说:

  • 作用:把 ConnectX 的 ASIC 数据面与 Arm 控制面之间的"中间路径"做软件可编程化,专门跑:

    • 拥塞控制算法(DOCA PCC,例如 Programmable CC for RoCE,可自定义 DCQCN 替代)

    • 集合通信加速(与 SHARP 配合)

    • 自定义 packet processing(DOCA FlexIO / DPA Verbs)

    • Storage offload 微内核(NVMe-oF target/initiator 数据面)

    • CMX 中的 KV Cache 路由 / 一致性检查 / 加密(BF-4)

  • 编程模型:C 语言 + DOCA DPA / FlexIO SDK,host 侧 cross-compile(dpaCC 是 Clang/LLVM-for-RISC-V 的封装),runtime 动态加载 ELF 到 DPA,触发方式包括 doorbell、completion、Wire-IRQ。线程上下文与 host 隔离,多进程 + 隔离地址空间。

  • 价值:相比 FPGA 提供更友好的 C/C++ 编程性与可调试性;相比 Arm 通用核,单线程延迟与并行度都更适合包级处理。

其硬件架构如下图所示:自研 RISC-V 多线程处理器,BF-3 含 16 个执行单元,每个 16 个硬件线程,也就是共 256 个硬件线程,由轻量 RTOS 协同调度(cooperative run-to-completion + watchdog),具有专用 L1/L2/L3 + Memory Aperture,可直接访问 NIC 加速器(加密、压缩、SHA、DMA)和 host 内存。

五、GPUDirect Storage(GDS)深入解析

5.1 设计动机:CPU bounce buffer 是 GPU IO 的瓶颈

传统 IO 路径:

  • 多一次拷贝,增加延迟与功耗;

  • 受限于 CPU ↔ GPU PCIe 单通道带宽(DGX-2 上 SysMem → GPU 仅 12–12.5 GB/s × 4 PCIe tree ≈ 50 GB/s 上限);

  • Page fault / mmap 隐式路径会造成抖动和长尾延迟。

Storage(NVMe / NVMe-oF) - DMA -> CPU SysMem (bounce buffer) - cudaMemcpy -> GPU HBM

GDS 提供的直接路径:

  • CPU 仅参与控制面;

  • 在 DGX-2 实测中,本地 NVMe → GPU 13.3 GB/s(x4 tree = 53.3 GB/s)、外部 NIC NVMe-oF 10.5 GB/s(x8 = 84 GB/s)、RAID 14 GB/s(x8 = 112 GB/s),叠加可达 ~215 GB/s,逼近 GPU PCIe 峰值 230 GB/s,是 SysMem 路径的 ~4x(GPUDirect Storage: A Direct Path Between Storage and GPU Memory | NVIDIA Technical Blog)。

  • 这些带宽是可加和的:本地 NVMe + 外部 NIC + RAID 同时使用,可以让 GPU 同时从多源拉数据。

Storage(本地 NVMe / 远端 NVMe-oF / NIC RDMA) - DMA/RDMA -> GPU HBM

5.2 软件栈与 cuFile API

包括:

  • libcufile.so(用户态):cuFile API 的实现,已合入 CUDA Toolkit 一并发行。

  • nvidia-fs.ko(内核态,GPLv2):实现 DMA callback、GPU 物理地址翻译、与文件系统驱动联动;CUDA 12.8+ 起本地 NVMe / DOCA SNAP 路径走 Linux 上游 PCI P2PDMA(Linux ≥ 6.2 + OpenRM 570.x),不再强依赖 nvidia-fs.ko,对 OS 兼容性显著改善。

  • cuFile 核心 API 家族:

    • 同步:cuFileDriverOpen/Close、cuFileHandleRegister/Deregister、cuFileBufRegister/Deregister、cuFileRead/Write

    • 异步(CUDA Stream 语义):cuFileReadAsync/WriteAsync、cuFileStreamRegister/Deregister

    • 批量:cuFileBatchIOSetUp/Submit/GetStatus/Cancel/Destroy

  • 关键要点:

    • GPU buffer 必须先经过 BAR 注册才能被第三方设备 DMA。cuFileBufRegister 显式注册;不注册时库内部用 bounce buffer + 拷贝(功能可用,性能下降)。

    • 4 KB 对齐(buffer 地址、file offset、size)才能走最优路径;不对齐会 fallback 到 GPU bounce buffer / POSIX read-modify-write。

5.3 系统调优

  • 关闭 PCIe ACS(Access Control Services):否则 P2P 会被强制经过 Root Complex,无法绕开 CPU。gdscheck -p 可查看启用 ACS 的 PCIe switch,也可以通过 lspci -vvv | grep -i "acsctl" 查看。

  • 关闭 IOMMU(x86):

    • BIOS 关闭 intel_iommu / amd_iommu,否则 P2P 流量被 Root Port 路由,限制 PCIe switch 下的吞吐(可以使用 cat /proc/cmdline 查看)。

    • Grace(aarch64)平台需开启 IOMMU 但禁用 passthrough。

  • NIC ↔ GPU PCIe 拓扑:尽量同 PCIe switch 下,至少同 CPU socket,避免 QPI/UPI 跨 socket。

  • NIC 配置:

    • ConnectX-5/6/7/8 必须 IB 或 RoCEv2 模式;

    • MLNX_OFED ≥ 5.4 或 DOCA ≥ 2.9。

  • /etc/cufile.json关键项:

    • max_direct_io_size_kb:默认 16384(16 MB),更大 IO 块减少 IO stack 调用次数;

    • max_device_cache_size / per_buffer_cache_size:内部 bounce buffer 池(默认 128 MB / 1 MB);

    • allow_compat_mode:unaligned IO fallback 到 POSIX;

    • properties.rdma_dynamic_routing 与 rdma_dynamic_routing_order。

  • CUDA 上下文:尽量让计算 kernel 跑在 primary context,避免 D2D 拷贝被其他 context 抢占(Runtime API 默认就是 primary context)。

  • 避免 fork() 在 cuFileDriverOpen 之后:行为未定义。

5.4 Dynamic Routing(关键性能优化)

当 GPU 与 Storage NIC 不在同一 PCIe Root Complex 下时,跨 Root Port 的 P2P 延迟高、吞吐被限制。cuFile 的动态路由按 4 种策略选择最优路径:

  • GPU_MEM_NVLINKS:经同 PCIe tree 内的代理 GPU + NVLink 中继到目标 GPU;

  • GPU_MEM:经代理 GPU + PCIe(无 NVLink);

  • SYS_MEM:fallback 到 host pinned memory;

  • P2P:跨 Root Port 直接 P2P(兜底)。

通过 cufile.json 的 properties.rdma_dynamic_routing_order 配置,并以 gdscheck -p 校验。Lustre / WekaFS / NFS 还需在 fs.<type>.mount_table.<mount>.rdma_dev_addr_list 列出 NIC IP,否则 fallback 到 SYS_MEM。

5.5 公开的性能数据(GDS vs. 非 GDS)

值得注意:

  • 即使带宽收益较小(如 Ethernet vs IB 仅 1.17×),CPU 利用率收益通常 4x–6x,对推理服务的延迟稳定性影响巨大。

  • IB 与 Ethernet(RoCEv2)功能等价,IB 在大 IO 下略有 1.17× 性能优势。

  • 多源叠加是 GDS 独有特性:本地 NVMe + 远端 NVMe-oF(IB) + 远端 NVMe-oF(Ethernet)可同时跑满,在 CPU bounce 路径下因 Root Complex 拥塞而无法实现。

5.6 与 BlueField 的协同

  • BlueField 提供 RDMA 网络栈与 NVMe-oF target/initiator 卸载,是 GDS 远端存储路径的关键 enabler。

  • BlueField 上的 NVMe SNAP 把远端 NVMe-oF 在 host 侧仿真成本地 PCIe NVMe 盘,使 GDS 客户端代码无需改动;CUDA 12.8 起 SNAP 路径直接走 P2PDMA,无需 nvidia-fs.ko patch。

  • BlueField-3 的 PCIe Gen5 ×32 + 400 Gb/s 网络让 GDS 在远端能跑到接近本地 NVMe 的水平;BF-4 再加 800 Gb/s + Gen6 PCIe,使 NVMe-oF 与 HBM 之间的延迟逼近本地。

  • DOCA Memos(BF-4)将 KV Cache 直接以 RDMA + cuFile 风格的 API 暴露给 GPU,是 GDS 抽象层在"AI 原生存储"方向的延伸。

六、网络互联方案:InfiniBand、Spectrum-X、SuperNIC

6.1 InfiniBand(HPC / 紧耦合 AI)

  • Quantum-2(NDR 400G,2021):与 ConnectX-7 / BF-3 配合,DGX H100 SuperPOD 默认骨干。

  • Quantum-X800(XDR 800G,2024):与 ConnectX-8、Blackwell 同代。

  • 特性:SHARP(in-network reductions,AllReduce 加速 2×+)、Adaptive Routing、Self-Healing Network、SHIELD(链路层 FEC)。

6.2 Spectrum-X(专为 AI 的 Ethernet)

  • Spectrum-4(51.2 Tb/s 交换芯片)+ BlueField-3 SuperNIC 组合,构成业内首个"为 AI 优化的以太网"。(NVIDIA Spectrum-X Ethernet Platform for AI Networking)

  • 关键:

    • Adaptive Routing + Packet Spraying:每包独立路径,配合 SuperNIC 端的 RDMA Out-of-Order 重排。

    • Direct Data Placement (DDP):硬件保证 Out-of-Order 包到 GPU 内存正确位置。

    • Zero-Touch RoCE Congestion Control:基于 In-band Telemetry。

    • 在大规模 AllReduce 上 vs. 标准 RoCE 提升 1.6x–1.7x 有效带宽。

  • Spectrum-X 第二代(2025):800G,与 BlueField-4 / ConnectX-9 / Rubin 配套,是 CMX 的网络底座。

6.3 SuperNIC vs. DPU 区别

DGX H100 / HGX 节点:8× SuperNIC(计算面)+ 2× DPU(存储/管理面)是参考设计;Rubin 架构将切换到 ConnectX-9 SuperNIC + BF-4 DPU。

6.4 NVLink / NVSwitch

NVLink/NVSwitch 是 GPU 内部 scale-up 互联(一个 NVL72 域内 GPU 之间),BlueField/InfiniBand/Ethernet 是 scale-out 互联,二者是上下层关系。BlueField 不在 NVLink 域内,但 GDS 的动态路由可借用 NVLink 在 GPU 之间中继 RDMA buffer。

七、CMX(Context Memory Storage) 上下文记忆存储平台

7.1 定位与动机

NVIDIA CMX(Context Memory Storage Platform)是 2026 年 1 月(CES)正式发布、由 BlueField-4 驱动的 AI 原生存储平台,专为长上下文、多轮、Agentic AI 推理设计。 NVIDIA 的官方表述:

"CMX is an AI-native context tier for long-context, multi-turn, and agentic AI inference. Powered by NVIDIA BlueField-4, it extends GPU memory with a shared, pod-level context tier optimized for ephemeral KV cache."

它解决的根本问题:

  • KV Cache 不能长期存在 GPU 上(GPU 是稀缺贵资源),但又必须以接近 GPU 内存的速度被读写;

  • 传统块/文件存储延迟太高、协议太重、CPU 占用高;

  • 需要一个共享、低延迟、高带宽、专为 KV 优化的"第四层内存"——位于 GPU HBM 与传统对象存储之间。 

7.2 体系结构(端到端 Co-Design)

四层 Co-Design:

NVIDIA BlueField-4(处理器层):

  • 集成 Grace CPU + ConnectX-9,6x BF-3 算力,800 Gb/s 网络;

  • 直接管理 NVMe SSD(NVMe SNAP / NVMe-oF target);

  • 在硬件上 offload KV cache 的 placement、metadata、data integrity、encryption、压缩;

  • 支持 service function chaining,可同时跑 Memos、Storage、Security 微服务。

NVIDIA DOCA Memos(SDK 层 / 数据面):

  • BF-4 + CMX 优化的 SDK,专为 KV cache 共享/路由/重用而生;

  • 暴露简单 key-value API(put / get / lookup / evict),把以太网附着的 flash 变成 pod 级共享缓存;

  • 硬件加速 integrity(CRC/SHA)+ encryption(AES-XTS / AES-GCM),让应用保持无状态而 CMX 处理 KV 路由;

  • 与 NIXL(NVIDIA Inference Exchange Library)和 Dynamo serving 紧耦合。

NVIDIA Spectrum-X Ethernet(网络层):

  • 提供 800 Gb/s 低延迟 RDMA 互联,用于跨节点的 KV 共享;

  • Adaptive Routing + lossless RoCE + 高级拥塞控制,最小化 jitter 与 tail latency,确保多租户下"可重复"的性能;

  • 让 CMX 可以以 pod 为单位 scale 到多个 rack 而保持高吞吐 + 低尾延迟。

NVIDIA Dynamo(推理服务编排层):

  • 分布式推理服务框架,把 CMX 与底层 context tier 暴露成 pod 内"无缝"的 KV 抽象;

  • 实现 KV-aware request placement:把请求路由到已经持有相关 KV 的实例(reuse);

  • 提升 tokens/s、降低 TTFT,支持多轮 / 多 Agent 上下文重用;

  • 与 NIM 推理微服务、TensorRT-LLM、vLLM、SGLang 都可对接。

7.3 关键能力与性能

来自 NVIDIA 官方公开资料(CES 2026 / GTC DC 2025):

  • Rubin cluster-level KV cache capacity:rack-scale 共享 KV,单 pod 容量可达 TB→PB 级。

  • 5× higher tokens/s:相比传统存储方案。

  • 5× greater power efficiency:把更多 data center 能耗预算让给 GPU 计算。

  • Hardware-accelerated KV placement by BF-4:消除 metadata 开销、减少数据搬运、保证安全隔离访问。

  • Smart KV sharing across AI nodes:DOCA Memos + NIXL + Dynamo 协同。

  • Spectrum-X RDMA:低 jitter、高带宽 RDMA 访问 AI-native KV。

  • Multi-turn / Agentic 持久上下文:对长会话型 Agent 系统提供"短期记忆 + 长期记忆"统一基础设施。

7.4 与 GDS 的关系

  • GDS / cuFile:解决 GPU↔storage 的直连访问(文件/块语义);

  • CMX / DOCA Memos:解决 GPU↔KV cache tier 的直连访问(KV 语义);

  • 两者底层都靠 BlueField + RDMA + GPUDirect 系列;

  • CMX 可视为 GDS 思想在 KV / Object 抽象上的延伸:把"GPU 直接读写远端存储"扩展到"GPU 直接读写 pod 级 KV 缓存"。

  • 在同一个 AI Factory 中,GDS 仍然负责模型权重、训练数据、checkpoint;CMX 负责推理 KV 与 Agent 上下文记忆,互补而非替代。

7.5 部署形态与 STX

  • NVIDIA STX(Storage Reference Architecture):模块化 AI 存储参考设计;CMX 可视为 STX 的一种"上下文记忆"配置实例。

  • 典型 pod:1× AI 计算 rack(Rubin GPU + BF-4 SuperNIC)+ N× CMX 存储 rack(BF-4 + NVMe JBOF)+ Spectrum-X 二代 800G fabric。

  • API:

    • 对外:DOCA Memos KV API + NIXL + Dynamo;

    • 对内:NVMe-oF over RoCE / IB。

7.6 实践使用模式

  • 冷启动 / 模型切换:从 CMX 拉模型权重,BF-4 SNAP 仿真本地盘 + GDS 直达 HBM;

  • Decode 阶段:每生成一个 token 后,把溢出的 KV 异步推到 CMX;下一轮请求若命中相同 prefix(system prompt / 多轮历史),由 Dynamo 路由到对应实例并直接拉 KV;

  • Agent 多 hop:跨工具调用、跨 Agent 切换的上下文持久化在 CMX,所有 Agent 实例可见;

  • 多租户:BF-4 提供租户级 KV 隔离与加密,租户之间不可见。

八、大模型 / 视频生成 / 大规模推理场景下的应用收益

8.1 LLM / VLM 预训练(千亿 ~ 万亿参数)

预训练阶段的 IO 瓶颈集中在三件事:

  • 大规模 Tokenized Dataset Streaming:多 PB 级 tokenized data(Common Crawl/WebDataset/Mosaic shards/Parquet)需要持续灌入数千 GPU。

  • Checkpoint Save / Load:千亿参数 + Optimizer State 单点可达 1–5 TB,按 step 节奏写盘。

  • 集合通信(AllReduce/AllGather):跨节点 East-West 流量,受拥塞控制与路由质量直接影响 MFU。

BlueField + GDS + Spectrum-X 的收益:

  • 数据加载(Data Loader):通过 cuFile + NVMe-oF + BlueField,每 GPU 拉数据带宽从 SysMem 路径的 ~6 GB/s 提升到 13–20 GB/s(本地+远端叠加),消除 CPU DataLoader 抖动对 step time 的影响。RAPIDS cuDF / NVIDIA DALI / WebDataset 已原生集成 cuFile。

  • Checkpoint:原生支持 cuFile Stream Async + Batch,Checkpoint write 速度提升 3–8×,配合 BlueField 上的 DOCA Compress / AES-XTS,可同时做压缩 + 落盘加密;checkpoint 时间窗压缩,意味着 checkpoint 间隔可以更短(更少的丢失训练时间),是 megascale 训练(>10K GPU)必备能力。

  • 集合通信:BlueField-3 SuperNIC + Spectrum-X 在 RoCE 上跑出 1.6–1.7× 标准 RoCE 的有效带宽,对应 LLM 训练端到端 MFU(Model FLOPs Utilization)提升 5–10%(根据模型与 batch size)。

  • DPA 可编程拥塞控制:超大集群的 incast、long-tail 拥塞用自定义 PCC 算法(如 HPCC/Annapurna 类)替代 DCQCN,长尾延迟下降。

  • 故障域隔离:BF DPU 跑独立 OS 与 telemetry,控制面与训练面分离,单 GPU 节点重启不会影响 BF-managed 存储面。

8.2 视频生成 / 多模态预训练(Sora 类、Veo 类、世界模型)

视频/多模态模型(Sora、Veo、Cosmos、世界模型 + diffusion transformer)在数据维度的特殊性:

  • 样本极大:单条 720p/1080p 视频片段经 VAE encode 后 latent token 序列动辄 10⁵–10⁶,原始素材 PB 级;

  • 预处理流水:视频解码、关键帧提取、resize、tokenization 全部在 GPU 上做(NVIDIA DALI / VPF / NVDEC);

  • 多模态对齐:文本-视频-音频-3D 多源融合,IO pattern 高度随机。

BlueField + GDS 的收益:

  • NVDEC + GDS:视频帧从 NVMe-oF / 对象存储 → 直达 GPU HBM → NVDEC 硬解 → VAE encode,全程不经过 CPU,吞吐提升 ~9x(NVIDIA 官方在视频分析负载上的实测)。

  • 对象存储加速:与 MinIO、Cloudian、Hammerspace、VAST 等 S3 兼容存储集成,BlueField 上跑 RDMA-S3 / NFSoRDMA 客户端,把对象路径直接接入 cuFile。

  • 多并发 stream:cuFile Batch + Stream Async 配合 NVDEC 多 instance,单 H100 节点可并发解码上百路视频。

  • 视频生成推理:视频/Sora 类模型推理时既有"长上下文"(时间维度的 latent KV)又有大模型 KV Cache,BF-4 + CMX 可以把 spatial-temporal KV Cache offload 到 pod 级共享存储。

8.3 大规模推理部署(LLM Serving、Agentic、Long-Context)

大规模推理是 BlueField-4 + CMX 真正的"杀手级场景"。它解决的核心矛盾:模型越大、上下文越长、并发越高、Agent 多轮越深,KV Cache 占用越爆炸;但 KV Cache 存在 GPU HBM 里,GPU 既贵又稀缺。

KV Cache 经济学(以 Llama-3 405B class 为例):

  • 单 token KV ≈ 2 × layers × heads × head_dim × bytes_per_elem;405B 模型每 token KV ≈ 数十 KB。

  • 128K 上下文、batch=64 的并发推理,KV Cache 单 instance ≈ 几十 GB;多轮 Agent / RAG 场景下,Cache 增长到 TB 级。

  • 把 KV 完全留在 HBM:浪费 GPU;丢弃后重算(recompute):燃烧 prefill 算力,TTFT 升高。

BlueField + GDS + CMX 的解法:

NVIDIA 官方在 CMX + Dynamo + Rubin 组合上披露的关键指标:

  • 5x tokens/s(vs. 传统存储后端做 KV cache 的方案)

  • 5x 更好的功率效率

  • TTFT(Time to First Token)显著下降:因 KV 已在 pod 内可寻址,不需重算

  • 支持 Rubin 集群级 KV Cache 容量:多 rack 共享上下文层

  • 可用时间:BlueField-4 与 CMX 平台 2026 年下半年进入早期可用,作为 NVIDIA Vera-Rubin 平台一部分。

8.4 RAG / 向量检索 / Agent

  • 向量数据库(Milvus、Weaviate、FAISS、cuVS):索引规模常达几亿到几十亿向量,IO 要求接近 OLTP;通过 GDS + NVMe-oF + BlueField 直接把 ANN 查询数据 DMA 到 GPU,搜索 QPS 与延迟都优于 SysMem 路径。

  • Agent 多轮记忆:长期记忆/工具调用历史本质上是带 metadata 的 KV,CMX 提供"短期 KV + 长期 context memory"的统一抽象,DOCA Memos 把 key-value API 暴露给应用层,BlueField-4 硬件做 placement、加密与去重。

  • NIXL(NVIDIA Inference eXchange Library)+ Dynamo:CMX 通过 NIXL 与 Dynamo 紧耦合,在 serving 层做 KV-affinity 路由("把请求送到 KV 已在的实例"),避免跨 pod 拉 KV。

8.5 收益小结

九、部署模式与运维要点

  • BFB 镜像安装:bfb-install + rshim(USB/PCIe over USB)刷写 BlueField OS。

  • DPU 模式切换:mlxconfig -d <dev> set INTERNAL_CPU_MODEL=…,区分 Embedded/Separated host。

  • 驱动栈:Host 装 MLNX_OFED 或 DOCA-OFED;DPU 内已集成。

  • Kubernetes:NVIDIA Network Operator + DOCA Operator + SR-IOV / Multus / NVIDIA-Aerial CNI。

  • 观测:DOCA Telemetry Service(DTS)→ Prometheus / OTel;NetQ for fabric。

  • 安全基线:开启 Secure Boot + RoT,固件签名验证,PSP/Confidential Computing attestation;BF-4 引入 BlueField Advanced Secure Trusted Resource Architecture。

  • GDS 系统调优:参考 §6.4(IOMMU / ACS / NIC affinity / cufile.json)。

  • 常见坑:

    • PCIe Gen5/Gen6 信号完整性对 PCB / Riser 要求高,OEM 验证必看。

    • GDS 在多路径 NVMe(multipath)/ RAID 上需额外补丁,CUDA 12.8 之前依赖 nvidia-fs.ko 对 nvme.ko 的私有 patch。

    • Dynamic Routing 需要正确填写 rdma_dev_addr_list,否则会回退 SYS_MEM 损失带宽。

    • DCQCN 调参:在 Spectrum-X 域更推荐用 NVIDIA Zero-Touch RoCE,混合域需谨慎。

    • 大模型 Checkpoint:cuFile Async + 4 MB+ 块大小 + buffer register;避免循环 register/deregister。

十、参考链接

10.1 NVIDIA 官方主页 / Datasheet

10.2 DOCA / DPA / Memos

10.3 GPUDirect Storage / Magnum IO

10.4 BlueField-4 / CMX / STX / AI Factory

10.5 客户案例

10.6 社区 / 开发者资源

跳转微信打开

DeepSeek-V4 详细解析之 KV-Cache & 计算量

2026年4月26日 08:00

原创 AI闲谈 2026-04-26 08:00 北京

本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

一、引言

前几天笔者详细分析了各种旗舰大模型是如何节约 KV-Cache 的,也进一步分析了 KV-Cache 的变化对 AI-Infra 的影响(被低估的变量:KV-Cache 驱动的 AI Infra 演进)。没想到 DeepSeek 很快发布了 DeepSeek-V4,同样重点优化了 KV-Cache 大小。本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

DeepSeek-V4-Pro 非常适合长序列场景,论文摘要中重点提到 DeepSeek-V4-Pro 引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA),其在 1M 序列长度下,每个 Token 的 Inference FLOPs 只有 DeepSeek-V3.2 的 27%,而 KV-Cache 只有 DeepSeek-V3.2 的 10%,如下图所示。

对应的 Huggingface Repo:deepseek-ai/DeepSeek-V4-Pro · Hugging Face [1]

DeepSeek 相关文章可以参考:

二、KV-Cache

2.1 DeepSeek-V3.2 DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

2.2 DeepSeek-V3.2 DSA KV-Cache

DeepSeek-V3.2 模型的关键配置(config.json · deepseek-ai/DeepSeek-V3.2-Exp at main [3])如下:

  • num_hidden_layers:61

  • kv_lora_rank:512

  • qk_rope_head_dim:64

  • index_topk:2048

  • index_n_heads:64

  • index_head_dim:128

  • num_attention_heads:128

具体的 Cache 包含三类(假设 PE-Cache 为 FP16 类型,其他均为 FP8 类型,其中 L 表示序列长度):

  • MLA KV-Cache:[L, num_hidden_layers, kv_lora_rank] = L*61*512。

  • MLA PE-Cache:[L, num_hidden_layers, qk_rope_head_dim] = L*61*64 * 2。 

  • Indexer Cache:[L, num_hidden_layers, index_head_dim] = L*61*128。

因此总的 Cache 大小为:L*61*(512 + 64 * 2+ 128) = L * 61 *  704 = 46,848 * L byte。

2.3 DeepSeek-V4-Pro

DeepSeek-V4-Pro 的 Cache 要复杂的多,首先其包含了 Sliding Window Attention(SWA)机制,其次还额外引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA) 机制。对应的关键配置(config.json · deepseek-ai/DeepSeek-V4-Pro at main [4])如下:

  • num_hidden_layers:61

  • head_dim:512

  • n_heads:128

  • num_key_value_heads:1

  • window_size:128

  • index_topk:1024

  • index_n_heads:64

  • index_head_dim:128

  • compress_ratios = [128, 128, 4, 128, 4, ..., 128, 4, 0]

    • 对应 31 个 HCA 层,compress_ratio = 128

    • 对应 30 个 CSA 层,compress_ratio = 4

    • 最后一个 0 是 MTP 层

DeepSeek-V4 中的 Attention 最底层其实都是 Shared Key-Value MQA,具体来说:

  • 首先,是一个 MQA,所有 Query Head 共享相同的 KV。对于 V4-Pro,是 128(n_heads)个 Query Head 共享 1 个 KV Head(num_key_value_heads)。

  • 其次,Key 和 Value 是共享的,只有 1 份。

  • 也就是说,即使没有 Sparse/Hybrid 等机制,也已经将 KV-Cache 压缩到了非常小。

2.4 DeepSeek-V4-Pro HCA Cache

在 Shared Key-Value MQA 的基础上,在 HCA 层中额外引入了 SWA 和 HCA 压缩。

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • HCA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 128 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/128 * 512。

    • State-Cache:在尾部 Token 没有拼接够 128 个时,会临时放在 Buffer 中,也会占用一部分空间,不过是固定的大小。需要说明的是,HCA 层无 Overlap,coff = 1。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

综上,每一个 HCA 层的 Cache 为:

SWA KV + HCA KV + HCA State 

    = (128 * 512)+(L/128 * 512)+ (128 * 512 * 4 + 128 * 512 * 4)

    = 0.5625 MB + 4*L Byte

31 个 HCA 层的 Cache 为:17.4375 MB + 124*L Byte。

2.5 DeepSeek-V4-Pro CSA Cache

CSA 机制和 HCA 类似,只是压缩比没那么高,并且额外引入了 DSA 中的 Lightning Indexer 机制。所有 Cache 包括:

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • CSA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 4 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/4 * 512。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。CSA 层有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

  • Indexer:

    • KV-Cache(蓝色):大小与序列长度呈正比,同样 4 个 Token 对应 1 个 Token,不过维度更低,为 [L/compress_ratio, index_head_dim] = L/4 * 128。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

综上,每一个 CSA 层的 Cache 为:

SWA KV + CSA KV + CSA State + Indexer KV + Indexer State 

    = (128 * 512)

         +(L/4 * 512)+ (4 * 4 * 512 * 4 + 4 * 4 * 512 * 4 )

         +(L/4 * 128)+ (4 * 4 * 128 * 4 + 4 * 4 * 128 * 4 )

    = 0.140625 MB + 160*L Byte

30 个 CSA 层的 Cache 为:4.21875 MB + 4800*L Byte。

2.6 DeepSeek-V4-Pro 总 Cache

结合 HCA 层的 Cache 和 CSA 层的 Cache 可以得出总的 Cache 为:

31 层 HCA + 30 层 CSA 

    = 17.4375 MB + 124*L Byte + 4.21875 MB + 4800*L Byte 

    = 21.65625MB + 4924 * L Byte

PS:其实可以看出,决定 Cache 大小的关键是 CSA 层的 Compressed KV Cache + Indexer Key Cache = 4800 * L Byte。

此外,可以看出 DeepSeek-V4-Pro 的 Cache 机制非常复杂,包括很多不同类型,这也会为 Cache 的存储、排布带来极大挑战,如下图 Figure 6 所示:

2.7 DeepSeek V3.2  和 V4-Pro Cache 对比

结合上述 DeepSeek-V3.2 总 Cache 公式(46,848 * L byte)和 DeepSeek-V4-Pro 总 Cache 公式(21.65625MB + 4924 * L Byte)可以得出它们的对应关系。如下表所示,可以得出,当序列超过 128K 时,DeepSeek-V4-Pro 的总 Cache 几乎只有 DeepSeek-V3.2 的 10% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

366 MiB

60.125 MiB

16.428%

32K

1464 MiB

175.53125 MiB

11.990%

128K

5856 MiB

637.15625 MiB

10.880%

256K

11712 MiB

1252.65625 MiB

10.695%

512K

23424 MiB

2483.65625 MiB

10.603%

1M

46848 MiB

4945.65625 MiB

10.557%

三、每 Token TFLOPs

3.1 概述

每 Token 的计算量可以分为两部分:

  • Weight 参数相关乘加计算:大约等于每 Token 激活参数量 * 2(乘和加)

    • DeepSeek-V3.2:37B * 2。

    • DeepSeek-V4-Pro:49B * 2。

  • Weight 参数无关 Attention 计算:与具体的 Attention 机制有关,需要具体分析。

3.2 DeepSeek-V3.2 DSA 计算量

DSA 中 Weight 无关的计算主要包含两个部分:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层的计算量为:64 * 128 * L * 2。

    • 总的计算量为:64 * 128 * L * 2 * 61 = 999,424 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层的计算量为:128 * (512 + 64 + 512) * 2048 * 2。

    • 总的计算量为:128 * (512 + 64 + 512) * 2048 * 2 * 61 = 34.8B。

总的计算量为:37B * 2 + 999,424 * L + 34.8B = 999,424 * L + 108.8B。

3.3 DeepSeek-V4-Pro HCA 计算量

压缩的计算量很小,可以忽略。主要的计算量就是 (128 + L/128) 个 Token 的 Shared KV MQA(n_heads=128)。因此:

  • 每层(2 个乘法):2 * 128 * 512 * (128 + L/128) * 2。

  • 总的计算量(31 个 HCA 层):31 * 2 * 128 * 512 * (128 + L/128) * 2 = 63,488 * L + 1.04B。

3.4 DeepSeek-V4-Pro CSA 计算量

压缩的计算量很小,可以忽略。主要计算量是 Lightning Indexer 里和 Shared KV MQA:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层:64 * 128 * L/4 * 2。

    • 总的计算量为(30 个 CSA 层):64 * 128 * L/4 * 2 * 30 = 122,880 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层(2 个乘法):2 * 128 * 512 * (128 + 1024) * 2 = 0.302B。

    • 总的计算量为(30 个 CSA 层):0.302B * 30 = 9.06B。

3.5 DeepSeek-V4-Pro 计算量

因此 DeepSeek-V4-Pro 总的计算量为 HCA 计算量 + CSA 计算量 + Weight 参数计算量:

63,488 * L + 1.04B + 122,880 * L + 9.06B + 49B * 2 = 186,368 * L + 108.1B。

3.6 DeepSeek V3.2  和 V4-Pro 计算量对比

结合上述 DeepSeek-V3.2 总计算量公式(999,424 * L + 108.8B)和 DeepSeek-V4-Pro 总计算量公式(186,368 * L + 108.1B)可以得出它们的对应关系。如下表所示,可以得出,当序列长度为 1M 时,DeepSeek-V4-Pro 的每 Token 计算量只有 DeepSeek-V3.2 的 26.24% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

116.987B

109.627B

93.71%

32K

141.549B

114.207B

80.68%

128K

239.797B

132.528B

55.27%

256K

370.793B

156.955B

42.33%

512K

632.786B

205.811B

32.52%

1M

1156.772B

303.521B

26.24%

四、总结

通过上述分析可以看出,DeepSeek-V4-Pro 通过引入 HCA 和 CSA 机制,确实是在更大参数量/激活参数量的情况下实现了更小的 KV-Cache 和更低的计算量。具体来说:

  • Cache:远小于 DeepSeek-V3.2,当序列长度超过 32K 时,只有 V3.2 的 10%-11%,极大节约存储空间。

  • 计算:计算量的节约相对没那么夸张,在 1M 序列长度时确实有 3.7x 左右;而 128K 时只有 2x 左右。

五、参考连接

  1. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

  2. https://arxiv.org/abs/2512.02556

  3. https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/config.json

  4. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/config.json

跳转微信打开

Google TPU 系列之 TPUv8 全面解析

2026年4月23日 21:59

原创 AI闲谈 2026-04-23 21:59 北京

Google 在 2026.04 发布了第 8 代 TPU,包含 2 种芯片,用于 Training 的 TPUv8t 和用于 Inference 的 TPUv8i。此外,在第 8 代 TPU 系统中集成了基于 Arm 架构的 Axion CPU。

一、背景

Google 在 2026.04 发布了第 8 代 TPU,包含 2 种芯片,用于 Training 的 TPUv8t 和用于 Inference 的 TPUv8i。此外,在第 8 代 TPU 系统中集成了基于 Arm 架构的 Axion CPU。Axion 可以提供处理复杂数据预处理与编排任务的计算余量,确保 TPU 持续获得数据供给而无需停滞。(TPU 8t and TPU 8i technical deep dive | Google Cloud Blog [1])

笔者之前也详细梳理过 TPUv1 - TPUv7 的所有产品(全面解析 Google TPU 演进:从 TPUv1 到 TPUv7),详细参数如下表所示:

之前分享的相关文章:

二、TPUv8t

2.1 TPUv8t Chip

TPUv8t 专为大规模预训练和 Embedding 密集型 Workload 设计。采用 TPU 系列中常用的 3D Torus 网络拓扑,Pod 规模可以扩展到 9600 芯片,与 TPUv7 相当。相较于 TPUv7,TPUv8t 的核心突破包括:

  • SparseCore:专为 Embedding lookup 中不规则内存访问模式设计的加速器。负责卸载数据相关的 AllGather 等集合操作,避免使用通用核心的 zero-op 瓶颈。

  • VPU/MXU Overlap 及均衡扩展:通过更加均衡的  VPU 扩展,最大限度提升利用率,降低向量运算时间。使得量化、Softmax、LayerNorm 等操作更好与 MXU 的矩阵乘法 Overlap,避免 MXU 因为 VPU 瓶颈而出现 Bubble。

  • 原生 FP4 支持:TPU 首次引入 FP4 运算,突破内存带宽限制,在保持大模型低精度量化准确性的同时使 MXU 吞吐量翻倍。

  • ICI:TPUv8t 的 ICI 带宽提升 2x。从 TPUv7 中的 112G SerDes 升级到 224G SerDes,带宽翻倍,每个芯片带宽从 1.2TB/s 提升到 2.4TB/s。

需要说明的时,Google 分享中 TPUv7(Ironwood)的 42.5 EFops FP4算力实际是 FP8 算力(没芯片 4616T,共 9216 芯片),所以 2.8x 的提升有点标题党。

2.2 Virgo 网络拓扑

TPUv8t 相比 TPUv7 的另一个核心突破是采用了 Virgo 网络拓扑(Introducing Virgo Network megascale data center fabric | Google Cloud Blog [2]),可以实现 4x 的 DC 网络带宽提升。

Virgo 网络拓扑是面向现代 AI Workload 极端需求设计的 Scale-Out 架构。如下图所示,该网络基于大规模 Switch 构建,通过增加单 Switch Port 数量减少网络层级,采用扁平化的 2 层 non-blocking 拓扑架构。与传统 DC 网络相比,该设计可以最小化网络层级并显著降低时延。此外,还采用了多平面架构,图中数字 2 部分的不同颜色是不同的平面。Accelerator Rack 通过前端网络(Jupiter)接入计算和存储服务。具有以下优势:

  • 超大规模:Virgo 网络可以在单一架构中连接多大 134,000 TPUv8t 芯片,提供 47Pb/s 的无阻塞双向带宽,算力高达 160万 EFLOPS。

  • 跨代性能提升:相比于前代产品,TPUv8t 的带宽提升高达 4x,确保每个芯片都能充分发挥性能。TPUv7 每芯片 Scale-Out 带宽为 100Gb/s,TPUv8t  每芯片 Scale-Out 带宽提升到 400Gb/s。

  • 可预测的低时延:相比于前代产品,Virgo 网络可以为 TPUv8t 提供低 40% 的 unloaded fabric 时延。

2.3 更快的存储访问

Google 还在 TPUv8t 中引入 TPUDirect RDMA 与 TPUDirect Storage 技术。

  • TPU Direct RDMA 可以实现 TPU HBM 与 NIC 之间的直接数据传输,绕过 Host CPU 和 DRAM。这样可以降低时延并消除 Host 系统瓶颈,从而提升 TPU 间通信的有效带宽。

  • TPUDirect Storage 通过支持 TPU 与高速托管存储(如 10T Lustre)之间的直接内存访问,有效规避了 CPU 瓶颈,使海量数据传输带宽翻倍。芯片能够以链路速率接收训练数据,比如大型多模态数据集时,MXU 也能保持完全饱和状态。

三、TPUv8i

3.1 TPUv8i Chip

TPUv8i 专为 Post-Training 和高并发 Inference 设计,其搭载了最大的 SRAM、新的 Collectives Acceleration Engine(CAE)以及专为服务优化的 Boardfly 网络拓扑。具体来说:

  • 大容量片上 SRAM(384MB):TPUv8t 的片上 SRAM 达到前代(128MB)的 3x,能够将更大的 KV Cache 置于芯片上,从而在长上下文 Decoding 阶段显著减少计算核心的空闲。

  • Collectives Acceleration Engine(CAE):为了解决 Sampling 瓶颈,TPUv8i 增加了 CAE 单元,可以实现近乎 0 时延的跨 Tensor Core 结果聚合。每个 TPUv8i 包含 2 个位于 Core Die 上的 TC,以及位于 Chiplet Die 上的 CAE,取代前代 TPUv7 Core Die 上的 4 个 Sparse Core(SC)。通过集成专用 CAE,TPUv8i 将聚合操作的片上时延进一步降低 5x。

  • SparseCore:相比 TPUv8t,去除了 SparseCore。

3.2 TPUv8i Boardfly 拓扑

3D Torus 结构可以连接数千个芯片,但是芯片间的跳数比较多,All2All 通信时延较高。为此,在 TPUv8i 中更新了芯片互连方式,如下图所示:

  • 图左 - Building Block(BB):对应一个 Compute Tray,包括 4 个 TPUv8i 芯片,通过 ICI 链路全互联;此外,还提供 16 个外部连接以支持更广泛的互联。

  • 图中 - Group(G):8 个 BB 构成一个 Group,共 32 个 TPUv8i 芯片。通过铜缆实现全互联,利用 11 个可用外部连接进行组内通信。

    • 黑色:8 个 TPU 全互联。每个 TPU 7 个连接。

    • 蓝色(#2):分成 4 组,每组的 2 个 TPU 有额外的连接(PS:4 个?)。

  • 图右 - Pod:36 个 Group 组成一个 Pod,共 1152 个 TPUv8i 芯片(最多 1024 个激活芯片)。36 个 Pod 使用 OCS(Optical Circuit Switche)实现全互联,确保任意芯片间通信的不超过 7 跳。

如下图所示对应了最远的 7 跳,也就是跨 Group 的 TPU 通信。

  • Compute Tray(BB)内部最多 1 跳(1,3,5,7)。

  • Group 内部最多 3 跳:包括 BB 内部各 1 跳和 BB 之间 1 跳(2,6)。

  • Group 之间最多 7 跳:包括 Group 内部最多 3 跳和 Group 之间的 1 跳(4)。

在 TPUv8i 中弃用 3D Torus 拓扑主要就是因为网络直径:

  • 在 3D Torus 中,节点以网格形式排列,每个维度均呈环形闭合。比如 8x8x16(1024 芯片)为例,数据包需要遍历每个环结构的一半距离才能到达最远芯片:8/2(X) + 8/2(Y) + 16/2(Z) = 16 跳。

  • 虽然 3D 拓扑很适合 Dense 训练场景中相邻设备通信的场景,但是在 All2All 通信中会产生非常大的时延开销。

  • 对于 Reasoning 模型和 MoE 时代,任意芯片都可能需要与系统内其他芯片交互以实现 Token 路由,此时跳数指标的优化至关重要。

  • Boardfly 借鉴了 Dragonfly 拓扑,通过增加 Group 之间的直连光学连接数量,可以实现更扁平化网络。对于 1024 芯片的集群,Boardfly 将跳数从 16 压缩到 7,可以实现更低的尾时延,确保 TPUv8i CAE 无需等待从远端传输的数据到来。

四、参考链接

  1. https://cloud.google.com/blog/products/compute/tpu-8t-and-tpu-8i-technical-deep-dive

  2. https://cloud.google.com/blog/products/networking/introducing-virgo-megascale-data-center-fabric

跳转微信打开

被低估的变量:KV-Cache 驱动的 AI Infra 演进

2026年4月22日 20:01

原创 AI闲谈 2026-04-22 20:01 北京

最近在看下一代 AI 数据中心的建设方案,在做建模规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而影响 AI Infra 的设计。

一、引言

最近在看下一代大规模 AI 数据中心的建设方案,比如 Vera Rubin NVL72/Ultra Rubin NVL144、LPX、CMX 等。在做建模和资源规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而深刻影响 AI Infra 的设计边界。

训练阶段决定了模型的能力上限,推理阶段尤其是 KV-Cache 的存储、加载、共享与路由越来越直接地决定了系统的成本结构、吞吐上限以及最终的用户体验。这个变化不只发生在模型层,也在服务架构、内存/存储层级、网络互联和机房规划层面同时发生。

最近正好看到的一些和 KV-Cache 强相关的工作,本文中笔者从模型架构、应用场景和基础设施三个角度进行总结。本文除了讨论“KV-Cache 大不大”之外,也进一步讨论当 KV-Cache 的特性发生变化后,AI Infra 的服务形态和硬件选型会被如何重新改写。

相关工作可以参考笔者之前的文章:

二、不同模型架构

2.1 Attention 机制

2.1.1 Softmax Full Attention

如下图所示,Attention 中影响算术强度和 KV Cache 规模有两个关键因素:Attention 里 K 和 V 被多少个 Q 共享,以及 K 和 V 是否共享(假设 FP8 格式存储,Hidden Dim 为 H,n 个 Head,Head Dim 为 d=H/n,GQA 中有 g 个 Group):

  • MHA:Q 和 K/V 对应关系为 1:1,每个 Token 每层的 KV 大小为 2H。

  • GQA:Q 和 K/V 对应关系为 gq:1(每个 Group 里有 gq 个 Q, g=n/gq),每个 Token 每层的 KV 大小为 2H/gq=2gd。

  • MQA:Q 和 K/V 对应关系为 hq:1(有 hq 个 Query Head,hq>=gq),每个 Token 每层的 KV 大小为 2d。

  • MFA:等效于 MQA,每个 Token 每层的 KV 大小为 2C(C 是隐空间维度)。

  • MLA:K 和 V 共享,每个 Token 每层的 KV 大小为 C+dr(C 是隐空间维度,dr 表示 RoPE 编码维度)。

对于 Softmax 类型 Attention,总 KV Cache 大小与序列长度 S 和模型层数 L 成正比。也就是说, 在不做额外压缩或稀疏化的情况下,KV-Cache 大小可以写为(其中 B 表示数据类型字节数,FP16 为 2 Byte,FP8 为 1 Byte,FP4 为 0.5 Byte):

S * L * (单层单 Token 的 KV-Cache) * B

在 Softmax Attention 机制中,KV-Cache 的存储大小与 Decoding 阶段加载的 KV-Cache 大小相同。

2.1.2 Sparse Attention - SWA

滑动窗口注意力(Sliding Window Attention,SWA)的核心思想是:在做 Attention 计算时,当前 Token 不再关注之前的全部 Token,而是只关注一个有限窗口内的 Token。除此之外,可能也会关注额外的 Sink Token([2309.17453] Efficient Streaming Language Models with Attention Sinks [1])。以最基本的 SWA 为例,假设窗口大小为 W,则不论底层是 MHA、GQA 还是 MLA,KV-Cache 的有效存储和加载规模都会被窗口大小 W 所限制(存储大小和加载大小):

S * W * (单层单 Token 的 KV-Cache) * B

2.1.3 Sparse Attention - DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache(存储和加载)。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

  • PS:由于 MLA Cache 的维度为 576,因此当序列长度大于 576/128*2048=9K 时,Indexer Cache 的加载开销反而大于 MLA Cache。

在序列较长的情况下,DSA 可以显著降低 MLA Cache 的加载量和 Attention 计算量,从而降低 Inference 成本。但同时也要意识到,它是用索引阶段的额外开销去换取后续 Attention 阶段的降本。

2.1.4 Linear Attention - GatedDeltaNet

阿里在 Qwen3.5 系列模型中引入 [2412.06464] Gated Delta Networks: Improving Mamba2 with Delta Rule [3],同样可以大幅降低对 KV Cache 的依赖。GatedDeltaNet 层维护两个固定大小的 State(不随序列长度增长),以 Qwen3.5-122B-A10B 为例:

  • Recurrent State(主状态,DeltaNet 核心记忆矩阵):

    • Shape: (linear_num_value_heads, linear_key_head_dim, linear_value_head_dim) = (64, 128, 128) 。

    • 元素数:64 × 128 × 128 = 1,048,576。

    • 一般以 Float32 格式存储。

    • 每层的大小:1,048,576 × 4 bytes = 4 MB。

  • Conv State(卷积辅助状态,用于 gate/delta 计算前的 short conv):

    • Shape: (linear_num_value_heads × linear_value_head_dim, linear_conv_kernel_dim) = (8192, 4) 。

    • 元素数:8192 × 4 = 32,768。 

    • 一般以 Float32 格式存储。

    • 每层的大小:32,768 × 4 bytes ≈ 0.125 MB。

2.1.5 Linear Attention - Lightning Linear

蚂蚁在 Ling 系列模型中使用了 Lightning Linear Attention([2510.19338] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [4]),相比 GatedDeltaNet 更加简单,只用维护一个固定大小的 State(不随序列长度增长),以 Ring-2.5-1T 为例:

  • Recurrent State(主状态,核心记忆矩阵):

    • Shape:(num_kv_heads_for_linear_attn, head_dim, head_dim) = (64, 128, 128) 

    • 元素数:64 × 128 × 128 = 1,048,576 个元素。

    • 一般以 Float32 格式存储。

    • 每层的大小:1,048,576 × 4 bytes = 4 MB。

2.2 Cache 大小

基于上述分析,降低 KV-Cache 压力的思路基本可以归纳为以下几类:

  • MHA -> GQA:KV-Cache 规模会随 Group Size 增大而下降。MHA 可以理解为 Group Size 为 1 的特殊情况,MQA 可以理解为 Group Size = Head 数。

  • MLA:类似 MQA。

  • SWA:通过窗口限制,将有效 KV-Cache 的存储与加载规模控制在一个较小的范围内,可以忽略。

  • DSA:Indexer Cache 的维度更低,绝对规模更新,但依然无法忽略,并且并不会节约存储空间。

  • LinearAttention 系列:State 大小与序列长度基本无关,,Cache 很小,可以忽略。

  • Hybrid Attention 比例:Full Attention Layer 占比越低,整体 KV-Cache 压力通常也越小,比如 Ring2.5-1T 中,只有 1/8 层使用 MLA。

结合下图中常见模型的 Attention 配置和 KV-Cache 大小,可以看出相对比较有优势的架构是:

  • MLA + DSA:DeepSeek V3.2 和 GLM-5.1。

  • Hybrid Attention:GQA/MLA(层少) + SWA/Linear(层多),并且 GQA 中要使用较大的 Group Size。 

三、不同应用场景

3.1 应用场景分析

随着大模型能力的不断提升,其应用场景已经从简单的对话和 Offline Inference(Batch) 逐步演变为更复杂的 Agentic 工作流。不同场景对 TPS/User(Token 生成速度)的要求差异很大,而 TPS/User 又与并发度(Batch Size)密切相关。整体来看,TPS/User 要求越高,可承受的 Batch Size 越小,系统成本越高。

如下图所示为不同场景对 TPS/User 的需求:

Offline Inference:无实时交互需求,可最大化 Batch Size 提升 GPU 利用率。调度策略应当以吞吐优先,可容忍高延迟换取高总吞吐。

  • TTFT:不重要。

  • TPS/User:小于 20 Token/s 也完全可以接受。

  • 典型输出 Token 数量:和任务密切相关。

Chatbot(Non-reasoning):有一定的实时交互需求,但通常满足人眼的阅读速度即可。

  • TTFT:可接受(<2s);体验良好(<1s);体验非常好(<0.5s)。

  • TPS/User:可接受(15-20 Token/s);体验良好(20-50 Token/s);体验非常好(> 50 Token/s)。

  • 典型输出 Token 数量:100-500 Token。

Chatbot(Reasoning):增加了 Reasoning,输出 Token 数明显增加,不过用户往往对“深度思考”有更高的容忍度。通常来说,Thinking 部分需要适当快些,以便降低 E2E 时间,有效 Output 满足人眼阅读体验即可。

  • TPS/User:

    • Thinking 部分:50-100 Token/s。

    • Output 部分(用户可见):20-50 Token/s。

  • 典型输出 Token 数量:1,000 - 10,000 Token。 

典型 Thinking 长度

30 Token/s 等待时间

100 Token/s 等待时间

1,000 Token

33s

10s

5,000 Token

167s(较差)

50s

10,000 Token

333s(很差)

100s

Voice Assistant:人听词的速度比阅读速度慢,但是端到端的链路比较长,包括 ASR -> LLM TTFT + 首句生成 -> TTS 合成 -> 播放。因为起始阶段需要快速填充 TTS Buffer,对  TTFT 和 TPS/User 要求较高,随后并不需要较高的 TPS/User。

  • TPS/User:

    • 起始突发阶段:50-100 Token/s。

    • 稳定输出阶段:15-20 Token/s。

  • 典型输出 Token 数量:50-200。

Deep Research:多步 Agent 任务,需要多轮 LLM 调用 + 工具调用。用户通常预期会有较长的等待时间,对单次调用的 TPS 不敏感,但是也会期望总时间不要太长。

  • 总 Token 数量:10,000 - 100,000 Token。

  • TPS/User:50-200 Token/s

    • 200 Token/s 可以满足绝大部分需求,体验很好。

    • 100 Token/s 基本也都可以满足需求,体验不会太差。

    • 50 Token/s 极端场景下体验较差。

典型 Thinking 长度

50 Token/s 等待时间

200 Token/s 等待时间

10,000 Token

~3.3min

~0.8min

50,000 Token

~17min(较差)

~4min

100,000 Token

~33min(很差)

~8min

Coding Assistant:和用户会有频繁的交互,对时延比较敏感,通常要求较高的 TPS/User。不过 Coding Assistant 也可以分为不同的子场景分别优化,比如行内补全可以采用较小的模型获得较高的 TPS/User;对话模式会有较多的有效输出 Token 数,TPS/User 要求也不会特别高;而 Agentic Coding 场景自会有非常高的要求,通常要求分钟级的输出,不过这种场景也可以将任务拆分,进而控制整体输出长度,将单任务 Token 总数控制在 10,000 - 100,000 Token。

  • 典型输出 Token 数量:10,000 - 100,000 Token

  • TPS/User:100-400 Token/s

    • 400 Token/s 可以满足绝大部分需求,体验很好。

    • 200 Token/s 基本也都可以满足需求,体验不会太差。

    • 100 Token/s 极端场景下体验较差。

典型 Thinking 长度

100 Token/s 等待时间

200 Token/s 等待时间

400 Token/s 等待时间

10,000 Token

~1.7min

~0.8min

~0.4min

20,000 Token

~3.3min

~1.7min

~0.8min

50,000 Token

~8.3min(较差)

~4.2min

~2.1min

100,000 Token

~16.7min(很差)

~8.3min(较差)

~4.2min

大型 Coding 项目:对于一些中大型项目,代码行数甚至可达 50,000 行,假设每行平均 10 个 Token,则需要 500,000 Token,也基本达到当前常见模型的上限。即便不是这么大型的项目,也可能因为需要反复编写代码 -> 编译/测试 -> 修复异常循环,从而导致总 Token 数达到 128K - 512K。当然,该场景也可以通过子任务划分、压缩等发生降低单任务 Token 总数。

  • 典型输出 Token 数量:100,000 - 500,000 Token

  • TPS/User:

    • 1000 Token/s 可以满足绝大部分需求,体验很好。

    • 400 Token/s 基本也都可以满足需求,体验不会太差。

    • 200 Token/s 极端场景下体验较差。

典型 Thinking 长度

200 Token/s 等待时间

400 Token/s 等待时间

1000 Token/s 等待时间

100,000 Token

~8.3min

~4.2min

~1.7min

200,000 Token

~16.7min

~8.3min

~3.3min

500,000 Token

~41.7min

~20.8min

~8.3min

3.2 NVIDIA Rubin NVL72 + LPX 分析

如下图所示,为 Vera Rubin NVL72 和 LPX 的各种适用场景:

  • Rubin GPU 采用 HBM,非常适合长上下文,高吞吐的场景,随着 TPS/User 要求的提升,TPS/MW 逐渐下降。

  • LPX 主要使用 SRAM,带宽非常高,很适合对 TPS/User 要求极高的场景。当然,由于 SRAM 容量有限,无法充分容纳高并发下的 KV Cache 和激活,导致即使 TPS/User 要求不高,其 TPS/MW 也不会特别高。

如下图所示为 NVIDIA 提供的 Vera Rubin NVL72 + Groq 3 LPX 在不同场景下的吞吐:

  • TPS/User <= 100:Rubin NVL72 和 Blackwell NVL72 还能达到比较高的 Batch Size,TPS/MW 基本与算力呈正比。

  • 100 <= TPS/User <= 200:Blackwell NVL72 中 Batch Size 下降的更多,TPS/MW 下降的更快,Rubin NVL72 的优势开始凸显。

  • 200 <= TPS/User <= 400:TPS/User 要求非常高,Rubin NVL72 的优势非常明显,甚至 TPS/MW 达到 Blackwell NVL72 的 10x。Rubin NVL72 + LPX 的优势更加明显,甚至在 400 TPS/User 处达到 Blackwell NVL72 的 35x,是单独使用 Rubin NVL72 的 3.5x。

  • TPS/User >= 400:Rubin NVL72 + LPX 的优势非常明显。

四、NVIDIA CMX

4.1 概述

NVIDIA 在 GTC 上也发布了其准备针对 Context Memory(KV Cache)的 NVIDIA CMX Context Memory Storage Platform [5],可以在 Rubin NVL72 Rack 的基础上额外扩展 CMX 存储 Rack。其定位可以理解为:在传统 GPU/HBM/SSD 层级之外,为 Context Memory 引入一层更明确的共享存储能力。主要解决以下问题:

  • 跨 Rack 共享上下文。

  • 减少重复 Prefill 和历史重算。

  • 支撑 SuperPod 级的 KV-Aware 路由。

  • 为长上下文与多轮场景提供更可控的共享 Warm Tier。

  • 将共享 KV 从传统共享存储中剥离出来,避免用远端存储承载活跃 Context。

4.2 KV-Cache 存储层级

如下表所示,CMX 相当于在本地 SSD(G3)和远端共享存储(G4)之间额外增加了专门针对 KV-Cache 的共享存储:

  • 整个 SuperPod 共享(比如 1152 GPU),空间远大于本地 SSD,小于 G4 共享存储。

  • 相比访问远端 SSD 的链路更短,时延更低。

4.3 CMX 优劣势

Agentic 和多轮对话场景确实大幅推高了 KV-Cache 的存储需求,但是正如前文的分析,当前一些旗舰模型也在架构设计上充分考虑了 KV-Cache 的存储压力,通过 GQA/MLA、Sparse Attention、Hybrid Attention 等方式显著降低了这一压力。

对于真实的复合场景(序列分布不同、TPS 要求也不通)来说,长上下文需求本身未必一直占据很高的比重,更可能是一类长尾需求。

既然可以通过 Superpod 感知路由来避免跨 Superpod 的 CMX KV-Cache 加载,那么同样也可以考虑通过 Server/Rack 感知路由来尽量避免 SSD 中的 KV Cache 在 Server/Rack 之外额外迁移,以更充分地发挥本地 SSD 缓存 KV-Cache 的价值。

在需求尚未明确之前就额外采购 CMX,可能会造成采购预算的浪费。在一些情况下,把预算用于扩充更多 SSD 或 GPU Rack,反而可能更直接地提升系统整体能力。

CMX 也会对机房建设带来额外挑战,如果提前购买,可能会出现预算浪费;如果后续再补建,又可能带来机房改造风险,比如供电、机架容量或布线方案不再满足要求。更稳妥的方式,往往是在机房初期规划时预留对应的扩展空间和条件。

五、Moonshot Prefill-as-a-Service

5.1 概述

Moonshot 最近发布的 [2604.15039] Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter [6] 引起了不少讨论。它的价值并不在于模型结构或算法层面带来了巨大创新,而在于捕捉到了一个重要趋势:随着 Hybrid Attention 等方案让 KV-Cache 规模明显下降,异构 PD 分离在跨集群场景下开始变得真正可行。基于这个前提, 论文提出 Prefill-as-a-Service(PrfaaS)的思路:将长上下文 Prefill 选择性地卸载到独立的高算力集群,再把生成的 KV-Cache 通过普通以太网(前端网络)传回 Local PD 集群完成 Decoding。这样可以在一定条件下实现跨集群、跨机房、异构硬件解耦的 LLM Serving 架构。

5.2 异构集群

虽然 PD 分离刚出来时,很多人都鼓吹“异构 PD 分离”,但一旦进入到集群如何建设、如何互联、如何调度等具体问问时往往又哑口无言。核心难点在于,有几个问题并没有那么容易被真正解决:

  • 在 DC 建设时,通常不同类型的 GPU 是不同的集群,比如 A100、H100、B300、H20。

    • 一方面,因为它们的算力不同、后端网络不同、采购时间不同,在 PD 之前并没有太多混合调度的需求。

    • 另一方面,后端网络互联也会有挑战,A100 是 200Gb/s 网络为主,H100 是 400Gb/s 为主,而 B300 是 800Gb/s 为主。

    • 此外,后期搬迁重建也相对比较麻烦。

  • 不同设备的比例难以确定。

    • Workload 高度动态化,并且随时间和技术发展快速演进,比如短短半年时间,由于 Agent 的发展导致序列长度明显增加。

    • 模型结构的变种也很多,资源采购、机房建设的周期往往无法适应当前模型的快速演进。

5.3 跨集群、机房

跨集群的前端网络带宽通常比后端网络低得多。以 A100、H100 平台为例,前端网络带宽常见是 100Gb/s、200Gb/s 或 400 Gb/s,往往只有后端网络的 1/8 甚至 1/16。此外,前端网络通常会采用有收敛网络,导致核心链路更容易出现瓶颈。

当前的 Hybrid Attention + GQA/MLA 等机制已显著降低 KV Cache 规模,也让 Prefill 和 Decoding 之间的 KV-Cache 传输量明显下降。如下图 Table 3 所示,更大规模的 Hybrid Attention 模型的 KV-Cache 反而比更小的 Dense Attention(GQA)模型小得多,甚至达到 10x 差距。这与我们前面的分析类似,也就为跨集群的 KV-Cache 传输提供了可行性。

此外,也不是简单地把所有 Prefill 都放到高性能 GPU(比如 H100) 的 Prefill 节点上就可以。对于一些比较短的 Request,使用高性能 GPU 可能并不划算,再叠加跨集群传输延迟后,效果甚至可能不如直接由本地高带宽 GPU(比如 H20)节点处理。因此 Prfaas 的方案是将部分 Long Request 路由到 PrfaaS Cluster,而将 Short Request 和 Decoding 调度到 Local PD Cluster。如下图 Figure 3 所示:

5.4 局限性和挑战

PrfaaS 同样会面临一些现实挑战。如果把它放到真实生产环境中,前端网络除了承载 KV-Cache 传输外,还需要承载镜像下发、模型下发、用户 Request/Response 流量以及其他服务流量等。这些流量规模往往并不稳定,要么难以预测,要么需要做 QoS 隔离。如果处理不好,就可能污染 KV-Cache 传输路径,从而把压力传导到第二 Token 甚至后续 Token 的生成时延上。

六、其他工作

6.1 Google TurboQuant

前段时间 Google 的 [2504.19874] TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate [7] 也在社区中引起广泛讨论,甚至被炒作为“可以大幅降低存储需求”,引起存储厂商大跌。

实际上,TurboQuant 确实提供了进一步降低 KV-Cache 的可能,但其可带来的降幅并没有想像中那么大。在尽量保障精度的前提下,比较理性的压缩比例为 2x(8 bit -> 4 bit),远小于模型结构优化带来的提升幅度。

6.2 MSA: Memory Sparse Attention

在 [2603.23516] MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [8] 中,作者提出 Memory Sparse Attention(MSA),一种端到端可训练、兼顾效率与大规模可扩展性的 Memory 模型框架。通过可扩展稀疏注意力架构、文档级 RoPE 等核心创新,MSA 在训练和推理阶段均实现线性复杂度,同时保持精度稳定性。

论文结果表明,当 Token 从 16K 扩展至 100M 时,性能衰减幅度低于 9%;此外,结合 KV Cache 压缩与推理阶段的 Memory 并行机制后,可在 2 张 A800 GPU 上完成 100M Token 的推理任务。

然而,该方案也有相应的局限性。一方面,它需要对模型做额外训练或至少做较多架构级适配;另一方面,它的适用场景也更偏向文档问答、长文总结等 memory-centric 任务。

七、总结与判断

KV-Cache 已经不再是一个单纯的模型实现细节,而是正在成为连接 “模型架构” 与 “Inference Infra” 的关键中间变量。模型层对 KV-Cache 的重构方式,会直接决定 Inference 系统对 HBM、DRAM、SSD、前后端网络以及路由调度能力的需求结构。

模型越是能在架构上降低 KV-Cache 的存储与搬运成本,AI Infra 层的约束就越少,系统设计的自由度也越高。这也就意味着,未来的竞争重点不只是 “更大的 GPU” 或 “更高的带宽”,而是 “模型结构优化 + Serving 系统设计 + 硬件层级协同” 的联合优化。

  • 从模型趋势看,GQA/MLA、Sparse Attention、Linear Attention 和 Hybrid Attention 都在把 KV-Cache 从“必须累积增长”变成“可被结构性控制”的对象。

  • 从系统角度看,KV-Cache 规模下降并不只意味着存储成本下降,更意味着 Prefill/Decoding 分离、跨集群传输、异构调度等方案开始具备更强的落地可能性。

  • 从应用角度看,不同场景的核心矛盾并不相同:有些场景要吞吐,有些场景要 TPS/User,还有一些场景要的是总任务完成时间。因此,不应该使用单一指标去诜明所有 AI Infra 的价值。

  • 从硬件选型看,HBM GPU、DRAM、本地 SSD 以及类似 CMX 的中间层,未来更可能是长期共存而不是单一方案 “通杀” 所有场景。

  • 短期内最值得关注的,依然是 “模型端先把 KV-Cache 做小”。这会比 “在 Infra 层直接为大 KV-Cache 堆资源” 更具有普遍性,也更容易在多种场景下复用。

  • 从中长期看,真正的差异化优势可能来自 “KV-aware 的系统设计能力”:谁能在模型、调度、网络、存储和机房层面同时做联合优化,谁就更容易在下一轮 AI Infra 竞争中占据优势。

  • AI Infra 演进中的不确定性是最大的确定性,不说前提条件的结论大概率是忽悠。

八、参考链接

  1. https://arxiv.org/abs/2309.17453

  2. https://arxiv.org/abs/2512.02556

  3. https://arxiv.org/abs/2412.06464

  4. https://arxiv.org/abs/2510.19338

  5. https://www.nvidia.com/en-us/data-center/ai-storage/cmx/

  6. https://arxiv.org/abs/2604.15039

  7. https://arxiv.org/abs/2504.19874

  8. https://arxiv.org/abs/2603.23516

跳转微信打开

NVIDIA DWDP:NVL72 上的分布式权重数据并行推理

2026年4月13日 21:02

原创 AI闲谈 2026-04-13 21:02 广东

一、引言

简单介绍一下 NVIDIA 最近在 GB200 NVL72 针对 MoE 模型的一个 Inference 优化工作,需要说明的是,这不是一个万能的解决方案,有很多约束,比如主要适合 Prefill 阶段,TPS/User 要求不能特别高,输入序列长度也不能特别大。除此之外,提升也不是非常明显。

对应的论文为:[2604.01621] DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72 [1]

相关工作可以参考笔者之前的文章:

二、摘要

LLM Inference 越来越依赖多 GPU 执行,但现有的 Inference 并行策略需要进行层间跨 Rank 同步,导致 End2End 性能对 Workload 不均衡异常敏感。

本文中,NVIDIA 提出 DWDP(Distributed Weight Data Parallelism),在保持数据并行执行的同时,将 MoE 权重卸载到 Peer GPU 并按需获取缺失专家的 Inference 并行化策略。通过消除跨节点全局同步操作,每个 GPU 都可以独立进行 Inference 计算。进一步通过两项优化——分片权重管理与异步远程权重预取——解决了该设计的开销问题。

作者在 TensorRT-LLM 中实现,并在 GB200 NVL72 机器上使用 DeepSeek-R1 验证,在 8K 输入和 1K 输出条件下,当服务吞吐量处于 20-100 TPS/User 区间时,DWDP 在保持相当 TPS/User 的同时,将 End2End 输出 TPS/GPU 提升 8.8%。

PS:需要说明的是,本文的方案只适合 Prefill 阶段,因为 Prefill 阶段许多 Token 同时 Forward,在任何一层基本上都会激活所有 Expert,在这一假设下,可以提前预取下一层的所有缺失专家。如果是 Decoding 阶段,则会涉及预取哪些 Expert 的问题。

三、背景

3.1 分布式并行同步开销

LLM 越来越大,单个 GPU 难以容纳模型权重和 KV Cache,对于较大模型,通常会采用多个 GPU 共同部署。为此,通常会在 Hidden 维度使用 TP(Tensor Parallelism)、MoE 部分使用 EP(Expert Parallelism),甚至在层间使用 PP(Pipeline Parallelism)。虽然它们在模型切分方式上有所不同,但都需要在层边界处引入同步操作。

在现实的 LLM Serving 场景中,各个计算单元的 Workload 可能不太均衡,这种逐层跨 Rank 同步的局限性越来越明显。比如表现在:

  • 在 Request 层面,输入序列的长度不同,命中的 Prefix Cache 不同,导致计算和内存访问存在差距。

  • 在 Weight 层面,各计算单元激活的模型计算量可能不同,比如 MoE 中,热门 Expert 可能承载更多 Token。

如下图 Figure 1 所示为大规模 MoE 模型中常用的 EDP(DP 和 EP)策略(Attention 部分采用 DP、MoE 部分采用 EP)。如(b)所示,其中同步开销占比达到 12%,来自两个部分,如下图 (a)所示:

  • DP 部分 Request 的不均衡,导致 MoE 之前的 All2All 有同步等待的 Bubble。

  • MoE 部分 Expert 负载的不均衡,导致 MoE 之后的 All2All 同样有同步等待的 Bubble。

3.2 快手 PROBE

在 [2602.00509] PROBE: Co-Balancing Computation and Communication in MoE Inference via Real-Time Predictive Prefetching [2] 中,针对 MoE EP 中动态负载不均问题(计算负载较重的 Expert 所在的设备也要承担更大的 All2All 通信开销),作者提出 PROBE:把 “事后补救(reactive)” 改为 “提前准备(proactive)”。具体来说,在当前层运行时,系统并行地为下一层做三件事:

  • Predict(Gate-Initialized Lookahead Predictor):预测下一层激活的 Expert。

  • Plan(Hardware-Aware Balance Planning):算出复制哪些 Expert、如何分 Token。

  • Prefetch(Phase-Locked Co-Scheduling):提前把 Expert 权重搬到目标 GPU。

PS:关键是把这三个辅助步骤全部隐藏到主流水线的空隙里,不阻塞关键路径。如下图 Figure 10 所示,上述 3 个辅助步骤均隐藏在相应的主流水行过程中:

3.3 Sea-AILab On-Demand Communication

在 [2601.19362] Revisiting Parameter Server in LLM Post-Training [3] 中,针对 LLM SFT/RL 中样本序列长度不均衡,FSDP 逐层集合通信导致 Straggler 拖累问题,作者引入了参数服务器思想,用 ODC(On-Demand Communication)把同步粒度从 “每层” 放宽到 “每个 minibatch”,从而显著减少 Bubble,提升吞吐,实验最高加速 36%。

  • 如下图 Figure 1 所示为传统的 FSDP 方案,每个 F 和 B 后都需要集合通信同步,导致大量 Bubble。

  • 如下图 Figure 2 所示为 ODC 方案,可以大幅降低 Bubble 率。

ODC 方案不改变训练语义(仍需要同步优化),主要是修改了通信方式:

  • 将 All-Gather 集合通信(Figure 3 左图)拆分为点对点 Gather 操作(Figure 3 左图按需拉取参数分片)。

  • 将 Reduce-Scatter 集合通信(Figure 3 右图)拆分为点对点 Scatter-Accumulate 操作(Figure 4 右图)。

传统的 FSDP(NCCL)是双边通信模式,GPU A 想要从 GPU B 拉取数据,GPU B 必须停止当前的计算并响应请求。为了满足 “按需、非侵入” 的单边通信模式,ODC 采用了如下机制,GPU A 从 GPU B 拉取数据时 GPU B 无需停下计算操作:

  • 节点内使用 CUDA IPC。

  • 节点间使用 NVSHMEM。

除此之外,ODC 允许不同设备处理不同数量的 Microbatch,因此可以把负载均衡目标从 Microbatch 级提升到 Minibatch 级。比如上图 Figure 2 中:

  • Device 0:短 Batch(3F + 3B)+ 长 Batch(3F + 3B)。

  • Device 1:长 Batch(3F + 3B)+ 短 Batch(3F + 3B)。

四、方案

4.1 方案概览

如下图 Figure 2 展示了 DWDP 的核心思想。为适配完整模型,DWDP 在保持跨 Rank DP 执行的同时,将 MoE 权重卸载至 peer GPU。主要针对 MoE 权重,其在模型参数量中占绝大部分,而 Attention 权重仅占相对较小比例。每个 Rank 存储完整 Attention 参数,仅存储部分 Local Expert 参数。在执行 MoE 前,Rank 按需获取缺失的 Remote Expert。

运行时:

  • DWDP 将第 𝑙+1 层缺失的所有 Remote Expert 异步预取,与第 𝑙 层 Attention 模块计算 Overlap。为维持跨层流水线,DWDP 采用双缓冲机制进行预取。(PS:Prefill 阶段,大概率激活所有 Token)

  • 在执行第 𝑙+1 层 MoE 模块前,Rank 等待所有 Remote Expert 到达。

  • 该层执行完之后,预取的 Remote Expert 立即被释放。

为了避免跨 Rank 的同步,DWDP 不使用基于 NCCL 的远程权重 AllGather 集合通信操作;此外,基于 NCCL 的传输还会占用 SM 资源,可能干扰计算过程。相反,各 Rank 通过基于 Copy Engine 的 cudaMemcpyAsync 从 peer GPU 拉取 Remote Expert,不占用 SM 资源,避免跨 Rank 同步。当某层所需 Expert 全部到达后,各 Rank 可独立执行 Forward 而无需等待其他 Rank。从分离式服务的视角来看,每个 Rank 都是独立的 Inference Worker,可独立接收 Request 并返回 Response。

除了实现完全的异步 Inference 外,DWDP 还为 Expert 放置提供更大的灵活性,不再要求 Expert 数量必须被 DWDP Group 规模整除,也不要求跨 Rank 的 Expert 分布完全互斥。相反,必要时可以允许放置冗余 Expert。条件允许时,冗余机制还能通过增加各 Rank 的 Expert 数来降低远程预取开销。

然而,由于权重分为 Local Expert 和 Remote Expert,DWDP 需要高效的权重管理机制。此外,远程权重预取可能引入通信侧开销,包括通信-计算干扰以及源 Rank 处的多对一竞争。

4.2 初步分析

作者采用 layer-wise Roofline 模型来识别 DWDP 何时能够超越 DEP,以及限制收益的因素。此分析主要聚焦 DeepSeek-R1 在 GB200 上执行 Prefill 阶段,对 DWDP4 和 DEP4(Group Size 为 4)进行比较。

  • DWDP 的每层 Latency 建模为 𝑇DWDP = max(𝑇compute, 𝑇prefetch),𝑇prefetch 为 Expert 预取时间。

  • DEP 的每层 Latency 建模为 𝑇DEP = 𝑇compute + 𝑇all2all,𝑇all2al 为 EP 的 All2All 通信时间。

为了估算 𝑇compute,首先使用标准 Roofline 近似法对每层中的算子进行建模,对于计算量为 F,内存访问为 B 的算子,其时延估算公式为 𝑇op = max(𝐹/𝑃peak, 𝐵/BWmem),其中 𝑃peak 和 BWmem 分别代表硬件计算峰值吞吐和内存带宽。将 Attention 和 MoE 算子时间累加得到 𝑇compute。

基于该模型,重点关照两个衍生指标:

  • 𝑇compute/𝑇prefetch 比值(反映 DWDP 能否隐藏 Remote Expert 预取时间)。

  •  𝑇DEP/𝑇DWDP 比例(体现 DWDP 相对 DEP 的预期优势)。

如下图 Figure 3 展示了 Batch Size 为 1 时,这两项指标随着输入序列长度变化的分布:

  • 在约 16K Token 时,DWDP 开始超越 DEP 的性能。随着输入序列长度(ISL)的增加,这一优势愈加明显,表明较长的上下文提供了足够大的计算窗口,摊销并最终掩盖远程预取开销。增大 Batch Size 会扩展计算窗口,从而使得 DWDP 即使在较短的上下文中也能展现出优势。

  • DWDP 相较于 DEP 的优势在于从关键路径中消除了同步的 All2All 通信。然而,这一优势在 ISL 中并非单调递增。一旦序列变得非常长,两种方法中计算将占主导,因此同步的 All2All 开销在 DEP 延迟中所占比例较小。相应地,随着 ISL 进一步增长,DWDP 的边际加速效果逐渐减弱。

五、设计挑战和优化

5.1 基线实现和剖析

5.1.1 Kernel 统计分析

为理解 DWDP 的瓶颈,作者首先评估了一种基础实现方案。如下图 Table 1 对比了 DeepSeek-R1 模型中 DEP4 与 DWDP4 在 Prefill-Only 场景下的时延统计情况。相较于 DEP,DWDP 完全消除了同步开销,并将通信移出关键路径。与此同时,基线方案也呈现出两项性能衰退:

  • 基线 DWDP 中需要计算前将 Local Expert 和 Remote 合并到连续 Buffer,产生 34us 的 D2D Copy 开销。

  • Attention 计算及其他类别计算耗时增加,表明 Remote Expert 预取与计算 Overlap 会引发不可忽略的通信-计算干扰。

如下图 Figure 6 所示,GPU 上 Copy Engine(CE) 通过 NVLink 从 peer GPU 上拉取权重的过程。CE 作为专用数据移动引擎,不会占用 SM 计算资源,然而,数据传输仍需跨越两个 GPU 上片上网络(NoC)、L2 Cache 和 DRAM;同时,本地 SM Kernel 会发起内存请求。因此,Remote 权重预取与计算可能在存储的不同层级产生相互干扰。除了 NoC 仲裁冲突,L2、DRAM 带宽竞争外,还可能导致 GPU 处于高功耗,进而触发降频,从而影响计算。

  • Blackwell GPU 的 HBM 带宽约为 8TB/s;而 NVLink5 可高达 1.8TB/s 的聚合读写带宽,相当于 HBM 峰值带宽的 1.8/8=22.5%。因此,当 NVLink 流量饱和时,Memory Bound Kernel 最坏情况可能面临高达 22.5% 的性能下降。

  • 仅 Attention 模块计算的功耗就可达到 TDP 的约 96.7%,而双向通信功耗约占 TDP 的 30.5%(包括 12.9% 的空闲基线功耗)。也就是说,重度计算 Kernel 与通信 Kernel Overlap 时,总功耗约为 96.7% + 30.5% − 12.9% = 114.4% 的 TDP,超出功耗阈值。会触发动态电压频率调节(DVFS),导致GPU频率显著下降。

5.1.2 运行时 Trace 分析

作者还对 DWDP 实现的 Nsight System 运行时 Trace 进行深入剖析。发现:在每个 MoE 层中,不同目标 Rank 可能同时从同一个源 Rank 拉取缺失的 Remote Exper,从而在源 Rank 形成多对一的通信竞争。如下图 Figure 4 所示,分层计算窗口的时间与 Remote Expert 预取时间相当,此时源端的序列化操作会延长通信窗口,并在下一个计算区域开始前出现明显的计算 Bubble。

5.2 消除权重合并开销

当前的 MoE 计算实现中,通常会采用 GroupedGEMM 优化,GroupedGEMM 计算通常要求 Weight 存储在单一连续 Buffer。而 Local Expert 与预取的 Remote Expert 存储并不满足,因此需要引入额外的 D2D 操作,随后才能启动 Kernel 函数。增加了内存带宽开销和时延。

为了消除此类合并开销,作者对 GroupedGEMM Kernel 进行扩展,使其能够直接处理多个 Weight Buffer。使用 CuTeDSL 实现,将 TensorList 作为输入,Kernel 函数能够在内部从 Local Buffer 和预取的 Remote Buffer 中动态选择权重(会引入额外索引和地址计算开销,不过都比较小),不用依赖外部合并的 Buffer。

5.3 缓解异步通信竞争

5.3.1 理论分析

源 Rank 处拉取权重会造成多对一竞争,导致计算 Bubble。为了隔离这种竞争效应,作者分析了理想通信时间与逐层计算时间相当的边界状态,在此状态下,若无竞争,通信几乎可以完全被 Overlap。因此关键问题在于:仅异步竞争是否足以使几乎 Overlap 的通信转换为计算的 Bubble。

对于一个包含 N 个 Rank 的 DWDP 组,在单个通信轮次中,每个 Rank 需要从其他 N-1 个 Rank 拉取 Remote Weight。假设竞争时的理想总通信时间为 𝑇。由于每个 Rank 发起 𝑁−1 次串行拉取,单次拉取的理想服务时间为:

采用随机状态模型:每当某一 Rank 准备发起下一次拉取操作时,其源 Rank 在剩余 peer Rank 中均匀分布。对于标记的 Rank,在其选定某一源 Rank 后,其余 𝑁 − 2 个 Rank 各自以 1/(𝑁 − 1) 的概率选择同一源 Rank。因此,针对该源 Rank 的竞争请求数量为:

为简化模型,仅计算竞争概率。将竞争等级 𝐶 定义为同时针对同一源的拉取操作总数(包括标记的拉取操作本身),则 𝐶 = 𝑋 + 1。

在完全序列化等尺寸近似条件下,竞争度为 𝐶 的拉取操作将产生约 𝐶𝜏 的延迟,但实际延迟取决于众多系统因素。该研究的目标仅在于证明低阶多对一竞争会自然产生,因此需进行显式优化。如下图 Table 2 汇总了若干 DWDP 分组规模下的竞争概率。

这些结果表明,在随机异步执行下,最可能出现的是低阶竞争情况(如 𝐶=1 和 𝐶=2),但高阶竞争的概率随着 𝑁 的增加而逐渐增大。因此,即使没有异常调度,较大的 DWDP 组也会面临更高的多对一通信竞争。因此提出一种缓解策略,该策略特别针对常见的低阶竞争机制,以提升系统的鲁棒性。

5.3.2 时分复用复制

为解决源 Rank 中的多对一竞争问题,将每个 Remote 权重传输拆分为固定大小的切片,并以 Round-Robin 方式在所有活跃目标 Rank 间调度这些切片。关键在于:Copy Engine 采用流水线设计,对于足够小的请求,能够维持多个小切片并行传输。设切片大小为 𝑠,考虑 𝑠 足够小的场景,此时 CE 可同时保持两个切片处于传输状态。在此假设下,当首个切片发出后,CE 可在前一切片完全完成前开始发送下一个小切片。因此,即使某个切片因通信竞争而减速,源端仍可继续处理其他请求。换言之,分块机制将整体拉取操作转化为一系列较小的直接内存访问请求序列,而流水线执行则实现了这些请求间的部分 Overlap 执行。

该实现方案在每个源 Rank 上为每个目标 Rank 维护一个待处理切片队列。当某 Rank 需要提取大小为 𝑀 的 Remote Expert 时,该 Expert 会被划分为 𝐾 = [M/𝑠] 个切片。源端调度器以 Round-Robin 方式处理所有非空队列,每轮从每个队列最多调取一个切片。如下图 Listing 1 展示了构建此类批量预取复制规划的伪代码,其核心思想在于:先遍历切片偏移量,再以 Round-Robin 顺序遍历对等 Rank,从而使不同源 Rank 的切片在最终的 DMA 调度中实现交错排列。

上述机制的原理与高性能网络中基于虚拟通道的隔离技术具有相似性:当某条通道因竞争而减速时,其余通道仍能保持网络的高效利用率。此设计中,面向每个目标的切片队列发挥着类似作用,防止单个受阻的数据拉取操作阻塞所有针对同一源端的其他拉取请求。这种架构产生了一个特别重要的推论:若流水线引擎能同时维持两个小切片的传输状态,则即使两个在途请求各自遭遇 2 级竞争,节点级数据拉取仍不会减速。等效而言,仅当两个在途切片同时遭遇至少 3 级竞争时才会出现通信引发的减速现象。

六、实验结果

6.1 实验设置

硬件、软件栈与模型:所有实验均在 GB200 NVL72 上进行。使用 TensorRT-LLM 实现 DWDP (基于 TensorRT-LLM commit 3a89495。上游整合在 https://github.com/NVIDIA/TensorRT-LLM/pull/12136/changes [4])。DeepSeek-R1 模型,MoE 权重以 NVFP4 精度量化,Attention 使用 FP8 精度的 KV 缓存。

基线设置:所有评估均在 PD 分离下进行,DWDP 仅部署于 Prefill 节点。基线为相同运行时与硬件约束下的 DEP。特别说明,Decoding 服务器配置不变,仅修改与 DWDP 相关的 Prefill 配置。

评估指标:纯 Prefill 实验,主要报告相较于 DEP 基线的 TPS/GPU 收益比与 TTFT 收益比。端到端实验中报告 TPS/User、TPS/GPU 及 TTFT 指标。特别关注特定 TPS/User 约束下的吞吐效率权衡关系。TTFT 统计从请求抵达至生成首个 Token 的中位时间(含队列等待时间)。

6.2 Prefill-Only 结果

如下图 Table 3a 所示:DWDP 在 1K 至 32K 的输入序列长度范围内实现 1.09x-1.11x 的 TPS/GPU 提升,以及 1.11x-1.27x 的 TTFT 提升。当最大新生成 Token 数固定且足够大时,性能提升随输入序列长度的增加而降低。这一趋势与 Figure 3 的初步分析一致:随着序列长度增长,计算在上下文阶段延迟中的占比增大,因此通过减少同步通信获得的相对收益会变小。

如下图 Table 3b 所示:DWDP 在不同最大新生成 Token 数设置下实现 1.01x-1.10x的 TPS/GPU 收益与 1.07x-1.16x 的 TTFT 收益。在相同输入序列长度条件下,每次 Forward 传递的运行时 Token 预算越大,性能加速比越高,因为这为隐藏权重预取开销创造了更大的计算窗口。

如下图 Table 3c 所示:随着工作负载不平衡程度增加,DWDP 实现了 1.08x-1.15x 的 TPS/GPU收益与 1.11x-1.18x 的 TTFT 收益。当输入序列长度的标准差增大时,DWDP 相比 DEP 获得更高的收益。该结果印证了 DWDP 的核心设计动机:在更不均衡的工作负载下,DWDP 的异步执行机制避免了 DEP 所产生的日益增长的同步开销。

如下图 Table 3d 所示:DWDP3 与 DWDP4 在 TPS/GPU 加速比上表现几乎一致,表明 DWDP 在 Prefill 侧的核心优势在更小的分组规模中得以保持。但 DWDP3 的 TTFT 收益比较低,可能因为较小的 Prefill 部署提供较低的总吞吐量,从而导致首 Token 产生前的排队延迟增加。更重要的是,DWDP3 凸显了 DWDP 的额外优势:相比传统 DEP 配置,它能支持更细粒度的资源分配,这在 PD 部署场景中具有重要应用价值。

这些消融实验表明,DWDP 能够持续提升 Prefill 侧性能。其性能增益在以下两种情况下最为显著:

  • 一是当工作负载提供足够大的计算窗口以隐藏权重预取开销时。

  • 二是当工作负载不均衡使 DEP 的同步开销更为严重时。

分块权重合并消除的评估:  在与 Table 1 相同的配置下评估分块权重合并消除优化。通过该优化,DWDP 在关键路径中消除了 D2D 合并拷贝操作,相比 DWDP 基线实现约 3% 的 TPS/GPU 提升,且未对 GroupedGEMM 执行产生显著性能回退。

多对一竞争缓解机制的评估 :在 ISL=8K 的 Prefill-Only 工作负载下,使用 1MB 分片并调整 ISL 比例与 MNT 参数。如下图 Table 4 所示,当 MNT 值较小且 ISL ratio 较低时,完整方案带来的优势更大——因为较低的平均 ISL 缩短了逐层计算时间,而通信时间基本保持不变。这一趋势在 ISL ratio = 0.5 且 MNT=16K 时最为明显:采用合并消除的 DWDP 略低于 DEP,而完整版 DWDP 则显著更高。当计算窗口扩大时(例如 MNT=32K),额外收益会大幅减少,因为基线配置已能掩盖更大比例的通信成本。

6.3 端到端结果

端到端设置:进一步评估了在 PD 分离场景下 DWDP 对端到端性能的影响。最大输入长度为 8K 、输出长度为 1K、输入长度范围在 6.4K 至 8K(输入比例 0.8)的 SemiAnalysis 数据集。为评估 DWDP 的端到端效果,选取现有帕累托曲线上 20 至 200 TPS/User 区间的若干基准点,通过对比分析 DWDP 能否将这些基准点推进至更优区域——即在保持相近 TPS/User 的前提下提升输出 TPS/GPU,同时单独报告对应的 TTFT 权衡。为控制变量,固定 Deocoding 服务器的配置,仅对 Prefill 服务器应用 DWDP 策略,主要通过调整 Prefill GPU 数量来探索性能优化点。

TPS/User 与输出 TPS/GPU 分析:如下图 Figure 5 显示,DWDP 确实将端到端帕累托点推向更优位置:在相近的 TPS/User 水平下,其在大部分目标区间实现了高于基线的输出 TPS/GPU。

如下图 Table 5 汇总了各 TPS/User 区间的平均加速比:

  • 收益在低 TPS/User 区间最为显著。例如在 20-30 TPS/User 区间,DWDP 实现了 1.15x TPS/User 提升与 1.10x TPS/GPU 提升。对比具有相似 TPS/User 的帕累托点可发现,DWDP 通常比基线方案使用更少的 Prefill GPU 资源。表明增益主要源于 Prefill GPU 需求的降低。

  • 收益在高 TPS/User 区间逐渐减弱。该区域系统更显著受 Decoding 阶段瓶颈制约,且 Prefill 阶段无法积累足够 Token 以抵消 DWDP 预取机制的开销。因此 DWDP 仅提供有限效率增益,甚至出现轻微性能回退。

TTFT 时间分析:还评估了应用 DWDP 后的中位 TTFT,该时间包含排队等待时长。针对每个基准点,选取 TPS/User 最接近的 DWDP 配置点,比较其 TPS/GPU 与 TTFT 性能。与基准系统相比,DWDP 在所有评估的 TPS/User 区间均延长了 TTFT。

  • 在高 TPS/User 场景下,系统本就存在严重的 Decoding 阶段瓶颈,Prefill 阶段无法积累足够的 Token 来分摊 DWDP 预取开销。

  • 在低TPS/用户场景下,对于 Prefill GPU 数量削减幅度更大的配置组合,TTFT 可能出现显著增长。这些性能回退并不代表单 GPU Prefill 处理效率降低,而是因为缩减 Prefill 侧部署规模会降低 Prefill 阶段的整体服务速率,恶化 Prefill 阶段与 Decoding 阶段之间的速率匹配,进而增加首 Token 生成前的排队延迟。

七、参考链接

  1. https://arxiv.org/abs/2604.01621

  2. https://arxiv.org/abs/2602.00509

  3. https://arxiv.org/abs/2601.19362

  4. https://github.com/NVIDIA/TensorRT-LLM/pull/12136/changes

跳转微信打开

全面解析 NVIDIA 最新硬件:Vera/Rubin/Rubin Ultra/NVL72/NVL144/LPX 等

2026年3月21日 20:01

原创 AI闲谈 2026-03-21 20:01 北京

最近 NVIDIA 召开了 GTC-2026 大会,更新一系列 Rubin Platform 产品,并开始逐步量产,标志着下一代 Rubin 架构真正商用的到来。本文中我们对相应的产品和参数进行总结,相关数据主要来自 NVIDIA 官网和 GTC-2026 大会。

一、引言

最近 NVIDIA 召开了 GTC-2026 大会,更新一系列 Rubin Platform 产品,并开始逐步量产,标志着下一代 Rubin 架构真正商用的到来。本文中我们对相应的产品和参数进行总结,相关数据主要来自 NVIDIA 官网和 GTC-2026 大会。

相关工作可以参考笔者之前的文章:

二、相关硬件

2.1 Vera CPU

GB200/GB300 上使用的 Grace CPU 的下一代:

  • 88 个 Arm Core,176 线程。

  • 1.8 TB/s 的 NVLink-C2C 带宽。

  • 1.5TB LPDDR5X 内存,带宽为 1.2TB/s。

2.2 GPU

2.2.1 Rubin GPU

如下图所示为最基础的 Rubin GPU:

  • 算力:

    • 每个 GPU 2 个 Die,中间通过 NV-HBI 连接,共 224 个 SM,896 Tensor Core。

    • FP16 稠密:4P(比 Blackwell 200/300 的 2.25P 的 1.78x)

    • FP8 稠密:17.5P(是 Blackwell 200/300 的 5P 的 3.5x)

    • NVFP4 稠密(Training):35P(是 Blackwell B300 的 13.5P 的 2.6x)

    • NVFP4 稀疏(Inference):50P(是 Blackwell B300 的 15P 的 3.5x)

    • NVLink-6 带宽:3.6TB/s(是 Blackwell B300 的 1.8TB/s 的 2x)

  • 288GB HBM4 显存,带宽 22TB/s(是 Blackwell B300 的 8TB/s 的 2.75x)

2.2.2 Rubin Ultra GPU

如下图所示为最基础的 Rubin Ultra GPU(图中是 Rubin Ultra NVL576,是早起按照 Die 数量命名,后续改为按 GPU 数量,对应 Rubin Ultra NVL144;此外,左侧机柜为上一代方案,GTC2026 上有了新的机柜方案):

  • 算力(基本上是 Rubin GPU 的 2x):

    • FP16 稠密:8P(比 Blackwell 200/300 的 2.25P 的 3.56x)

    • FP8 稠密:35P(是 Blackwell 200/300 的 5P 的 7x)

    • NVFP4 稠密(Training):70P(是 Blackwell B200/B300 的 10P 的 7x)

    • NVFP4 稀疏(Inference):100P(是 Blackwell B300 的 15P 的 7x)

    • NVLink-7 带宽:10.8TB/s(是 Blackwell B300 的 1.8TB/s 的 6x)

  • 1TB HBM4e 显存,带宽 32TB/s - 64TB/s 之间,NVIDIA 没有提供(是 Blackwell B300 的 8TB/s 的 4x-8x)。

  • Scale-Out 网络带宽:按下图是 115.2TB/s / 144 = 6.4Tb/s。(PS:这里感觉有问题,Vera Rubin NVL72 每个 GPU 对应的网卡只有 1.6Tb/s,Rubin Ultra 算力扩大 2x,不太可能网络带宽扩大 4x。)

2.2.3 Vera Rubin SuperChip

和 GB200/GB300 类似,1 个 Vera CPU + 2 个 Rubin GPU,通过 NVLink-C2C 连接:

2.3 Groq-3 LPU

如下图所示,NVIDIA 花费 $20 B 收购 Groq 后,于 GTC2026 首次发布 Groq-3 LPU(Language Processing Unit),其有超大的 SRAM,带宽非常高。该芯片的定位并非是取代 Rubin GPU,而是弥补 NVIDIA Rubin GPU + 细粒度 MoE 模型在 Agentic 场景利用率不高的问题。

  • 每个芯片 500MB SRAM。

  • SRAM 具备 150 TB/s 超高带宽,是 Rubin GPU HBM4 的 7x,非常适合 Memory Bound 明显的 LLM Decoding。

  • 目前不支持 NVFP4,只提供 1.2 PFLOPs 的 FP8 算力。

如下图所示为 Groq-3 LPU 的架构图:

  • MXM:矩阵执行模块,主要负责乘加累积张量运算(矩阵-矩阵/矩阵-向量乘法),1.2PFLOPs 的 FP8 算力。

  • VXM:向量执行模块,处理 Pointwise 算术运算,比如向量加减法、类型转换、激活函数(ReLU、SiLU)等。

  • SXM:交换/开关执行模块,负责结构化数据移动和重塑,比如 Permutation、转置等。

  • MEM:SRAM,500MB,150TB/s 带宽。

  • C2C:支持 LPU 之间的高速连接。

2.4 NVLink-6 Switch

NVSwitch 也伴随着 NVLink-6 升级:

  • 每个 NVLink-6 Switch Tray:

    • 包含 4 个 NVSwitch 芯片,可以提供 28.8TB/s 的聚合带宽。

    • 提供 4 * 3.2 TFLOPS=12.8 TFLOPS 的计算能力(PS:用于 AllReduce 等)。

  •  NVLink-6 Switch Rack:

    • 9 个 NVLink-6 Switch Tray 可以实现 260Tb/s 的带宽,支持 Vera Rubin NVL72 的 NVLink 全互联。

2.5 ConnectX-9 SuperNIC

由于标准制定的原因,NVIDIA 在推出 CX-8 网卡时并不能提供 800Gb/s 的 Ethernet Port,只能 2 个 400 Gb/s Port,但是 IB Port 却可以到 800 Gb/s。在新的 CX-9 网卡中改进了这一问题,Ethernet 和 IB 都可以支持 800 Gb/s Port。该 

因为 CX-8 和 CX-9 的最大总带宽都是 800Gb/s,为了在 Vera Rubin NVL144 和 Vera Rubin Ultra NVL144 中支持更大的 Scale-Out 带宽,NVIDIA 选择了每个 GPU 多个 Port(Switch 芯片)的方案。如下图所示:

  • 左图 2 个 CX-9 Switch 芯片,可以提供 2 个 800Gb/s Port,总带宽 1.6Tb/s。

  • 右图 1 个 CX-9 Switch 芯片,可以提供 1 个 800Gb/s Port,总带宽 800Gb/s。

2.6 CPO 交换机

CPO (Co-Packaged Optics,光电共封装)直接将光引擎(硅光芯片)与 ASIC Switch 芯片封装在同一个载板(Substrate)上,形成一个超级芯片模组。这样做的好处是可以获得更低的功耗、更低的延迟:在 800G/1.6T 时代,光模块中 DSP 芯片功耗可达整个光模块功耗 50%,CPO 可以去掉 DSP,功耗降低约 50%,且传输延迟近乎为零。

基于此,NVIDIA 在 800Gb/s Switch 中开始采用 CPO 方式,推出对应的 Quantum-X IB Photonics Switch 和 Spectrum-X Ethernet Photonics Switch(Silicon Photonics Networking for Agentic AI | NVIDIA)。

  • 上图:Spectrum-6 SN6000(Ethernet):最多 128 个 800Gb/s Port,最大 102.4Tb/s 总带宽,2-Tier 就可以支持 10 万卡。

  • 下图 Quantum-X800(IB):最多 144 个 800Gb/s Port,最大 115.2Tb/s 总带宽。

如下图所示为 Spectrum-X 支持的 4 平面拓扑:

如下图所示,其中 Quantum-X Photonics CPO Switch(Q3450-LD) 提供 144 个 800Gb/s 的 Port(MPO 连接器,下图黄线连接部分):

然而 CPO 也有其局限性,对良品率、无故障时间都有更高的要求,不可插拔的光模块导致维护成本明显提升,一旦故障可能需要整个 Switch 维修或替换,涉及的节点数非常多。通过备机替换再维修的方式可以大幅降低影响周期。

2.7 BlueField-4 DPU

如下图所示,BlueField DPU 也升级到第四代,使用的网卡从 CX-7 的 400Gb/s 升级到 CX-9 的 800Gb/s。与此内存,内存带宽和 Arm 核都有 4x 提升: 

三、服务器 & Rack

3.1 DGX Rubin NVL8

DGX Rubin NVL8 是 DGX B300 的继任者,其配置如下图所示:

3.2 Vera Rubin NVL72

3.2.1 Vera Rubin NVL72 Compute Tray

如下图所示为 Vera Rubin NVL72 中使用的 Compute Tray,其包括:

  • 2 个 Vera Rubin SuperChip,2 个 Vera CPU,4 个 Rubin GPU。

  • 1 个 BlueField-4 DPU,800Gb/s NIC。

  • 8 个 CX-9 芯片,每个 GPU 2 个 800Gb/s Port,带宽 1.6Tb/s。

  • 100% 的液冷。

3.2.2 Vera Rubin NVL72 Rack

如下图所示为标准的 Vera Rubin NVL72 Rack,共包含:

  • 18 个 Compute Tray,36 个 Vera CPU,72 个 Rubin GPU。

  • 9 个 NVSwitch Tray,9*28.8TB/s=259.2TB/s NVLink 聚合带宽。

  • 4 个 110kW Power Tray(2 x 220kW)。

如下图所示,9 个 NVSwitch Tray,36 个 NVLink-6 Switch 芯片可以实现 72 个 GPU 的 NVLink 全互联:

3.3 Vera Rubin Ultra NVL144

3.3.1 Rubin Ultra Kyber 垂直机架

专为 Rubin Ultra 设计,全新的 Kyber Rack,以替代之前的 Oberon Rack,和传统的水平插拔不同,Kyber 采用垂直插拔设计,通过背板的中板(Midplane)连接。可以实现 144 GPU 的 NVLink 互联。

  • Rubin Ultra Node:

    • 2 个 Vera CPU。

    • 4 个 Rubin Ultra GPU。

  • Kyber Midplane:Rubin Ultra Node Tray 竖着插到 Midplane,竖向 4 个口。共有 18 列,可以接 18 个 Rubin Ultra Node Tray。

  • NVSwitch-7 模组:接到 Midplane 的背面,也是竖着放,实现 144 GPU 的 NVLink 全互联。

基于 Kyber Rack 的 Rubin Ultra NVL144 可以看成一个三明治结构,实现 144 GPU NVLink 全互联而无需铜缆:

  • 前层:

    • 36 个 Compute Tray,分上下两组,每组 18 个竖放,每组接到一个 Midplane 上。

    • 共 36 * 2 = 72 个 Vera Ultra CPU。

    • 共 36 * 4 = 144 个 Rubin Ultra GPU。

  • 中层:

    • Midplane,上下两组,各对应 18 个 Compute Tray。

  • 后层:

    • NVSwitch-7 模组(包含 6 个 NVLink-7 Switch 芯片),竖放,接在 Midplane 的背面。

如下图所示为 NVIDIA Kyber NVL1152 Superpod 中使用的 Rubin Ultra NVL144 Rack,共 8 个 Rack,每个 Rack 都分上下两层 Compute Rack:

3.4 Groq-3 LPX

如下图所示,Groq-3 LPX 包含 32 个 Compute Tray:

  • 256 个 Groq-3 LPU。

  • 500MB * 256 = 128GB SRAM。(PS:这个相对来说有点小,无法存下整个模型,真正用于大模型 Decoding 的话需要结合 Prefetch 和 Overlap)

  • 150TB/s * 256 = 38.4 PB/s 的 SRAM 带宽。

四、针对 Agentic 场景的 Vera Rubin NVL72 + Groq-3 LPX

4.1 Agentic 场景的挑战

如下图所示,TPS/User 要求越高,TPS/MW(吞吐) 越低,这主要是因为 LLM Decoding 中提升吞吐的主要手段是 Continuous Batching,而 Continuous Batching 往往会导致 TPS/User 的降低,因此对于 TPS/User 要求比较高的场景往往无法达到比较大的 Batch Size,存在明显的 Memory Bound 问题。

  • 左(TPS/User <= 100):Rubin NVL72 和 Blackwell NVL72 还能达到比较高的 Batch Size,TPS/MW 基本与算力呈正比。

  • 中(100 <= TPS/User <= 200):Blackwell NVL72 中 Batch Size 下降的更多,TPS/MW 下降的更快,Rubin NVL72 的优势开始凸显。

  • 右(200 <= TPS/User):TPS/User 要求非常高,Rubin NVL72 的优势非常明显,甚至 TPS/MW 达到 Blackwell NVL72 的 10x。

Agentic 场景通常包含非常长的 Reasoning Token,而用户通常可能不太关注这部分 Token,为了提升用户体验,就需要非常高的 TPS/User,将 Reasoning Token 的生成隐藏在用户关注的 Token 之下。

4.2 Vera Rubin NVL72 + Groq-3 LPX

4.2.1 架构

Groq-3 LPX 的超高 SRAM 带宽非常适合 Memory Bound 很明显的小 Batch Size Decoding 场景,正好可以弥补 200 <= TPS/User 时 TPS/MW 快速下降的问题。为此,NVIDIA 在 GTC2026 上重点介绍了 Vera Rubin NVL72 + Groq-3 LPX 的异构 AFD(Attention/MoE 分离)方案。如下图所示:

  • Vera Rubin NVL72 中(PS:这里没有使用 Vera Rubin Ultra NVL144):

    • 部分 GPU 执行 Prefill(明显的 Compute Bound 场景,且需要很大的 Memory 空间存 KV Cache)。

    • 部分 GPU 执行 Decoding 的 Attention(同样需要存储很大的 KV Cache,并且由于 GQA、MLA、Linear Attention 等方案的应用,Memory Bound 问题相对较小)。

    • KV Cache 可以通过 NVLink 或网络传输。

  • Groq-3 LPU Rack:

    • 负责执行 Decoding 中的 FFN 操作。(细粒度专家场景,会明显降低算术强度,Memory Bound 的问题非常明显,主要需要存储 Expert 权重)

    • 需要和 Vera Rubin NVL72 之间传输激活,通过网络传输。

4.2.2 结果

如下图所示,Rubin + LPX 的方案可以大幅缓解 200 <= TPS/User 时 TPS/MW 快速下降的问题,Rubin NVL71 + LPX 的方案相比 Blackwell NVL72 方案可以获得 35x 的 TPS/WM。此外,也可以获得更大的 TPS/User。

4.3 Rubin GPU  + LPX 投机采样

如下图所示,也可以将 LPX 用于投机采样中的 Draft Model,可以快速生成草稿,然后 Rubin GPU 用于 Target Model 的快速验证。

五、对比

5.1 DGX Rubin NVL8 和 DGX B200/300 对比

如下图所示,展示了 DGX NVL8 系列的关键数据,重点对比 DGX Rubin NVL8 和 DGX B300,可以看成:

  • 显存容量(288GB)、后端网络(8 x 800Gb/s)没有变化,可能成为瓶颈。

  • 其他基本处于 2x-4x 之间:

    • FP16 稠密算力 32/18=1.8x。(PS:当前训练常用,不过也都再向 FP8 训练过渡)

    • FP8/FP6 稠密算力 140/36=3.9x。

    • FP4 稠密算力 280/108=2.6x。

    • 显存带宽 160/64=2.5x。

    • NVLink 带宽 28.8/14.4=2x。

  • DGX Rubin NVL8 的优势是 FLOPS/W 更高,功耗只有 DGX B300 的 24/14.3=1.7x。

  • DGX Rubin NVL8 需要使用液冷。

5.2 NVL72/NVL144 对比

如下图所示,展示了 NVL72/NVL144 系列的关键数据:

  • GB300 NVL72 vs Vera Rubin NVL72

    • 算力、HBM、NVLink 的差异与 DGX Rubin NVL8 vs DGX B300 的差异一致。

    • 不同:

      • Vera Rubin NVL72 中每个 Rubin GPU 使用 2 个 CX-9 芯片,因此每 GPU 的 Scale-Out 网络带宽从 800Gb/s 提升到 1.6Tb/s。

      • Vera Rubin NVL72 中每个 Rubin GPU 显存带宽是 22TB/s,略高于 DGX Rubin NVL8 的 20TB/s(PS:还是 NVIDIA 写错了?)。

  • Rubin Ultra NVL144 vs Rubin NVL72:

    • 由于 Rubin Ultra 变成 4 个 Die,算力是 Rubin 的 2x;此外数量从 72 -> 144 翻倍,所以 Rack 的算力是 4x 关系。

    • 不同:

      • 显存:

        • HBM4 -> HBM4e。

        • 容量 288GB -> 1TB,GPU 维度 3.5x,Rack 维度 7x。

        • 带宽 22TB/s -> 32TB/s~64TB/s 之间。

      • NVLink:

        • NVLink-6 -> NVLink-7

        • 3.6TB/s -> 10.8TB/s,GPU 维度 3x,Rack 维度 6x。

      • Scale-Out 网卡:

        • 大概率是从每 1.6Tb/s -> 3.2Tb/s,GPU 维度 2x,Rack 维度 4x。

      • 功耗:

        • 220kw -> 600kw,3x 左右。

六、相关链接:

  1. Inside the NVIDIA Vera Rubin Platform: Six New Chips, One AI Supercomputer

  2. NVIDIA Vera Rubin POD: Seven Chips, Five Rack-Scale Systems, One AI Supercomputer

  3. Vera Rubin – Extreme Co-Design: An Evolution from Grace Blackwell Oberon

  4. Keynote at NVIDIA GTC San Jose 2026

  5. Silicon Photonics Networking for Agentic AI | NVIDIA

  6. Infrastructure for Agentic AI at Scale | NVIDIA DGX Rubin NVL8

  7. Rack-Scale Agentic AI Supercomputer | NVIDIA Vera Rubin NVL72

跳转微信打开

NVIDIA GTC2026 详细解读和分析

2026年3月18日 23:00

原创 AI闲谈 2026-03-18 23:00 北京

本文会重点介绍一下 GTC2026 硬件部分,也会进一步完善一些关键部分的分析和解读。

一、引言

最近几天 NVIDIA 正在召开 GTC 2026,按照惯例,笔者也继续介绍一下相关内容。考虑到网上已经有非常多介绍,本文中会刻意省略一些部分,比如最近爆火的小龙虾 - NemoClaw,以及 NVIDIA 与 Google Cloud、AWS、Azure 等合作的软件栈等内容;本文会重点介绍一下硬件部分,也会进一步完善一些关键部分的分析和解读。

相关视频可以参考:Keynote at NVIDIA GTC San Jose 2026 [1]

相关详细资料可以参考笔者之前的文章:

二、数据处理

2.1 结构化 - cuDF

cuDF(CUDA DataFrame) 是 NVIDIA RAPIDS 生态中的核心组件,提供类似 Pandas 的 API,可以在 GPU 上执行 filter / groupby / join / aggregation / 时序处理等操作。

  • 对应的代码库为:rapidsai/cudf - GPU DataFrame Library · GitHub [2]

2.2 非结构化数据 - cuVS

cuVS(CUDA Vector Search) 是 RAPIDS 新的向量检索库,提供索引构建和向量检索等能力。可以在 GPU 上做大规模向量相似度检索(ANN)。

  • 对应的官方文档:cuVS | NVIDIA Developer [3]

  • 对应的代码库:rapidsai/cuvs: cuVS - a library for vector search and clustering on the GPU · GitHub [4]

如下图所示为其典型应用场景,包含特征提取、索引构建、检索等能力:

如下图所示,其基于 NVIDIA CUDA 软件栈构建,包含众多用于组合向量搜索系统的核心模块,支持 C/C++/Rust/Java/Python/Go 等编程语言。

PS:业内用的比较多的还有 Milvus [5] 等,其架构如下图所示:

2.3 案例分享

如下图所示是 IBM 使用 cuDF 的案例,可以大幅降低处理时间,从 15min 降低到 3min:

如下图所示为 Dell 使用 cuVS 和 cuDF 大幅降低企业数据处理时间,从小时到分钟,GPU 比 CPU 快 3x:

如下图所示是 Google Cloud 使用 cuDF 用于 A/B 实验平台的数据处理,资源量从 45K CPU 降低到 1K GPU,成本节约 76%:

三、推理时代到来

从 ChatGPT 发布,到 Reasoning(o1) 到来,再到 Claude Code(Agentic)快速发展,模型规模、上下文长度、Token 数依次增加了 10x。

与此同时,GPU 的需求依旧快速增长,从 GTC 2025 时的 $0.5T 增加到 $1T:

GPU 需求快速增长的同时,最新的 GB NVL72 + NVFP4 相比 H200 NVL8 可以在同功耗下将 Token 吞吐提升 50x,或者将 Token 成本降低 35x。(PS:这些数据来自 InferenceMAX [6])

PS:这里需要注意,上述结论是基于 DeepSeek-R1 -0528 FP4 精度,输入/输出 Token 为 1K/1K 下测试出的数据。实际上,B300 相比 H100 在同功耗下的 FP8 算力只有 2x 左右差距,即使是 B300 FP4 相比 H100 FP8 也只有 6x。上述 35x 和 50x 更多是结合了 GB300 带来的更大显存、更大 NVLink 域下能够支持更大并发带来的增益。具体应用需要结合真实的应用场景来看。

如下图所示,B300 和 H100、H200 对比,更多的优势建立在使用更大的并发(需要更大的显存,更快的 GPU 也能保证更好的 TPOT)前提下:

另外就是很多云平台都在使用 NVIDIA GPU 部署高性能的 AI 模型,比如 Kimi K2.5 Reasoning 模型,并且都能享受 NVIDIA 软件栈迭代优化的收益,逐渐提升速度、降低成本。

其实最近 SemiAnalysis [7] 也报道过,NVIDIA Dynamo TRT 1个月的优化,大幅提升了 GB200 NVL72 上的吞吐,如下图所示:

四、硬件

4.1 NVIDIA 硬件演进

其中非常关键的部分是 NVLink 和 NVSwitch 的快速迭代,如下图所示:

4.1.1 Volta

比较早期的 V100 和 NVLink-2 Switch:

4.1.2 Ampere

A100、NVLink-3 Switch。以及:

  • CX-6 网卡:200 Gb/s(ConnectX-6 Dx Datasheet | NVIDIA [8])。

  • Quantum-1 IB Switch:40 个 200Gb/s Port(qm8700-datasheet [9])。

  • DGX A100:8 个 A100、NVSwitch、8 个后端 CX-6 网卡 等。

4.1.3 Hopper

H100、NVLink-4 Switch。还有:

  • CX-7 网卡:400 Gb/s(nvidia connectx-7 400g ethernet [10])。

  • Quantum-2 IB Switch:64 个 400Gb/s Port(QM97XX 1U NDR 400Gbps InfiniBand Switch Systems User Manual [11])。

  • BlueField-3:(NVIDIA BLUEFIELD-3 DPU [12])

    • 1, 2, 4 Port,最高总带宽到 400Gb/s。

    • 16GB 板载 DDR5 内存。

  • DGX H100:8 个 H100、NVSwitch、后端 8 个 CX-7 IB 网卡等。

4.1.4 Blackwell

B200/B300、NVLink-5 Switch。还有:

  • Grace CPU:72 个 Arm CPU Core,搭载 500GB/s 的 LPDDR5X 内存。

  • CX-8 网卡:800 Gb/s(NVIDIA ConnectX-8 InfiniBand SuperNIC [13])。(这里需要注意,IB 网卡是 800Gb/s,Ethernet 是 400Gb/s)

  • Spectrum-4 Ethernet Switch:128 个 400Gb/s Port 或 64 个 800Gb/s Port(NVIDIA Spectrum-4 SN5000 2U Switch Systems Hardware User Manual [14])。

  • BlueField-3:(NVIDIA BLUEFIELD-3 DPU [15])

    • 1, 2, 4 Port,最高总带宽到 400Gb/s。

    • 16GB 板载 DDR5 内存。

  • Compute Tray:对应 GB200-NVL72、GB300-NVL72 的 Compute Tray,2 个 Grace CPU,4 个 GB200/GB300 GPU。

  • NVLink Switch Tray:2 个 NVSwitch 芯片,用于 NVLink Spine。

  • NVLink Spine:也就是 9 个 NVSwitch Tray 组成的 NVLink Switch System,支持 72 个 1.8TB/s 的 Port,也就是 130TB/s 交换带宽。

  • DGX B300:8 个 B300、NVSwitch、后端 8 个 CX-8 IB 网卡等(NVIDIA DGX B300 Datasheet [16])。

4.1.5 Rubin

除了之前已经介绍过的 Rubin GPU、Vera CPU 外还有 CX-9 网卡、BlueField-4、NVLink-6 Switch 以及 Spectrum-X CPO 交换机,Groq-3 LPU 等,下面会重点介绍。

如下图所示,同样的 1GW AI Factory,使用 Vera Rubin 相比 X86+Hopper 可以获得 16/1.2=13.3x 的算力,50x(2 EB/s vs 100 EB/s)的内存带宽,350x Token 吞吐(2M vs 700M TPS)。

4.1.6 Feynman

Rubin 系列依旧会有一些升级:

  • NVLink-6 Switch 进一步升级到 NVLink-7 Switch,都是 3.6TB/s,Port 变多?

  • CX-9 网卡进一步从 800Gb/s 升级到 1600Gb/s。

  • 新的 Kyber Rack 方案。

  • Rubin Ultra 支持 HBM4e。

  • Groq LP35 支持 NVFP4。

新一代的 Feynman 架构:

  • Feynman GPU 使用定制的 HBM。

  • Groq LP35 -> Groq LP40 支持 NVLink。

  • Vera CPU -> Rosa CPU。

  • BlueField-5 DPU。

  • NVLink-8 采用 CPO 封装。

  • Spectrum-6 102T -> Spectrum-7 204T,依然 CPO 封装。

  • CX-9 -> CX-10。

5.2 新硬件

5.2.1 几种 Tray

如下所示分别是:

  • Groq-3 LPU Tray:8 个 Groq-3 LPU。

  • NVLink-6 Switch Tray:支持 3.6TB/s NVLink。

  • Vera-Rubin Tray:2 个 Vera CPU、4 个 Rubin GPU。

如下所示分别是:

  • BlueField-4 DPU Tray:800Gb/s NIC,128GB LPDDR5,PCIe Gen6x16,可插拔 512GB SSD。

  • Vera CPU Tray:8 个 Vera CPU。

  • Spectrum-6 CPO Switch Tray:128 个 800Gb/s Port,102.4Tb/s 带宽。

5.2.2 Rubin Ultra Kyber 垂直机架

专为 Rubin Ultra 设计,全新的 Kyber Rack,以替代 Oberon Rack,和传统的水平插拔不同,Kyber 采用垂直插拔设计,通过背板的中板(Midplane)连接。可以实现 144 GPU 的 NVLink 互联。

  • Rubin Ultra Node:

    • 2 个 Vera CPU。

    • 4 个 Rubin Ultra GPU。

  • Kyber Midplane:Rubin Ultra Node Tray 竖着插到 Midplane,竖向 4 个口。共有 18 列,可以接 18 个 Rubin Ultra Node Tray。

  • NVSwitch-7 模组:接到 Midplane 的背面,也是竖着放,实现 144 GPU 的 NVLink 全互联。

  • Kyber Rack - Rubin Ultra 144:可以看成一个三明治结构,实现 144 GPU NVLink 全互联而无需铜缆:

    • 前层:36 个 Compute Tray,分上下两组,每组 18 个竖放,每组接到一个 Midplane 上。

    • 中层:Midplane,上下两组,各对应 18 个 Compute Tray。

    • 后层:NVSwitch-7 模组和背板,竖放,接在 Midplane 的背面。

5.2.3 Groq-3 LPU

如下图所示,首次发布 Groq-3 LPU,其有超大的 SRAM:

  • 每个芯片 500MB SRAM。

  • 150 TB/s SRAM 带宽,非常适合 Memory Bound 明显的 LLM Decoding。

  • 目前不支持 NVFP4,只提供 1.2 PFLOPs 的 FP8 算力。

如下图所示为 Groq-3 LPU 的架构图:

  • MXM:矩阵执行模块,主要负责乘加累积张量运算(矩阵-矩阵/矩阵-向量乘法),1.2PFLOPs 的 FP8 算力。

  • VXM:向量执行模块,处理 Pointwise 算术运算,比如向量加减法、类型转换、激活函数(ReLU、SiLU)等。

  • SXM:交换/开关执行模块,负责结构化数据移动和重塑,比如 Permutation、转置等。

  • MEM:SRAM,500MB,150TB/s 带宽。

  • C2C:支持 LPU 之间的高速连接。

5.2.4 基于 Groq-3 LPU 的 AFD 异构框架

将 Groq-3 LPU 用于 AFD(可以参考字节:[2504.02263] MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism [17]) 异构框架中的 FFN Decoding,具体来说:

  • Vera Rubin NVL72 中:

    • 部分 GPU 执行 Prefill。

    • 部分 GPU 执行 Decoding 的 Attention。

    • KV Cache 可以通过 NVLink 或网络传输。

  • Groq-3 LPU Rack:

    • 负责执行 Decoding 中的 FFN 操作。细粒度专家场景,Memory Bound 的问题比较明显。

    • 需要和 Vera Rubin NVL72 之间传输激活,通过网络传输。

如下图所示为 Groq-3 LPX Rack:

  • 每个 Tray:

    • 8 个 Groq-3 LPU。

    • 一个 Host CPU。

    • 一个 BlueField-4 DPU。

  • 包含 32 个 Tray:

    • 8*32=256 个 Groq-3 LPU。

    • 1.2*256=315 PFLOPs。

    • 500MB*256=128GB SRAM。

    • 150TB/s*256=40PB/s 带宽。

5.2.5 800Gb/s CPO Switch

CPO (Co-Packaged Optics,光电共封装)直接将光引擎(硅光芯片)与 ASIC Switch 芯片封装在同一个载板(Substrate)上,形成一个超级芯片模组。这样做的好处是可以获得更低的功耗、更低的延迟:在 800G/1.6T 时代,光模块中 DSP 芯片功耗可达整个光模块功耗 50%,CPO 可以去掉 DSP,功耗降低约 50%,且传输延迟近乎为零。

基于此,NVIDIA 在 800Gb/s Switch 中开始采用 CPO 方式,推出对应的 Quantum-X IB Photonics Switch 和 Spectrum-X Ethernet Photonics Switch(Silicon Photonics Networking for Agentic AI | NVIDIA [18])。如下图所示:

如下图所示,其中 Quantum-X Photonics CPO Switch 提供 144 个 800Gb/s 的 Port(MPO 连接器,下图黄线连接部分),高达 115Tb/s 的吞吐:

然而 CPO 也有其局限性,对良品率、无故障时间都有更高的要求,不可插拔的光模块导致维护成本明显提升,一旦故障可能需要整个 Switch 维修或替换,涉及的节点数非常多。通过备机替换再维修的方式可以大幅降低影响周期。

5.3 Rubin 的性能提升

如下图所示,不同的模型、序列长度在 Rubin NVL72 和 Blackwell NVL72 上的性能对比:

  • Qwen3-235B 32K:2x 吞吐,主要是算力大概是 2-3x 的关系,TPS/User 要求不高,Batch 比较大,基本上 Memory Bound 的问题也不是特别明显。

  • Kimi-K2.5-1T 128K:2x,同上。

  • GPT-MoE-2T 128K:3x,模型更大,TPS/User 要求更高,Rubin NVL72 优势更明显。

  • GPT-MoE-2T 400K:10x,序列更长,TPS/User 要求非常高,Memory 的瓶颈更明显。(PS:这里也可以看出,GPT5 应该是一个 2T 的 MoE 模型)

如下图所示,当 TPS/User 要求比较高时,Rubin + LPX 方案相比单纯的 Rubin NVL72 能获得更高的 TPS/MW。在此场景下,Decoding MoE 的 Batch Size 相对比较小,Memory Bound 问题非常明显,也正是适合 Groq-3 LPU 的场景。

六、参考连接

  1. https://www.nvidia.com/gtc/keynote/

  2. https://github.com/rapidsai/cudf

  3. https://developer.nvidia.com/cuvs?sortBy=developer_learning_library%2Fsort%2Ftitle%3Aasc

  4. https://github.com/rapidsai/cuvs

  5. https://milvus.io/

  6. https://inferencex.semianalysis.com/

  7. https://semianalysis.com/

  8. https://www.nvidia.com/content/dam/en-zz/Solutions/networking/ethernet-adapters/connectX-6-dx-datasheet.pdf

  9. https://nvdam.widen.net/s/zmbw7rdjml/infiniband-qm8700-datasheet-us-nvidia-1746790-r12-web

  10. https://www.nvidia.com/content/dam/en-zz/Solutions/networking/ethernet-adapters/connectx-7-datasheet-Final.pdf

  11. https://docs.nvidia.com/networking/display/qm97xx-1u-ndr-400gbps-infiniband-switch-systems-user-manual.pdf

  12. https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/documents/datasheet-nvidia-bluefield-3-dpu.pdf

  13. https://applieddatasystems.com/wp-content/uploads/2024/07/connectx-datasheet-connectx-8-supernic-3231505.pdf

  14. https://docs.nvidia.com/networking/display/nvidia-spectrum-4-sn5000-2u-switch-systems-hardware-user-manual.pdf

  15. https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/documents/datasheet-nvidia-bluefield-3-dpu.pdf

  16. https://resources.nvidia.com/en-us-dgx-systems/dgx-b300-datasheet

  17. https://arxiv.org/abs/2504.02263

  18. https://www.nvidia.com/en-us/networking/products/silicon-photonics/

跳转微信打开

DeepSeek DualPath 论文详细解读

2026年3月6日 20:01

原创 AI闲谈 2026-03-06 20:01 北京

没等来 DeepSeek V4,等来了 DualPath,虽然没有非常多算法上的创新,依然是个非常不错的工程实践。依照惯例,这里我们对 DeepSeek 的这篇文章进行重点介绍。

一、引言

没等来 DeepSeek V4,却先等来了 DualPath。虽然它在算法层面并没有带来特别显著的创新,但从工程实践的角度看,依然是一项非常值得关注的工作。业内已经有不少关于 DualPath 的介绍,不过按照笔者的一贯习惯,对于这类具有较强启发性的技术方案,还是希望进行一次较为系统的解读。

对应的论文:[2602.21548] DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference

DeepSeek 的相关文章可以参考:

其他相关文章可以参考:

    二、摘要

    多轮、Agentic LLM Inference 的性能越来越受 KV-Cache 存储 I/O 主导,而非算力主导。在主流 PD 分离架构中,从外部 Storage 加载海量 KV-Cache 会产生根本性失衡:Prefill Engine 的 Storage NIC 带宽饱和,而 Decoding Engine 的 Storage NIC 却处于闲置状态。这种不对称性严重制约了系统整体吞吐量。

    为此,DeepSeek 提出 DualPath Inference 系统,通过引入双路径 KV-Cache 加载机制突破上述瓶颈。在传统 Storage-to-Prefill 路径之外,额外实现了 Storage-to-Decoding 路径,将 KV-Cache 加载到 Decoding Engine 后,通过后端计算网络的 RDMA 技术高效传输到 Prefill Engine。该系统融合了两大创新:

    • 优化数据路径:该路径天然可以规避网络拥塞,且不对延迟敏感的模型 Forward 通信产生干扰。

    • 全局调度器:动态平衡 Prefill Engine 和 Decoding Engine 的负载分配。

    基于三种模型在真实 Agentic 工作负载下的评估表明,DualPath 在自研的推理系统中将 Offline Batch Inference 吞吐提升 1.87x;在满足 SLO 的前提下,Online Serving 吞吐平均提升高达 1.96x。

    三、背景

    3.1 标准 DGX Superpod 集群

    3.1.1 DGX H100 System

    如下图所示为一个 DGX H100 System(具体可以参考 Introduction to the NVIDIA DGX H100 System [2]),其包含:

    • 8 个 H100 GPU,每个 GPU 900 GB/s NVLink 带宽。

    • 总共 900*8=7.2TB/s NVSwitch 带宽,80*8=640GB HBM3 显存。

    • 8 个 400 Gbps 的 ConnectX-7计算网卡,提供 8*400 Gbps 带宽(4 x OSFP ports)。

    • 2 个 400 Gbps 的 ConnectX-7存储网卡,提供 2*400 Gbps 带宽(Slot 1 和 2)。

    • 1 个 100 Gbps Ethernet NIC(前端网络,Slot 3)。

    3.1.2 SuperPod SU

    如下图 Figure 2 所示为构建 DGX-SuperPod-H100 的基本单元,称作 SuperPod SU(Scalable Unit):

    • 每个 SU 中包含 8 个 Compute Rack,每个 Rack 40 KW。

    • 每个 Compute Rack 包含 4 个 DGX H100 System,以及 3 个 PDU(Power Distribute Unit),也就是每个 Compute Rack 32 个 H100 GPU,则一个 SU 有 256 个 H100 GPU。

    3.1.3 Management Rack

    在 H100 对应的 DGX SuperPod 中,NVIDIA 提供了 Management Rack。如下图 Figure 3 所示为一个示例(针对不同的规模相应的配置会有所改变),其包含:

    • 后端计算网络:

      • 32 个 LeafCompute Switch,使用 QM9700,每个可以提供 64 个 400Gbps 的 Port。理论上有 32*(64/2)=1024 个 400Gbps Port 可以连接节点上的 ConnectX-7 网卡,剩下的 1024 个 Port 正好连接 16 个 Spine Compute Switch,实现 1024 GPU 的无阻塞(Non-Blocking)网络。

      • 16 个 Spine Compute Switch,同样使用 QM9700。正好连接 32 个 Leaf Compute Switch 的一半 Port。

    • High-Performance 存储网络:

      • 8 个 Leaf Storage Switch,同样使用 QM9700,连接存储网络的网卡和 Spine Switch。

      • 4 个 Spine Storage Switch,同样使用 QM9700,连接存储网络的 Leaf Switch。

    • 前端网络:

      • 6 个 SN4600c In-Band Leaf Switch。

      • 2 个 SN4600c In-Band Spine Switch。

    • 管理网络:

      • 8 个 SN2201 Out-of-Band Leaf Switch。

    3.1.4 DGX SuperPod 127-node

    如下图 Figure 5 所示为一个 127 节点的 DGX SuperPod 对应的计算网络,对应 4 个 SU,以及一个上述的 Management Rack。理论上上述的 Management Rack 正好可以连接 4 个 SU 的 128 个 Noe,但是 Leaf Switch 有一部分连接了 UFM(Unified Fabric Manager),所以实际上只有 127 个节点(NVIDIA 在最新的交换机中优化了这个部分,不会再出现少一个节点的情况)。

    如下图 Figure 6 所示为其对应的 High-Performance 存储网络,也可以看出,计算网络和存储网络是独立的网络平面,互不联通。

    如下图 Figure 8 所示为前端网络,也是独立的网络平面:

    3.2 DeepSeek H800 集群

    DeepSeek 在 [2505.09343] Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures [3] 中也介绍过其 H800 集群的网络拓扑,如下图 Figure 2 所示,其与标准 DGX H100 有所不同,其不是 2 个 High-Performance 存储网卡,每个节点只有一个 400 Gbps 的存储网卡。(PS:其并没有介绍是否还有独立的前端网卡,还是 Storage NIC 就是东西向网络,而计算网卡是南北向网络。)

    3.3 当前系统的问题

    当前 Agentic 应用场景快速发展,输入序列长度急剧增加,KV-Cache 的加载成为主要瓶颈。

    • 如下图 Figure 1 左侧所示,Prefill 节点使用 Storage NIC 加载 KV-Cache 的利用率达到 100%,而 GPU 的利用率只有 40%。与此同时,Decode 节点的 Storage NIC 利用率极低。

    • 如下图 Figure 1 右图所示,通过利用 Decoding 节点的 Storage NIC + 后端计算网络 NIC 作为 KV-Cache 加载的第二路径,可以更加充分的提升 Prefill 节点的利用率。

    四、方案

    4.1 方案概览

    DualPath 依赖两种广泛认可的技术:

    • PD 分离:Prefill 和 Decoding 分开部署,以获得更高的效率。

    • Layerwise Prefill:按层加载 KV Cache,可以和计算 Overlap,提升 GPU 利用率。 

    DualPath 系统包含以下几个关键组件:

    • Inference Engine:每个 Engine 管理一个 GPU,其中 Prefill Engine 简称 PE,Decoding Engine 简称 DE。

    • Traffic Manager:采用以计算网卡为中心(CNIC-centric)的流量管理方案,以防止 KV-Cache 的后端流量干扰模型 Inference 的正常通信。每个 Engine 包含一个 Traffic Manager,用于:

      • CPU DRAM 和 GPU HBM 之间的数据拷贝(H2D 和 D2H)。

      • PE 和 DE 之间的 KV-Cache 传输。

      • 经由 Storage NIC 读写 Storage 中的 KV-Cache。

    • Request Scheduler:中心调度器,负责:

      • 接收 Client 端 Request 并将其分发给各个 Engine。

      • 在两条数据加载路径之间进行动态的流量分配。

    4.1.1 DualPath 加载

    DualPath 的核心创新是在 “Storage-to-Prefill” 的路径外,额外引入一条 “Storage-to-Decoding” 的路径。允许 KV-Cache 先加载到 DE 中,然后通过高带宽的计算网络(经 RDMA)传输给 PE。通过在两条路径之间动态分配负载,能够聚合所有 Engine(包括原本闲置的 DE 侧的 Storage NIC)的存储带宽资源,进而将 Storage I/O 从单一资源瓶颈转变为一个全局池化且可调度的资源。具体数据流程如下所示,为了实现 DualPath 加载,会在每个 PE 和 DE 预留少量的 DRAM 作为缓冲区,称为 PE Buffer 和 DE Buffer:

    • Prefill PE 读路径(Figure 4a):

      • 命中的 KV-Cache 从持久化 Storage 中经存储网卡(SNIC)读取到 PE Buffer 中(1 和 2)。

      • 该过程会逐层进行并充分的 Overlap。

        • 以 Layerwise 的方式将 KV-Cache 逐层加载到 GPU HBM 中(3 和 4)。

        • 逐层加载后的 KV-Cache 可以立即启动计算。

        • 计算后的命中 KV-Cache 和未命中 KV-Cache 会经计算网卡(CNIC)传输到 DE Buffer 中(5、6 和 7)。

    • Prefill DE 读路径(Figure 4b):

      • 命中的 KV-Cache 从持久化 Storage 中经存储网卡(SNIC)读取到DE Buffer 中(1 和 2)。

      • 该过程会逐层进行并充分的 Overlap。

        • PE 以 Layerwise 方式经计算网卡(CNIC)从对端 DE Buffer 中拉取命中的 KV-Cache(3、4 和 5)。

        • 逐层加载后的 KV-Cache 可以立即启动计算。

        • 某一层计算完之后只需将未命中的 KV-Cache 传输给 DE Buffer,然后与 DE Buffer 中命中的 KV-Cache 合并。

    • Decoding 阶段:

      • 在 DE Buffer 中拼凑齐完整的 Prompt KV-Cache后(包括网络传输来的和新生产的),Decoding 阶段便正式开始。

      • DE 首先在自己的 HBM 中分配所需显存,执行 H2D 传输,并在开始模型 Decoding 之前主动释放 CPU DRAM,避免浪费。(PS:增加 DE Buffer 会额外引入一次 H2D 操作,实际上可以使用 RDMA 直接写入 HBM,但是考虑到 Agentic 场景中 TTFT 耗时占比很大,DE Buffer 能够有效缩短 KV-Cache 在 HBM 中的占用周期)

      • 在 Decoding 阶段,每当积攒够一个完整的 Block(通常 64 个 Token),系统立即将它们持久化写入 Storage。

    • 不同的数据块布局:系统采用两种不同的内存布局类型:

      • Full Block:存储全部层的数据,对于所有的 Storage 存储操作,均使用 Full Block 以提升吞吐。

      • Layer Block:存储单层的数据,当 PE/DE 数据在 HBM 和 CPU DRAM 中逐层流式搬运时,均使用 Layer Block。

    4.1.2 Bottleneck-Free 分析

    作者通过数学形式论证,在绝大多数合理的 P/D 比例配置下,该系统可以跑满 SNIC 的带宽,而不会引入任何 CNIC 或 DRAM 方面的新瓶颈。

    假设:各节点的 PCIe 拓扑结构优良,调度实现负载均衡,计算网络不拥塞,且整个系统的存储读带宽被 100% 使用。

    参数定义:

    • 设 P 和 D 为 Prefill 节点和 Decoding 节点的数量。

    • 每个节点包含 g 张 GPU(并配有带宽为 B 的 CNIC),节点 CNIC 总带宽为 B x g。

    • 每个节点 SNIC 总带宽为 B x s,这里 s 可以理解为折算系数(1 个 200Gbps SNIC,则 s=0.5,2 个 400 Gbps SNIC,则 s=2),由节点内所有 Engine 共享。

    • M 为单个节点的 DRAM 带宽。

    每个 PE-DE 对流量:

    • PE 读路径:流量为 Tp = Bs/(Dg2)。

      • 共有 Pxg 个 PE,Dxg 个 DE;也就是有 Pxg 个发送端,Dxg 个接收端。

      • 全集群可能的 “PE-DE Pair” 为 (Pxg) x (Dxg) = PDg2。

      • Prefill 节点全集群拉取 KV-Cache 的带宽为 PxBxs。

      • 在极端均衡的情况下,可以得出每个 PE-DE 对的流量为:Tp = PxBxs / (PDg2) = Bs/(Dg2)。

    • DE 读路径:流量为 Tc = Bs/(Pg2)。

      • Decoding 节点全集群拉取 KV-Cache 的带宽为 DxBxs。

      • 在极端均衡的情况下,可以得出每个 PE-DE 对的流量为:Tp = DxBxs / (PDg2) = Bs/(Pg2)。

    PE 侧的 CNIC 带宽分析:由于存在不会跨交换机的回环流量 (Loopback traffic,即 H2D/D2H),PCIe 侧的总流量始终大于等于交换机侧的流量。因此只需要计算 PCIe 的压力即可。

    • 读操作包括 PE 路径中的 (3 和 5),如下图 Figure 4 中绿框,所有对的总流量为:2 x Tp x Dg = 2Bs/g <= B。实际中 2s < g 通常都成立,因此读方向没有瓶颈。

    • 写操作包含 PE 路径中的 (4) 和 DE 路径中的 (5),如下图 Figure 4 中蓝框,所有对的总流量为:(Tp + Tc) x Dg = Bs/g x (1 + D/P) <= B。因此可以得出 P/D >= s/(g-s)。

    DE 侧的 CNIC 带宽分析:

    • 读操作包括 PE 路径中的 (8) 和 DE 路径中的 (3 和 6),如下图 Figure 4 中绿框,所有对的总流量为:(Tp + 2 x Tc) x Pg = s/g x (P/D + 2) x B <= B。因此可以得出 P/D <= (g-2s)/s。

    • 写操作包括 PE 路径中的 (7 和 9) 和 DE 路径中的 (7),如下图 Figure 4 中蓝框,所有对的总流量为:(2 x Tp + Tc) x Pg <= B。因此可以得出 P/D <= (g-s)/2s。

    DRAM 压力分析:DRAM 是半双工的,读写相加,PE 侧压力极低;对于 DE 侧,要求压力不超过 M,得出条件:P/D <= (M/(Bs) - 3)/2。

    总的来说,合并并简化上述不等式,可以得出系统安全的配比为:

    s/(g-s) <= P/D <= min{(g-2s)/s, (g–s)/2s, (M/(Bs) - 3)/2}

    例如:

    • DeepSeek H800 系统:g=8,s=1,M≈500GB/s,B≈50GB/s,得出 1/7 <= P/D <= 7/2。

    • NVIDIA DGX H100 系统:g=8,s=2,M≈500GB/s,B≈50GB/s,得出 1/3 <= P/D <= 1。

    4.1.3 实践挑战

    DualPath 在理论上可以利用 Decoding 节点闲置的 I/O 来缓解 Prefill 节点的压力,但想要实现会面临 3 个工程挑战:

    • 细粒度数据传输:Layerwise 方式可以克服 HBM 容量瓶颈,但会将 Full Block 的 KV-Cache 拆分成很多 Layer Block 的细粒度 KV-Cache。这些碎片化的 KV-Cache 在 Storage、DRAM、HBM 之间高频传输,要求系统不能有明显的调度开销,并且能无缝的与计算 Overlap。

    • 流量隔离:DualPath 生成了远比单机 Inference 复杂的内部 KV-Cache 传输网络流。非常容易干扰模型并行 Inference 中极度看重时延的集合通信操作(如 All2All 和 AllReduce)。如果因为传输 KV-Cache 导致通道拥塞,整个 Forward 的卡顿将是致命的。挑战在于“在压榨出所有空闲 I/O 带宽的同时,不允许对模型的正常通信性能造成任何负面影响”。

    • 动态负载均衡:系统中存在两条 KV-Cache 的读路径,系统必须对每个新到来的请求在线决策“该走哪条路”。Traffic Manager 必须在极短的时间窗内,实时综合多个瞬态因子来权衡:包括 SNIC 的队列深度、GPU 上的计算负载,以及 Request 负载特征等。

    4.2 以 CNIC 为中心的 Traffic Manager

    LLM Inference 系统中广泛采用先进的数据传输技术(比如使用 GPU 上的 Copy Engine 和 GPUDirect Storage)实现 Storage、DRAM 和 HBM 之间的高效搬运。然而这些机制存在一个严重的缺陷,严重干扰模型 Forward 期间对时延敏感的集合通信操作(如 All2All 和 AllReduce),主要有 2 个原因:

    • 这些数据传输技术往往运行在独立的数据路径上,这些路径与计算网络没有共享同一套 QoS 控制机制。

    • 现有的 GPU 不支持 PCIe 层级的 QoS,导致很难保护 Model Forward 通信不受其他 PCIe 流量的干扰。

    此外,集合通信往往以亚毫秒级的极快突发形式出现,试图依靠纯软件维度的流量整形器去在这些高优且转瞬即逝的通信窗口之间,精确穿插低优先级的 I/O 读写操作,在工程上是不切实际。

    为了解决这一问题,作者提出:以 CNIC 为中心的数据传输方案——所有进出 GPU 的数据流向,包括 GPU 与通节点的 H2D/D2H,都必须强制经由这块 GPU 绑定的 CNIC,并依靠 GPUDirect RDMA 数据链路完成。通过将所有异构流量强行收拢并暴露在计算网络上,可以充分利用计算网络底层的原生 QoS 硬件能力,来实施绝对严格的流量隔离与分级管制。

    4.2.1 流量隔离

    对于基于 IB 的网络,可以利用虚拟信道(Virtual Lanes, VL)技术实现流量类别间的硬隔离。(PS:DeepSeek 在 3FS 中也提到,利用 IB 的 Service Level(SL)技术,在节点之间建立连接时为其分配不同的 SL 值,并将 SL 映射到 IB 物理队列 VL,使用 VL 可以确保不同通道中的流量不会相互干扰。)

    • 所有与模型 Inference 相关的 Forward 通信流量都被全部调度到专有的 High-Priority VL 中。

    • 所有其他流量,包括 DualPath 的跨节点 KV-Cache 传输,全部被映射到一条隔离的 Low-Priority VL。

    • 为基于该通信框架内的 Switch 和 NIC 的 VL 仲裁器配置极端的加权轮询参数策略,为 High-Priority VL 预留大约 99% 的带宽,仅把剩余的带宽留给 Low-Priority VL,以防止 KV-Cache 传输彻底饿死断连。这种配置可以保证模型 Forward 的通信流量免受 KV-Cache 传输的干扰,同时又给 KV-Cache 传输利用计算网络中的闲置带宽提供机会。

    尽管上述方案基于 IB 网络,但该隔离设计原则上能够平滑的迁移到其他网络互联技术中。例如,在 RoCE 中,DualPath 可以基于 Traffic Class 控制器并结合 DSCP 组合实现。

    4.2.2 CNIC 辅助的 KV-Cache 拷贝

    目前常见的两种 GPU 数据传输流派包括:从底层 Storage 直接传输到 HBM 的 GPUDirect Storage,以及传统基于 CUDA Copy Engine 的方式。这两种方式无法实现 KV-Cache 传输的 I/O 操作与模型 Forward 中的集合通信操作互相隔离,会导致模型 Forward 性能退化。

    为了解决这一痛点,实现了 CNIC 辅助的 H2D/D2H 数据路径。

    • 对于 KV-Cache 加载:

      • 首先从 Storage 后端中读取 KV-Cache 到 DRAM。

      • 然后向目标 GPU 对应的 CNIC 下达 RDMA 写请求,以便进行本地的 H2D 拷贝。

    • 对于新生成的 KV-Cache 的存储:

      • 首先交由对应的 CNIC 写入 DRAM 中缓存。

      • 然后通过 SNIC 写入 Storage 后端。

    这种设计可以将 CNIC 作为所有 GPU PCIe 流量的中心 QoS 调度器,使其 VL 仲裁器能够优先处理 Inference 通信流量,并利用空闲的 PCIe 带宽执行 KV-Cache 传输。

    作者观察到,在处理大量小数据 Block 时,CNIC 辅助的 H2D 和 D2H 传输性能优于 CUDA Copy Engine。测试数据表明,通过 cudaMemcpyAsync 提交的单次复制操作会产生约 5-7 μs 的延迟开销,由于 CUDA Driver 是闭源的,无法进一步分析该开销的构成。相比之下,提交单个 RDMA 写入请求仅需在用户空间对 NIC Register 执行少量的 mmio 写入操作,耗时仅 1μs。此外,通过 doorbell batching 技术,可以显著分担 RDMA 工作提交开销。

    4.3 自适应请求调度器

    理论分析证实 DualPath 读取不会产生绝对瓶颈,但在实际运行中,负载不均仍会大幅降低硬件利用率。在这种情况下,需要同时兼顾 NIC 流量和 GPU 利用率之间的平衡。为此,将调度分为两个层次:

    • 跨 Engine 调度:负责将 Request 精确分配给一对目标节点(PE,DE),并为每个 Request 判定具体的 KV-Cache 读取路径(PE 或 DE)。

    • Engine 内调度:负责 Engine 内 Request 如何处理。

    4.3.1 跨 Engine 调度

    为了减轻调度器的压力,将 Engine 分为不同的组,只有组内编号 Rank 0 的 Engine(也称为 Leader Engine)与调度器交互。一个组内所有 Engine 要么都是 PE,要么都是 DE,且确保同一个节点上的所有 Engine 都属于同一个组。

    组内的所有 Engine 会定期、同步主动拉取任务。在拉取新的 Request 时,每个 Engine 同时上报 3 个关键状态指标:

    • seqe:已分配给该 Engine 但还未完成的 Request 数量。

    • toke:上述 seqe 个 Request 包含的总 Token 数量。

    • read_qn(e):Engine e 所在节点 n(e) 当前磁盘读取队列长度。

    因为 GPU 负载、磁盘读负载以及网络负载压力与 Token 数量密切相关,因此使用 Token 数量(toke)作为平衡所有 Engine 的代理指标。

    PE 调度:所有抵达调度器的 Request 都首先进入全局等待队列,并严格按照 FIFO(先进先出)原则调度。当一个 PE 组发起一个拉取请求时,启动调度算法。如下图 Figure 5 所示,定义两个阈值:短读取队列 α,未完成 Token 上限 β。所有 Engine 被分为 3 类(如下图 Algorithm 1 中红框):

    • 第一类(过载 Engine):toke > β,排队处理的 Token 超标。

    • 第二类(理想 Engine):未超标,且 read_qn(e) <= α,toke <= β。

    • 第三类(磁盘受压 Engine):节点的磁盘读取队列较长,read_qn(e) > α,toke <= β。

    系统绝对不会将新的 Request 发送给过载 Engine,此外让第二类的调度优先级高于第三类——因为第二类节点 SNIC 此刻没有磁盘排队任务,如果不安排新的 Request,将导致 SNIC 处于低利用率。当选中类别后,会将 Request 调度到类别中 toke 最小的 PE,然后会更新当前 PE 的 toke(如下图 Algorithm 1 蓝框);接着处理下一个 Request。直到队列为空或者第二、三类别都满为止(如下图 Algorithm 1 绿框)。

    DE 调度 - 阶段 1:跨组全局调度:与 PE 强制全局 FIFO 不同,DE 的调度分为两级,且不保证绝对的全局 FIFO。存在一个全局等待池,以及每个 DE 组的私有队列池。新 Request 先落到全局池。当一个 DE 组来拉取任务时,会针对性清空全局等待池,并将任务直接发给当下总 toke 最小的 DE 组。

    DE 调度 - 阶段 2:组内处理:

    • 首先计算本组所有 DE Engine 的 HBM 余量,随后从私有队列池头部开始遍历,以计算假设不存在 HBM 碎片时可调度的 Request 数量。这些 Request 构成集合 R,作为可以调度的上界。然后计算一个“危险界线”——高 Token 阈值 Z:

    • 然后从私有队列池的头部开始调度 Request,将其调度到剩余 HBM 满足该 Request 需求的 DE Engine。具体来说,将 DE 分为两种类型,并优先将 Request 调度到(2)中 seqe 最小的 DE,从而平衡 Request 数量;只有(2)为空,才会在(1)中挑选 toke 最小的 DE,以避免 HBM 用满触发抢占风险。

      • (1):高 Token DE,如果接收该 Request,则 toke + len(r) > Z。

      • (2):剩余 DE,即使接收 Request,依然满足 toke + len(r) <= Z。

    KV-Cache 读任务调度:为一个 Request 选好 PE 和 DE 后,调度器最后只需选择较短读队列长度的路径读取 KV-Cache 即可。理论上,将 Request 拆分成两部分,从 PE 和 DE 两个路径同时读取会更好,不过本文中并没有实现,当做未来的工作。

    4.3.2 Engine 内调度

    Engine 内的细粒度调度只发生在 PE 节点,因为 DE 总是把所有 Request 放入一个 Forward Batch,不需要过度调度。如下图 Figure 6 展示了 Engine 内调度方式,常见模型在 Attention 层都会采用 DP 方式,尤其是 MLA 模型:

    • Dense 模型或粗粒度 MoE 模型可能会采用 Attention TP + FFN TP 方式。

    • 细粒度 MoE 模型(MHA/GQA)可以考虑 Attention TP + FFN EP 或 Attention DP + FFN EP。

    • 细粒度 MoE 模型(MLA)模型一般采用 Attention DP + FFN EP,MLA 不适合 TP,甚至可以考虑 CP。

    在这种情况下,每个 GPU 处理不同的 Request,可能导致 GPU 之间出现工作负载不均,而又必须在 Attention 阶段后同步并进入 FFN 阶段,从而导致 GPU 互相等待产生的 Bubble。因此,需要确保各 GPU 具有相似的 Attention 执行时间,以最大程度减少等待 Bubble。

    层时间预估:采用 FIFO 打包策略确定 Forward 中包含的 Request 数量。Forward Batch 中的每个 Request 都有一对(cached, bsz)参数描述,其中:

    • cached 表示已经具备 KV-Cache 的 Token 数量。

    • bsz 表示当前 Batch 中需要计算 KV-Cache 的 Token 数量。

    基于这些参数对,计算 Attention 层的理论总计算量并估算其执行时间。理论计算量和实际计算时间的关系取决于硬件和并行配置,可通过预先的性能分析进行拟合。

    算法:只要预测的 Attention 层执行时间不超过预设上限(称作计算配额),就持续按照 FIFO 顺序添加 Request。如果某个 Request 超过此限制,则对 bsz 进行二分搜索以找到更小的 bsz’,使其适配剩余的计算配额,并对该 Request 执行 Chunked-Prefill 处理。

    五、评估

    5.1 实现 & 配置

    代码实现:DualPath 的实现结合了 DeepSeek 之前开源的 FlashMLA、DeepGEMM、DeepEP 以及 3FS,大概涉及 5K 行代码修改。

    硬件配置:前面介绍的 DeepSeek H800 集群,SNIC 连接 3FS。

    模型:

    • MoE 模型:DeepSeek V3.2 660B,表示为 DS 660B;缩小版的 DS 27B;

    • Dense 模型:Qwen2.5 32B。

    数据集:3 个 Agent Trace 数据集,每个包含 500 个轨迹,统计信息如下图 Table 2 所示。

    基线:实验对比了 3 个基线。

    • SGL(MC):SGLang + HiCache、Mooncake、3FS。

    • Basic:未修改的内部 Inference 框架。

    • Oracle:基于 DualPath,绕过所有的磁盘读取, H2D/D2H 传输, 以及 PD 间的 KV-Cache 传输。相当于 I/O 开销为 0 的理想情况。

    PD 比例和并行度:DS 660B 采用 2P4D;Qwen 32B 采用 1P2D;DS 27B 采用 1P1D。DS 模型采用 Attention DP + FFN EP;Qwen 模型仅在 DualPath 中采用 DP,SGL(MC) 中采用 TP=8。

    Metric:对于 Offline Batch Inference 场景, 测量整个任务的作业完成时间 (JCT)。对于 Online Serving 场景,测量首个 Token 时延(TTFT),第二个 Token 时间(TTST),以及每输出 Token 时间(TPOT)。

    5.2 Offline Inference 场景

    可变 Agent Batch Size & 最大 Agent 长度(MAL):DualPath 在更大的 Batch Size,更长的 MAL 是可以获得更大的收益。如下图所示,在 DS 660B 上,DualPath 相较于 Basic 可以实现高达 1.87x 的提升,并且性能接近理论上限 Oracle,表面 KV-Cache 的传输几乎可以被隐藏。

    可变的 Append 长度& 生成长度:DualPath 在可变的 Append 长度以及生成长度下都有明显优势,并且 DualPath 和 Oracle 很接近。如下图 Figure 9 所示,随着 Append 长度增加,Basic 方案逐渐趋近于 DualPath,表面系统瓶颈在 GPU 计算。相比 Basic 方案,DualPath 在不同的 Append 比例下实现了 1.82x-1.99x 的加速。

    可变的 P/D 比例:在所有比例下, DualPath 都比 Basic 表现出显著的性能收益。如下图 Figure 8 所示,DualPath 在所有配置中平均实现 1.64x 加速(最高 2.46x)。Basic 版本的 1P1D 和 1P2D 性能接近;DualPath 的 1P1D 和 2P1D 性能接近;DualPath 2P1D 和 DualPath 1P2D 也类似。主要是各组系统具有等效的可用存储带宽,从而证实在 Agent 场景中存储带宽是主导系统性能的关键瓶颈。

    5.3 Online Serving 场景

    方法论:评估系统在不同 Agent 每秒到达率(APS)的时延特性。Agent 根据泊松过程以指定速率到达,每个 Agent 在到达时从第 0 轮开始重放直至其最后一轮。实验中,SLO 目标为 TTFT <= 4s,TPOT <= 50ms。实验终止条件为满足以下任何一种情况:TTFT > 4s 或系统到达稳态(150s 滑动窗口内的 TTFT 波动相较于 30min 前低于 5%)。

    如下图 Figure 10 所示,DualPath 比 Basic 方案获得更高的 APS 容量(DS 27B 提升 1.67x,DS 660B 提升 2.25x)。DualPath 的 TTST 指标与 Basic 相当,而 TPOT 数据表面 DualPath 相较于 Basic 方案未引入额外的 Decoding 开销。SGL(MC) 出现异常偏低的 TTST,可能源于实现问题,导致前两个 Token 几乎同时到达客户端。对于 DS 27B,呈现出与 DS 660B 相似的趋势。但 Basic 与 DualPath 方案的 TPOT 均显著高于 Oracle,表明在小规模模型场景中 P-D 传输机制的开销相当大,不容忽略。

    两种模型的平均 JCT 如下图 Figure 11 所示。如下图 Figure 12(左)所示,在不同 APS 配置下 DualPath 能保持稳定的 TTFT 耗时,而 Basic 方案因存储带宽不足导致队列等待时间急剧增长。

    5.4 消融实验

    5.4.1 负载均衡

    DualPath 的调度算法改善了 SNIC 和 Attention 层计算时间的负载均衡。

    • 对于 SNIC:如下图 Figure 13 所示,调度算法将负载均衡程度(Max/Avg 比例)从 1.53 改善到 1.18。

    • 对于 Attention 层计算:如下图 Figure 14 所示,DualPath 在任务的前 5% 期间将 Max/Avg 比例维持在低于 1.06,减少了 GPU Bubble。

    5.4.2 大规模可扩展性

    使用 1152 GPU 进行 Offline 和 Online 实验以展示大规模可扩展性。如下图 Table 3 和 Figure 15 所示:

    • Offline 采用 2P4D(2K Agent),扩展后 48P96D(48K Agent),JCT 相当。

    • Online 也是 2P4D,扩展后 44P88D,实现了 22x 的吞吐量(0.4 APS vs 0.8 APS),同时保持相似的时延。

    六、参考链接

    1. https://arxiv.org/abs/2602.21548

    2. https://docs.nvidia.com/dgx/dgxh100-user-guide/introduction-to-dgxh100.html

    3. https://arxiv.org/abs/2505.09343

    阅读原文

    跳转微信打开

    ❌