AI Infra 的各种挑战和 Tips 系列 - NVIDIA Nemotron-3 Ultra
原创 AI闲谈 2026-06-12 08:00 北京
![]()
比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off
一、引言
比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off。
本次梳理对应的论文为:Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
相关工作可以参考笔者之前的文章:
二、模型结构
如下图 Figure 2 所示为 Nemotron 3 Ultra 模型的结构,总参数量 550B,每 Token 激活参数量 55B。是典型的混合架构,并且混合的方式也和常规的大模型不同,总层数 108:
Mamba-2 层数:48
Full Attention(GQA)层数:12
LatentMoE 层数:48
![]()
如下图 Table 1 所示为模型的详细配置,有几点可以关注:
KV Cache:GQA 中 Q 和 KV 的比例高达 64:2,非常接近于 MQA,这个和 Qwen3.5-122B-A10B 以及 Qwen3.5-397B-A17B 类似,主要动机都是可以极大降低长序列场景下的 KV Cache 大小。
GQA:Mamba-2=1/4,Full Attention 只有 1/4。
Q:KV=32/1,极低的 KV 占比进一步大幅度降低 KV Cache 大小。
LatentMoE:得益于 LatentMoE 的机制,可以在不增加 MoE All2All 通信量的同时增加专家数和路由专家数,提升专家的组合能力。因此这里每个 LatentMoE 层包含 512 个专家,22 个路由专家。
MTP:2 个 MTP layer,共享权重。MTP 在训练阶段可以作为辅助目标,在推理和 RL Rollout 阶段可以作为内置 Draft Model,加速生成。
![]()
可以看出,该模型是综合考量模型效果,训练、推理效率/成本而协同设计的,并不一定在所有场景最优。比如:
总参数量 550B,激活参数量达到 55B,而常见旗舰 LLM 的稀疏比例达到 20-30 倍。55B 的激活参数,对于 Prefill Heavy 的场景不一定有优势。
Mamba 能省 KV Cache,但会引入 SSM State Cache,对于短、中等上下文场景,FP32 Mamba Cache 可能比 FP8 KV Cache 更大。
三、预训练
3.1 数据配比
共 20T Token 的预训练数据,由 19 个 High-Level 组成,比如 web crawl、synthetic web crawl、math、code、academic、wiki、multilingual、legal、SFT-style data 等。
第一阶段:15T,web crawl 与 synthetic web crawl 约占 49% 左右。更偏多样性和广泛性。
第二阶段:5T,web crawl 与 synthetic web crawl 占比降到 38%。更偏高质量数学、代码等。
![]()
3.2 训练超参
预训练总共 20T Token,使用 WSD(Warmup-Stable-Decay)学习率:
Warmup:200B tokens
峰值 LR:2.5e-4。
最小 LR:2.5e-6。
最后 5T tokens 使用 minus-sqrt decay
MTP loss scaling factor:0.1。
3.3 NVFP4 预训练
Nemotron-3 Ultra 的最主要特点是预训练阶段使用了 NVFP4,而不仅仅是后训练阶段。NVFP4 训练的关键细节如下:
使用 Transformer Engine 的 cuBLAS NVFP4 GEMM Kernel 覆盖 fprop、dgrad 和 wgrad。
NVFP4 层使用 E2M1 数据类型,权重使用二维分块量化。
对 wgrad 输入使用随即哈达玛变换。
梯度使用 Stochastic Rounding。(PS:这也是 Blackwell NVSwitch 和交换机支持的特性)
对最后的 15% 层(16 层)、Mamba output projection、latent projection、QKV 和 attention projection、MTP layer、embedding layer 都保持高精度。
为了监控 NVFP4 训练的健康度,从 5T、10T、16T 的 Checkpoint 分支出 BF16 继续训练 74B Token,可以作为高精度代理,并对比 NVFP4 Loss 和 BF16 Loss 的误差。如下图 Figure 3 可以看出,Loss 误差很小:
![]()
3.4 Checkpoint 合并
NVIDIA 在预训练中使用 Offline 的 Checkpoint 合并策略,具体来说:
Checkpoint 间隔:25B Token。
滑动合并窗口:500B Token。
权重按模拟 LR Decay 的方式组合。
预训练结束后,最终 Checkpoint 是从一系列不同合并配置的大量 Checkpoint 中选择的。包括:
Token 数变化,尝试 125B 到 1T 的合并窗口。
采用顺序变化:顺序、随机和反向排序。
最终选出一个 500B Token 合并窗口下,能够在知识、数学和代码四项基准上展现出均衡权衡表现的 Checkpoint。
对于大规模训练很实用:单个 Checkpoint 在不同能力上波动时,离线合并提供了一个低成本的模型选择/平滑机制,避免只依赖最后一步或少量评估的 Checkpoint。
3.5 长上下文扩展
长上下文阶段在预训练末尾做 Continuous Pretraining:
目标上下文:1M Token。
总 Token:33B。
LR:固定 2.5e-6。
训练硬件:GB200 GPU。
并行配置:32CP、8TP、128EP、2PP。
数据混合:46% long-context 数据,54% 阶段 2 数据。
训练迭代:92% iteration 使用 1M 长度,8% iteration 使用 4K 长度。
每个 iteration 固定 25,165,824 tokens。
同一个 iteration 内不混合 1M 和 4K。
4K iteration 只放 math 和 code SFT-style data,用于维持短上下文 benchmark。
需要注意的是:
1M 上下文必须引入 CP,否则激活/KV/序列维度很难落到可训练的显存范围。
短长上下文混训不是“混合在一个 batch 里”,而是iteration 粒度的长度切换。可以减少 Kernel、Padding、通信 Pattern 的复杂性。
长上下文 CPT 容易稀释短任务能力,因此混入 4K 短序列,不过只保留 Math/Code,算是一种能力保护策略。
3.6 预训练稳定性
Nemotron-3 Ultra 预训练中出现了 2 次 Loss 发散问题。
![]()
3.6.1 BF16 Gradient Reduction 丢失 MTP 小梯度
如上图 Figure 5 所示,第一次发散发生在 8T Token 左右。NVIDIA 排查发现是输出层 Local Gradient Accumulation 精度从 FP32 降到 BF16 导致的,这样做的初衷是把 DP 的 Gradient Reduction 以 BF16 传输来提升吞吐(不确定累加时是否使用 BF19?)。 具体来说:
模型有 2 个 MTP Block。
总 MTP loss scaling 是 0.1,即每个 MTP Block 大约 0.05。
MTP Block 对 Shared Output Layer 的 wgrad 贡献很小。
BF16 只有 7 mantissa bits,这部分小梯度在输出层累加/规约中基本丢失。
MTP-2 loss 先出现 spike/divergence,然后 train/validation loss 跟随发散。
解决方案也比较简单,回滚到较早 Checkpoint,并恢复 Full FP32 Gradient Reduction。从 Figure 6 可以看出,解决后 Loss 没有再发散:
![]()
从这个案例中也可以看出,BF16 Gradient Reduction 还是存在风险,要想使用,还需添加细粒度的监控指标,不只是主 Loss,还有各种辅助 Loss;以及 output layer、shared projection、router、auxiliary head 等梯度路径。
3.6.2 16T 附近位置原因
第二次发散发生在 16T Token 附近。NVIDIA 没有找到确凿的根因,如下图 Figure 7 所示,通过消融实验发现:
从 15T Checkpoint 回滚后立刻开始 LR 退火可以缓解发散。
5T Decay 和 10T Decay 都有缓解效果。
最终根据实际需求把总预训练数据截到 20T Token。
![]()
他们观察到两个相关现象:
专家不均衡/ dead 专家。
使用 MaxVio 衡量单个专家的最大负载相对均衡均值。
Ultra 初期 median layer MaxVio 约 1.2,最大约 4.8。
训练一段时间后 median 仍约 1.2,但 first MoE layer 的最大 MaxVio 到 12T 时增长到约 12。
MaxVio 不一定是根因,但与不稳定相关。
残差流激活范数不平衡,如下图 Figure 8 所示。
Super 中残差范数在起始层上升后会下降并稳定。
Ultra 中残差范数在起始层约为 7.5T 开始上升,约 11T 出现大 spike。
深度方向残差范数相差可到 4 个数量级,提示信号传播变差。
![]()
从这个案例中也可以看出,大规模 MoE 模型训练稳定性需要结合 expert load、dead expert、router entropy、per-layer residual norm、wgrad norm 等联合监控。此外,发散的早期信号可能先出现在 first MoE layer、MTP-2 loss 或 early-layer residual norm,而不是主 loss。
四、后训练
如下图 Figure 9 所示,Nemotron-3 Ultra 后训练包括多个阶段,首先从通用 SFT 开始,然后是标准的 RLVR。此后添加了 MOPD(Multi-teacher On-Policy Distillation),从而同时实现了广泛能力获取与特定领域的精专化。最后还增加了 MTP Boosting 训练。
![]()
4.1 SFT 阶段
SFT 分为两个阶段,如下图所示:
![]()
在 SFT 阶段也有些需要注意:
Long Context:构造 512K long-context SFT 数据,用于 multi-document reasoning、sequential scanning、synthetic table querying。
Reasoning Control:构造 reasoning trace 被随机 budget 截断的数据,响应保持不变;被截断样本中的 </think> token 不计入 SFT loss。
Safety:从约 45K 英文 safety 数据 扩到约 135K 多语言数据;翻译后再翻译回去,与原始英文 Pair 相似度低于 0.8 的过滤掉,每种语言过滤约 10%-15%。
Search:包括 Wikidata 多跳搜索、OpenResearcher 离线浏览器环境、BrowseComp 难样本;部分轨迹需要 50-100 次搜索。
Terminal-Use:约 370K 多轮对话,覆盖软件工程、数据处理、文件操作、科学计算等,使用 live terminal feedback。
Math:非证明数学包括 1.8M tool-calling 样本和 1.9M non-tool 样本。
Competitive Code:1.2M Python reasoning traces、1.0M C++14 traces、1.3M Python tool-calling traces。
CUDA:约 100K kernel generation、repair、optimization samples,包括 Nsight Compute log、CUDA C++ kernel、CUDA-X library 数据。
RTL:约 1.2M training samples,覆盖 spec-to-RTL、editing、debugging。
这些数据不是简单的文本语料,而是大量“带环境/工具/执行反馈/日志/验证器”的轨迹。对训练 Infra 也会有一定的挑战,比如:
数据对象更大,单样本 Token 长度和结构差异很大。
数据质量过滤依赖执行器、编译器、Benchmark、LLM Judge 和启发式分析。
Packing 时既要减少 Padding,又要保持完整对话,避免拆断上下文造成幻觉。
NVIDIA 使用 length-aware best-fit packing:
多个对话 Packing 到最大上下文长度内。
Round-Robin 读取并交错源文件。
内存里只保留固定大小的序列池。
对每个新对话选择剩余容量最贴合的序列。
不切断、不切分对话。
打包序列内去重,避免相同 Prompt 出现在同一个打包序列。
打包完后再 Shuffle。
这个实现强调了一个大规模训练常见坑:如果按 source shard 直接拼接,会造成强分布局部性,降低优化稳定性。Packing 不是单纯提升利用率,也是在控制 Batch 分布。
4.2 RLVR 和 MOPD
4.2.1 RLVR
统一多环境 RLVR 覆盖 terminal、office/productivity、software engineering、search、general tool-calling、math、code、STEM、safety、chat、instruction following、long-context QA、inductive/transductive reasoning、structured outputs 等。
训练配置如下:
算法:主要遵循异步 GRPO,并带稳定性优化。
数据混合:采用 Gaussian-based 方法。
Global batch size:8192。
每个 Sample 生成 16 Rollout。
最大生成长度:从 48K 增到 64K。
从 Infra 的角度也要关注:
RL Batch 的真实计算量是 8192 prompt * 16 rollout * 可变生成长度,其中 、Straggler 生成会影响 Step 时间。
多环境 RL 的难点不仅有 Reward,还有环境执行、Sandbox、Tool Call、Judge、Generation Engine 的端到端可靠性。
不同 Harness 和交互形式混合训练,可以降低对单一 Harness 的过拟合,不过也会放大系统异构性。
4.2.2 MOPD
MOPD 用来解决统一 RLVR 中每个 Domain 在 Batch 中信号被稀释的问题。NVIDIA 训练了 10 个以上特定 Domain 的 Teacher,然后让 Student 在所有 Domain 上生成 Rollout,由对应 Teacher 提供稠密的 Token-Level Guidance。其中:
Student Rollout 生成、Teacher 打分、Student 优化全流水异步。
Nemotron 3 Ultra 做了两轮 MOPD:MOPD Checkpoint 出来后,再从更新后的 Student 分支训练新 Teacher,再合回下一轮 MOPD。
MOPD 最大生成长度:192K。
每 Batch 1024 Prompt。
每 Prompt 1 个 Rollout,多 Rollout 在消融实验中没有带来额外收益。
![]()
需要注意的是:
MOPD 对 Agentic Domain 更有效,因为 Warmup 能提升 Student Rollout 与 Teacher-supported trajectories 的 Overlap。
对 HLE 这类 Self-contained reasoning benchmark,warmup 收益较小。
如果 Teacher 会但 Student 很少采样到相关路径,Dense Scoring 信息仍然可能比较低效。
MOPD 是 RL 和 Distillation 的混合系统,瓶颈从单纯 Policy 更新变成 Rollout、Teacher Serving、Token-level Scoring 和 Learner 之间的流水平衡。
Teacher 数量增多后,Teacher Serving 本身成为资源调度问题,需要与 Student Rollout 的 Domain 分布匹配。
对 Agentic 任务,MOPD 前的 Warmup 是为了改善数据分布 Overlap,不是为了“多训一点 SFT”。
4.4 MTP Boosting
MTP Head 在预训练和 SFT 阶段一直存在,但原始的 Teacher-Forced MTP 训练与推理时 Draft 的分布不一致。因此 NVIDIA 加入了 MTP Boosting 过程:
从 MOPD Checkpoint 开始,冻结 Backbone,只训练 MTP Head。
训练 MTP,使第 K 步输入从前面 MTP Step 的 Hidden State 集合中采样,更接近推理噪声。
数据来自 MOPD Checkpoint 的 On-Policy Rollout,temperature=1。
训练 12K Step。
Global batch size:64。
Sequence cap:8K。
Loss:temperature-scaled forward-KL against backbone logits,关闭 gold-token cross-entropy。
冻结 Backbone 可以显著降低优化器状态和激活内存占用。MTP 即成为推理加速组件,也成为 RL Rollout 加速组件。具体来说,如下图 Figure 12 所示:
RLVR Rollout 生成中,MTP Token 数 k=5 相比无 MTP 加速 1.46x,收益主要来自最慢的长尾生成。
低延迟单用户推理场景 ISL/OSL/BS = 10K/16K/1、单 GB200 节点、TP=4 下,Draft Length=6 最高加速 2.89x。
![]()
五、Infra 问题及优化
5.1 RL Infra 故障分布
生产集群是 NVIDIA GB200,使用 Slurm 编排,并且有 Co-located CPU 用于 Sandbox 执行。RL 的软件故障如下 Table 7 所示,其中主要是 Generation Engine、Sandbox、Tool-call 这些训练外系统的问题,而不是 Learner 的问题。
![]()
5.2 RL GCS 和 Slurm 启动
NeMo-RL Job 是异构 Job,需要在不同节点启动 Training worker、vLLM 生成 worker、gym worker、judge worker 等,且各角色需要的资源不同。在作者的后训练中,原始启动脚本会对每个节点发起多次独立 srun 调用,每个 srun 都是向 Slurm 控制器守护进程(slurmctld)发起 RPC 调用,且必须串行处理,节点比较多时,数百个串行 RPC 在 Slurm controller 排队,启动成本按 O(n) 放大。3K+ GPU 下,Ray Actor 同时注册,单线程 GCS 被打爆,启动 25-49 分钟并伴随雪崩式启动失败。
作者实施了一系列优化:
改成 single multi-node srun,把 Slurm controller 交互降为 O(1),启动从 30+ 分钟降到 10 分钟。
把 short-lived Actor 改成 task,消除约 40% Actor 注册操作。
按节点合并初始化 Actor。
实施激进的 GCS 调优措施。
Ray 2.55 修复了相关 GCS 扩展退化问题。
![]()
5.3 NVLink Domain 感知排布
GB200 NVL72 的 NVLink Domain 覆盖整个 Rack,包含 18 Node、72 GPU。如果 Worker 排布不感知拓扑,Megatron EP Group 会跨 Rack,MoE All2All 从 NVLink 退化到 InfiniBand。
NVIDIA 的解决方案是:
容器启动时用 nvidia-smi -q 解析 NVLink fabric ClusterUUID。
将同一 NVLink Domain 注册成 Ray Custom Resource。
从 SLURM_TOPOLOGY_ADDR 派生 topo_rank。
在 RayVirtualCluster 中按 (domain_min_topo_rank, topo_rank, gpu_id) 排序 Bundle。
设置 external_gpu_device_mapping=True,让 Megatron 信任 Ray 的 GPU Pinning。
不完整 Segment 的 Domain Bundle 被丢弃,保证 EP Group 落在完整 NVLink Domain 内。
优化后训练、生成 Actor 都被放在同一 NVLink Domain;EP 的 All2All 都走 NVLink,不走 Infiniband。GB200 上 End2End 吞吐提升 20%。
5.4 Numa 绑定
GB200 NVL72 的 Grace CPU 有 socket/NUMA 结构,GPU 0/1 和 GPU 2/3 对应不同 NUMA Node。若 Ray Worker 随机跑在远端 Socket,下述操作都会跨 Socket 走 Coherence Link 再到 NVLink-C2C,降低带宽:
优化器状态 Offloading。
Checkpoint 在 CPU-GPU 之间传输。
tokenization/数据预处理。
Pinned Memory 分配。
![]()
NVIDIA 的优化方案是:将 Policy Worker 和 vLLM Worker 显式绑定到其 GPU 的 Local CPU Socket。优化后 GB200 上 End2End 吞吐提升 10%。
5.5 Checkpoint Blocking
训练中也发现 Checkpoint 保存每次会阻塞训练约 60S。对此相应的优化方案如下所示,优化后暴露出来的保存时间降低到 1s 以内:
使用 NVIDIA Resiliency Extension(NVRx)的异步 Checkpointing,把模型参数复制到 CPU 后后台持久化,暴露阻塞降到 6-8 秒。
NCCL 数据传输与 D2H Copy Overlap,缩短同步暂存窗口。
持久化 Checkpoint 工作进程,避免每次 fork/spawn。
Checkpoint 最终确认操作放后台线程,彻底避免其对训练进程的阻塞。
对分布式保存计划进行缓存,确保仅在首次生成后续可用版本。
借助 Megatron-Core Distributed Optimizer 让优化器状态在 DP Rank 分片,每 Rank 只保存本地 Slice。
5.6 JIT Cache 和初始化
1K GPU 冷启动初始化约 49 分钟,其中约 38.8 分钟由 JIT 编译主导,因此进行优化,优化后 JIT 冷启时间从 38.8 分钟降低到 0.4 分钟。
Job 结束时把 JIT Artifact 写到持久化共享存储,压缩成 tar 包。
启动前每节点把缓存的 tar 包解压到本地 /tmp。
后续 JIT Write 全部写本地 /tmp,避免共享文件系统元数据风暴。
FlashInfer Cubin 在容器构建时被集成到镜像中。
![]()
5.7 多节点 vLLM 稳定性
多节点 vLLM 采用 Ray 作为其分布式执行引擎。每个 vLLM 数据并行主节点会生成若干 EngineCore 子进程,这些子进程各自调用 ray.init() 以连接全局控制存储(GCS)。在大规模部署环境下,还会存在其他的问题导致启动失败:
包与内核 ABI 不匹配,RL Stack 的不同组件安装了不同的 GPU Kernel library。
子进程环境差异,主 Ray Actor 进程中设置的环境变量未能传递给通过 multiprocessing.spawn 生成的子进程,导致子进程解析到与父进程不同的库版本,进而在内核加载时失败。
集合通信不兼容,部分 JIT 编译内核与 GB200 集群中 NCCL 的多节点 NVLink 内存注册机制存在不兼容,从而导致分布式初始化过程中发生挂起。
相应的解决方案为:
统一 RL Stack 所有组件的 GPU Kernel Library 版本。
Spawn 时显式传递 Library Path 和环境变量。
对受影响路径禁用 multi-node NVLink memory 注册,等待上游 FlashInfer 修复。
增加 vLLM 监控检查,验证 Device 分配和 TP NCCL 通信组。
RPC timeouts、Graceful shutdown、Orphan process cleanup。
5.8 Container 与存储 I/O
规模化部署后,所有节点在 Job 启动阶段同时从共享存储读取镜像(约 44GB),形成数 TB 级并行读取风暴。部分节点 Input/output error 或 extraction stall 12+ 分钟。Job 结束时所有节点同时写回 JIT Cache,形成第二次 I/O 风暴。
针对这些问题也提供了相应的解决方案:
容器缓存机制:Enroot 的本地 squashfs 缓存确保节点完成容器镜像解压后,后续作业可重复使用本地缓存副本。
不对称读写缓存路径:训练期间 JIT writes 全部写 node-local 存储,Job 结束只让一个 sidecar 进程把 Cache 归档回共享存储。启动时每节点顺序读取压缩 tar 包到本地,避免大量小文件 metadata I/O。
六、量化
6.1 PTQ
量化使用 Model-Optimizer,对 Nemotron 3 Ultra 做 NVFP4 PTQ,目标是 Blackwell 高效推理。相应的精度如下图 Table 12 所示:
![]()
最终选择了 5.03 BPE(Bits Per Element)的模型,主要原因是:
多数 Benchmark 在 4.85 - 7.19 BPE 之间基本饱和。
真正敏感的是 Long-Context AA-LCR,4.85 -> 5.03 提升约 2.4 分。
5.03 之后继续加 bits 到 7.19,即增加约 43% bit budget,没有实质收益。
![]()
6.2 FP4 Scale 选择
NVIDIA 对 FP4 Weight Scale 选择做了 max、MSE、Four-Over-Six 对比,最终
路由专家 Weight Scale 选择 Four-Over-Six。
Activation Scale 仍使用 max 校准。
更保守的 5.03 / 5.43 BPE 下,MSE 略优于 max。
激进的 4.85 BPE 下,max 与 MSE 接近。
Four-Over-Six 在 5.03 BPE 最好,但在 4.85 BPE 下大幅退化,可能因为 Mamba 对 Outlier 敏感。
![]()
6.3 Megatron-LM vs HuggingFace PTQ
Ultra 的 550B BF16 权重大约 1.1TB,单节点 HuggingFace transformers PTQ 需要 CPU offload;Megatron-LM 可以多节点、多维并行、EP/DP 加速量化。说明对超大 MoE,PTQ 也需要分布式系统支持,不能按“小模型离线脚本”理解。
![]()
6.4 Mamba SSM Cache
Mamba 的 SSM state 是每 Batch 元素常量大小缓存,而 KV Cache 随序列长度增长。但在 Nemotron 3 Ultra 中,FP32 Mamba Cache 在 64K 以内可能比 FP8 KV Cache 更大,因此会成为 DRAM 占用和 DRAM 读压力瓶颈。因此需要压缩,如下图 Figure 14 所示,最终选择:
Mamba SSM Cache:FP16 with stochastic rounding。
KV Cache:FP8。
![]()
NVIDIA 也探索了 8-bit Mamba Cache 和周期性 Cache Checkpointing:
INT8 with stochastic rounding 基本可以保持 FP32 Cache 精度。
FP8 E4M3 降质更明显,可能因为有效精度不足。
周期性 Cache Checkpointing,每 CC 步保存一次 State,并通过激活回放补偿,降低连续量化误差,但当前优化 Kernel 仍在开发。
![]()
6.5 一个 NVFP4 checkpoint 同时服务 Blackwell 和 Hopper
NVIDIA 最终只发布一个 NVFP4 Checkpoint:
Blackwell:原生 FP4 匹配 W4A4/NVFP4。
Hopper:无原生 FP4 Tensor Core,以 W4A16 运行,即 Weight NVFP4、Activation BF16。
为什么不单独发布 FP8 Checkpoint:
H100 8-GPU 节点,TP8,总 HBM 约 640GiB。
FP8 Checkpoint 约 540GiB,每 GPU 只剩约 10GiB 给 Activation、KV Cache、Mamba State。
NVFP4 Checkpoint 约 330GiB,每 GPU 约剩 40GiB。
FP8 虽有更高 Tensor Core 峰值,但 Batch Size 被 Cache Budget 限制,无法进入 Compute-Bound 区域。
NVFP4 W4 开销小,还能把 MTP Weight 放进同一个 8-GPU 节点,FP8 Checkpoint 则需要两台 H100 节点,失去单 NVLink Domain 优势。
为什么不使用 W4A8:
NVFP4 的 E2M1 + E4M3 Block Scale 等效范围接近 E6M4,直接 Cast 到 FP8 E4M3 会溢出。
保精度需要 W4 -> BF16 -> FP8,每个 GEMM 前会多一个 Cast OP。
在目标约束下 W8A8 已不比 W4A16 快,W4A8 只会更差。
七、推理部署
7.1 Workload 分化
报告中用 GB200 NVL72、NVFP4、关闭投机采样对比两类 Workload:
Decode-heavy:8K input / 64K output。
Prefill-heavy:50K input / 2K output。
如下图 Figure 15 可以看出
Decode-heavy 下,Nemotron 3 Ultra 领先,报告中相对 GLM-5.1 的吞吐为 5.9x;Kimi-K2.6 相对 GLM-5.1 的吞吐为 1.2x,Qwen-3.5-397B-17B 相对 GLM-5.1 的吞吐为 3.7x。
Prefill-heavy 下,Qwen-3.5-397B-17B 领先;Nemotron 3 Ultra 相对 GLM-5.1 为 3.9x, Qwen-3.5-397B-17B 相对 GLM-5.1 为 4.6x。
![]()
主要原因是:
Prefill Compute-Bound,成本主要看激活参数量。Nemotron-3 Ultra 是 55B,对 Qwen-3.5-397B-17B 的 17B 有约 3.2x FLOPs 惩罚。
Large-Batch Decode 中,几乎所有专家都会被激活,成本更像全参 I/O。Nemotron-3 Ultra 550B 对 Qwen-3.5-397B-17B 397B 的差距约 1.39x,此时 Mamba-2 的常量 Per-Step Decode 开销变成优势。
7.2 TP/EP 选择
Nemotron 3 Ultra 推理必须多 Rank 并行。报告中对 TP/EP 的取舍做了分析:
小 Batch、低延迟:权重读取 Memory Bandwidth Bound,大 TP 有利,每 Rank HBM 读按 TP 维度降低,Hidden Vector 的 AllReduce 相对便宜。
大 batch、高吞吐:激活通信成为瓶颈,大 EP 更好,通信集中在 MoE 前后的 All2All,GEMM/Attention/Mamba/路由专家都 Rank-Local。
某些低延迟场景下,TP + EP + Attention/Mamba DP 的组合优于单一方案。
对 GB200 NVL72:
72 GPU 在同一 NVLink Domain,对大 EP 尤其合适。
EP All2All 可以留在 NVLink Domain,不跨 InfiniBand。
服务还要做最少负载 Worker 路由,避免同步 All2All 中负载小的 Rank 等负载大的 Rank。
热专家可以通过专家级负载均衡/专家副本缓解。
7.3 PD 分离
Nemotron 3 Ultra 采用了 PD 分离,让 Prefill 和 Decode Worker 使用不同并行策略和调度机制。
Hybrid Mamba-Attention 会引入额外的复杂性:
纯 Attention 只需要传 KV Cache,Hybrid 模型还需要传 Mamba SSM State。
Cache-State Event 必须区分 KV Cache 与 Mamba SSM State。
报告称进行了相关上游改动,在 Prefill-Heavy Workload 上测得最多约 10% 吞吐提升:
语义 KV-Event Metadata Path,用于标识 Hybrid Cache Group。
多节点 Ray 所需的 NIXL 侧信道主机解析修复。
7.4 Prefill 与 MoE chunking
Prefill-Heavy Workload 常用 Request-Level Chunked Prefill,以便 Prefill Chunk 与 Decode Forward 交错。但 Chunk Size 太小会伤害 TPOT;Chunk Size 太大又会让路由专家 Kernel 在大 EP 下碰到 Kernel-Level 资源限制。
解决方案是 MoE-Side Chunking:在 MoE Kernel 内部把 Token Batch 切开,使 Request-Level Chunk Size 可以增大,同时不触发 MoE Kernel 资源上限。
7.5 GEMM Shape 与 Padding
某些 TP 维度、量化格式、硬件的组合会让 Per-Rank GEMM 维度不满足 Kernel 对齐。NVIDIA 当前做法是在加载时 Padding 受影响的权重,并让运行时忽略 Padded 位置。
工程建议:未来模型设计时提前选择内部维度,使常见 (TP, 量化, 硬件) 组合天然满足 Kernel 友好的 Shape,避免部署期 Padding。