铃阅时讯
❌

普通视图

NVIDIA BlueField-DPU 解析 & 生态汇总

2026年5月2日 20:00

原创 AI闲谈 2026-05-02 20:00 北京

本文全面梳理了 NVIDIA BlueField-DPU 的硬件代际、关键子系统(DPA / GDS / NVMe-oF RDMA)、网络互联、AI Factory 与大模型场景下的收益、CMX 上下文记忆存储等。信息比较多可能存在误差,以 NVIDIA 官方 Datasheet、DOCA SDK 等为准

一、引言

本文全面梳理了 NVIDIA BlueField-DPU 的硬件代际、关键子系统(DPA / GDS / NVMe-oF RDMA)、网络互联、AI Factory 与大模型场景下的收益、CMX 上下文记忆存储等。信息比较多可能存在误差,以 NVIDIA 官方 Datasheet、DOCA SDK 等为准。

相关内容可以参考:

二、各代 BlueField DPU 对比

2.1 DPU 概念与 BlueField 平台定位

DPU(Data Processing Unit) 是继 CPU、GPU 之后的"第三颗主芯片"。它将网络、存储、安全、虚拟化等"基础设施税"(Infrastructure Tax,业内估计占数据中心 CPU 周期的 20%–30%)从 Host CPU 卸载到专用 SoC。

NVIDIA 的 BlueField 系列(NVIDIA BlueField Networking Platform)源自 2019 年收购 Mellanox 后的产品线,融合了 Mellanox ConnectX 系列网卡的硬件加速引擎、Arm 多核 SoC、PCIe Switch 与 NVIDIA 的 DOCA 软件栈,已成为云、HPC 与 AI Factory 的事实标准 DPU 之一。

BlueField 的核心价值为:

  • Offload:把 OVS、vRouter、NVMe-oF Initiator/Target、TLS/IPsec、防火墙等从 Host CPU 卸载,降低 CPU 负载。

  • Accelerate:硬件加速 RDMA、加密、压缩、正则匹配、流分类、Packet Pacing 等。

  • Isolate:Host 与基础设施控制面(Tenant vs. Operator)物理隔离,零信任架构的天然落点。

进入大模型时代后,BlueField 进一步承担了“AI Factory 的基础设施 OS”角色,成为 GPU 计算单元之外、为 AI 数据流水线提供网络、存储、安全、KV Cache 服务的核心芯片。

2.2 BlueField 详细数据与硬件结构

2.2.1 BlueField-1(2017,Mellanox 时代)

如下图所示为 BlueField-1 的硬件架构图(NVIDIA® Mellanox® BlueField® Data Processing Unit (DPU)):

  • 网络:集成  ConnectX-5,峰值带宽 100Gb/s,EDR/HDR100 InfiniBand。

  • Arm 子系统:最多 16 个 Armv8 A72 核(部分 SKU 8 核)。

  • PCIe:Gen3/Gen4 ×16(同时可作为 PCIe Switch,下挂 NVMe SSD,构成 BlueField Storage Controller / JBOF Reference Design)。

  • 内存:板载 DDR4。

  • 典型用例:NVMe over Fabrics (NVMe-oF) 全闪存阵列 (AFA)、JBOF 存储控制器、服务器缓存 (memcached)、分离式机架存储及 Scale-Out 扩展直连存储。

  • 意义:奠定了"NIC + Arm SoC + PCIe Switch"的 DPU 形态,但当时尚未配 DOCA,需要使用 Mellanox OFED + 自研 SDK。

2.2.2 BlueField-2(2020)

如下图所示为 BlueField-2 的硬件架构图(nvidia bluefield-2 dpu):

  • 网络:集成 ConnectX-6 Dx,单/双口,最高 2×100 GbE 或 1×200 Gb/s(Ethernet 与 HDR100 InfiniBand)。

  • Arm 子系统:8 颗 Armv8 A72 核,4 MB L2。

  • PCIe:Gen4 ×8/16(支持 PCIe Switch + EP/RC 模式切换)。

  • 内存:16/32 GB 板载 DDR4。

  • 加速器:

    • RDMA / RoCEv2(ConnectX-6 Dx ASAP² 引擎)

    • 硬件加密:AES-XTS-256/512、AES-GCM、TLS/IPsec

    • 正则表达式加速(RegEx)

    • SHA-256、压缩/解压(DEFLATE)

    • SR-IOV、VirtIO-net

  • NVMe SNAP™:把远端 NVMe-oF 目标在 Host 侧伪装成本地 PCIe NVMe 盘。

  • 形态:HHHL 单宽/双宽 PCIe 卡,OCP 3.0 SFF 卡,部分有集成 BMC 形态。

2.2.3 BlueField-3(2022 量产,2023 大规模出货)

如下图所示为 BlueField-2 的硬件架构图(NVIDIA BLUEFIELD-3 DPU):

  • 网络:集成 ConnectX-7,单口 400 Gb/s(或 2×200 GbE / 4×100 GbE / NDR200 IB)。

  • Arm 子系统:16 个 Armv8.2 A78 核,8 MB L2, 16 MB 共享 L3。

  • PCIe:Gen5 ×32(可拆 2×16 或 1×16 + Switch),支持 PCIe Switch 模式,下挂 GPU、NVMe。

  • 内存:16 GB 板载 DDR5(5600 MT/s,支持 ECC)。

  • DPA(Datapath Accelerator):16 个超线程 RISC-V 执行单元 × 每核 16 hw 线程 = 256 个硬件线程,专用于 Dataplane 包处理、拥塞控制(PCC)、SHARP collectives、storage-init 等微内核。

  • 加速器:

    • 200/400 Gb/s 线速 RoCEv2、Adaptive Routing、Out-of-Order RDMA Write

    • GPUDirect RDMA、GPUDirect Storage

    • NVMe-oF(TCP / RDMA / FC-NVMe)initiator+target 卸载

    • SNAP 4.x:NVMe / VirtIO-blk / VirtIO-net 设备仿真

    • 公钥 / 对称加密、TLS

    • 压缩 / 解压、Regex

2.2.4 BlueField-4(2025 GTC 公布,2026 出货)

NVIDIA 目前还未提供 BlueField-4 的硬件架构(NVIDIA BlueField-4 DPU datasheet):

  • 核心定位:AI Factory 的 "operating system processor",与 ConnectX-9、Spectrum-X 第二代、Rubin/Vera-Rubin GPU 同代发布。

  • 架构融合:把 NVIDIA Grace CPU 子系统与 ConnectX-9 网络引擎直接整合到一颗 SoC,构成全片上一致性内存 + 网络 + 加速器域。

  • 网络:单卡 800 Gb/s,支持 800G Ethernet(Spectrum-X Gen2)与 800G InfiniBand(Quantum-X800 / XDR)。

  • Arm 子系统:基于 Grace 系列 Arm Neoverse V2,64 核心(同源于独立 Grace CPU),114MB 共享 L3 Cache。

  • 内存:128GB 板载 LPDDR5X 统一内存。

  • 存储:512GB 可插拔 SSD。

  • 算力倍增(官方):

    • 6x 通用计算性能(vs. BlueField-3)

    • 支持 4x 更大规模的 AI Factory

    • 800 Gb/s 网络带宽 是 BF-3 的 2x

  • DPA:第二代 Datapath Accelerator,16 核心,256 线程。

  • PCIe:Gen6(与 Rubin/Vera 平台对齐)。

  • DOCA Microservices 原生支持:容器化、可热插拔的 Networking / Security / Storage / AI Data 服务在 BF-4 上以微服务方式运行。

2.3 关键差异对比

三、配套 GPU、服务器与参考设计

3.1 与 NVIDIA GPU 的搭配(典型)

3.2 NVIDIA DGX/HGX/MGX 系统

在 NVIDIA 的 DGX 系统中通常会配置 BlueField DPU,而在 HGX、MGX 平台通常为选配:

  • DGX A100:每节点 8 x ConnectX-6 + 2 x BlueField-2(管理 + 存储面)。

  • DGX H100 / H200:标配 8 x ConnectX-7 SuperNIC + 2 x BlueField-3,提供 8×400 Gb/s 计算面与独立存储/管理面。

  • DGX GB200 NVL72 / GB300 NVL72:72×GB200/B300 + Spectrum-X 后端;BlueField-3 用作 in-rack 网络/存储/安全 offload。

  • HGX Reference:OEM 自由配置 ConnectX/BlueField;HGX H100 8-GPU baseboard 推荐每 GPU 配 1× BF-3 SuperNIC。

  • MGX 模块化平台(2023+):BlueField 作为可选 Infra 卡,与 Grace、Hopper、L40S、Blackwell 自由组合。

3.3 OEM/ODM 服务器生态

支持 BlueField-3/4 的主流厂商(NVIDIA-Certified):

  • Dell PowerEdge XE 系列

  • HPE ProLiant Compute、Cray XD

  • Lenovo ThinkSystem SR / ThinkAgile

  • Supermicro AS / SYS / GPU SuperServer

  • Cisco UCS X-Series(与 Cisco Hypershield 集成)

  • ASUS、Gigabyte、Pegatron、ASRock Rack

  • NVIDIA RTX PRO Server(2025):Blackwell + BlueField-3,企业 AI Factory 验证设计的标配模块

存储侧 JBOF(Just a Bunch of Flash,全闪存阵列) / All-Flash Array 厂商:

  • VAST Data、DDN、Pure Storage、NetApp、Hitachi Vantara、IBM、WekaIO、Hammerspace、Dell PowerScale、Kioxia、Samsung、Micron 等都有基于 BlueField-2/3 的产品或参考设计;

  • BlueField-4 则被用于 NVIDIA STX 与 CMX(Context Memory Storage)平台。

JBOF 使用 DPU 相比传统的 x86 CPU 方案具有显著优势,比如具有更高的集成度、更低的时延、更高的吞吐量、更低的功耗等:

四、DOCA 软件栈与 DPA(Datapath Accelerator)

4.1 DOCA 总览

DOCA(Data Center Infrastructure-on-a-Chip Architecture)是 BlueField 的官方 SDK + Runtime,对标 GPU 上的 CUDA(NVIDIA DOCA Software Framework)。包括:

  • DOCA Drivers:MLNX_OFED / DOCA-OFED(rdma-core, mlx5, ib-verbs)。

  • DOCA Libraries:Flow(ASAP² OVS offload)、RDMA、Comch、DMA、SHA、AES-GCM、Compress、Erasure Coding、Telemetry、App Shield、Device Emulation、GPUNetIO、UROM、Rivermax、PCC,以及 DOCA Memos(KV Cache 共享,BF-4 起,详见 §10)。

  • DOCA Services / Microservices:BlueField Service Function Chains,K8s 友好的容器化基础设施服务(Firewall、IDS、Telemetry、HBN host-based networking、Memos KV Router 等)。BF-4 起官方主推"DOCA Microservices"运行时,与 NIM 推理微服务对齐。

  • DOCA Runtime / BFB Image:BlueField OS 镜像,基于 Ubuntu/Alma,预装 DOCA 全栈。

4.2 DPA(Datapath Accelerator)

DPA(Datapath Accelerator)是 BlueField-3 新引入的嵌入子系统,之前的 SmartNIC 只能提供控制面的处理能力,而 DPA 可以进一步加速某些数据包和 I/O 处理工作负载中需要高性能访问 NIC 引擎的任务。DPA 子系统的特点是拥有众多可并行工作的执行单元,以克服延迟问题(如访问 Host 内存)并提供更高的整体吞吐量(DPA Subsystem - NVIDIA Docs)。具体来说:

  • 作用:把 ConnectX 的 ASIC 数据面与 Arm 控制面之间的"中间路径"做软件可编程化,专门跑:

    • 拥塞控制算法(DOCA PCC,例如 Programmable CC for RoCE,可自定义 DCQCN 替代)

    • 集合通信加速(与 SHARP 配合)

    • 自定义 packet processing(DOCA FlexIO / DPA Verbs)

    • Storage offload 微内核(NVMe-oF target/initiator 数据面)

    • CMX 中的 KV Cache 路由 / 一致性检查 / 加密(BF-4)

  • 编程模型:C 语言 + DOCA DPA / FlexIO SDK,host 侧 cross-compile(dpaCC 是 Clang/LLVM-for-RISC-V 的封装),runtime 动态加载 ELF 到 DPA,触发方式包括 doorbell、completion、Wire-IRQ。线程上下文与 host 隔离,多进程 + 隔离地址空间。

  • 价值:相比 FPGA 提供更友好的 C/C++ 编程性与可调试性;相比 Arm 通用核,单线程延迟与并行度都更适合包级处理。

其硬件架构如下图所示:自研 RISC-V 多线程处理器,BF-3 含 16 个执行单元,每个 16 个硬件线程,也就是共 256 个硬件线程,由轻量 RTOS 协同调度(cooperative run-to-completion + watchdog),具有专用 L1/L2/L3 + Memory Aperture,可直接访问 NIC 加速器(加密、压缩、SHA、DMA)和 host 内存。

五、GPUDirect Storage(GDS)深入解析

5.1 设计动机:CPU bounce buffer 是 GPU IO 的瓶颈

传统 IO 路径:

  • 多一次拷贝,增加延迟与功耗;

  • 受限于 CPU ↔ GPU PCIe 单通道带宽(DGX-2 上 SysMem → GPU 仅 12–12.5 GB/s × 4 PCIe tree ≈ 50 GB/s 上限);

  • Page fault / mmap 隐式路径会造成抖动和长尾延迟。

Storage(NVMe / NVMe-oF) - DMA -> CPU SysMem (bounce buffer) - cudaMemcpy -> GPU HBM

GDS 提供的直接路径:

  • CPU 仅参与控制面;

  • 在 DGX-2 实测中,本地 NVMe → GPU 13.3 GB/s(x4 tree = 53.3 GB/s)、外部 NIC NVMe-oF 10.5 GB/s(x8 = 84 GB/s)、RAID 14 GB/s(x8 = 112 GB/s),叠加可达 ~215 GB/s,逼近 GPU PCIe 峰值 230 GB/s,是 SysMem 路径的 ~4x(GPUDirect Storage: A Direct Path Between Storage and GPU Memory | NVIDIA Technical Blog)。

  • 这些带宽是可加和的:本地 NVMe + 外部 NIC + RAID 同时使用,可以让 GPU 同时从多源拉数据。

Storage(本地 NVMe / 远端 NVMe-oF / NIC RDMA) - DMA/RDMA -> GPU HBM

5.2 软件栈与 cuFile API

包括:

  • libcufile.so(用户态):cuFile API 的实现,已合入 CUDA Toolkit 一并发行。

  • nvidia-fs.ko(内核态,GPLv2):实现 DMA callback、GPU 物理地址翻译、与文件系统驱动联动;CUDA 12.8+ 起本地 NVMe / DOCA SNAP 路径走 Linux 上游 PCI P2PDMA(Linux ≥ 6.2 + OpenRM 570.x),不再强依赖 nvidia-fs.ko,对 OS 兼容性显著改善。

  • cuFile 核心 API 家族:

    • 同步:cuFileDriverOpen/Close、cuFileHandleRegister/Deregister、cuFileBufRegister/Deregister、cuFileRead/Write

    • 异步(CUDA Stream 语义):cuFileReadAsync/WriteAsync、cuFileStreamRegister/Deregister

    • 批量:cuFileBatchIOSetUp/Submit/GetStatus/Cancel/Destroy

  • 关键要点:

    • GPU buffer 必须先经过 BAR 注册才能被第三方设备 DMA。cuFileBufRegister 显式注册;不注册时库内部用 bounce buffer + 拷贝(功能可用,性能下降)。

    • 4 KB 对齐(buffer 地址、file offset、size)才能走最优路径;不对齐会 fallback 到 GPU bounce buffer / POSIX read-modify-write。

5.3 系统调优

  • 关闭 PCIe ACS(Access Control Services):否则 P2P 会被强制经过 Root Complex,无法绕开 CPU。gdscheck -p 可查看启用 ACS 的 PCIe switch,也可以通过 lspci -vvv | grep -i "acsctl" 查看。

  • 关闭 IOMMU(x86):

    • BIOS 关闭 intel_iommu / amd_iommu,否则 P2P 流量被 Root Port 路由,限制 PCIe switch 下的吞吐(可以使用 cat /proc/cmdline 查看)。

    • Grace(aarch64)平台需开启 IOMMU 但禁用 passthrough。

  • NIC ↔ GPU PCIe 拓扑:尽量同 PCIe switch 下,至少同 CPU socket,避免 QPI/UPI 跨 socket。

  • NIC 配置:

    • ConnectX-5/6/7/8 必须 IB 或 RoCEv2 模式;

    • MLNX_OFED ≥ 5.4 或 DOCA ≥ 2.9。

  • /etc/cufile.json关键项:

    • max_direct_io_size_kb:默认 16384(16 MB),更大 IO 块减少 IO stack 调用次数;

    • max_device_cache_size / per_buffer_cache_size:内部 bounce buffer 池(默认 128 MB / 1 MB);

    • allow_compat_mode:unaligned IO fallback 到 POSIX;

    • properties.rdma_dynamic_routing 与 rdma_dynamic_routing_order。

  • CUDA 上下文:尽量让计算 kernel 跑在 primary context,避免 D2D 拷贝被其他 context 抢占(Runtime API 默认就是 primary context)。

  • 避免 fork() 在 cuFileDriverOpen 之后:行为未定义。

5.4 Dynamic Routing(关键性能优化)

当 GPU 与 Storage NIC 不在同一 PCIe Root Complex 下时,跨 Root Port 的 P2P 延迟高、吞吐被限制。cuFile 的动态路由按 4 种策略选择最优路径:

  • GPU_MEM_NVLINKS:经同 PCIe tree 内的代理 GPU + NVLink 中继到目标 GPU;

  • GPU_MEM:经代理 GPU + PCIe(无 NVLink);

  • SYS_MEM:fallback 到 host pinned memory;

  • P2P:跨 Root Port 直接 P2P(兜底)。

通过 cufile.json 的 properties.rdma_dynamic_routing_order 配置,并以 gdscheck -p 校验。Lustre / WekaFS / NFS 还需在 fs.<type>.mount_table.<mount>.rdma_dev_addr_list 列出 NIC IP,否则 fallback 到 SYS_MEM。

5.5 公开的性能数据(GDS vs. 非 GDS)

值得注意:

  • 即使带宽收益较小(如 Ethernet vs IB 仅 1.17×),CPU 利用率收益通常 4x–6x,对推理服务的延迟稳定性影响巨大。

  • IB 与 Ethernet(RoCEv2)功能等价,IB 在大 IO 下略有 1.17× 性能优势。

  • 多源叠加是 GDS 独有特性:本地 NVMe + 远端 NVMe-oF(IB) + 远端 NVMe-oF(Ethernet)可同时跑满,在 CPU bounce 路径下因 Root Complex 拥塞而无法实现。

5.6 与 BlueField 的协同

  • BlueField 提供 RDMA 网络栈与 NVMe-oF target/initiator 卸载,是 GDS 远端存储路径的关键 enabler。

  • BlueField 上的 NVMe SNAP 把远端 NVMe-oF 在 host 侧仿真成本地 PCIe NVMe 盘,使 GDS 客户端代码无需改动;CUDA 12.8 起 SNAP 路径直接走 P2PDMA,无需 nvidia-fs.ko patch。

  • BlueField-3 的 PCIe Gen5 ×32 + 400 Gb/s 网络让 GDS 在远端能跑到接近本地 NVMe 的水平;BF-4 再加 800 Gb/s + Gen6 PCIe,使 NVMe-oF 与 HBM 之间的延迟逼近本地。

  • DOCA Memos(BF-4)将 KV Cache 直接以 RDMA + cuFile 风格的 API 暴露给 GPU,是 GDS 抽象层在"AI 原生存储"方向的延伸。

六、网络互联方案:InfiniBand、Spectrum-X、SuperNIC

6.1 InfiniBand(HPC / 紧耦合 AI)

  • Quantum-2(NDR 400G,2021):与 ConnectX-7 / BF-3 配合,DGX H100 SuperPOD 默认骨干。

  • Quantum-X800(XDR 800G,2024):与 ConnectX-8、Blackwell 同代。

  • 特性:SHARP(in-network reductions,AllReduce 加速 2×+)、Adaptive Routing、Self-Healing Network、SHIELD(链路层 FEC)。

6.2 Spectrum-X(专为 AI 的 Ethernet)

  • Spectrum-4(51.2 Tb/s 交换芯片)+ BlueField-3 SuperNIC 组合,构成业内首个"为 AI 优化的以太网"。(NVIDIA Spectrum-X Ethernet Platform for AI Networking)

  • 关键:

    • Adaptive Routing + Packet Spraying:每包独立路径,配合 SuperNIC 端的 RDMA Out-of-Order 重排。

    • Direct Data Placement (DDP):硬件保证 Out-of-Order 包到 GPU 内存正确位置。

    • Zero-Touch RoCE Congestion Control:基于 In-band Telemetry。

    • 在大规模 AllReduce 上 vs. 标准 RoCE 提升 1.6x–1.7x 有效带宽。

  • Spectrum-X 第二代(2025):800G,与 BlueField-4 / ConnectX-9 / Rubin 配套,是 CMX 的网络底座。

6.3 SuperNIC vs. DPU 区别

DGX H100 / HGX 节点:8× SuperNIC(计算面)+ 2× DPU(存储/管理面)是参考设计;Rubin 架构将切换到 ConnectX-9 SuperNIC + BF-4 DPU。

6.4 NVLink / NVSwitch

NVLink/NVSwitch 是 GPU 内部 scale-up 互联(一个 NVL72 域内 GPU 之间),BlueField/InfiniBand/Ethernet 是 scale-out 互联,二者是上下层关系。BlueField 不在 NVLink 域内,但 GDS 的动态路由可借用 NVLink 在 GPU 之间中继 RDMA buffer。

七、CMX(Context Memory Storage) 上下文记忆存储平台

7.1 定位与动机

NVIDIA CMX(Context Memory Storage Platform)是 2026 年 1 月(CES)正式发布、由 BlueField-4 驱动的 AI 原生存储平台,专为长上下文、多轮、Agentic AI 推理设计。 NVIDIA 的官方表述:

"CMX is an AI-native context tier for long-context, multi-turn, and agentic AI inference. Powered by NVIDIA BlueField-4, it extends GPU memory with a shared, pod-level context tier optimized for ephemeral KV cache."

它解决的根本问题:

  • KV Cache 不能长期存在 GPU 上(GPU 是稀缺贵资源),但又必须以接近 GPU 内存的速度被读写;

  • 传统块/文件存储延迟太高、协议太重、CPU 占用高;

  • 需要一个共享、低延迟、高带宽、专为 KV 优化的"第四层内存"——位于 GPU HBM 与传统对象存储之间。 

7.2 体系结构(端到端 Co-Design)

四层 Co-Design:

NVIDIA BlueField-4(处理器层):

  • 集成 Grace CPU + ConnectX-9,6x BF-3 算力,800 Gb/s 网络;

  • 直接管理 NVMe SSD(NVMe SNAP / NVMe-oF target);

  • 在硬件上 offload KV cache 的 placement、metadata、data integrity、encryption、压缩;

  • 支持 service function chaining,可同时跑 Memos、Storage、Security 微服务。

NVIDIA DOCA Memos(SDK 层 / 数据面):

  • BF-4 + CMX 优化的 SDK,专为 KV cache 共享/路由/重用而生;

  • 暴露简单 key-value API(put / get / lookup / evict),把以太网附着的 flash 变成 pod 级共享缓存;

  • 硬件加速 integrity(CRC/SHA)+ encryption(AES-XTS / AES-GCM),让应用保持无状态而 CMX 处理 KV 路由;

  • 与 NIXL(NVIDIA Inference Exchange Library)和 Dynamo serving 紧耦合。

NVIDIA Spectrum-X Ethernet(网络层):

  • 提供 800 Gb/s 低延迟 RDMA 互联,用于跨节点的 KV 共享;

  • Adaptive Routing + lossless RoCE + 高级拥塞控制,最小化 jitter 与 tail latency,确保多租户下"可重复"的性能;

  • 让 CMX 可以以 pod 为单位 scale 到多个 rack 而保持高吞吐 + 低尾延迟。

NVIDIA Dynamo(推理服务编排层):

  • 分布式推理服务框架,把 CMX 与底层 context tier 暴露成 pod 内"无缝"的 KV 抽象;

  • 实现 KV-aware request placement:把请求路由到已经持有相关 KV 的实例(reuse);

  • 提升 tokens/s、降低 TTFT,支持多轮 / 多 Agent 上下文重用;

  • 与 NIM 推理微服务、TensorRT-LLM、vLLM、SGLang 都可对接。

7.3 关键能力与性能

来自 NVIDIA 官方公开资料(CES 2026 / GTC DC 2025):

  • Rubin cluster-level KV cache capacity:rack-scale 共享 KV,单 pod 容量可达 TB→PB 级。

  • 5× higher tokens/s:相比传统存储方案。

  • 5× greater power efficiency:把更多 data center 能耗预算让给 GPU 计算。

  • Hardware-accelerated KV placement by BF-4:消除 metadata 开销、减少数据搬运、保证安全隔离访问。

  • Smart KV sharing across AI nodes:DOCA Memos + NIXL + Dynamo 协同。

  • Spectrum-X RDMA:低 jitter、高带宽 RDMA 访问 AI-native KV。

  • Multi-turn / Agentic 持久上下文:对长会话型 Agent 系统提供"短期记忆 + 长期记忆"统一基础设施。

7.4 与 GDS 的关系

  • GDS / cuFile:解决 GPU↔storage 的直连访问(文件/块语义);

  • CMX / DOCA Memos:解决 GPU↔KV cache tier 的直连访问(KV 语义);

  • 两者底层都靠 BlueField + RDMA + GPUDirect 系列;

  • CMX 可视为 GDS 思想在 KV / Object 抽象上的延伸:把"GPU 直接读写远端存储"扩展到"GPU 直接读写 pod 级 KV 缓存"。

  • 在同一个 AI Factory 中,GDS 仍然负责模型权重、训练数据、checkpoint;CMX 负责推理 KV 与 Agent 上下文记忆,互补而非替代。

7.5 部署形态与 STX

  • NVIDIA STX(Storage Reference Architecture):模块化 AI 存储参考设计;CMX 可视为 STX 的一种"上下文记忆"配置实例。

  • 典型 pod:1× AI 计算 rack(Rubin GPU + BF-4 SuperNIC)+ N× CMX 存储 rack(BF-4 + NVMe JBOF)+ Spectrum-X 二代 800G fabric。

  • API:

    • 对外:DOCA Memos KV API + NIXL + Dynamo;

    • 对内:NVMe-oF over RoCE / IB。

7.6 实践使用模式

  • 冷启动 / 模型切换:从 CMX 拉模型权重,BF-4 SNAP 仿真本地盘 + GDS 直达 HBM;

  • Decode 阶段:每生成一个 token 后,把溢出的 KV 异步推到 CMX;下一轮请求若命中相同 prefix(system prompt / 多轮历史),由 Dynamo 路由到对应实例并直接拉 KV;

  • Agent 多 hop:跨工具调用、跨 Agent 切换的上下文持久化在 CMX,所有 Agent 实例可见;

  • 多租户:BF-4 提供租户级 KV 隔离与加密,租户之间不可见。

八、大模型 / 视频生成 / 大规模推理场景下的应用收益

8.1 LLM / VLM 预训练(千亿 ~ 万亿参数)

预训练阶段的 IO 瓶颈集中在三件事:

  • 大规模 Tokenized Dataset Streaming:多 PB 级 tokenized data(Common Crawl/WebDataset/Mosaic shards/Parquet)需要持续灌入数千 GPU。

  • Checkpoint Save / Load:千亿参数 + Optimizer State 单点可达 1–5 TB,按 step 节奏写盘。

  • 集合通信(AllReduce/AllGather):跨节点 East-West 流量,受拥塞控制与路由质量直接影响 MFU。

BlueField + GDS + Spectrum-X 的收益:

  • 数据加载(Data Loader):通过 cuFile + NVMe-oF + BlueField,每 GPU 拉数据带宽从 SysMem 路径的 ~6 GB/s 提升到 13–20 GB/s(本地+远端叠加),消除 CPU DataLoader 抖动对 step time 的影响。RAPIDS cuDF / NVIDIA DALI / WebDataset 已原生集成 cuFile。

  • Checkpoint:原生支持 cuFile Stream Async + Batch,Checkpoint write 速度提升 3–8×,配合 BlueField 上的 DOCA Compress / AES-XTS,可同时做压缩 + 落盘加密;checkpoint 时间窗压缩,意味着 checkpoint 间隔可以更短(更少的丢失训练时间),是 megascale 训练(>10K GPU)必备能力。

  • 集合通信:BlueField-3 SuperNIC + Spectrum-X 在 RoCE 上跑出 1.6–1.7× 标准 RoCE 的有效带宽,对应 LLM 训练端到端 MFU(Model FLOPs Utilization)提升 5–10%(根据模型与 batch size)。

  • DPA 可编程拥塞控制:超大集群的 incast、long-tail 拥塞用自定义 PCC 算法(如 HPCC/Annapurna 类)替代 DCQCN,长尾延迟下降。

  • 故障域隔离:BF DPU 跑独立 OS 与 telemetry,控制面与训练面分离,单 GPU 节点重启不会影响 BF-managed 存储面。

8.2 视频生成 / 多模态预训练(Sora 类、Veo 类、世界模型)

视频/多模态模型(Sora、Veo、Cosmos、世界模型 + diffusion transformer)在数据维度的特殊性:

  • 样本极大:单条 720p/1080p 视频片段经 VAE encode 后 latent token 序列动辄 10⁵–10⁶,原始素材 PB 级;

  • 预处理流水:视频解码、关键帧提取、resize、tokenization 全部在 GPU 上做(NVIDIA DALI / VPF / NVDEC);

  • 多模态对齐:文本-视频-音频-3D 多源融合,IO pattern 高度随机。

BlueField + GDS 的收益:

  • NVDEC + GDS:视频帧从 NVMe-oF / 对象存储 → 直达 GPU HBM → NVDEC 硬解 → VAE encode,全程不经过 CPU,吞吐提升 ~9x(NVIDIA 官方在视频分析负载上的实测)。

  • 对象存储加速:与 MinIO、Cloudian、Hammerspace、VAST 等 S3 兼容存储集成,BlueField 上跑 RDMA-S3 / NFSoRDMA 客户端,把对象路径直接接入 cuFile。

  • 多并发 stream:cuFile Batch + Stream Async 配合 NVDEC 多 instance,单 H100 节点可并发解码上百路视频。

  • 视频生成推理:视频/Sora 类模型推理时既有"长上下文"(时间维度的 latent KV)又有大模型 KV Cache,BF-4 + CMX 可以把 spatial-temporal KV Cache offload 到 pod 级共享存储。

8.3 大规模推理部署(LLM Serving、Agentic、Long-Context)

大规模推理是 BlueField-4 + CMX 真正的"杀手级场景"。它解决的核心矛盾:模型越大、上下文越长、并发越高、Agent 多轮越深,KV Cache 占用越爆炸;但 KV Cache 存在 GPU HBM 里,GPU 既贵又稀缺。

KV Cache 经济学(以 Llama-3 405B class 为例):

  • 单 token KV ≈ 2 × layers × heads × head_dim × bytes_per_elem;405B 模型每 token KV ≈ 数十 KB。

  • 128K 上下文、batch=64 的并发推理,KV Cache 单 instance ≈ 几十 GB;多轮 Agent / RAG 场景下,Cache 增长到 TB 级。

  • 把 KV 完全留在 HBM:浪费 GPU;丢弃后重算(recompute):燃烧 prefill 算力,TTFT 升高。

BlueField + GDS + CMX 的解法:

NVIDIA 官方在 CMX + Dynamo + Rubin 组合上披露的关键指标:

  • 5x tokens/s(vs. 传统存储后端做 KV cache 的方案)

  • 5x 更好的功率效率

  • TTFT(Time to First Token)显著下降:因 KV 已在 pod 内可寻址,不需重算

  • 支持 Rubin 集群级 KV Cache 容量:多 rack 共享上下文层

  • 可用时间:BlueField-4 与 CMX 平台 2026 年下半年进入早期可用,作为 NVIDIA Vera-Rubin 平台一部分。

8.4 RAG / 向量检索 / Agent

  • 向量数据库(Milvus、Weaviate、FAISS、cuVS):索引规模常达几亿到几十亿向量,IO 要求接近 OLTP;通过 GDS + NVMe-oF + BlueField 直接把 ANN 查询数据 DMA 到 GPU,搜索 QPS 与延迟都优于 SysMem 路径。

  • Agent 多轮记忆:长期记忆/工具调用历史本质上是带 metadata 的 KV,CMX 提供"短期 KV + 长期 context memory"的统一抽象,DOCA Memos 把 key-value API 暴露给应用层,BlueField-4 硬件做 placement、加密与去重。

  • NIXL(NVIDIA Inference eXchange Library)+ Dynamo:CMX 通过 NIXL 与 Dynamo 紧耦合,在 serving 层做 KV-affinity 路由("把请求送到 KV 已在的实例"),避免跨 pod 拉 KV。

8.5 收益小结

九、部署模式与运维要点

  • BFB 镜像安装:bfb-install + rshim(USB/PCIe over USB)刷写 BlueField OS。

  • DPU 模式切换:mlxconfig -d <dev> set INTERNAL_CPU_MODEL=…,区分 Embedded/Separated host。

  • 驱动栈:Host 装 MLNX_OFED 或 DOCA-OFED;DPU 内已集成。

  • Kubernetes:NVIDIA Network Operator + DOCA Operator + SR-IOV / Multus / NVIDIA-Aerial CNI。

  • 观测:DOCA Telemetry Service(DTS)→ Prometheus / OTel;NetQ for fabric。

  • 安全基线:开启 Secure Boot + RoT,固件签名验证,PSP/Confidential Computing attestation;BF-4 引入 BlueField Advanced Secure Trusted Resource Architecture。

  • GDS 系统调优:参考 §6.4(IOMMU / ACS / NIC affinity / cufile.json)。

  • 常见坑:

    • PCIe Gen5/Gen6 信号完整性对 PCB / Riser 要求高,OEM 验证必看。

    • GDS 在多路径 NVMe(multipath)/ RAID 上需额外补丁,CUDA 12.8 之前依赖 nvidia-fs.ko 对 nvme.ko 的私有 patch。

    • Dynamic Routing 需要正确填写 rdma_dev_addr_list,否则会回退 SYS_MEM 损失带宽。

    • DCQCN 调参:在 Spectrum-X 域更推荐用 NVIDIA Zero-Touch RoCE,混合域需谨慎。

    • 大模型 Checkpoint:cuFile Async + 4 MB+ 块大小 + buffer register;避免循环 register/deregister。

十、参考链接

10.1 NVIDIA 官方主页 / Datasheet

10.2 DOCA / DPA / Memos

10.3 GPUDirect Storage / Magnum IO

10.4 BlueField-4 / CMX / STX / AI Factory

10.5 客户案例

10.6 社区 / 开发者资源

跳转微信打开

❌