Google TPU 系列之 TPUv8 全面解析
原创 AI闲谈 2026-04-23 21:59 北京
Google 在 2026.04 发布了第 8 代 TPU,包含 2 种芯片,用于 Training 的 TPUv8t 和用于 Inference 的 TPUv8i。此外,在第 8 代 TPU 系统中集成了基于 Arm 架构的 Axion CPU。
一、背景
Google 在 2026.04 发布了第 8 代 TPU,包含 2 种芯片,用于 Training 的 TPUv8t 和用于 Inference 的 TPUv8i。此外,在第 8 代 TPU 系统中集成了基于 Arm 架构的 Axion CPU。Axion 可以提供处理复杂数据预处理与编排任务的计算余量,确保 TPU 持续获得数据供给而无需停滞。(TPU 8t and TPU 8i technical deep dive | Google Cloud Blog [1])
笔者之前也详细梳理过 TPUv1 - TPUv7 的所有产品(全面解析 Google TPU 演进:从 TPUv1 到 TPUv7),详细参数如下表所示:
之前分享的相关文章:
二、TPUv8t
2.1 TPUv8t Chip
TPUv8t 专为大规模预训练和 Embedding 密集型 Workload 设计。采用 TPU 系列中常用的 3D Torus 网络拓扑,Pod 规模可以扩展到 9600 芯片,与 TPUv7 相当。相较于 TPUv7,TPUv8t 的核心突破包括:
SparseCore:专为 Embedding lookup 中不规则内存访问模式设计的加速器。负责卸载数据相关的 AllGather 等集合操作,避免使用通用核心的 zero-op 瓶颈。
VPU/MXU Overlap 及均衡扩展:通过更加均衡的 VPU 扩展,最大限度提升利用率,降低向量运算时间。使得量化、Softmax、LayerNorm 等操作更好与 MXU 的矩阵乘法 Overlap,避免 MXU 因为 VPU 瓶颈而出现 Bubble。
原生 FP4 支持:TPU 首次引入 FP4 运算,突破内存带宽限制,在保持大模型低精度量化准确性的同时使 MXU 吞吐量翻倍。
ICI:TPUv8t 的 ICI 带宽提升 2x。从 TPUv7 中的 112G SerDes 升级到 224G SerDes,带宽翻倍,每个芯片带宽从 1.2TB/s 提升到 2.4TB/s。
需要说明的时,Google 分享中 TPUv7(Ironwood)的 42.5 EFops FP4算力实际是 FP8 算力(没芯片 4616T,共 9216 芯片),所以 2.8x 的提升有点标题党。
2.2 Virgo 网络拓扑
TPUv8t 相比 TPUv7 的另一个核心突破是采用了 Virgo 网络拓扑(Introducing Virgo Network megascale data center fabric | Google Cloud Blog [2]),可以实现 4x 的 DC 网络带宽提升。
Virgo 网络拓扑是面向现代 AI Workload 极端需求设计的 Scale-Out 架构。如下图所示,该网络基于大规模 Switch 构建,通过增加单 Switch Port 数量减少网络层级,采用扁平化的 2 层 non-blocking 拓扑架构。与传统 DC 网络相比,该设计可以最小化网络层级并显著降低时延。此外,还采用了多平面架构,图中数字 2 部分的不同颜色是不同的平面。Accelerator Rack 通过前端网络(Jupiter)接入计算和存储服务。具有以下优势:
超大规模:Virgo 网络可以在单一架构中连接多大 134,000 TPUv8t 芯片,提供 47Pb/s 的无阻塞双向带宽,算力高达 160万 EFLOPS。
跨代性能提升:相比于前代产品,TPUv8t 的带宽提升高达 4x,确保每个芯片都能充分发挥性能。TPUv7 每芯片 Scale-Out 带宽为 100Gb/s,TPUv8t 每芯片 Scale-Out 带宽提升到 400Gb/s。
可预测的低时延:相比于前代产品,Virgo 网络可以为 TPUv8t 提供低 40% 的 unloaded fabric 时延。
2.3 更快的存储访问
Google 还在 TPUv8t 中引入 TPUDirect RDMA 与 TPUDirect Storage 技术。
TPU Direct RDMA 可以实现 TPU HBM 与 NIC 之间的直接数据传输,绕过 Host CPU 和 DRAM。这样可以降低时延并消除 Host 系统瓶颈,从而提升 TPU 间通信的有效带宽。
TPUDirect Storage 通过支持 TPU 与高速托管存储(如 10T Lustre)之间的直接内存访问,有效规避了 CPU 瓶颈,使海量数据传输带宽翻倍。芯片能够以链路速率接收训练数据,比如大型多模态数据集时,MXU 也能保持完全饱和状态。
三、TPUv8i
3.1 TPUv8i Chip
TPUv8i 专为 Post-Training 和高并发 Inference 设计,其搭载了最大的 SRAM、新的 Collectives Acceleration Engine(CAE)以及专为服务优化的 Boardfly 网络拓扑。具体来说:
大容量片上 SRAM(384MB):TPUv8t 的片上 SRAM 达到前代(128MB)的 3x,能够将更大的 KV Cache 置于芯片上,从而在长上下文 Decoding 阶段显著减少计算核心的空闲。
Collectives Acceleration Engine(CAE):为了解决 Sampling 瓶颈,TPUv8i 增加了 CAE 单元,可以实现近乎 0 时延的跨 Tensor Core 结果聚合。每个 TPUv8i 包含 2 个位于 Core Die 上的 TC,以及位于 Chiplet Die 上的 CAE,取代前代 TPUv7 Core Die 上的 4 个 Sparse Core(SC)。通过集成专用 CAE,TPUv8i 将聚合操作的片上时延进一步降低 5x。
SparseCore:相比 TPUv8t,去除了 SparseCore。
3.2 TPUv8i Boardfly 拓扑
3D Torus 结构可以连接数千个芯片,但是芯片间的跳数比较多,All2All 通信时延较高。为此,在 TPUv8i 中更新了芯片互连方式,如下图所示:
图左 - Building Block(BB):对应一个 Compute Tray,包括 4 个 TPUv8i 芯片,通过 ICI 链路全互联;此外,还提供 16 个外部连接以支持更广泛的互联。
图中 - Group(G):8 个 BB 构成一个 Group,共 32 个 TPUv8i 芯片。通过铜缆实现全互联,利用 11 个可用外部连接进行组内通信。
黑色:8 个 TPU 全互联。每个 TPU 7 个连接。
蓝色(#2):分成 4 组,每组的 2 个 TPU 有额外的连接(PS:4 个?)。
图右 - Pod:36 个 Group 组成一个 Pod,共 1152 个 TPUv8i 芯片(最多 1024 个激活芯片)。36 个 Pod 使用 OCS(Optical Circuit Switche)实现全互联,确保任意芯片间通信的不超过 7 跳。
如下图所示对应了最远的 7 跳,也就是跨 Group 的 TPU 通信。
Compute Tray(BB)内部最多 1 跳(1,3,5,7)。
Group 内部最多 3 跳:包括 BB 内部各 1 跳和 BB 之间 1 跳(2,6)。
Group 之间最多 7 跳:包括 Group 内部最多 3 跳和 Group 之间的 1 跳(4)。
在 TPUv8i 中弃用 3D Torus 拓扑主要就是因为网络直径:
在 3D Torus 中,节点以网格形式排列,每个维度均呈环形闭合。比如 8x8x16(1024 芯片)为例,数据包需要遍历每个环结构的一半距离才能到达最远芯片:8/2(X) + 8/2(Y) + 16/2(Z) = 16 跳。
虽然 3D 拓扑很适合 Dense 训练场景中相邻设备通信的场景,但是在 All2All 通信中会产生非常大的时延开销。
对于 Reasoning 模型和 MoE 时代,任意芯片都可能需要与系统内其他芯片交互以实现 Token 路由,此时跳数指标的优化至关重要。
Boardfly 借鉴了 Dragonfly 拓扑,通过增加 Group 之间的直连光学连接数量,可以实现更扁平化网络。对于 1024 芯片的集群,Boardfly 将跳数从 16 压缩到 7,可以实现更低的尾时延,确保 TPUv8i CAE 无需等待从远端传输的数据到来。