铃阅
❌

普通视图

[随笔]谈谈Nvidia

2026年11月13日 09:50

原创 渣B 2026-11-13 09:50 浙江

昨天早上起床, 经历了自己组织的一些调整, 然后看到一些关于老黄的消息, 到了晚上听到一代传奇竟然以这种方式离开,  真的没想到... 回家翻看了一下以前写的《GPU架构演化史》勾起了好多回忆, 有些感慨...

虽然平时怼 Nvidia 挺多的, 但是这是一家让我非常敬佩的公司.  我是亲历过 Nvidia 开始创业的那个年代的, 当时还是个喜欢玩游戏的小孩子, 在股市里赚的第一笔钱买了 3Dfx voodoo 为了玩 NFS3. 然后便是在《微型计算机》杂志和《电脑报》上关注到 Nvidia TNT. 后来玩 CS 的时候还和战队的兄弟们一起打过很多高校联赛, 作为一个游戏狗经历了 A 卡和 N 卡的竞争, 也买了很多 N 卡.

工作后游戏玩的少了, 但也因为量化交易很早的关注到了一些期权交易者在用 Nvidia GPU Shader做一些数值计算, 然后看着它逐渐的演化成 CUDA 生态. 后续的很多年, 用自己的钱和公司的钱买了很多 NV 的卡, 训练模型做量化至今已经10多年了, 同时在2018~2019年拿到 Cisco CEO大奖的 Nimble Network 也成为全世界第一个把 AI 模型加载到商用路由器/交换机上完整实现 AI for network的项目, 也用到了很多 Nvidia 的 GPU进行训练. 甚至后来离开 Cisco 的原因就是因为当时公司层面的短视不肯买更多的 GPU 为我进一步的 scale 模型.

跟老黄大概有两次交集, 一次是他不知道从什么渠道了解到阿里云的网络做的非常不错, 然后亲自发邮件专门派人来到国内和我们交流. 另一次是去年在完成 CIPU 新一代的微架构相关的工作后把自己的工作重心转移到 GPU 微架构时, 随手吐槽了一下 Nvidia GPU架构的一些缺陷 《Inside Nvidia GPU: 谈谈Blackwell的不足并预测一下Rubin的微架构》, 没想到老黄看到了还在公司内部转发.  两件小事让我看到老黄和很多公司的CEO的不同, 很乐意去倾听用户的需求.

后来接触到了很多 NV 的员工, 每一个人都成为了很好的朋友, 无论是他们的技术专业度, 还是他们为人处事的方式, 都让人觉得这家公司在老黄的带领下和其它公司有很大的不同.

当年离开 Cisco 没有选择加入 NV 也有很多考虑, 首先是在 Cisco 完全经历了中美关系的变化, 再也不想为外企打工了. 我需要找一个中国的企业并且更接近模型的公司. 另一方面很早就看到 AI 时代的大规模集群建设, 互联逐渐的占据越来越核心的位置, 在思科的时候就完整的实现了 Ethernet based ScaleUP, 甚至现在 SUE / ESUN 我都和 BRCM 有非常深入的合作. 加入阿里后, 其实目标也很简单, 在互联领域超越世界第一的 NV. 恰逢最近 CIPU 团队也成立 10 周年了, 最近很长一段时间都在和我们的百炼 MaaS 团队一起合作, 完整的部署了一个系列大规模的 RDMA 网络, 无论是跨越 AZ 的 Scale-Across , 还是和各种存储 / KVCache / 异构PD 分离的各种复杂混跑场景, 性能远超 NV 的 CX 和 BlueField 系列. 新一代的 DPU/NIC 芯片也会在带宽/功耗/功能上全面的超越 NV, 而在 DPU Scale-In这些安全/虚拟化场景中, CIPU团队本来就是世界上第一个做出裸金属的团队, 这一部分更是遥遥领先. 过去几年的努力, 基本上把 AI 集群的互联问题全部解干净了, 剩下一个 ScaleUp 也只是等相关的标准化做完, 进一步会在其之上添加一些超越 NV 的能力.

接下来面对国产 GPU HBM可获得性, 国产工艺的各种问题, 也在开始设计新一代的GPU微架构, 基本上看到点光了... 但是老黄这事会很大程度的拖累 NV 的研发和交付进度, 似乎这场比赛开始变得有些索然无味... 

我把 NV 当成一个伟大的竞争对手, 这是一些地缘政治关系决定的, 但也不妨碍我把 NV 作为一个很好的朋友. 过去的三十多年, 从 Danny‘s 的餐桌再到整个 AI 时代的引擎,  我也从一个游戏少年, 逐渐成长为一个中年老狗, 感谢 NV 的陪伴, 也感谢老黄为我们带来的这传奇般的黄金年代.

跳转微信打开

谈谈 XPU 的 Virtual ISA

2026年11月9日 08:20

原创 渣B 2026-11-09 08:20 浙江

TL;DR

华为 Fellow 廖恒博士在 Micro2026上有一个关于 ISA 的《专题 Workshop报告分享》[1], 被一些朋友要求来写点什么.

我来说说这事的背景吧, 其实去年我在喷 Nvidia GPU微架构的那篇文章 《Inside Nvidia GPU: 谈谈Blackwell的不足并预测一下Rubin的微架构》已经谈到需要一个标量核支持超标量乱序执行的问题, 后来这篇文章老黄也在 NV 内部转发过.  然后就是去年在参加华为图灵技术峰会的时候, 也和廖博以及一些昇腾的架构师们探讨过这个问题.

个人觉得这是一个蛮好的机会, GPGPU本身在 AI 时代, 特别是在推理时代已经遇到了不少的问题, 体系结构上应当有一些改变, 特别是在 HBM 供应紧张的大背景下, 以及GPGPU本身也逐渐出现 NUMA 演进的背景下, 构建一个相对完善的软硬件之间的 contract 是很有必要的. 而在这种演进的过程中, 对于 Nvidia 的 CUDA 生态是一把双刃剑, 既有广泛的用户基础, 但又有20年的累赘, 例如最近几年从 Ampere / Hopper / Blackwell 基本上每一代的算子都几乎是重新在做一遍适配, 然后在 Agent Kernel Optimization 的背景下, 似乎给重新定义一套新的 ISA 提供了一个很好的契机.

那么, 本文来详细阐述一下针对未来 XPU 的 ISA 应该如何设计. 大致的叙事脉络为从模型的计算出发, 再逐渐从芯片本身 Tile 粒度的计算出发, 从两个方向逐渐推进来分析 ISA 这个软硬件的 contract 该如何实现.  另一方面是最近也在和国内很多基模的团队讨论如何构建一套对 LLM Agent Kernel Dev 友好的编程范式, 以及一些国产工艺上能够解决 HBM 供应紧张的一些内存层次结构和互联协议.或许这一次可以小伙伴们一起来构建一套 AI native 的 ISA ?

1. 嵌套并行计算机的契约是什么?

1.1 自顶而下的视角

AI 工作负载 (Workload) 在底层实质上是由一系列张量 (Tensor) 算子交织而成的计算图. 在实际系统中, 这些张量的维度通常不超过 5 维 (), 主要由动态的输入/激活数据与静态的模型参数共同构成.

以主流的 Transformer 架构为例, 输入数据  通常表现为包含批次 (batch), 序列长度 (seq) 和隐藏层维度 (hidden_dim) 的 3D 或 4D 张量 (引入注意力头 num_heads); 而模型参数  则通常表现为包含 hidden_dim, 中间层维度 (intermediate_dim) 或专家数量 (num_experts, 针对 MoE 架构) 的 2D 至 3D 张量.

现代大模型分布式并行策略的本质, 正是沿着这些张量的不同维度进行空间切分:

  • 切分 batch 维对应数据并行 (DP);

  • 切分 seq 维对应序列并行 (SP);

  • 切分 hidden_dim 等特征维对应张量并行 (TP);

  • 切分 num_experts 维则对应专家并行 (EP);

  • 而沿着算子组合的深度 (Layer) 进行切分, 则构成了流水线并行 (PP).

而这些策略的组合构成一个嵌套式的并行结构, 并且并行策略的实质是将这些策略如何映射到一个集群上

1.2 从芯片的视角出发

然后我们从另一个bottom-up视角来看, 本质上这些运算是在芯片层面构建 Tile-Based 切分, 构建成一个相对完整的基于 TensorCore 的GEMM流水线, 以及  Epilogue 阶段通过 CUDA Core 执行的向量化的 Elementwise 操作,具体的计算细节可以参考 《Tensor》 这个专题.

也就是说在芯片的最底层抽象里, 实际上是包含 TensorCore , VectorCore , ScalarCore 相关的计算单元.  ISA 和它们之间的 Contract, Vector计算的实现上经历了很长的争议, 例如早年的 VLIW/SIMD 再到 SIMT... 不同的 XPU 架构实际上的区别在于选择如何在芯片上构建这类的计算单元, 内部有一个详细的分析文档对比了 GPU / TPU / Ascend NPU / Groq LPU 这几类典型的代表

很关键的一个变量是 Agent-based Kernel开发, SIMT 的成功很大程度上是人和芯片之间的一个妥协, 那么换在 Agent-Dev 的视角或者 LLM as Compiler 的视角下, 这样的妥协构成的 contract 是否还合理? 甚至在 LLM based RTL design 的背景下, 作为一个架构师该如何选择?  实质的 Trade-off 还是在芯片面积/工艺约束/内存子系统等几个方面.

1.3 从互联的视角出发

前面两节介绍了自顶而下, 从模型的视角来看待整个运算, 以及自底而上从芯片的视角来看具体的执行单元需求. 而嵌套并行的最重要的一环是如何构建一个满足大规模并行的互联的内存子系统. 以前有一篇文章分析过 NV GPU 的内存子系统和互联《谈谈GPU的内存模型及互联网络设计》.

我们可以看到 NV GPU 从早期的 CUDA SIMT 再逐渐演进到如今的架构, 整体的内存模型上为了满足更高的算力所需要的内存带宽, 在weak order的基础上缝缝补补折腾了 3 套 proxy. 另一方面则是大量的 warp specialization 来支持互联多卡的数据搬运和同步, 例如《MegaMoE》 中的多个Warp之间的协同:

除此之外, 我们也可以看看DeepEP这类在引入了ScaleUP和ScaleOut通信时的一些编程需求, 具体的内容可以参考专题《AI加速器互联》. 这个专题内谈论了大量的加速器互联的问题, 以及超大规模 ScaleUP 和 ScaleOut RDMA语义的一些缺陷. 大规模的ScaleUP的需求本质上并没有太多的考虑到整个系统的稳定性及容错性而单纯的考虑对 GPU 优化的内存语义扩展到一个超大规模的部署中. 另一方面 ScaleOut RDMA 的语义是针对 CPU 设计的, 针对通信上使用的消息语义带来的指令开销和复杂的交互开销并没有考虑到 GPU 自身的微架构的限制.

除此之外, 我们还需要考虑 KVCache 这类的业务需求, 这一部分当前的实现依然很复杂...

1.4 人的契约

前段时间看到 Latyas 的一篇知乎文章《不同背景的架构师去做 LLM 推理芯片的设计》[2] 有些感慨. 每个人都有自己熟悉的领域以及各自的技术偏见, 不同团队实际上在最小化不同的成本函数.

  • 物理实现团队减少线长和数据搬运

  • 编译器团队减少动态控制

  • GPU 团队提高对未知程序的适应性

  • MaaS 推理服务团队优化满足质量与时延约束的产出

各自都能拿出优秀局部指标, 却可能把代价转移给另一层. 抛开这些技术上的架构选择因素, 其实还有一点来自于产品:

商业化的竞争, 一些标书里的指标和功能项, 甚至是为了控标构建的一些 microbenchmark 成为决定一颗芯片最关键的因素. 而一切的选择, 隐隐约约的都暗含着一个 Human in the loop 的链条.

前几天还有些感慨, 或许今年是最后一年的程序员节了.对于芯片架构, 或许再 RSI-HW 迭代几轮, 我们也将告别完全人工设计的 GPU. 但是迭代速度并不会像 Agent 那么快, 整个 Loop 算上流片到拿到 Reward 要以年计算. 整个过程是非常痛苦的, 实质的问题就变成了在整个链条里剔除哪些人? 并且剩下的人需要承担巨大的项目失败的风险... 一场耗资千亿的赌注就此开启.

2. 如何设计 XPU 的 Virtual ISA

2.1 什么是 Virtual ISA ?

本质上还是 Human in the loop 带来的一层抽象, ISA不光是机器/芯片和软件之间的一个合约, 更重要的是它是算法工程师定义的数据/Tensor处理和 Infra 之间的一个约定, 或者更直接的说, 当一个模型定义好 model.py 甚至是一个算法给出的一个模型结构的公式草稿如何转换成大规模并行执行的契约.

我们需要更多的并行性, 更快速的完成计算, 本质上是在构建一种 Out-of-Order Computation, In-Order Completion 的框架. 粗略的来看模型层面, 实质上它定义好了一个 Layer-by-Layer 的顺序结构, 或者展开来看每一层内的各种 block 也有顺序的公式执行的定义. 也就是说算法和 Infra 之间的交互是一个计算图的结构. 唯一变化的是 MoE 和 Sparse Attention 一类的计算产生了一个动态的计算图.

当指令在具体执行的微架构中, 每一个企业都有自身架构的惯性和架构师的偏好, 甚至是一些生态站位上的博弈. 因此我们很难在一个生态上构建统一的 ISA. 在我看来或许增加一个相对简单的抽象层构建的 Virtual ISA 是一个合理的选择, 当然这个名字本身可能定义并不是那么的准确, 我们需要进一步探讨 Instruction 是什么? Virtual 代表的是什么? 或许按照编译器的视角称为IR(Intermediate Representation)更合适?

2.2 Nested Tensor Descriptor

首先从数据处理的类型上来看, 我们可以借鉴 Nvidia TMA 使用 Tensor Descriptor 描述张量及其搬运布局的思路. 算法给出的是 Tensor 的形状和运算关系, 底层执行单元需要的则是某一块数据的位置, 布局和有效范围. 如果每下降一层都要把这些信息重新翻译成一组裸指针和地址计算, 模型层面的结构就很难一直保留到芯片内部. 我们需要一种可以逐层切分, 同时又保留原始数据关系的描述方式, 这里暂且称为 Nested Tensor Descriptor.

这里的 Nested 不只是给普通 Descriptor 增加一个指向下一级的指针. 更准确地说, 它描述的是逻辑坐标之间的组合关系: 最底层的叶子描述一块数据的元素类型, shape, stride 或具名 layout, 上面的节点则描述如何从已有 Tensor 得到一个新的视图. Slice / Split / Tile 选择子区域或把一个维度拆成块坐标与块内坐标, Permute / Reshape 改变坐标的解释方式, Stack 增加一个维度来选择子 Tensor, Concat 则沿已有维度拼接多个子 Tensor. 同一个子视图可以被多处引用, 因此整体更适合表达成一个可共享节点的 DAG, 而不必把每条路径都复制成一棵树.

不过, 能用 Descriptor 表达, 不等于能零成本执行. 对连续区域的切片, 或者满足布局条件的 reshape, 消费者可以沿用原来的存储. 两块位于不同设备上的 Tensor 也能在逻辑上 concat, 但它们不会因此变成一块本地连续内存. 如果后续的 TensorCore 只接受特定布局, 就仍然需要搬运, 重排甚至物化一份新的数据. Descriptor 负责描述视图, copy / convert / collective 才是实际执行的操作.

2.3 Nested Mbarrier

数据的描述解决之后, 还缺少另一半: 这些数据什么时候可以被消费? 或者更简单的说对于指令执行情况的 Observation 该如何处理, 无论是叫 Virtual ISA 还是 Yet Another IR, 我们希望构建的仍然是一个 Out-of-Order Computation, In-Order Completion 的框架. 不过这里的 In-Order 需要解释清楚: 它应当指遵守计算图的依赖和约定的对外发布顺序, 而不是给整个集群建立一个全局的 Reorder Buffer, 要求所有 Tile 都按提交先后逐个完成. 例如 MoE 中两个没有依赖关系的专家, token 或 microbatch, 完全可以先后提交, 反过来完成.

我们可以借鉴 Nvidia mbarrier 将 arrival, 异步事务完成与 phase 联系起来的思路, 但需要把它扩展成一种可以组合的 Completion Signal. 这里暂且称为 Nested Mbarrier, 并不意味着现有 PTX mbarrier 可以直接跨机器使用. 它更接近一个带作用域和代次的异步完成对象: 生产者登记自己将完成哪些工作, 完成后提交对应的贡献, 消费者等待自己需要的结果. 发起和等待不必发生在同一个线程上, 也不应该要求所有参与计算的线程停在同一个程序位置.

对于芯片内部, 这类信号可以对应一个输入 Tile 到齐, 一次矩阵运算完成, 或一组输出写入完成. 再向上, 一个父级完成对象可以订阅多个子级对象, 把它们汇聚成某个更大结果的完成条件. 底层可以按事务或字节计数, 上层可以按 Tile 或子任务计数, 但每种计数的单位必须明确; 子级满足自己的完整条件后, 才向父级贡献一次对应的完成, 不能直接把不同层的计数相加.

对于大规模互联的稳定性问题. 某个远端专家超时或失败, 父级对象应该得到明确的失败状态, 再由运行时决定重试或取消依赖它的任务. 已经发出的读写还要排空, 或保证旧请求无法再写入被复用的存储.

实质上就是我们需要把数据路径和控制路径进行分离, 并在控制路径上构建一些层次化的描述降低控制路径的复杂度.

2.4 小结

这样来看, Nested Tensor Descriptor 规定的是"这一轮计算访问哪些数据, 它们如何切分和映射", Nested Mbarrier 规定的是"哪些依赖满足后可以继续, 哪个范围的结果已经可见". 计算操作把两者连接起来. Virtual ISA 需要固定的是这些可验证的语义, 至于底层采用 SIMT, SIMD, 专用数据搬运引擎, 还是由标量核驱动的乱序 Tile 执行, 可以继续留给不同的芯片实现.

当然有很多具体的技术细节我也无法透露太多, 但是我想再稍微补充一下, 其实 ISA 的设计并不完全是技术主导的, 它还涉及到大量的生态内的企业如何达成一致的contract, 一般这类的组织要么是一家独大, 要么是一个持续数十年的完全开放开源的组织. 在体系结构出现巨变的时代, 构造一个大家都能达成共识的 IR 层或许是一个能够让各家都满意的结果, 局部牺牲一些细微的效率而能够达成更多的共识才是把这件事走下去的路径.

3. 超标量和乱序以及 SIMD/VLIW vs SIMT

再来展开一下关于超标量和乱序执行的内容, 实质上是在供数上涉及的内存访问存在非确定性, 以及在互联网络上的传输延迟的不确定性两方面的因素. 另一方面是随着模型在 Attention 和 FFN 上的稀疏化带来的条件执行引起的一些不确定性. 当然这里有一个比较极致的做法, 像 Groq LPU 这样的芯片在硬件上消除不确定性《Groq LPU架构详解》, 但我不认为这样的做法是可以很好的 Scale 的.

因此, 在老黄内部转发的我写的那篇文章中提出了要在 SM 内增加一个超标量乱序执行的 Scalar Core 的目的是, 针对Tensor Descriptor 和 Mbarrier 构建一个完全低延迟的高ILP的路径:

其中 Private SMEM则是用于处理 Tensor Descriptor 和 Mbarrier 的组件. 另一方面对于  SIMD/VLIW vs SIMT , 我个人是一个比较开放的态度, 实质上即便是 SIMT 我也会依然通过各种 microbenchmark 来获得 issue 的指令 slot 的架构进行有针对性的算子优化. 另一方面 anthropic 的 performance takeaway 也证明了 LLM as compiler 可以很好的处理 SIMD/VLIW 的指令打包和编译. 当然生态上因为当前还是有很多 human in the loop 的阻力, 选择 SIMT 兼容当前人的心智也是可取的. 当然最终的结果还是要在实现时考虑 PPA 的影响与对人可编程以及代码可维护的影响之间取得某种平衡, 或许也没有必要一定去做那种 CUDA 兼容的 XPU 了...

大概就写这么多吧, 不过最近真的挺想和大家一起搞一个开源的 XPU ISA 的组织, 看见国内每家 XPU 的公司都有一些奇奇怪怪的架构真的挺烧心的...

参考资料

[1] 

专题 Workshop报告分享: https://www.chaspark.com/#/hotspots/1335109403879198720

[2] 

不同背景的架构师去做 LLM 推理芯片的设计: https://zhuanlan.zhihu.com/p/2069799334619649351

跳转微信打开

谈谈 DeepInfer

2026年10月23日 18:44

原创 渣B 2026-10-23 18:44 浙江

本文仅代表个人观点, 与作者任职的机构无关. 

TL;DR

DeepSeek的同学前几天在开源 DeepInfer 的时候, 转发朋友圈的时候都在说“印钞机”开源了. 80%的毛利和17个月回本确实能算印钞机了. 被好多朋友催着写点东西, 其实具体的技术细节的解读, 以前的文章都差不多写过, 这一篇我想把整个事情背后的逻辑串起来详细谈谈为什么要这么做, 以及其它几家为什么做不了.

实质性的问题就是 DeepSeek 从第一天开始就很清楚一个最基本的原理: 计算是很容易 Scale 的, 而 Memory 是很难 Scale 的. 然后整个模型和 Infra 的迭代就充分的围绕着这个逻辑来做.

而在商业逻辑上, 一直延续着普惠这条路, 少了很多功利化的商业变现需求, 因此变得更加纯粹. “印钞机”开源这种事情本身就是这个逻辑, 让更多的普通人用得起, 我个人也深深认同这个逻辑, 也一直反复的拷问自己:“世界上如果只剩一个人了, 要钱还是要名?”

过去几年我自己的工作重心一直放在普惠的硬件算力和 infra 的构建上, 正好在某厂工作满 4 年了, 四年和大家一起做了两颗芯片, 2.0 发布比 BF3 晚了一些, 但是性能全方面超越. 而 3.0 直接全面超越 BF4/CX8/CX9, 把 DPU / AI-NIC 做到了世界第一的位置. 另一方面在ScaleUP/ScaleOut互联领域也基本上达到了全球领先的位置了, 接下来很长一段时间的工作重心会换到算力芯片上, 很简单的一个逻辑就是下一代北美的模型参数规模 Scale 到 50T/100T, 国内要追赶买 Rubin / Feymann 的钱预计需要 2000 亿美金, 还不一定买得到那么多卡. 那么如何用 1000 ~ 2000 亿人民币解决这个问题?

从 Memory 如何 Scale 的视角谈谈

DeepSeek的第一代模型在2024年中规中矩搞了一个标准的 Dense Transformer 架构, 然后第二代就逐渐开启了整个 MoE 的迭代演进, 到 DeepSeek V3 基本上定型. 这一部分是解决了Dense FFN 的算力消耗和 Decode阶段的Memory Scale的问题. 当然也转移到了互联上, 使得国内外都开启了大规模的 ScaleUP 的演进. 具体可以参考《详细谈谈DeepSeek MoE相关的技术发展》

然后 DeepSeek 解决了 FFN block 后, 最近几年的重心逐渐转移到 Attention block 上. 首先是通过 MLA 来压缩 KVCache, 然后是 NSA 和 V3.2 开启 Sparse Attn 的路径, 进一步通过 Sparse 在 Attention block上降低访问内存的需求以及外部存储的需求.

大致的路径就是, 在 V4 的时候引入 CSA 和 HCA 进一步在 token block level 进行压缩, 其实 HCA 的实验发现过度的压缩并不是很有效, 所以 DeepSeek 在 V4.1 Flash的时候换了一个维度进行跨层的 KVCache 共享, 然后再引入了YOCO.具体的分析可以参考 《详细分析 DeepSeek-V4.1 Flash 技术报告(1) : 模型结构》.

谈谈推理 Infra

通常的推理场景下, KVCache的存储会有一个多层的结构:

  • G1 :  GPU HBM

  • G2 :  Host CPU Memory

  • G2.5 :  Host CPU Memory 结合 RDMA 实现的池化版本

  • G3 :  Local SSD

  • G3.5 : 分布式存储集群

  • G4 :  对象存储集群

虽然看上去能够更好的充分的利用资源,  但是也涉及到更复杂的通信和网络压力:

  • PD 分离的 RDMA 流量

  • G1 - G2:  CPU 和 GPU 通过PCIe H2D以及H2D copy的流量

  • G2.5:  不同节点之间的 RDMA 流量

  • G3 : 节点内 CPU 到 NVMe 的 PCIe 流量

  • G3.5 :  GPU服务器机头网卡和存储集群之间的 RDMA 流量

  • G4:  TCP/HTTP 或 RDMA 流量

整个方案存在多种流量争抢, 网络混跑拥塞等情况. 并且 PCIe 上也没有很好的 QoS 控制能力. 各种流量互相干扰较大.

更重要的是在请求调度算法上的问题, 由于 G1~G3 存在, 因此请求通常会做 Cache Aware 的调度, 避免大量 KVCache 的搬运.  但是这样的调度策略其实非常容易导致 Prefill 节点的负载均衡问题, 并引起大量的请求排队带来的长尾.

同时由于 G1 缓存了一些 KVCache 实际 serving 的时候也需要一些换入换出, 并且会导致一些请求batch size 的约束. 最根本的原因其实还是 KVCache 太大了, 数据搬运本身受到了各种带宽瓶颈的约束, 导致难以动弹.

那么我们再来看一下 DeepSeek 是怎么构建的, 原理很简单, 降低 Cache 的层次化结构, 仅保留 G3.5层, 整个数据路径非常干净, 调度策略来看, 无须考虑复杂的KVCache 本地命中等调度策略. 整个计算节点是无状态的, 完善的存算分离实现更加便于弹性缩扩容和调度. 当 Prefill 节点算完并传输到 Decode 节点后, 就可以释放 G1 内的显存.  KVCache 都由 Decode 节点写入存储.

具体的实现其实可以参考 《谈谈DeepSeek DualPath以及ScaleOut直接接入存储》. 这种架构看上去更干净, 但是GPU服务器和存储之间的网络带宽将变得非常大, 其实我们从DualPath的论文也能看到, 论文应该是在 DeepSeek V3.2 的阶段, 当时有一个问题就是 Prefill 节点受到机头的 400Gbps 带宽约束, 无法充分利用 Prefill 服务器的算力

因此通过 DualPath 的处理, 利用 Decode 节点 Relay 的方式来解决这个问题. 当然这只是 Infra 团队的救急策略, 这里再补充一个背景, 按照 DeepSeek V3.2 的KVCache 和在线服务需要 Cache 24小时来算存储的规模, 我去年底大概估计过整个存储服务器的开销估计都会赶上 GPU集群的价格了.

因此 DeepSeek 团队并没有满足于此, 从模型架构上在 V4 和 V4.1 上进一步对 KVCache 进行了优化, 估计现在不需要 DualPath, 直接从 400Gbps的网卡读就行了?

所以这80%的毛利, 并不是某几个技巧就能搞定的. 而是他们在长期的演进中一点点的细节逐渐扣出来的, 你可以看到他们开源的推理引擎的每个算子, 基本上都做到了极致, 例如《DeepSeek-V4详细分析(2): MegaMoE》就是一件非常棒的艺术品, 把 GPU 用到了极致.

为什么其它模型厂做不到?

前段时间写了一篇文章《置身 AI 内 : 读懂 AI 竞赛, 必须读懂 AI 组织》, 那么借着 DeepInfer 来讲讲如果在其它模型厂会出现什么情况.

推理团队遇到 KVCache 大的时候, 会找网络团队优化通信, 会找存储团队一起搞多层的KVCache存储, 然后会在链路上搞复杂的调度提高Cache Locality 的命中率. 每一步在大型的组织结构内似乎都完全正确, 大概率每个团队都会证明自己已经 Try best 都做好了.

或许有几个“大胆”的Infra同学会给高贵的算法爹提一提: 能压一下 KVCache 么? 但大多数基模的算法和训练团队的 KPI 还是模型的质量, 大概率这事最终就会谈成推理团队如何去做 KVCache 的量化加速, 并且模型掉点了还会被算法爹们挑战...

另一方面其实是在一些算法细节上, 例如一些矩阵的 shape 上, 大量的算法哥并不是非常了解 GPU 的微架构, 这也导致推理时某些 shape 的计算很难充分的利用算力, 甚至有些激活参数更小的模型推理的吞吐都赶不上 DeepSeek Flash 这类激活更大的模型.  如何围绕着自己的算力资源池去设计模型, 并渡让一些 KPI 是一件非常难的事情.

还有一个值得探讨的问题是, 组织结构上能否容忍探索过程中的损失? 即便是算法爹们愿意去尝试新的 Attention 架构压缩 KVCache 也会面临巨大的失败的风险. 例如 DeepSeek-V4 中的 HCA, 在 block 维度压缩过了, 整体上 DSv4 pro 刚发布时的模型能力比同期的 GLM-5.3 / Kimi-K3 也是有些差距的. 但它是一个很好的尝试为 DSv4.1 flash 演进到 CSA2 做出了很大的贡献.

而这些常识只有在一个团队有长期主义的组织文化背景下, 整体上算法和Infra充分协同的情况下才能得以实施. 这也是梁文锋在 2024 年的一次访谈[1]中谈到:

"我们创新缺的肯定不是资本, 而是缺乏信心以及不知道怎么组织高密度的人才实现有效的创新."

认识了很多DeepSeek 的朋友们, 在和他们交流的过程中能够深刻的感受到不同. 大家一起讨论的时候能够看到一个更全面的视角, 从算法到算子, 再到Infra, 最后深入到 GPU 的微架构. 而在其它的团队交流过程中, 很大程度上只能和他们谈论某一个小领域的问题, 并且最终通常陷入到局部领域的屎上雕花的优化中.

最后还涉及到一些领导者的taste 如何分辨这些局部最优的场景, 如何推动整个变革, 如何充分的融合各个领域的团队? 具体可以参考《谈谈 AI 时代的组织结构》...

好了, 到此为止吧...

参考资料

[1] 

梁文锋访谈: https://finance.sina.com.cn/roll/2024-07-22/doc-inceypaf4744158.shtml

跳转微信打开

置身 AI 内 : 读懂 AI 竞赛, 必须读懂 AI 组织

2026年10月12日 19:51

原创 渣B 2026-10-12 19:51 浙江

本文仅代表个人观点, 与作者任职的机构无关. 

前段时间在讨论一些 AI 时代的组织结构的问题 《谈谈 AI 时代的组织结构》《AI时代 “雕花”的艺术》. 再加上更早的一段时间《置身 X 内》的文章也有不少.

有感而发, 顺手把兰小欢老师的 《置身事内》 又翻了一遍. 这本书讲的是中国政府与经济发展, 副标题叫 "读懂中国经济, 必须读懂中国政府". 越读越觉得, 书里讲的条条块块, 事权划分, 信息与激励, 几乎可以原封不动地搬进今天的 AI 公司, 于是找了几个模型 Vibe 了一下, 本文 AI 生成的含量有点高, 不过看上去还是挺值得读的, 我人肉把一些不合理的东西处理了一些.

前言: 从了解现状开始

《置身事内》 第二章的开头讲了两部电视剧. 兰小欢说他很喜欢 大明王朝1566 和 走向共和, 两部剧的第一集里, 那些历史上赫赫有名的大人物出场时, 没有半点慷慨激昂或阴险狡诈的样子, 反倒都在做世上最乏味的事: 算账. 大明朝的阁老们在算国库的亏空和来年的预算, 李鸿章, 慈禧和光绪在为建海军和修颐和园的费用伤脑筋.

"算着算着, 观众就看到了刀光剑影, 原来所有的政见冲突和人事谋略, 都隐在这一两一两银子的账目之中."

所以他说, 要想把握政府的真实意图和动向, "不能光读文件, 还要看政府资金的流向和数量". 把这段话里的 "银子" 换成 "卡", 大概就是理解今天 AI 公司最好的入口.

一家公司的战略 PPT 写得再漂亮, 也不如看一眼它的 GPU 配额是怎么分的. 哪个团队能随时拿到一整个 Pod, 哪个团队要排两周的队; 一个研究员想做一次跨三个部门的实验, 要找几个人签字; 一张卡空转一小时算谁的成本, 一次失败的实验又算谁的 "事故". 所有的路线之争和人事谋略, 都隐在这一张一张卡的账目之中.

很有趣的一个话题, 在这一波 AI 浪潮中, 为什么传统科技巨头拥有雄厚的资金, 庞大的算力和大量优秀人才, 却没有顺理成章地包揽最重要的创新? 微软, Meta, Apple, AWS 和 Google 都有深厚的技术积累, 但 OpenAI, Anthropic 以及国内一些基模公司的出现, 说明资源规模与创新能力之间, 远没有想象中那么直接的对应关系. 为什么资源优势没有稳定地转化为创新优势? 又是什么决定了这些资源能够被怎样使用? 组织结构, 很可能是其中一个被低估的变量. 梁文锋在 2024 年的一次访谈[1]中谈到:

"我们创新缺的肯定不是资本, 而是缺乏信心以及不知道怎么组织高密度的人才实现有效的创新."

这句话把一个经常被归结为技术路线和资源投入的问题, 推到了组织能力这一层. 招到一批聪明人之后, 如何让他们共同理解问题, 共同试错, 并且把各自的知识转化为整个系统的进步, 是另一种难度完全不同的事情. 兰小欢在前言里写过一句话:

"在我国, 政府不但影响'蛋糕'的分配, 也参与'蛋糕'的生产, 所以我们不可能脱离政府谈经济."

套用到 AI 上, 组织不但影响 "成果" 的分配, 也参与 "成果" 的生产. 谁和谁坐在一起, 哪些数据能被谁看到, 哪个实验能先拿到卡, 这些安排决定了哪些想法能长出来, 哪些想法在第一次实验之前就死掉了. 我们同样不可能脱离组织谈 AI.

书里还有一个词我很喜欢: "同情的理解". 兰小欢提醒读者, 要避免把舶来的理论化成先入为主的判断, 看到现实与理论不符, 便直斥现实之非, 进而把要了解的现象变成了讥讽的对象. 讨论大厂的组织问题也是一样. 骂一句 "大公司病" 很容易, 可每一道审批, 每一条部门边界, 每一套考核指标, 在它诞生的那一天大都有它的道理. 这篇文章想做的, 是先理解这些制度为什么会长成今天的样子, 再看它们为什么在 AI 时代开始失灵.

这里有两类容易混在一起的处境. 一类是研发 AI 本身的组织: 算法与系统相互纠缠, 问题在解决之前无法拆分, 不确定性来自对未知机制的探索. 另一类是使用 AI 的组织: 写代码, 整理信息和调用工具变得更快, 原有的岗位边界开始松动, 不确定性来自判断新工具究竟能在什么条件下承担工作. 将所有问题都归结为减少人数或减少层级, 会把这些差别抹掉.

文章的结构也借用了 《置身事内》. 上篇讲微观机制, 从事权划分, 信息复杂性, 激励相容和算力财政四个角度, 看 AI 组织内部的条条块块是怎么运转的. 下篇讲宏观现象, 用训推不一致, RDMA 演化和边干边学三个故事, 讨论领导者的 taste, 团队的设计, 以及组织从 "学习模式" 走向 "探索模式" 时会遇到的麻烦. 第 9 章把视角从 "研发 AI" 拉到 "使用 AI", 看 AI 进入每一个部门后遇到的外部性, 信息权力和人才培养问题.

上篇 微观机制

1. 条条与块块: AI 组织的事权划分

1.1 层层复制的大厂

《置身事内》 第一章讲政府的事权划分, 开篇就点出了我国政治体系的一个鲜明特点: "层层复制". 中央的主要政治架构, 在省, 市, 县三级都完全复制; 中央政府的主要部委, 在各级政府中均有对应部门, 中央有财政部, 省里有财政厅, 市县有财政局.

"这种从上到下的部门垂直关系, 被称为'条条', 而横向的以行政区划为界的政府, 被称为'块块'."

大多数地方部门都要同时接受条条和块块的双重领导. 书里特意点了一句: 通常情况下, "'条条'关系是业务关系, '块块'关系才是领导关系, 因为地方党委和政府可以决定人事任免".

大厂的组织几乎是同一个模子刻出来的. 集团有基础设施事业部, 每个 BG 下面又有自己的 Infra 部门; 集团有数据中台, 每条业务线又有自己的数据团队; 一个训练平台在集团层面建一套, 在 BG 层面再建一套, 到了具体的模型团队, 往往还要自己再 "包一层". 计算, 网络, 存储, 框架, 数据, 算法, 每一个专业都是一根条条, 从 VP 一路贯通到一线工程师; 每一个模型项目又是一个块块, 需要把这些条条里的人临时拼起来.

那句 "谁决定人事任免, 谁才是领导关系", 放在大厂的矩阵式组织里同样一针见血. 一个被借调到模型项目的网络工程师, 业务上听项目负责人的, 年底的绩效却是部门老板打的. 他会把心思放在哪一边, 不难猜.

过去几十年, 大企业已经发展出一套相当成熟的组织方式: 按专业划分部门, 按职责确定边界, 通过接口协调合作, 再用各自的指标衡量产出. 计算团队负责计算, 网络团队负责网络, 存储团队负责存储. 上层的算法团队提出需求, 数据团队提供数据, Infra 团队交付基础设施. 当技术路径相对稳定, 问题可以提前拆解时, 这种结构能够支撑极大的业务规模.

这套结构有它的道理. 《置身事内》 里讲, 部门之间常常互相扯皮, "某件事只要有一个部门反对, 就不容易办成". 尤其当没有清楚的先例和流程时, 办事人员会在部门之间 "踢皮球", 或者干脆推给上级, "所以权力与决策会自然而然向上集中". 为了避免把过多决策推给上级, 体制内有一条简化决策流程的原则: "尽量在能达成共识的最低层级上解决问题". 部门事务, 本部门领导就可以决定; 经常性的跨部门事务, 就设上级 "分管领导" 甚至 "领导小组" 来协调.

大厂的接口规范, SLA, 工单系统和各种委员会, 本质上就是这条原则的企业版: 把能拆的问题拆开, 让每个问题都在最低的层级上被解决. 只要问题能被提前拆分, 这就是一台高效的机器.

1.2 无法被提前拆分的问题

但前沿 AI 研发有一个麻烦之处: 大量关键问题在解决之前, 根本无法被准确地拆分.

模型结构会改变通信模式, 通信能力会影响并行策略, 并行策略会影响显存占用和训练效率. 数据的长度分布会改变计算负载, 数据配比又会影响模型收敛. 一个看起来属于算法的问题, 到头来可能要靠调整通信来解决; 一个看起来属于存储的问题, 也可能要通过改变数据组织方式才能解决. 算法, 数据和基础设施之间, 存在大量相互影响的关系.

兰小欢讲事权划分时给了三条原则: 公共服务的外部性与规模经济, 信息的复杂性, 以及激励相容. 这三条放进 AI 组织里同样成立, 只是每一条都比政府的情况更极端.

外部性更强, 一个通信库的改动, 可能影响公司里所有的模型团队. 信息更复杂, 一次 loss spike 背后, 可能同时牵扯数据, 数值, 算子和硬件. 激励更难对齐, 研究的产出周期以季度甚至年计, 考核却常常只看半年.

当技术问题需要整体求解, 组织却要求每个部门只对自己的局部指标负责时, 局部最优与整体最优之间的裂缝就出现了.

1.3 外部性: 每张报表都合格, 整体却很慢

设想一次大规模训练的效率不理想. 计算团队拿出报表, GPU 利用率并不低; 网络团队检查链路, 平均带宽和丢包率没有明显异常; 存储团队完成测试, 吞吐符合既定标准. 每个团队都能证明自己交付了合格的服务, 但模型完成一轮实验所需的时间仍然很长.

问题可能藏在这些报表的交界处. 网络平均表现正常, 少数节点的尾部延迟却可能拖住同步训练. 存储系统的顺序读取吞吐很好, 实际数据管线却存在大量小文件访问和预处理等待. GPU 很忙, 也可能有相当一部分时间消耗在重复计算或低效的数据搬运上. 部门指标提供了有用的信息, 但只有把它们放回同一个训练过程, 才能判断整个系统究竟发生了什么.

这里有一个非常朴素的数学事实. 同步训练的一个 step, 要等最慢的那个 rank 完成; 而部门报表里统计的, 通常是平均值:

最大值不小于其中任何一项, 所以期望意义下也有:

平均值合格, 不代表最大值合格. 假设每个 rank 在某一步变慢的概率只有 , 而且彼此独立, 那么在  张卡的同步训练里, 一个 step 中至少出现一个慢节点的概率是:

每一个单独看都 "99.9% 正常" 的节点, 拼在一起之后, 几乎每一步都有人掉队. 网络团队报表上那一行 "P99 延迟正常", 在训练团队眼里可能就是 "每一步都被拖慢". 两边都没有说谎, 只是在用不同的统计量描述同一个系统.

《置身事内》 里有一个水污染的例子特别贴切. 跨省的大江大河是典型的外部性难题, 一些省份把水污染严重的企业集中到了本省边缘的下游区域, "虽然本省的平均污染水平降低了, 下游省份的污染却加重了".

后来中央在主要河流和湖泊上设置了水质自动监测站, 数据直报中央, 数据造假的路被堵上了, 信息扭曲却没有消失. 一个监测站只能监测上游下来的水, 监测不到本站下游的水, 所以地方政府只要重点降低监测站上游的企业排污, 就能改善上报的数据. 结果与监测站下游的企业相比, 上游企业的排放 "减少了近六成". 总体污染确实降低了, 但污染的分布并不合理.

AI 组织里的每一张部门报表, 都是一个监测站. 只要考核看的是 GPU 利用率, GPU 利用率就一定会好看; 只要考核看的是平均带宽, 平均带宽就一定达标. 而真正决定训练速度的那些量, 尾部延迟, 数据等待, 重算比例, 恰好都落在没有监测站的 "下游".

计算, 网络和存储还会围绕同一个问题产生不同的合理诉求. 为了提高资源利用率, 调度系统可能倾向于把任务塞进零散的空闲 GPU, 但分布式训练可能更需要拓扑合适的一组机器. 为了降低存储成本, 平台可能限制高性能存储的使用, 但更快的 checkpoint 保存可以支持更高的保存频率, 减少故障后的重算, 更快的恢复则可以缩短停机时间.

一个部门节省下来的成本, 可能以更高的代价出现在另一个部门. 这就是经济学里说的外部性, 只不过它发生在同一家公司的两层楼之间.

1.4 三不管地带

《置身事内》 里有一组数据让我印象很深. 我国省级的陆路交界线共 66 条, 按边界两侧各 15 公里计算, 总面积约占国土面积的六分之一; 可在 2012 年 592 个国家扶贫开发工作重点县中, 却有超过一半位于省交界处. 书里分析了几个原因: 省会大都远离省界, 公共资源难以覆盖; 省界多在山区; 省界地区在本省之内又往往是非主流文化区. 交通上的 "边界效应" 只存在于省政府投资的高速公路和省道中, 在中央投资的国道和铁路中则不存在, "可见省政府不会把有限的资源优先配置到边界地区".

同样是这些 "三不管地带", 在民国时期给革命提供了广阔的空间. 井冈山位于湖南, 江西交界处的罗霄山脉之中, 陕甘宁, 晋察冀, 鄂豫皖, 湘鄂赣, 很多著名的根据地都在省界上.

AI 组织里的省界, 就是部门之间的接口. 网络团队管到网卡, 训练框架团队管到集合通信库的调用, 中间那一层 "GPU 发起的通信要怎样和网卡的语义配合", 往往没有人管. 存储团队管到文件系统, 数据团队管到样本格式, 中间那一层 "预处理到底卡在哪", 也没有人管. 这些三不管地带不在任何人的 OKR 里, 却恰恰是性能问题最集中的地方. 每个部门都会把有限的人力优先配置到自己的 "省会".

可三不管地带也是根据地. 正因为谁都管不到, 才有人能在那里不经审批地做一些 "不属于自己" 的尝试. 这也是我最近几年一直要 全栈 "人工" 智能 的原因, 很多的优化其实都在知识的边界处.

2. 复杂信息: 部门边界与知识边界

2.1 形式权威与实际权威

《置身事内》 讲事权划分时, 花了很大篇幅讲信息. 原则上, 上级对下级的各项工作都有最终决策权, 但上级不可能掌握和处理所有信息, 很多事务实际上由下级全权处理. 上级视察工作, 要听下级汇报, 内容是否可靠, 上级不见得知道. "如果上级没有独立的信息来源, 就可能被下级牵着鼻子走."

所以上级名义上有最终决定权, 拥有 "形式权威"; 下级掌握信息, 实际上自主性很大, 拥有 "实际权威". 书里给出的平衡原则是:

"若下级有明显信息优势, 且承担主要后果, 那就该自主决策. 若下级虽有信息优势, 但决策后果对上级很重要, 上级就可能多干预. 但上级干预可能会降低下级的工作积极性, 结果不一定对上级更有利."

有意思的是, 形式权威和实际权威这对概念, 本来就出自 Aghion 和 Tirole 1997 年一篇研究企业组织的论文. 书里第八章讲的条条式竞争和块块式竞争, 脚注也说明了它们对应公司治理里的 U 型结构和 M 型结构. 兰小欢把企业组织的理论借去分析政府, 我们现在不过是把它们再借回来.

书里还引了清人笔记里一位吏的自述: "凡属事者如客, 部署如车, 我辈如御, 堂司官如骡, 鞭之左右而已." 衙门像车, 来办事的人是乘客, 当官的是骡子, 真正决定车往哪走的, 是握着鞭子的吏. 英剧 Yes, Minister 讲的也是同一件事: 大臣名义上说了算, 政策的每一个细节却握在常务次官手里.

AI 公司里的大部分管理者都是 "官", 真正知道系统怎么运转的, 是那些 "吏": 写过通信库插件的人, 调过网卡固件的人, 知道哪个数据源有脏数据的人. 一位 VP 看到的是周报里 "训练效率提升 15%", 却很难知道这个数字是怎么算出来的, 分母换没换过, 实验条件和上一次是否一致. 技术细节越深, 管理层离得越远, 形式权威和实际权威之间的距离, 就会被拉得越大.

2.2 部门的边界 vs 知识的边界

知识边界往往比部门边界更加顽固.

部门边界至少是可见的, 可以通过调整汇报关系, 设立联合项目来改变. 知识边界则经常隐藏在日常沟通里. 算法研究者提出 "需要更大的 batch", Infra 工程师接到的是扩容需求, 却未必知道背后是在验证什么训练假设. 工程师反馈 "这个方案通信开销太高", 研究者收到的是一个限制, 却未必知道换一种数据布局或专家放置方式, 就可能让方案重新可行.

双方都在认真工作, 但传递过去的只是结论, 支撑结论的假设和上下文没有过去.

《置身事内》 说, 体制内工作的一大特点就是 "文山会海", "作为信息载体的文件和会议也成了权力的载体之一". 公文有严格的格式和种类, 甚至规定了 "涉及多个部门职权范围内的事务, 部门之间未协商一致的, 不得向下行文".

大厂的工单, 就是今天的公文: 有模板, 有字段, 有优先级, 有审批流. 工单擅长传递已经被定义清楚的问题, 前沿研究却经常需要一群人坐下来, 先弄清楚问题究竟是什么. 一旦合作被压缩成 "提需求, 评估, 排期, 交付", Infra 就容易成为被动接单的服务部门, 算法团队也容易把现有平台的限制当成技术本身的限制.

信息在层级之间的损耗, 可以粗略地算一笔账. 一个  个人的小组, 两两之间的沟通通道数是:

10 个人是 45 条, 100 个人就是 4950 条. 组织用层级和接口把这个数字压下来, 代价是信息要沿着树往上走, 再往下走. 假设每经过一层转述, 关键上下文能保留的比例是 , 两个部门的一线工程师之间隔着  层汇报关系, 那么一条信息要先上行  层, 再下行  层:

每一层只丢一成, 听起来已经很专业了, 可隔着三层汇报线, 到达对方手里的上下文只剩一半. 在前沿研究里, 丢掉的那一半往往恰好是最关键的部分: 这个需求背后的假设是什么, 那个限制在什么条件下可以放松.

《置身事内》 在第一章的扩展阅读里推荐了孔飞力的 叫魂. 这本书讲乾隆年间的一场荒诞事故: 本是某些地方流民和乞丐的零星骗局, 却被乾隆解读成了要颠覆朝廷的大阴谋, 于是发动了全国大清查, 最终在无数冤案之后不了了之. 兰小欢的评语是: "诸多信息都在奏折的来往中被扭曲和误解, 最终酿成大乱."

一次训练事故在大厂里的传播路径, 有时候也很像一场叫魂. 一线工程师说 "某几台机器的网卡固件可能有问题", 到了周报里变成 "网络稳定性存在隐患", 到了高层会议上, 就变成了 "要不要换一家网络供应商".

黄仁勋对这个问题的解法很极端. 他在 Lex Fridman 的播客里说, 自己有 60 位左右的直接下属, 不做一对一会议, 而是 "We present a problem, and all of us attack it", 让所有人同时面对同一个问题, 他把这叫作 "extreme co-design". 背后的意图, 是不让任何一位下属拿到特殊的信息, 每个人看到的上下文都一样. 你可以不喜欢这种管理方式, 但它确实把信息需要穿过的层数压到了最小.

例如一个通算融合的例子, 大家都用过 DeepEP/MegaMoE 吧, 或者更简单来说, MoE 模型的 EP 并行是不是真的需要 ScaleUP? ScaleOut 上为什么除了 DeepSeek 的团队, 没人想到用 IBGDA? 而即便如此, 在低延迟场景下, RDMA 的语义为什么对 GPU 不友好?

然后做网络的人开始盲目地扩大 ScaleUP 的规模, NPO/CPO 不停地上, 甚至要做一卡一专家, 却从不考虑整个系统的 MTBF, 传输协议也不考虑 GPU 本身的微架构...

MTBF 这笔账其实很容易算. 如果系统里有  个相互独立的部件, 第  个部件的故障率是 , 单个部件的平均无故障时间都是 , 那么整个系统的平均无故障时间大约是:

部件越多, 系统越脆. Meta 在 Llama 3 的论文里披露过, 16384 张 H100 训练的 54 天里一共发生了 466 次作业中断, 其中 419 次是非计划的, 相当于大约每 3 小时一次. 一卡一专家意味着任何一张卡出问题, 整个 EP 组都要停下来; ScaleUP 域做得越大, 一个故障域里的部件就越多. 这些账, 网络团队的 KPI 里是没有的.

这也是我一直强调知识边界的原因... 当你完全能够控制 GPU 的微架构, 充分理解网络传输上的限制, 以及完全了解算法上的需求, 一个更简单的方案就呈现出来了, 当然涉密的原因我不会多说...

数据团队与算法团队之间同样如此. 数据团队可能按照交付规模, 清洗进度和处理成本衡量工作, 算法团队则围绕最终模型指标做实验. 如果双方缺少持续反馈, 数据很容易变成一次性交付的原料. 模型在哪些能力上表现薄弱, 哪些样本真正有效, 哪些清洗规则误删了有价值的内容, 就很难形成连续的验证过程.

一个完整的改进过程, 应该能够从模型失败案例出发, 形成数据假设, 调整数据, 开展对照实验, 再把结论反馈给下一轮训练. 如果这些环节分别属于几个团队, 还各有各的排期和考核周期, 一次本来可以快速推进的探索, 就可能在交接中不断等待.

2.3 监测站之后: 上系统, 不等于改体制

监测站的故事还有后续. 2007 年, 国家环保总局把 3115 家废水排放企业, 3592 家废气排放企业和 658 家污水处理厂纳入国家重点监控名单, 要求它们安装自动记录系统, 把实时排放数据直接传到国家环保监控网络. 书里的评价很克制:

"这套技术系统限制了数据造假, 加强了监管效果, 大幅降低了污染, 但没有从根本上改变环保管理体制, 日常执法依然由地方环保部门负责."

这段话放在 AI 组织里同样适用. 很多公司解决跨部门信息问题的第一反应是 "上系统": 建一个统一的监控大盘, 把 GPU, 网络, 存储的指标都接进来. 这当然有用, 至少让数据造假变难了. 但大盘只能告诉你 "哪个指标异常", 不能告诉你 "该谁来修". 日常执法, 依然在各个部门手里.

更棘手的是, 组织有时要求先确定责任归属, 才能投入排查资源. 一次训练突然出现 loss 异常, 原因可能来自数据变化, 数值精度, 算子 kernel 或硬件故障. 在证据不足时, 任何单一团队都很难独立定位. 但如果每个团队都要先看到 "问题属于自己" 的证明才愿意介入, 排查就会陷入循环. AI 研发经常需要先联合诊断, 才能知道问题应该由谁解决.

2.4 说不清楚的时候, 谁来拍板

《置身事内》 里有一句话, 我认为是整本书关于组织最深刻的一句:

"所谓权力, 实质就是在说不清楚的情况下由谁来拍板决策的问题."

书里打了个比方. 大学老师考核学生, 若考卷都是标准化的选择题, 老师虽有出题的权力, 但不能决定最终得分; 若都是主观题, 老师给分的自由度就大一些; 若是研究生毕业论文, 不存在严格的客观判断标准, 导师手中的权力就更大了, "所以研究生称导师为'老板', 而不会称其他授课教师为'老板'". 一件事该不该做, 要做到什么程度, 做好了算谁的功劳, 做砸了由谁负责, 说不清的情况越多, 权力就越会向个人集中, 这也是 "一把手负责制" 的由来.

前沿 AI 研发恰好是一个 "说不清楚" 的密集区. 一个新想法值不值得做, 一个异常值不值得查, 一次失败算谁的, 一次突破又算谁的, 几乎都没有清楚的标准. 按照书里的逻辑, 说不清楚的事情越多, 拍板的权力就越会向少数人集中. 麻烦在于, 拍板的人如果离事实太远, 他的决策就只能依赖下级提供的信息, 又回到了被 "吏" 牵着鼻子走的局面.

部门边界带来的影响还不止于执行效率. 它会逐渐改变研究者愿意提出什么问题.

如果一个想法必须同时协调数据管线, 训练框架和网络栈, 才能完成最初的验证, 而另一个想法只需要修改本部门的一小段代码, 在相同的绩效周期里, 后者自然更有吸引力. 久而久之, 人们会主动选择容易获得资源, 容易交付, 容易归属成果的研究方向. 那些潜在价值很高, 却需要跨越多个边界的想法, 可能连第一次实验都没有获得.

DeepSeek 的 MLA 是一个反例. 梁文锋在访谈里讲过, 这个想法最早来自一位年轻研究员的个人兴趣, 他在总结出 Attention 架构的一些主流变迁规律后, 突发奇想去设计一个替代方案. "从想法到落地, 中间是一个漫长的过程. 我们为此组了一个 team, 花了几个月时间才跑通."

那篇访谈的导语里, 一位 AI 研究者说 Attention 架构提出多年来几乎未被成功改过, 更遑论大规模验证, "这甚至是一个做决策时就会被掐断的念头, 因为大部分人都缺乏信心". 换一个组织, 这位研究员大概要先写一份立项报告, 说明需要哪些部门配合, 预计多久出结果, 失败了怎么办. 很可能写到一半, 他自己就放弃了.

这时, 组织结构已经进入了技术路线本身. 表面上看, 公司拥有充分的研究自由; 实际上, 哪些方向容易被尝试, 哪些方向会被提前放弃, 已经被预算归属, 接口限制和协作成本筛选了一遍.

所以挺认同翁家翌的观点. 他在 WhynotTV 的播客里有一个判断, 大意是现在的 AI 竞赛拼的不只是算法创新, 更是工程能力和迭代速度. 原话更直白: "每一家的 infra 都有不同程度的 bug, 谁修的 bug 越多, 谁的模型训的就越好."

其实真正藏在这背后的, 就是大量的细节, 而这些细节又隐藏在知识的边界里. 对管理层暴露出的又只是片面的部门边界, 以为几次组织调整就能解决, 但知识的壁垒并没有被打破...

3. 激励相容: 聪明人的竞争

3.1 试点班里长大的人

我从小到大一直在各种试点班读书, 非常能够理解什么是 "高密度人才之间的竞争", 这会进一步放大组织的问题.

聪明人同样会响应激励. 当晋升需要证明独立贡献, 预算需要证明部门价值, 管理者的影响力又与团队规模相关时, 人们就会有动力建立自己的项目, 维护自己的边界, 强调自己对成果的所有权.

帮助另一个团队解决关键问题, 对公司可能非常有价值, 对个人却未必容易形成一份清晰的晋升材料. 把自己的经验沉淀成公共工具, 可以让很多人少走弯路, 但贡献可能分散在别人的成果里. 相比之下, 重新建设一套带有明确团队标签的平台, 反而更容易被识别和奖励. 重复建设, 信息保留和成果争夺, 就可能成为一套评价体系下的理性选择.

技术能力越强的人, 也越有能力为自己的选择提供完整而有说服力的解释. 一场争论可以充满专业术语和技术细节, 同时又深受资源分配和成果归属的影响. 当承认另一个方案更好意味着自己的项目失去预算, 技术判断就很难保持开放.

《置身事内》 把这一类问题归结为事权划分的第三条原则: 激励相容. 说得直白一点, 就是让做事的人在追求自身利益的时候, 恰好也在推进组织想要的目标. 书里讲, 计划经济时代部门之间没什么大的利益冲突, 意识形态教化相对有效; 市场经济改革之后, 利益不仅大了, 而且多元化了, "'统一思想'和'大局观'虽依然重要, 但只讲这些就不够了, 需要更加精细的激励机制". 书里给的最低要求是:

"能评价和奖惩工作业绩的上级, 能决定工作内容的上级, 受下级工作影响最大的上级, 应该尽量是同一上级."

拿这句话对照一下前面那位被借调到模型项目的网络工程师: 给他打绩效的是部门老板, 给他安排工作的是项目负责人, 受他工作影响最大的, 是整个模型团队和后面一长串用模型的人. 三个 "上级", 三个人.

大厂开会时最常听到的一句话是 "要有大局观". 可大局观代替不了激励设计, 它只能弥补激励设计的不足. 对聪明人来说尤其如此, 他们比谁都清楚考核表上写的是什么.

3.2 看得见的路桥, 看不见的管网

《置身事内》 第三章讲官员的激励. 书里引用的一项研究收集了 1994 到 2008 年间 241 个城市 1671 名市长和市委书记的数据, 他们在一个城市的平均任期是 3.8 年, 中位数是 3 年. 而基础设施或工业项目最快也要两三年才能完成, 所以 "新官上任三把火" 烧得又快又猛, 上任头两年, 基础设施投资, 工业投资, 财政支出往往都会快速上涨, 城市也呈现出 "摊大饼" 的态势.

更要命的是两件事. 一是 "2016年之前, 官员升迁或调任后就无需再对任内的负债负责, 而新官又通常不理旧账, 会继续加大投资", 政府债务不断攀升. 二是出于政绩考虑, 地方官员在基础设施投资上常常偏重 "看得见" 的工程, 比如城市道路, 桥梁, 地铁, 绿地, 相对忽视 "看不见" 的工程, 比如地下管网. "所以每逢暴雨, '看海'的城市就很多."

AI 公司的路桥和地铁, 是新模型的发布会, 榜单上的 SOTA, 一个全新的训练框架或推理平台. 地下管网则是数值稳定性, 测试覆盖, 监控告警, 数据清洗规则, 以及那些没人愿意碰的老代码. 前者一张 PPT 就能讲清楚, 后者讲上一小时, 听的人也只会问一句: "所以效果提升了多少?"

翁家翌说谁修的 bug 越多, 谁的模型就训得越好. 可修 bug 恰恰是最典型的地下管网: 修好了, 什么都不会发生; 不修, 平时也看不出来. 一直要等到一次大规模训练, 某个 rank 的数值在第三万步突然溢出, 整个集群停下来 "看海", 大家才想起来那条管子已经锈了很多年.

大厂的项目周期和晋升周期, 往往比市长的任期还短. 一位新的负责人上任, 最理性的选择是另起炉灶, 做一个 "看得见" 的新平台. 旧平台的技术债, 新官不理旧账, 旧官已经升迁. 债务会一直累积下去, 直到有一天, 新平台本身也变成了别人眼里的旧账.

3.3 烟厂, 酒厂和重复建设

《置身事内》 第二章讲过一段税制史. 2002 年之前, 企业所得税按行政隶属关系上缴, 中央企业交中央, 地方企业交地方:

"地方政府自然就有动力创办价高利大的企业, 比如烟厂和酒厂, 这些都是创税大户. 20世纪90年代, 各地烟厂, 酒厂越办越多, 很多地方只抽本地牌子的烟, 喝本地牌子的啤酒, 这种严重的地方保护主义不利于形成全国统一市场, 也不利于缩小地区间的经济差距."

大厂里的 credit, 也是按 "隶属关系" 上缴的. 一个推理引擎是哪个部门做的, 收益就记在哪个部门. 于是每个 BG 都有动力办自己的 "烟厂": 自己的训练框架, 自己的推理引擎, 自己的评测集, 自己的数据管线. 更进一步, 只抽本地牌子的烟: 别的部门做得再好, 也要先证明 "不适合我们的场景", 再自研一套.

这件事可以用一个简单的不等式来描述. 设个人在 "分享" 和 "保留" 之间做选择. 对组织而言, 分享几乎总是更好的, . 但个人看的是考核系统 "看得见" 的产出 , 乘以考核赋予它的权重 , 再减去自己付出的成本 . 只有当下面这个不等式成立时, 分享才是个人的理性选择:

所谓激励相容, 就是让这个不等式和  尽量同时成立. 现实里破坏它的, 恰恰是 : 帮别人修好一个 bug, 成果写在别人的报告里,  几乎为零; 自己另起炉灶做一套, 成果全部归自己,  反而很大. 这时候再高的觉悟, 也扛不住一年两次的绩效评定.

不过 《置身事内》 对 "重复建设" 的态度并不是一棍子打死. 书里说, 在经济发展早期, 各地政府扶持下的重复投资至少有两个正面作用. 一是那些 "离土不离乡" 的小工厂, 让当地农民熟悉了工业和工厂, "'工厂'承担了类似'学校'的教育功能". 二是加剧竞争, 价格战让资源和技术迅速向头部企业集中. 所以:

"不管有没有政府扶持, 要害都不是'重复建设', 而是'保持竞争'. 市场经济的根本优势不是决策优势. 面对不可知的未来, 谁也看不清, 自由市场上, 失败也比成功多得多. 市场经济的根本优势是可以不断试错, 在竞争中优胜劣汰."

这段话对 AI 组织同样适用. 两个团队各做一个推理引擎, 本身不是问题. 前沿方向本来就看不清, 多一条路线就多一次试错的机会, 做过一遍的人也会成长, 这就是 "学校" 的功能. 问题在于, 烟厂酒厂的毛病从来不是厂太多, 而是市场被割裂了, 每个地方只抽本地的烟. 内部竞争要想起作用, 前提是有一个 "全国统一市场".

内部竞争可以帮助组织探索不同路线, 但需要共享的评估标准, 可以复现的实验结果, 以及明确的资源调整机制. 如果每个团队都维护自己的评测口径, 对失败保持沉默, 对成功选择性展示, 公司就很难知道哪些方向值得继续投入. 那样的重复建设, 只剩下 "重复", 没有 "竞争".

3.4 鞭打快牛, 突击花钱

《置身事内》 讲分税制之前的财政包干时, 提到过一个有意思的现象. 央地分成比例每隔几年就要重新谈判一次, 若地方税收收入增长很快, 下次谈判时就可能落得一个更高的上缴基数和更吃亏的分成比例. "为避免'鞭打快牛', 地方政府有意不让预算收入增长太快." 钱藏到哪里去了? 藏进了预算外. 1992 年, 地方预算外收入达到了预算内收入的 86%, 相当于 "第二财政".

分税制改革时, 又出现了反方向的博弈. 税收返还要以 "基年" 的税收为基数, 中央最终决定用 1993 年做基年, 结果地方突击征税, 甚至把明年的税挪到今年来收, 1993 年后 4 个月的财政收入分别比上年同期增长了 60%, 90%, 110% 和 150%.

把 "税收" 换成 "GPU 配额", 这两个故事每年都在大厂里上演. 如果明年的配额按今年的用量来定, 那么一个团队把训练效率优化了一倍, 换来的很可能是明年配额被砍一半, 这就是鞭打快牛. 于是没人有动力去做效率优化, 或者做了也不声张, 省下来的卡悄悄留着跑点 "预算外" 的实验. 到了年底, 又会有一批团队突击用卡, 跑一些不那么必要的大实验, 只为保住明年的 "基年".

各种挂在别的项目名下的卡, 自己攒的小集群, 申请了一直没还的机器, 就是大厂里的 "第二财政".

新版预算法对财政资金有一条规定: 连续两年未用完的结转资金, 应当作为结余资金管理. 钱不花掉, 就可能不再归自己支配. 这能遏制 "藏钱", 却也会刺激 "突击花钱". 卡也是一样. 一套资源分配制度如果惩罚节约, 就一定会得到浪费.

3.5 垂直管理, 还是属地管理

Infra 应该集中管理, 还是嵌入到各个模型团队? 这是几乎每一家 AI 公司都反复摇摆过的问题. 《置身事内》 里关于垂直管理的讨论, 几乎可以原样照搬.

书里说, 在专业性强, 标准化程度高的部门, 更倾向于垂直管理. 比如海关, 工作主要由系统内的上级安排, 绩效也主要由上级评价, 这符合激励相容. 工商局的故事则是另一面: 1999 年改革时, "人财物" 收归省级工商部门统管, 初衷是减少地方干扰, 打破地方保护. 可工商工作与所在地区密不可分, 垂直管理之后, 当地政府对工商系统的监督和约束都没有力度. 在一系列事故, 尤其是 2008 年震动全国的 "毒奶粉" 事件之后, 2011 年中央再次改革, 恢复了省级以下工商部门的地方政府分级管理.

环保则反过来. 随着跨地区协调的工作越来越多, 2016 年, 省级以下环保机构调整为以省环保厅垂直领导为主, 所在地政府的影响大大降低.

同一个国家, 同一个时期, 一个部门从垂直改回属地, 另一个部门从属地改成垂直. 这不是摇摆, 而是对三条原则的不同权衡: 外部性越强, 越该往上收; 信息越依赖本地, 越该往下放; 无论往哪边走, 评价工作, 安排工作和承担后果的人, 都要尽量是同一个人.

放到 AI 组织里, 集合通信库, 集群调度, 存储底座这类外部性极强, 标准化程度高的东西, 适合 "垂直管理", 由专业部门集中建设. 训练配方, 数据配比, 并行策略这类强烈依赖具体模型 "本地信息" 的东西, 就该 "属地管理", 交给模型团队自己决定.

真正难的是中间那一层. 比如 MoE 的通信优化, 它既依赖底层网络, 又依赖具体模型的专家分布和路由特征, 放在哪边都不完全对. 这一层, 就是前面说的省界.

3.6 胡萝卜, 大棒, 与内心驱动

《置身事内》 讲官员激励, 用的是 "胡萝卜" 和 "大棒" 的框架. 但书里专门提醒了一个容易被忽略的事实: 在庞大的政府工作人员群体中, "县处级" 及以上的干部大约只占总人数的 1%, 对绝大多数人来说, 晋升这根胡萝卜其实很远. 书里接着写道:

"任何一个组织, 无论是公司还是政府, 都不可能只靠外部奖惩来激励员工. 外部奖惩必然要求看得见的工作业绩, 而绝大多数工作都不像送快递, 没有清清楚楚且可以实时衡量的业绩, 因此需要使命感, 价值观, 愿景等种种与内心感受相关的驱动机制."

这段话的脚注, 引的是斯坦福大学 Kreps 教授一本讲 "公司如何激励员工" 的小书. 在那本书里, 经济学强调的外部激励只占一部分, 大量篇幅留给了管理学更重视的内心驱动.

前沿研究恰恰是 "最不像送快递" 的工作. 一个研究员三个月的成果, 可能是 "证明了这条路走不通"; 一位系统工程师半年的工作, 可能是 "让一类故障再也没有发生过". 这些都很难被实时衡量.

梁文锋在访谈里说, DeepSeek "选人的标准一直都是热爱和好奇心", "很多人对做研究的渴望, 远超对钱的在意". 这不是一句漂亮话, 而是一种组织设计上的选择: 当业绩说不清楚的时候, 只能依赖内心驱动, 那就从一开始挑选内心驱动强的人.

人才密度能够转化为创新密度, 依赖于一个具体条件: 分享知识, 暴露问题和帮助别人成功, 必须对个人也是值得的.

其实我一直都在问自己一个问题: "如果全世界只剩下你一个人, 是要钱还是要名?" 所以最近很多年我一直是一种人畜无害的状态, 有些事情自己明白做成功了就行了, Credit 什么的无所谓, 然后经常打着技术扶贫的旗号, 分享知识给其它人. 想起几年前的一篇文章 技术扶贫与公知.

不过我也清楚, 不能指望每个人都这么想, 组织设计更不能建立在 "人人都是圣人" 的假设上. 外部激励至少要做到不惩罚分享.

《置身事内》 还讲了反腐高压下的另一面. 习惯了旧有工作方式的官员, 难免会变得 "瞻前顾后, 缩手缩脚", 于是 2016 年中央开始强调 "庸政懒政怠政也是一种腐败". 2018 年中办印发的文件要求建立健全容错机制, 其中有一句:

"把尚无明确限制的探索性试验中的失误错误, 同明令禁止后依然我行我素的违纪违法行为区分开来."

研究组织最需要的, 正是这样一条区分. 一次精心设计但失败了的实验, 和一次因为偷懒没做对照组而得出错误结论的实验, 是完全不同的两件事. 如果组织对两者一视同仁地问责, 剩下的人就只会去做 "一定能出结果" 的实验. 如果组织对两者一视同仁地宽容, 失败就失去了信息量.

容错不是对失败的宽容, 而是对探索的定价.

4. 算力财政: 以卡为本, 还是以人为本

4.1 卡权上收, 事权下压

1994 年的分税制改革, 是 《置身事内》 着墨最多的改革之一. 改革之后, 中央占全国预算收入的比重 "从改革前的22%一跃变成55%", 中央的宏观调控能力大大增强. 可财权集中了, 事权却没有跟着上去. 上级权威高于下级, 越往基层分到的钱越少, 分到的任务却越来越多, 出现了 "财权层层上收, 事权层层下压" 的局面. 20 世纪 90 年代末流行过一句顺口溜:

"中央财政蒸蒸日上, 省级财政稳稳当当, 市级财政摇摇晃晃, 县级财政哭爹叫娘, 乡级财政精精光光."

这两年很多大厂也在做自己的 "分税制": 把分散在各个 BG 的 GPU 收归集团的算力中台统一调度. 出发点完全正确, 卡太贵了, 分散持有必然造成闲置, 集中起来才能提高利用率. 可交付模型指标的责任, 依然留在各个团队手里. 于是就有了一个大厂版本:

集团算力蒸蒸日上, BG 配额稳稳当当, 部门排队摇摇晃晃, 项目组哭爹叫娘, 实习生精精光光.

财权上收之后, 中央再用转移支付把钱分下去. 书里也提到了转移支付的副作用: 很多专项资金是由财政部先拨款给各部委后再层层下拨, "所以就有了'跑部钱进'的现象". 算力中台也有它的 "转移支付": 配额申请, 优先级评审, 资源委员会. 一个研究员想验证一个想法, 要先写申请, 说明预期收益, 排进下个月的配额. 而一个想法最脆弱的时候, 恰恰就是它还说不清预期收益的时候.

梁文锋讲 DeepSeek 的做法时说: "我们每个人对于卡和人的调动是不设上限的. 如果有想法, 每个人随时可以调用训练集群的卡无需审批. 同时因为不存在层级和跨部门, 也可以灵活调用所有人, 只要对方也有兴趣." 这当然和公司规模有关, 十万人的公司很难照搬. 但它说明了一件事: 审批的成本, 不是写申请的那几个小时, 而是那些因为要写申请而没有被提出来的想法.

4.2 土地财政与以卡为本

《置身事内》 的上篇有一条贯穿始终的线索: 城市化过程中 "重土地, 轻人". 地方政府以低价工业用地招商引资, 再靠商住用地的出让收入支撑基础设施建设, 优点是可以快速推进城市化, 缺点是公共服务供给不足, 外来人口难以真正安家落户.

书里引过张五常的一个比喻. 地方政府就像一家商场, 招商引资就是引入商铺. 商铺只交一个低廉的入场费, 但营业收入要和商场分成; 一些商铺大名鼎鼎, 能为商场带来更大客流, 商场不仅可以免除它们的入门费, 还可以降低分成, 甚至倒贴.

今天的 AI 竞赛, 很像一场 "以卡为本" 的城市化. 万卡集群, 十万卡集群, 数据中心的电力规模, 成了衡量一家公司 AI 实力最直观的数字, 就像当年衡量一座城市的发展, 看的是新区面积和高楼数量. 卡和地一样, 可以买, 可以批, 可以在发布会上展示.

可真正决定这些卡能产出多少有效实验的, 是 "人": 能把 MFU 从三成推到五成的系统工程师, 能把一个失败案例追到数据源头的研究员, 能同时看懂模型和Infra的那一小撮人. 卡是土地, 人才是城市.

明星研究员就是那些大名鼎鼎的商铺. 这两年大厂动辄用天价薪酬挖人, 免入场费, 降分成, 甚至倒贴, 道理和商场引进名牌店一样, 希望它们带来客流. 但商场能不能赚钱, 不只取决于引进了多少名牌, 还取决于商铺之间能不能互相带客流. 如果明星团队和原有团队之间隔着一道知识边界, 商场里只是多了几家昂贵的店, 人流也不会跟着流动起来.

书里还有一句话, 很值得大厂的资源委员会读一读: "如果竞争不能让资源转移到效率更高的地方, 那这种竞争就和市场竞争不同, 无法长久地提高整体效率." 卡如果按部门, 按层级, 按历史配额来分, 而不是流向最有希望的实验, 那么卡越多, 浪费的绝对量就越大.

4.3 为什么以前没问题

读到这里, 一个自然的疑问是: 大厂这套组织方式已经运转了二十多年, 支撑了搜索, 电商, 社交, 云计算这么多业务, 为什么到了 AI 就开始失灵?

《置身事内》 在讨论土地制度时, 问过几乎一模一样的问题:

"可是制度一直如此, 为什么前些年问题似乎不大? 因为经济发展阶段变了."

工业化和城市化初期, 传统农业生产率低, 只要把农地变成工商业用地, 效率就会大大提升; 可随着竞争越来越激烈, 技术要求越来越高, 先进企业需要的就不只是土地了.

组织也是一样. 互联网业务的问题大都可以提前拆分, 前端, 后端, 推荐, 广告, 每一块都能定义清楚接口和指标, 条条块块的组织方式恰好与之匹配. 前沿 AI 研发的问题, 在解决之前却根本无法拆分. 不是制度变坏了, 是问题变了.

下篇 宏观现象

《置身事内》 的下篇开头, 把上篇介绍的发展模式归纳成三个特点: 城市化过程中 "重土地, 轻人", 招商引资竞争中 "重规模, 重扩张", 发展战略上 "重投资, 重生产, 轻消费". 每一个特点都有它的优点, 推动了快速的城市化, 工业化和增长; 也都在宏观上留下了副作用, 房价与不平衡, 债务与风险, 内外失衡.

大厂的 AI 组织也有对应的三个特点: 重卡, 轻人; 重规模, 重扩张; 重发布, 轻反馈. 前两个上篇已经讲过. 这一篇先从三个具体的故事讲起, 它们都发生在知识的边界上, 每一个看起来都是纯粹的技术问题, 细看下去, 却都是组织问题.

5. 知识边界上的三个故事

5.1 训推不一致: 一个高中生都会的公式

这里说个 RL 中训练推理不一致的问题吧.

大模型的 RL 训练通常涉及两套系统: 推理引擎负责生成回答, 训练引擎根据回答及其奖励计算更新. 即使使用同一份模型权重, 两套引擎也可能因为计算精度, 算子 kernel 和批处理方式等差异, 得到不同的概率分布. 异步执行还可能让推理端使用落后的模型版本, 进一步扩大差异.

如果按照传统部门职责来分配任务, 推理团队会努力提高吞吐, 降低延迟, 用上量化和更高效的执行方式; 训练系统团队会努力提高数值一致性和运行稳定性; 算法团队则会调整重要性采样, 裁剪和样本筛选等机制, 尽量控制失配对训练的影响. 对于 MoE, 还可以通过记录和回放专家路由, 减少两边执行路径的差异.

这些方法有各自的技术依据, 有些还承担着失配处理之外的任务. 但组织需要警惕一种状态: 每个团队都在解决自己收到的问题, 修正措施不断增加, 对共同机制的理解却没有同步加深.

推理团队收到的问题是 "怎样让生成更快", 训练团队收到的问题是 "怎样让两边更一致", 算法团队收到的问题是 "怎样让现有更新方式更稳定". 这些问题一旦被固化为各自的工作范围, 就容易遗漏另一种追问: 两套引擎不一致时, 训练更新里到底多出了什么?

结果整个问题在一系列争吵中就变成了算法团队需要 训推一致, 然后 R3 这样的东西就做出来了... 主流的算法基本上都延续着 On-policy 的路, 却没人想到 Off-policy...

当然解决问题的答案简单到让人发指. 最近一篇论文 Score Centering Stabilizes Off-policy Reinforcement Learning, 用的基本上是高中生或者大一的学生都会的一个公式:

那么整个问题在哪? 从组织角度看, 企业里可能并不缺少懂这条等式的人, 却缺少让这些知识与真实系统问题相遇的机会. 它展示了一类组织风险: 当问题跨越算法假设与系统工程时, 局部修复可以不断有人负责, 对共同假设的重新检查却可能长期无人负责. 最值得讨论的, 是组织有没有能力识别这种空缺, 并把相应的人和资源组织起来.

《置身事内》 第八章的开头讲了一个老笑话. 物理学家, 化学家和经济学家流落荒岛, 饥肠辘辘, 海面上漂来一个罐头. 物理学家说可以用岩石对罐头施以动量, 使其表层疲劳而断裂; 化学家说可以生火加热, 让罐头膨胀以至破裂; 经济学家则说: "假设我们有一个开罐头的起子..."

"训推一致" 就是 RL 里的那把开罐头起子. 主流算法的推导大都建立在 on-policy 的假设上, 于是工程上的任务就变成了 "把这个假设造出来": 对齐两边的 kernel, 统一数值精度, 记录并回放路由. 每一步都很辛苦, 每一步也都有人负责. 可很少有人回头问一句: 这个假设本身是不是必要的?

兰小欢对这个笑话的评论是: "任何理论当然都需要假设, 否则说不清楚. 有些假设不符合现实, 但是否会削弱甚至推翻其理论, 还要依据理论整体来评判. 但一旦走出书斋, 从理论思考走到现实应用和政策建议, 就必须要符合实际, 要考虑方案的可行性."

书里紧接着引了布林德 (Alan Blinder) 的 "经济政策的墨菲定律":

"在经济学家理解最透, 共识最大的问题上, 他们对政策的影响力最小; 在经济学家理解最浅, 分歧最大的问题上, 他们对政策的影响力最大."

AI 组织里也有一条墨菲定律. 协方差分解这种理解最透, 共识最大的东西, 对工程决策的影响最小; 要不要再加一层修正, 要不要换一套框架, 这种理解最浅, 分歧最大的问题, 反而占据了大部分会议时间, 也决定了大部分资源的去向.

《置身事内》 开篇引用的格申克龙 (Gerschenkron) 有一句话, 放在这里最合适: "一套严格的概念框架无疑有助于厘清问题, 但也经常让人错把问题当成答案." 训推不一致是问题, 训推一致却被当成了答案. 把假设当成目标, 是组织最昂贵的一种误会.

组织本身其实也有 drift. 每个团队今年的工作分布, 都是从去年的 "采样分布" 继承来的: 去年做什么, 今年接着做什么; 上个项目怎么分工, 这个项目也怎么分工. 如果不刻意把这部分惯性减掉, 组织的每一次 "更新", 都会夹带一次向过去的模仿, 而且像 RL 里那个反馈回路一样, 越跑越偏. Score Centering 减掉的是对推理引擎的模仿, 一个健康的组织, 也需要定期减掉对自己过去的模仿.

5.2 RDMA: 每一步都有道理的演化

再来举个例子吧, RDMA over Ethernet 这事, 当年为了硬件简单选择了 Lossless 的方案, 在 HPC 的年代似乎完全正确, 数据量小到几乎没有什么拥塞和丢包.

而到了 AI 时代, 一切都变了... 当年被认为笨重的 iWARP, 却逐渐成为最终的答案. RoCE 为了多路径, 逐渐地都开始用上了 DDP, 为了可靠性又逐渐地加上 SACK, 拥塞控制也逐渐改为 Window based... 不停地做加法, 到头来实质上和 iWARP 的区别, 无非就是一个 IP 协议号了...

详细内容可以看看 漫谈 RDMA 现代化

《置身事内》 讲城乡割裂的土地制度是怎么来的, 有一段话几乎可以原封不动地拿来描述 RoCE:

"追根溯源, 其实也没有什么惊天动地的大道理和顶层设计, 不过是从1982年宪法开始一步步演变成今天这样罢了. 虽说每一步变化都有道理, 针对的都是当时亟待解决的问题, 但演变到今天, 已经造成了巨大的城乡差别, 飞涨的城市房价以及各种棘手问题."

Lossless 是为了硬件简单, Go-back-N 是为了网卡上少存状态, 每一步都有道理, 针对的都是当时亟待解决的问题. 可场景从 HPC 换成了 AI, 流量从零散的小消息变成了几千张卡同时打满的集合通信, 当年的约束条件已经不存在了, 当年的设计却一层一层地沉淀了下来. 后来的每一次修补, 都是在不推翻前提的情况下做加法: 为了多路径加 DDP, 为了可靠性加 SACK, 为了拥塞控制改 Window. 一路加下来, 绕了一大圈, 又回到了当年被嫌弃的那个方案.

为什么工业界折腾了好几年? 不是因为没有人懂. 网卡团队懂网卡, 交换机团队懂交换机, 拥塞控制有专门的研究者, 集合通信有专门的库. 每个团队都在自己的边界内做到了局部最优, 而 "Lossless 这个前提在 AI 场景下是否还成立" 这个问题, 不属于任何一个团队. 它落在省界上.

边界上的问题没有主人, 所以总是被修补, 而不是被重新定义.

5.3 边干边学: 京东方和光伏教给我们的事

《置身事内》 第四章用了很大篇幅讲京东方. 京东方的 5 代线运气不好, 在液晶面板大起大落的周期里 "投在了波峰, 产在了波谷", 主打的 17 寸屏从每片 300 美元暴跌到 150 美元, 2005 和 2006 两年亏损了 33 亿元, 北京市政府无力救助.

后来的 6 代线落在了合肥. 2008 年的合肥, 财政预算收入 301 亿元, 归属地方的只有 161 亿元, 想建一条投资 175 亿元的 6 代线, 经济和政治的决策风险都很大. 合肥承诺出资 60 亿元, 又承诺定向增发不顺利时兜底出资 90 亿元, "可以说是把家底押上了". 夏普又来搅局, 领导表示过 "绝不动摇". 后来京东方又在合肥建了 8.5 代和 10.5 代线, 合肥成了我国光电显示产业的中心之一.

面对外界的质疑, 合肥市政府的相关人士说过一段话:

"不要以为我们不会算账, 政府是要算细账的. 一个京东方生产线, 从开始建就能拉动300亿元的工业投资, 建成之后的年产值就是千亿级别."

这段故事在书里引出了一个核心判断:

"创新是买不来的, 只能靠自己做. 创新必须基于知识和经验的积累, 所以只能自己动手'边做边学', 否则永远也学不会."

兰小欢打了个比方: 这就好比学生学习写论文, 不自己动手研究, 动手做, 动手写, 只靠阅读别人的东西, 理解永远只能停留在表面, "就算全天下的论文和书籍都摆在面前, 一个人也不会自动成为科学家".

这段话放在 AI 上一字不用改. 今天全世界的大模型论文, 开源代码, 技术报告几乎都摆在面前, 可读完它们并不会让一个团队自动具备训练前沿模型的能力. "谁修的 bug 越多, 谁的模型就训得越好" 里的那些 bug, 只有在自己的集群上, 用自己的数据, 跑过足够多次大规模训练之后才会遇到.

梁文锋说过: "我们已经习惯摩尔定律从天而降, 躺在家里18个月就会出来更好的硬件和软件. Scaling Law 也在被如此对待." 他还说过一句容易被忽略的话: "外部看到的是幻方2015年后的部分, 但其实我们做了16年."

书里第七章还有一个观察. 对站在科技前沿的国家来说, 新技术一般从实验室开始, 再到专利, 再到大规模量产; 而对后起国家来说, "很多时候顺序是反过来的: 先从制造环节入手, 边干边学, 积累技术和经验, 然后再慢慢根据自身需要改进技术, 创造一些专利". 很多 AI 团队的成长路径也是如此: 先把别人的模型复现出来, 在复现中把 infra 的 bug 修一遍, 再慢慢长出自己的东西.

光伏的故事更能说明边干边学的分量. 书里说, 光伏组件的价格在 2010 到 2019 年间下降了 85%, 同期的全球装机总量上升了 16 倍. 经济学里描述这种现象的工具叫学习曲线, 也叫 Wright 定律: 单位成本随累计产量  按幂律下降,

粗略地把这组数字代进去:

也就是累计装机每翻一番, 组件价格大约降到原来的六成. 这只是一个很粗的算术, 价格里还掺着产能过剩和价格战的因素, 但方向是清楚的: 成本不是在实验室里降下来的, 是在一次又一次的量产里降下来的. 书里的原话是: "研发和创新从来不只是象牙塔里的活动, 离不开现实市场, 也离不开边干边学的企业."

把  换成一个组织累计跑过的大规模实验次数, 这条曲线就是 AI 组织的学习曲线. 一个团队的迭代速度如果是另一个团队的两倍, 在任何时刻, 它的累计经验都多一倍, 单次实验的成本就低一个  的系数. 更快的团队不只是跑得快, 还会越跑越便宜.

组织摩擦, 审批, 排队, 交接, 拖慢的从来不只是某一次实验, 而是整条学习曲线. 迭代速度的差距会复利, 组织摩擦的代价也会复利.

光伏的故事里还有两个细节, 和 AI 组织的关系更直接.

一个是协同. 2013 年以后国内市场打开, "因为整条产业链都在国内, 所以同行沟通成本更低, 开始出现全产业链的自主和协同创新, 各环节共同优化, 加速了技术进步和成本下降". 多晶硅, 硅片, 电池, 组件, 每个环节离得近, 就能一起改. 这正是 AI 里的通算融合和软硬协同: 算法, 框架, 通信, 硬件离得越近, 沟通成本越低, 就越可能一起改出一个更简单的方案. 这也是我一直说 "全栈" 的原因.

另一个是失败. 光伏经历过 "双反" 和大面积的倒闭, 尚德, 赛维这些曾经的龙头都倒下了. 但书里说: "企业不是'人', 不会在'死'后一了百了, 积累的技术, 人才, 行业知识和经验, 并不会随企业破产而消失. 一旦需求回暖, 这些资源就又可以重新整合."

研究项目也是这样. 一个被砍掉的项目, 如果组织能把它的人, 代码和失败记录留下来, 它就不是沉没成本, 而是下一次突破的原料. 如果项目一砍, 人就散到各处, 日志和结论也没人整理, 那才是真正的损失.

6. 领导者的 taste

6.1 taste 是一种经过校准的判断力

即使团队获得了跨越部门边界的自由, 仍然有一个问题需要回答: 团队会把获得的自由用来追问什么? 面对训练不稳定, 有人倾向于继续调整参数, 有人希望增加一道校正, 也有人会停下来检查梯度估计究竟建立在什么假设之上. 这些选择都需要时间和资源, 而组织无法同时尝试所有方向. 核心领导者的 taste, 就在这样的选择中开始发挥作用.

taste 可以理解为一种经过实践校准的判断力. 它帮助领导者辨别哪些问题值得长期投入, 哪些异常可能暴露了更基础的机制, 哪些复杂性确实来自问题本身, 哪些则来自过去决策的累积. 在技术路线尚不清楚时, 这种判断会影响团队最初把注意力放在哪里, 也会影响什么样的人和想法能够获得支持.

合肥押注京东方, 就是一种 taste. 它不是赌博, 而是 "算细账": 一条产线能拉动多少上下游投资, 能不能形成产业集群, 什么样的风险自己扛得住.

韩国也是. 20 世纪 70 年代, 世界银行建议韩国按照当时的 "比较优势" 去发展纺织业, 韩国没听, 一头扎进了本国根本没有的产业. 到了 1990 年, 韩国最具比较优势的十大类出口商品, 比如轮船和电子产品, 1970 年时根本就不存在. 书里的结论是:

"可见'比较优势'具有很大的不确定性, 是可以靠人为创造的. 其实'比较优势'并不神秘, 就是机会成本低的意思. 而对于没干过的事情, 事前其实无从准确判断机会成本, 没干过怎么知道呢?"

"没干过怎么知道呢" 这一问, 几乎就是前沿研究的日常. 一个新架构有没有前途, 一个新的并行方案值不值得做, 事前没有数据, 只有判断. 只按 "比较优势" 做决策的组织, 会永远停在自己已经擅长的事情上. taste 的价值, 就在于在没有数据的时候, 判断哪些 "没干过的事" 值得去干.

6.2 强力的领导, 也要有能力说 "不"

这种 taste 最终需要变成资源安排. 新增一道机制, 除了当下的开发工作, 还会增加之后的调参, 排查和维护负担. 已经投入很多人力的项目, 同样可能需要缩减或结束. 领导者需要帮助团队面对这种取舍, 让过去的投入成为决策背景, 同时把未来还能获得多少有效进展放在更重要的位置.

《置身事内》 第八章有一句话说得极好:

"所谓强力政府, 不仅在于它有能力和资源支持企业发展, 也在于它有能力拒绝对企业提供帮助."

书里讲过赛维的结局. 地方政府屡次注入资金, 动员数家银行救助, 结果越陷越深, 到 2016 年, 赛维总资产 137 亿元, 负债却高达 516 亿元. 所以书里说产业政策要有退出机制, "若效率低的企业不能退出, '竞争性'就是一句空话". 退出机制有两层含义: 政策本身要设计退出, 比如光伏的标杆电价补贴一直在降, 所有企业都清楚补贴会逐渐退出; 低效企业破产退出的渠道也要顺畅.

AI 组织里的 "赛维", 是那些已经证明走不通, 却因为投入太多而停不下来的项目. 每一次续命都有理由: 再给一个季度, 再加一批卡, 再换一个负责人. 一个强力的技术领导者, 不仅要能给一个想法配资源, 更要能对一个自己曾经支持过的项目说 "不". 一个设计良好的研究组织, 也会像标杆电价那样, 让所有项目从一开始就清楚资源会按什么节奏退坡.

奖励机制必须能够看见这些贡献. 找到原因后删除几层无效逻辑, 证明一项昂贵实验没有继续开展的必要, 把自己的经验变成其他团队可以复用的工具, 都应该进入评价依据. 如果组织主要奖励项目数量, 代码规模和团队扩张, 成员就会倾向于增加可以归属于自己的工作. 对删减复杂性的认可, 能让人们更愿意把注意力放在整个系统的实际改进上.

书里还有一句话, 值得每一个想用资源 "扶持" 某个方向的领导者记住: 政策 "最多可以帮助企业降低一些财务风险和市场风险, 但政府不能帮助企业克服最大的不确定性, 即在不断变化的市场中发展出足够的能力和竞争优势". 卡和预算可以降低一个团队的试错成本, 却替代不了这个团队自己长出能力.

6.3 不做被吏牵着走的官

要作出这些判断, 核心领导者需要保持足够的技术深度. 深度的作用是提高问题和证据的质量, 具体推导与工程落地仍应由最接近事实的人推进. 可在 AI 时代, 这样的技术深度是非常困难的, 通常领导者又要面临在大量并不那么懂的领域被迫做决策...

《置身事内》 讲分税制改革的推行过程时, 引了两位亲历者的回忆. 时任财政部长刘仲藜说, 与地方谈的时候气氛很紧张, "单靠财政部是不行的, 得中央出面谈". 当时在财政部的项怀诚回忆, 朱镕基亲自带队, 用两个多月的时间先后走了十几个省, "面对面地算账, 深入细致地做思想工作". 为什么要由国务院常务副总理一个省一个省去谈? "因为只有朱总理去才能够和第一把手省委书记, 省长面对面地交谈, 交换意见." 如果换成部里的人去, "可能连面都见不上".

跨越条块的大改革, 一把手必须亲自下场, 面对面地算账. AI 组织里要推翻一个跨部门的前提, 比如放弃 Lossless, 或者重新划分训练和推理之间的分工, 道理是一样的: 只有能拍板的人亲自坐到桌边, 把细账算清楚, 改革才推得动. 如果领导者只看周报, 他就只能被吏牵着走.

那段回忆后面, 兰小欢还提醒了一句: 公众所接触的信息和看到的现象, 大都已经是博弈后的结果, "而缺少社会阅历的学生容易把博弈结果错当成博弈过程". 成功的政策背后是成功的协商和妥协, 而不是机械的命令与执行.

今天很多公司研究 DeepSeek, 研究 OpenAI, 研究 Anthropic, 看到的都是博弈结果: 扁平的组织, 自由的资源调用, 自下而上的研究文化. 可这些结果背后, 是多年的选人, 磨合, 试错和取舍. 照着结果画一张新的组织架构图, 并不会得到同样的过程.

6.4 选人的 taste, 与被证据推翻的勇气

选人的 taste 也会沿着同样的方向影响组织. 除了专业深度, 还需要识别一个人是否愿意理解相邻领域, 能否把自己的判断解释给不同背景的同事, 是否会主动修正已经投入精力的方案. 一个研究者能够把算法假设和系统行为联系起来, 就可能帮助几个团队重新定义问题. 这种贡献未必对应一个独立模块, 却可能改变整个项目的推进方式.

《置身事内》 里记了一位招商干部的心得, 说招商要做到 "铜头, 铁嘴, 顺风耳, 橡皮腰, 茶壶肚, 兔子腿". 铜头是敢闯, 铁嘴是能说会道, 顺风耳和兔子腿是消息灵通, 行动敏捷, 茶壶肚是能喝酒, 能社交. 最妙的是橡皮腰: "要尊重客商, 身段该软的时候要能弯得下腰, 但在谈判过程中也不能随便让步, 若涉及本市重要利益, 该把腰挺起来的时候也要挺直了."

如果给 AI 时代跨越知识边界的人也写一份 "六件套": 铜头, 是敢碰不属于自己部门的问题; 铁嘴, 是能把自己的判断讲给不同背景的同事听; 顺风耳, 是对相邻领域的异常足够敏感; 兔子腿, 是有了想法当天就动手验证. 茶壶肚不必能喝酒, 但要容得下别人的质疑和自己的失败. 橡皮腰最难: 证据面前, 身段要软得下来, 肯修正自己已经投入精力的方案; 没有证据的时候, 腰又要挺得直, 守得住自己的判断.

领导者也需要允许证据推翻自己的偏好. 一个简洁解释可能遗漏真实的数值问题, 一个看起来笨重的措施也可能在特定条件下不可替代. 当研究者拿出反例时, 资源和方向能否随之调整, 比会上是否允许讨论更能说明问题. 核心人物愿意公开修正判断, 会降低其他人暴露错误的代价, 让失败实验更容易成为共同知识.

iWARP 就是那个 "看起来笨重" 的措施. 当年嫌它复杂的人, 并不是没有道理; 后来回到它身边的人, 也不是承认自己当年错了, 而是承认条件变了. 能分清这两件事, 本身就是 taste 的一部分.

7. 团队的问题: 从领导小组到经济特区

7.1 特区缺的是政策

随着团队扩大, 这些判断还需要逐渐变成可以讨论和传递的依据. 记录重要决策依赖的假设, 明确什么证据会触发调整, 培养能够独立负责问题的人, 都能减少对个人在场的依赖.

那具体的团队该怎么搭? 《置身事内》 第八章回顾了 1980 年设立第一批四个经济特区的故事. 当时政治阻力不小, 所以才特意强调叫 "经济特区" 而不是 "特区", 以确保只搞经济实验. 邓小平对习仲勋说:

"中央没有钱, 可以给些政策, 你们自己去搞, 杀出一条血路来."

书里对这种属地实验的评价是:

"'属地管理'有利于地区性的政策实验和创新, 因为毕竟是地方性实验, 成功了可以总结和推广经验, 失败了也可以将代价和风险限制在当地, 不至于影响大局."

前沿研究团队需要的, 就是这样一块 "特区". 很多公司以为支持一个研究方向, 就是给它卡, 给它 HC, 给它预算. 这些当然重要, 但最稀缺的往往不是钱, 而是 "政策": 不走常规审批就能调卡的权限, 修改别的部门代码的权限, 不经过三层汇报就能拉人讨论的权限, 以及失败了不会被拿去和成熟业务的标准对账的保护. 特区缺的从来不是钱, 而是政策.

梁文锋描述的 DeepSeek, 其实是一个把整个公司办成特区的版本: "DeepSeek也全是自下而上. 而且我们一般不前置分工, 而是自然分工. 每个人有自己独特的成长经历, 都是自带想法的, 不需要 push 他. 探索过程中, 他遇到问题, 自己就会拉人讨论. 不过当一个 idea 显示出潜力, 我们也会自上而下地去调配资源." 自下而上地试验, 自上而下地推广, 和特区 "成功了总结推广, 失败了限制在当地" 的逻辑如出一辙.

7.2 联合项目要有真正的事权

具体到大公司的组织设计, 一个重要起点是围绕研究目标配置稳定合作的算法, 数据和 Infra 成员. 例如改善长上下文训练效率, 提高某类推理能力, 或降低满足既定质量要求的推理成本. 团队从目标和假设开始共同工作, 拥有必要的实验额度和技术修改权限, 并由明确的负责人协调质量, 时间和成本之间的取舍.

专业部门仍然承担人才培养, 技术标准和长期基础设施建设的职责. 网络, 存储和训练稳定性都需要持续的专业积累, 让所有人负责所有事情也会稀释这种能力. 需要调整的是关键问题上的合作方式和决策权限, 让团队能够在必要时共同修改跨越专业边界的代码和方案.

联合项目必须有清楚的决策权, 避免每一步都重新回到多个部门争取支持. 成员在项目上的时间投入, 资源额度和评价依据也需要事先明确. 只有责任而没有资源调动能力的项目负责人, 很容易变成会议协调员; 同时背负几套冲突目标的成员, 也很难持续投入共同的问题.

这几句话, 几乎就是 《置身事内》 上篇那几条原则在团队层面的翻版. 只有责任没有资源, 就是 "财权上收, 事权下压", 项目负责人的处境和当年的县级财政差不多. 同时背负几套冲突目标, 就是评价工作, 安排工作和受影响最大的 "上级" 不是同一个人. 体制内的 "领导小组" 之所以管用, 是因为组长通常就是能拍板的人; 如果一个联合项目只是一个跨部门的周会, 没有任何真正的事权, 它最终只会变成新一轮的文山会海.

7.3 像引导基金那样管理研究

《置身事内》 第四章讲政府产业引导基金. 私募基金常用 "有限合伙" 的形式, "出钱的是LP, 做投资决定的却是GP, LP的权利相当有限". 2015 年底, 财政部的管理办法明确了两点: 允许使用财政资金的政府投资基金出现亏损; 财政部门虽然出资, 但 "一般不参与基金日常管理事务".

书里也很坦率地写了这套机制的难处: "虽然原则上引导基金可以亏钱, 但对基金的经营管理者而言, 亏了钱不容易向上级交待." 于是就出现了各种变通, 比如承诺未来回购社会资本的股权份额, 相当于给对方托了底. 这种 "名股实债" 违背了股权投资的原则, 是中央明确禁止的.

研究管理者和研究团队的关系, 很像 LP 和 GP. 管理者出卡出钱, 研究负责人做具体的技术决定; 管理者要接受大部分投资会亏钱, 也不该天天插手日常的实验安排.

Anthropic 在介绍可解释性团队的工程挑战时写过, 他们把研究和工程视为不可分割的, 成员经常在两者之间来回切换, 先从现有系统里再挤出一点规模, 跑完一个新实验, 再回到研究上. 文章里还有一句很像风险投资的话: 因为很多研究想法终究行不通, 所以在看到成功的迹象之前, 他们不会在这些想法的基础设施上投入更多.

文章里举了一个分布式 shuffle 的例子. 训练数据大到装不进内存之后, 他们没有直接去做一个能扩展到 PB 级的方案, 而是选了一个能很快写出来, 但扩展性一般的办法; 等它真的成了瓶颈, 再换成多轮 shuffle 的方案. 先用便宜的办法验证想法, 有了信号再加码, 这就是研究的 "分轮融资".

反过来, 如果管理者 "亏了钱不容易向上级交待", 就会要求每个研究项目在立项时承诺交付日期和指标提升. 这就是研究里的 "名股实债", 不妨叫它 "名研实交": 名义上是研究, 实际上是交付. 风险全部压回到研究员身上, 剩下的只有 "一定能出结果" 的题目.

7.4 跨界的人, 是最稀缺的产业工人

组织还需要有意识地培养能够跨越知识边界的人. 理解模型训练的系统工程师, 理解硬件约束的算法研究者, 能够通过模型评估判断数据价值的数据工程师, 都能减少关键上下文在交接中的损失.

Anthropic 那篇文章说得更直接: 他们特别想招的是能在不同领域之间灵活工作的 generalist engineers, 无论是搭数据管线, 跑 ML 实验, 还是优化 GPU 的使用. 文章的 FAQ 里还有一句: Anthropic 是一个 "team-science" 的组织, 团队之间的边界以最好的方式保持着通透, 这让他们能很快地做成很多事. 这个案例展示了一种具体的工作方式, 原文可以看 Anthropic 关于可解释性研究工程的介绍[2].

《置身事内》 第八章引了格申克龙的一个观察: 很多落后国家虽人口众多, 却极度缺乏合格的产业工人, "创造一支名副其实的产业工人大军, 是最困难和耗时的过程". 书里说, "工业化" 最核心的一环就是把农民变成工人, 这不仅仅是工作的转变, 也是思想观念和生活习惯的彻底转变, 而这种转变只能在工厂里完成. 那些 "离土不离乡" 的乡镇小工厂, 恰好成了培训农民成为工人的绝佳场所.

AI 时代最稀缺的 "产业工人", 不是会调 API 的人, 而是能跨越知识边界的人. 把一个只懂网络的工程师, 培养成同时懂 GPU 微架构和训练动态的工程师, 同样是思维方式和工作习惯的彻底转变, 靠几门内部培训课是完成不了的, 只能在真实的联合项目里完成.

联合项目就是乡镇企业. 人不离开自己的专业部门, "离土不离乡", 却在项目里 "进厂", 在真实的问题上学会相邻领域的语言.

8. 组织学习与探索创新

8.1 后发优势的尽头

《置身事内》 第八章讨论发展目标与发展过程时, 有一段话我认为是全书最重要的段落之一:

"对处于技术前沿的发达国家来说, 提高生产率的关键是不断探索和创新. 其相对完善的市场经济是一套分散化的决策体系, 其中的竞争和价格机制有利于不断'试错'和筛选胜者. 但对发展中国家来说, 提高生产率的关键不是探索未知和创新, 而是学习已知的技术和管理模式, 将更多资源尽快组织和投入到学习过程中, 以提高学习效率. 这种'组织学习模式'与'探索创新模式'所需要的资源配置方式, 并不一样."

书里接着说, 后进国家虽然有 "后发优势", 但 "组织学习模式" 不可能一直持续下去. 当技术和生产率提高到一定水平之后, 旧有的模式若不能成功转型为 "探索创新模式", "'后发优势'可能变成'后发劣势'".

大厂做 AI 的过去几年, 很大程度上就处在 "组织学习模式" 里. 目标是清楚的, 追上 GPT-4, 追上某个榜单; 路径是已知的, 论文和开源代码都摆在那里; 需要做的是把资源尽快组织起来, 投入到学习过程中. 条条块块, 自上而下, 集中力量办大事, 在这个阶段非常有效. 很多大厂在追赶阶段的速度, 并不比创业公司慢.

可一旦追到前沿, 目标就不再清楚了. 梁文锋说: "我们经常说中国AI和美国有一两年差距, 但真实的gap是原创和模仿之差. 如果这个不改变, 中国永远只能是追随者, 所以有些探索也是逃不掉的." 在前沿, 需要的是分散化的决策, 不断的试错和筛选胜者, 也就是 "探索创新模式".

一个在追赶阶段被证明极其高效的组织, 恰恰最容易在这里卡住, 因为它所有的流程, 指标和晋升路径, 都是为 "学习已知" 设计的. 后发优势的尽头, 往往就是组织惯性的起点.

书里还有一句话很有分寸: "如果'组织学习模式'不止一种, '探索创新模式'自然也不止一种, 欧美模式不一定就是最优的模式." DeepSeek 的组织方式和 OpenAI 不同, Anthropic 和 Google DeepMind 也不同. 探索创新的组织没有标准模板, 能抄的只有原则, 抄不来的是过程.

8.2 从生产型组织到服务型组织

《置身事内》 的结论之一, 是政府需要从 "生产型政府" 向 "服务型政府" 转型. 书里给了两个理由. 一是与重规模, 标准化的工业生产相比, 服务业规模通常较小, 且更加灵活多变, 要满足各种非标准化, 本地化的需求, "在这种行业中, 政府'集中力量办大事'的投资和决策机制, 没有多大优势". 二是:

"'服务型'政府实质上就是投资于'人'的政府."

很多大厂的 Infra 组织, 也是 "生产型" 的: 以交付集群, 交付平台, 交付稳定性指标为中心, 擅长集中力量办大事, 比如建一个十万卡集群. 这件事永远需要有人做好. 但前沿研究更像服务业: 规模小, 变化快, 每个实验的需求都不标准.

一个 "服务型" 的 Infra 组织, 衡量自己的不是集群规模和利用率, 而是研究员从想法到第一个实验结果要等多久. 它投资的不只是机器, 还有工具, 可观测性, 文档, 以及能和研究员说同一种语言的工程师. 说到底, 也是投资于 "人".

书里还有一段话, 可以送给那些希望 "自下而上的研究文化" 自己长出来的管理者:

"对发展中国家而言, 市场和政府的关系, 不是简单的一进一退的问题, 而是政府能否为市场运行打造出一个基本框架和空间的问题. 这需要投入很多资源, 一步一步建设. 如果政府不去做这些事, 市场经济和所谓'企业家精神', 不会像变戏法一样自动出现."

自下而上的研究文化也不会像变戏法一样自动出现. 统一的评测, 可复现的实验平台, 不需要审批就能调卡的调度系统, 这些 "基本框架和空间", 需要管理者一步一步去建.

8.3 当执行变快, 协调就成了瓶颈

当 AI 工具进一步提高代码编写, 数据处理和实验分析的速度, 这些组织能力可能变得更加重要. 如果个人执行任务越来越快, 获取上下文和作出跨团队决策的速度却没有变化, 等待与协调就会占据越来越大的比例. 更多产出会汇集到相同的决策瓶颈前, 暴露出原来被执行成本掩盖的问题.

这其实就是组织版的 Amdahl 定律. 把一件事的耗时分成执行  和协调  两部分, AI 工具只加速执行部分, 倍数为 :

假设今天一件事里协调占四成, 那么就算 AI 让执行快到无穷, 整体也最多快 2.5 倍. 如果执行快了 10 倍, 整体只快了大约 2.2 倍, 而协调在总耗时里的占比, 会从四成涨到将近九成.

文章开头说, 人或许也是一个非常大的 LLM. 理解问题, 找到对的人, 拿到上下文, 是 Prefill; 写代码, 跑实验, 出报告, 是 Decode. AI 工具让 Decode 越来越快, Prefill 却还卡在开会, 找人, 等审批上, 首 token 的延迟正在吃掉整个请求的时间. AI 越强, 组织越像那个串行的部分.

8.4 改革方向与改革过程

读到这里, 很多人的第一反应可能是: 那就打破部门墙, 重组. 《置身事内》 对这种冲动有一个冷静的提醒:

"改革方向和改革过程是两回事. 就算每个人都对改革方向和目的有共识 (事实上不可能), 但对改革路径和步骤也会有分歧. 什么事先办, 什么事后办, 不容易决定. 每一步都有人受益, 有人受损, 拼命争取和拼命抵制的都大有人在."

书里还说, "可行的政策不仅受既有制度的约束, 也受既有利益的约束", 而 "那些受损的人的生活不是理论上的平均数字". 组织调整也一样. 一个负责人会失去他带了五年的团队, 一个只精通某一层的工程师会担心自己在 "全栈" 的口号下被边缘化, 一个平台会被宣布下线, 背后是一群人几年的心血. 平均来看组织效率提高了, 可每个具体的人感受到的, 都不是平均值.

书里关于转型的那句话, 我觉得每一个准备做组织调整的管理者都应该读一读:

"人不是机器部件, 不可能瞬间调整, 也没有人能一直紧跟时代, 所以稳定的改革过程要留下足够的时间和资源去缓冲. 这种'渐进性改革'中的各种缓冲机制, 往往会拖低效率, 所以常常被解读为'扭曲'和'资源错配'. 但任何成功的转型过程都离不开缓冲机制."

专业部门保留人才培养的职能, 联合项目给成员留出学习相邻领域的时间, 被下线的平台给使用者留出迁移的窗口, 失败项目里的人有地方可去. 这些缓冲看起来都在 "拖低效率", 却是组织能够平稳地从学习模式走向探索模式的前提.

对大企业而言, AI 时代的变化还涉及既有业务的优先级. 成熟产品需要稳定性, 可预测的成本和清晰的交付承诺, 前沿研究则需要承担更多不确定性. 两者都合理, 但需要不同的预算节奏和评价方式. 如果探索项目始终用成熟业务的季度回报标准证明自己, 组织就更容易选择可快速交付的改进, 并持续压缩基础创新的空间.

公司的规模并不决定这些问题是否存在. 小公司同样可能出现信息垄断, 决策集中和关键人物过载. 大公司也完全可能通过明确目标, 调整权限和改变激励, 建立高效的研究团队. 值得观察的是, 一个关键问题出现后, 相关的人能否及时看到证据, 能否共同判断, 能否调动资源把判断变成实验.

9. 另一半故事: 当 AI 走出实验室

9.1 从一张工单开始

上面讲的大都是研发 AI 的组织. 可 AI 不只是被研发出来, 还要被用起来. 用的过程里, 组织问题换了一副面孔, 但逻辑一脉相承.

设想一家企业刚上线了 AI 售后助手. 客户描述故障, 助手检索资料, 给出操作步骤, 随后工单标记为已处理. 产品团队看到自动处理比例上升, 平台团队看到调用成本下降. 过了一会儿, 客户打进人工电话: 设备还是不能用. 客服重新核对型号, 发现助手引用的说明只适用于更新的设备版本. 修正文档需要产品人员确认, 修改检索规则需要平台团队排期. 每个人手上都有一项具体工作, 客户的问题却停在了这些工作之间.

这就是第 1 章讲的外部性, 只不过它不发生在两个部门的 GPU 利用率报表之间, 而是发生在一张工单关闭之后. 产品团队减少了一次人工处理, 客服却增加了一次解释和排查; 如果两笔账始终分开计算, 产品负责人可能根本看不到后续代价. 兰小欢讲水污染, 是一座城市发展工业, 收益留在本地, 成本沿河流进入另一座城市; AI 售后助手也是如此, 效率留在了产品报表上, 代价沿着工单流进了客服.

要判断这套助手到底有没有用, 就要把观察延伸到工单关闭之后: 客户是否再次来访, 设备是否恢复, 人工补救花了多少时间. 一张覆盖全流程的报表本身没有调动资源的能力, 但它至少能让相关人员讨论同一件事.

9.2 AI 写代码: 快了, 然后呢

再看企业研发. 一家企业软件公司要新增 "取消订单" 功能. 工程师用 AI 编程助手, 很快生成页面, 服务端逻辑和单元测试. 联调时才发现, 销售理解的 "取消" 是停止交付, 财务还需要处理已开票金额, 仓储则关心货物是否已出库. 同一个按钮, 连着几套不同的业务状态.

如果需求只写 "支持取消", 生成更多代码也无法替团队决定这些含义. 开发团队若只按完成的功能数考核, 未解决的关系就转化为测试和运行团队的返工. 一个部门节省下来的编码时间, 可能以更高的代价出现在另一个部门的联调里, 和上篇讲的每张报表都合格, 整体却很慢, 是同一个结构.

验证也有自己的陷阱. 助手根据同一份含糊需求生成代码和测试, 两者可能同时接受了同一种误解. 发布负责人看到 "全部通过", 其实只是两面镜子在互相照.

9.3 谁在决定 AI 看见什么

《置身事内》 第一章讲, 上级名义上拥有最终决定权, 是形式权威; 下级掌握信息, 自主性很大, 是实际权威. AI 会同时改变两侧: 中枢可以更方便地汇总业务记录, 一线也可以更方便地获得过去需要向其他部门求助的分析能力.

但实际权威还可能向一个以前不存在的位置移动. 谁决定哪些文档进入知识库, 谁定义评测中的正确答案, 谁设置工具调用的权限, 谁就能影响助手展示的选项和执行的动作. 业务负责人即使仍然负责最终批准, 也可能只能在别人已经筛选过的方案中选择.

这种影响不需要任何人故意操纵. 负责知识库的人可能优先收录格式统一的文档, 结果把只存在于工单里的例外经验排除在外; 负责评测的人可能选择容易判分的问题, 让复杂客户的需求长期缺席. 每一个局部选择都有合理理由, 累积起来却决定了系统认为哪些问题值得回答. 组织图没有变化, 数据和软件配置却可能改变实际决策权.

阅读模型的总结时, 还应保留回到依据的能力. 一段流畅的结论可能把样本不足, 记录缺失和几种互相矛盾的解释压成一句确定的话. 书里结语写道: "比较数据和表面现象容易, 但要比较数据产生的过程和现象发生的机制就难了, 而这些往往更加有用." 用在技术汇报里, 就是压缩篇幅时仍须保留足以改变结论的条件.

9.4 保留下一代的判断力

《置身事内》 讲乡镇工业, 除了加剧竞争和推动效率之外, 还有一个容易被忽略的作用: 让当地农民熟悉了工业和工厂, "'工厂'承担了类似'学校'的教育功能". 第 7 章已经用格申克龙的 "产业工人" 讨论了跨越知识边界的人. 这里要补充的, 是使用 AI 工具的组织里同样存在一个培养问题.

研发部门的新人工程师, 过去通过修复小缺陷, 阅读旧代码和补充测试, 逐渐熟悉系统为什么这样设计. 如果这些任务大量交给编程助手, 新人只负责接收改动, 却很少经历独立定位问题的过程, 旧的培养路径就会改变. 企业需要安排受监督的实践和导师时间. 知识库可以保存结论, 但专业判断还需要在使用, 质疑和修正结论的过程中形成.

一种可行的训练方式, 是让新人先独立说明自己的判断和依据, 再与助手的建议比较, 由资深人员解释分歧. 对已经处理过的案例, 改变一个关键条件, 再看原来的答案是否仍然适用. 这样安排会占用当下的工作时间, 却能让团队持续培养能够检查系统的人.

兰小欢在结语中说: "切中要害的问题, 必然基于对现实情况的深刻理解." 提问能力需要接触真实后果. 软件工程师需要看到发布后的故障, 工业设计人员需要看到仿真与实物试验的差异. AI 降低部分资料整理和原型生成成本之后, 节省的时间可以用于这些学习. 如果培训只教如何更快接受答案, 公司可能在短期内提高处理速度, 同时削弱下一批员工发现错误的能力.

9.5 当执行快到无穷:  的另一种拆法

第 8 章用组织版 Amdahl 定律把耗时分成了执行和协调两部分. 在 "使用 AI" 的场景里, 还可以拆得更细. 把一条关键路径的时间分为执行, 协调, 排队等待和核验返工四段:

假设它们分别耗时 8, 12, 16 和 4 小时. AI 把执行从 8 小时降到 1 小时, 总时间从 40 小时降到 33 小时, 省掉的 7 小时不过是 17%. 如果团队紧接着同时启动更多任务, 每个任务都很快完成初稿, 审核者却还是原来几个人, 等待审核的任务就会累积. 限制同时推进的数量, 或让有能力的人在明确边界内自行验收, 可能比继续提高生成速度更有效.

《置身事内》 在讨论省直管县时说, 改革前一个省平均管 12 个市, 改革后平均管 52 个市县, "钱和权给了县, 但监管跟不上". 如果一个负责人直接面对更多团队和更多智能体, AI 可以帮他汇总情况, 但跨业务取舍, 专业争议和人员培养仍然消耗注意力. 一个名义上更扁平的组织, 也可能让所有例外都排到同一个人面前.

书里对这类改革的评价很有分寸: 拉平财政关系后, 浙江效果很好, 因为县域经济本身强劲; 但在其他省份, "省里管不过来" 的问题和 "县市合作关系被打破" 的副作用同时出现. 减少管理层级是否有效, 不取决于组织图画得多扁平, 而取决于被取消的那一层原来在做什么: 如果只是转交信息, 可以随工具变化而缩减; 如果在协调排期, 就需要重新分配; 如果在带新人, 解释历史决策和处理写不成规则的冲突, 成本就会变成一线的额外劳动和高层的不断救火.

结语: 置身 AI 内

《置身事内》 第八章写道: "比较数据和表面现象容易, 但要比较数据产生的过程和现象发生的机制就难了, 而这些往往更加有用." 比较各家公司的组织架构图很容易, 难的是比较一个想法在不同的组织里是怎么出生, 怎么长大, 又是怎么死掉的.

所以, 讨论 AI 时代的组织结构, 到头来需要落到一些非常具体的事情上: 一个研究员发现异常之后, 能直接找到谁; 一个跨领域的想法, 多久能得到第一次验证; 一次失败, 能否帮助所有相关团队少走弯路; 一个人帮助别人取得突破, 能否同样获得认可; 核心领导者提出的判断, 能否被新的证据改变.

这几个问题, 每一个都能在 《置身事内》 里找到影子. 第一个是信息与权威, 第二个是事权与审批, 第三个是退出机制和 "企业不是人", 第四个是激励相容, 第五个是强力的领导能不能说 "不". 兰小欢说: "发现和提出好的问题, 是解决问题的第一步, 且'提问'本身, 往往已蕴含了对解决思路的探索." 这篇文章能做到的, 也只是把问题提出来.

资金可以买到机器, 薪酬可以吸引人才. 组织需要进一步创造条件, 让这些人能够理解彼此的工作, 修正共同的判断, 把分散的专业能力变成持续积累的集体知识. 当最有价值的问题不断出现在部门交界处, 组织就必须让知识, 资源和决策能够及时跨过这些边界. 核心领导者的 taste, 则需要让更多人获得独立作出可靠判断的能力.

我们不可能脱离政府谈经济, 也不可能脱离组织谈 AI. 在这个意义上, 组织结构本身, 已经成为 AI 技术能力的一部分.

《置身事内》 的结束语里, 兰小欢引了凯恩斯在 论概率 里的一段话: 写这样一本书, 若想说清观点, 作者有时必须装得成竹在胸一点, "我有时轻描淡写, 斩钉截铁, 但其实心中始终有所疑虑, 也许读者能够体谅". 这篇文章也是一样. 里面很多判断写得斩钉截铁, 但组织问题从来没有标准答案, 我看到的, 也只是自己经历过的那一小部分.

那本书收尾的一句话是: "生活过得好一点, 比大多数宏伟更宏伟." 借用这个句式: 让一个研究员发现异常之后, 当天就能找到对的人, 比大多数宏伟的组织变革都更宏伟.

置身 AI 内, 我们每个人都既是这台机器里的一个部件, 也是它的一部分设计者. 下一次你在部门的交界处发现一个异常, 是把它写进一张工单, 还是起身走过去, 找那个人聊一聊?

附: 一张对照表

《置身事内》

置身 AI 内

条条与块块, 层层复制

专业部门与模型项目, 每个 BG 一套 Infra

尽量在能达成共识的最低层级上解决问题

接口规范, SLA, 工单和各种委员会

外部性与水质监测站

部门报表与 straggler, 尾部延迟

三不管地带与根据地

部门接口处的性能问题与全栈探索

形式权威与实际权威, 官与吏

管理层与一线工程师之间的信息差

文山会海, 叫魂

工单, 周报, 层层转述的训练事故

所谓权力, 是说不清楚时由谁拍板

前沿研究里, 谁决定一个想法值不值得做

评价, 安排工作和受影响的上级应是同一人

借调工程师的绩效, 工作和影响分属三个人

看得见的路桥, 看不见的管网

发布会与 SOTA, 修 bug 与数值稳定性

烟厂酒厂, 只抽本地牌子的烟

每个部门自研框架, 只用自己的

鞭打快牛, 预算外收入, 突击征税

配额按用量定, 私藏的卡, 年底突击用卡

分税制: 财权上收, 事权下压

算力中台: 卡权上收, 指标下压

重土地, 轻人

重卡, 轻人

边干边学, 创新是买不来的

只有在自己的集群上修过的 bug 才算数

强力政府也要能拒绝帮助, 退出机制

能对自己支持过的项目说 "不"

经济特区: 给政策, 不只给钱

研究团队: 给权限, 不只给卡

引导基金: 允许亏损, 不管日常, 警惕名股实债

研究管理: 分阶段投入, 容忍失败, 警惕名研实交

产业工人大军, 离土不离乡

跨越知识边界的工程师, 在联合项目里成长

组织学习模式与探索创新模式

复现追赶与原创探索

生产型政府向服务型政府转型

交付型 Infra 向服务研究员的 Infra 转型

改革方向与改革过程, 缓冲机制

打破部门墙的方向, 与照顾具体人的过程

工单关闭 vs 客户问题解决

自动处理率上升, 人工补救也可能上升

省直管县: 拉平后省管 52 个市县

扁平化后一个负责人面对所有例外

教育日常归地方, 教材编制归中央

模型调参归一线, 评测标准归统一

乡镇工厂的 "学校" 教育功能

AI 助手可以当教具, 不能当教师

实际权威随信息优势静默移动

知识库和评测配置悄悄改变决策权

参考资料

[1] 

梁文锋访谈: https://finance.sina.com.cn/roll/2024-07-22/doc-inceypaf4744158.shtml

[2] 

Anthropic 关于可解释性研究工程的介绍: https://www.anthropic.com/research/engineering-challenges-interpretability

跳转微信打开

AI时代 “雕花”的艺术

2026年10月11日 20:04

原创 渣B 2026-10-11 20:04 浙江

“屎上雕花”还是“精雕细琢” ?

TL;DR

前几日发生过几个技术讨论, 讨论到该不该做的时候, 都谈到这事算不算“屎上雕花”:

  • 同事A: 我们在讨论一些可靠传输和ScaleUP的事情, 具体的内容涉密就不多说了, 大致就是省这么点收益也不大到底做不做?

  • 朋友B: 讨论 BPO 和 Score centering 的时候, 是不是抄了一下 SC 就好了, 我认为可能需要更细致的讨论在 Sparse Attn / MoE 的情况下, 以及超长程的 Agent Trajectory 在 Off-policy 下可能会经历多段不同的 Rollout Model 产生的  Logits, 以及 token level 和 chunk level 的 credit 如何处理等细节问题.

  • 朋友C: 在讨论一些 Attention 相关的 KV 设计, 起因是 Seed 一篇讨论 DeepSeek 的 CSA 一类的 Chunkwise Compression 的处理, 是否要引入 Context Aware Chunking.

  • 朋友D: 新的一些 GPU 架构的讨论, 关于数据依赖如何处理的问题, 也涉密不能多说.

到了 AI 时代需要考虑的东西更多, 底层的技术原理本身大家差异都不大, 而各种细节的 tradeoff 堆叠在一起便会产生巨大的差异. 因此技术决策上有了很多工程细节的东西需要处理, 是“屎上雕花”还是“精雕细琢”很多技术管理层的领导无法在第一时间分辨, 用于决策的汇报材料中的技术细节也因为层层汇报信息逐渐压缩, 变成了简单的“功能”有无, 或者局部的 benchmark 优劣. 最终技术领导的认知能力和细节的把控能力成为成败的关键.

因此想拿几个小事为引子, 来谈谈“雕花”的艺术.

1. 谈谈芯片架构

最近看到CUDA 13.4 增加一个 Locality Domains[1] 的功能.  实质上就是一些 NUMA aware 的内存分配.  其实当 L2 Cache 被划分为两个Partition 的时候已经有很明显的内存访问延迟差距了. 当然我能理解 NV 为了维持统一的内存访问这个简单的编程接口和生态的初衷, 在 Blackwell 这一代上也勉强能够维持住, 但在 Rubin 上随着 HBM 的带宽加的更大以及 cross die 的 NV-HBI 带宽以及延迟的约束, 走向 NUMA Aware 的路径已经是必然趋势了.

按照传统的决策路径来看, 例如在早先的一些 AMD 卡上, 考虑到 L2 的架构写代码确实很烦, 如果能够继续维持 UMA 不感知 L2 Partition 确实是一个更优的选择. 对于 NV 的 Blackwell 是不是要做 NUMA Aware, 当然也有一些办法可以弄, 例如根据内存地址逆向出一个Hash函数来做一些 Location aware 的 malloc 或者 Swizzle的处理, 但是整体来看收益并没有多大. 那么即便做了或许也是属于“屎上雕花”.

但是在 Rubin 这一类的卡上, 这个能力就要暴露出来了, 虽然你还可以和以前一样使用 UMA 的编程方式, 但是为了极致的性能收益在算子中引入这些能力便成了“精雕细琢”.

进一步展开这个问题, 如果你要设计一颗新的 GPU, 那么你是否还需要维持 UMA 或者所谓的 CUDA 生态兼容? VLIW 是否值得再去看看? 历史上 VLIW 的失败案例数不胜数, 并且如果从传统的芯片设计工程师的角度来看可能还会继续维持 SIMT 这类的编程接口, 但是这些决策在 AI 时代或许应该有些改变了. 当然很多涉密的内容就不展开了.

这件事想说的是“屎上雕花”还是“精雕细琢" 可能还需要在更长的时间维度上去看, 并结合整体系统的变化和约束, 并且不要被过往的经验人为的封锁住一些探索的空间.

2. 谈谈互联

其实对于任何一个搞互联的人, 通常最简化的模型就是: 带宽多大/延迟多大/每秒消息数能做到多少. 很多产品设计的指标和决策都陷入到这种 micro-benchmark 中. 但是实际上业务要什么? 前段时间我们某个模型线上推理把 PD 分离从 TCP 换成 eRDMA, 其它什么都没有改, 线上的实际 TTFT 降低了40%. 而同等的另外某知名的网卡延迟更低/每秒消息数更高, 但实际的收益只有 10%. 延迟降低40% 也就等同于 tpm 性能提升了接近 1.6 倍, 这个收益是非常巨大的.

原因很简单, 在线业务中 TCP 和 RDMA 混跑时的拥塞控制和长尾延迟抑制上. 传统的 RDMA 为了片面的追求高消息速率和超低延迟, 在可靠传输和拥塞控制上都有大量的简化. 而当你把这些细节日积月累的打磨干净后, 出现了显著的性能提升. 但是你如果单看任何一个细节, 仿佛都是在“屎上雕花”, 至少从 microbenchmark 的角度, 或者一些单从网络指标的角度看都是些很微乎其微的收益.

另一个涉及 KVCache 服务的业务, 由于资源调度的限制需要跨 AZ, 某家跨 AZ 还专门搞了一个名词 Scale-Across, 但基本上处于不可用的状态, 被迫回退到 TCP 上处理. 前几天也是一个非常简单的修改, 跨AZ场景下, eRDMA整体在 KVCache 业务上的延迟比 TCP 下降了 50%.

其实很多时候, 我们在做一些设计时很容易陷入到 microbenchmark driven 的工作模式中, 不光是互联的芯片, 在 GPU/XPU 上也是这样, 因为领导开发布会的时候基本只谈 算力FLOPS/ HBM带宽/互联规模等 microbenchmark, 这也是国内这些年很多加速器架构和编程生态非常割裂的原因. 以前也写过一篇文章《谈谈芯片设计的一些取舍》 就不多展开了.

这件事想说的是“屎上雕花”还是“精雕细琢" 不要以 microbenchmark 来评估, 更多的是站在整个系统 E2E 的视角进行分析.

3. 谈谈算法

做量化交易也快15年了, 大概10多年前做自己的量化交易系统的时候, 由于国内几个交易所的网络都是我设计的, 并且很多券商的高频交易相关的设备也是... 但是如果我自己去搞高频, 大概率会被入刑. 因此整个量化算法设计初衷就变成了一个中低频的策略. 算法本身是很简单的一个原则: 多因子模型涉及大量的拟合回归以及频繁的策略调整和模型迭代. 这个时候也有大量的“屎上雕花”还是“精雕细琢”的决策. 最后其实还是要回归到一个很简单的逻辑上来, 首先衡量整个市场的结构, 赚稳定的钱并且把策略容量作为更重要的算法设计需求. 当然具体的策略我不会多说, 我只想说整个算法本身 10 多年了完全没改至今还能有稳定的收益.

这一部分我想说的是, 无论是当年的量化交易算法, 还是如今的一些 Transformer 相关的模型结构. 更多的要从底层的逻辑考虑, 老老实实的把数据质量提高, 然后整体模型结构上尽量维持第一性原理去设计, 例如在讨论 Looped Transformer 和 Recursive Transformer时, 去抓住最核心的对一个 Attn block 本身的 Q/K/V 的处理上来看. 而不是这里加个 bias 那里加个 conv. 对于 Linear 和 Sparse Attn 的处理也应该如此, 首先从最底层的原理上分析  的State是否真的可行. 以及从数学上推导如果不做 Context aware 的压缩, KV容量的下界是什么? 另外 Chunkwise Compression vs Context aware Compression 该如何取舍.

是“屎上雕花”还是“精雕细琢”或许是从你搭建整个架构的最开始的地方开始就有了定论.

4. 谈谈 RL

过去的很多追求训推一致以及一些 cliff 的处理和 KL 的处理, 每一个在过去的一段时间内都会显得挺有效的, 至少模型训出来了, 效果也还不错. 但是这些处理的技巧是“屎上雕花”还是“精雕细琢”?

一直欠读者一份详细的关于 BPO 和 Score Centering 的详细分析报告, 这两个工作本身是非常简单有效的, 但是对于整个 RL 后训练的处理上, 其实也要回归到一个最底层的逻辑. 为了训练能够更好的 Scale, 特别是大量 rollout 的时间成本和算力成本压力下, Off-policy 更好的利用数据是一个必然的选择, 另一方面面对相对稀疏的 reward, token-level credits 如何处理? 当我接受 Async 的训练时, 例如一个耗时数百个小时的 Agent Trajectory 很有可能在整个 RL 的过程中 Rollout 的模型被 update 了多次, 这些问题处理不处理? 还是一个简单的 IS 就够了?

值得注意的是, 当前 Pre-Train 和 Post-Train 实际上还是有很多割裂的地方, model-arch 上针对后训练场景的一些 specific design 是“屎上雕花”还是“精雕细琢” 也是一个开放性的问题.

其实当前后训练不停的在处理很多训练稳定性相关的问题, 把整个算法越加越重, 是否在模型结构上对 token-level credits 做一些设计就能更好的解决问题? 这是我最近在思考的, 但似乎并没有很好的答案. 或者一些答案本身也是“屎上雕花”.

一些所谓的“大道至简”的东西或许只能靠运气... 这也让我想到 RDMA 这些年工业界对多路径和拥塞控制的处理上, 反反复复尝试了好几年都还没彻底解决... 多路径的算法上, 依赖交换机 packet-spray 把交换机的功能越加越多, 并且在一些链路失效的时候还有整体的集群稳定性风险, 拥塞控制上, 先认为丢包是一个小概率事件做 Lossless 就认为好像是大道至简了, 但如今在 大规模 ScaleOut稳定性上和Scale-Across 的拥塞处理上都遇到了大量的问题, 然后进一步又用特殊的网络拓扑解决. 网卡上 DPA 加完了再加 PSA, 然后还要加一些 Ethernet Switch 的IP 越加越重, SACK也加回来了, 然后 Window based CC 也有人开始加了, 最后发现和 TCP 就差一个端口号了. 但是当你用 TCP 的时候又陷入了 ToE 的邪路, 各种无法 Scale, SACK 这些长尾延迟无法控制等一系列问题又逐渐出来了... 摊手...

这一段想谈论的是, 对于“屎上雕花”还是“精雕细琢”, 或许你需要更广的知识面去探索更多的可能性后才能判断, 最后有可能运气好的到一个“大道至简”的答案. 其中的差别是“精雕细琢”是在某个领域或者周围的相关领域进行更广泛更深度的覆盖后作出的选择. 而“屎上雕花”则是一知半解的去堆砌了一些看上去能用的东西, 过段时间又拉一坨...

5. 结语

前段时间看到 OpenAI 放出一大堆数学证明, 有一些还在数学界工作的朋友开始哀嚎了.... 接下来的十几年, 或许要改变人的学习方式了……更广泛的视野和更好的提问将进一步拉开人与人的差距. 就像数学, 证明本身已经不是太大的瓶颈了, 更多的是去开荒, 找到荒地才是数学家更该做的事情……  对于其它行业来说, 或许也是如此, 例如 AI Infra 这一侧冲击其实更大, 很多体力活基本上都不用干了. 验证一个想法的成本变得非常低廉...

欢迎大家进入一个新的蛮荒时代...如何区分“屎上雕花”还是“精雕细琢"的一些技术上的 taste 变得更加重要.

参考资料

[1] 

Locality Domain: https://docs.nvidia.com/cuda/cuda-programming-guide/04-special-topics/locality-domains.html

跳转微信打开

谈谈10T参数模型的AI Infra 要什么

2026年10月5日 20:08

原创 渣B 2026-10-05 20:08 浙江

TL;DR

每年的假期确实是一个让人停下来好好思考的机会, 像一颗少了很多“中断”的处理器,效率提高不少. 似乎还有两天又要上班了, 记录一些文字吧... 

前些日子云栖大会结束后同时开启了两个项目: 一个是 Off-Policy 的 RL 后训练算法上的分析, 回归到一个很基础的原点来看有好多细节可以挖掘. 另一个项目开启了一颗新的 XPU 架构的研究, 类似于 OpenAI Janapeno 但又有很多新的结合模型架构的理解, 当然后一个项目涉密不太会多说什么.

而两者的交集出现在了一个新的问题上, 一个 10T 参数模型的 AI Infra 需要什么? 想写一下这个话题是工业界似乎又有大量的误区, 甚至是盲目的设计一些局部次优的东西. 首先我们从模型架构的层面谈谈 10T 的模型应该长什么样子, 然后再来展开分析 AI Infra 需要什么.

1. 模型架构

1.1 为什么还需要Scaling到 10T 的模型?

首先得回答一个问题, 为什么要 Scaling 到 10T 的规模, 在纯语言模型的时代, 通常的训练数据也就是一些常见的互联网上的语料, 大概数据规模在 35T token 左右, 事实上模型的参数规模受到训练数据规模的约束. 而在 Agentic 时代或者是很快会到来的 RSI 时代, Frontier 模型有了足够多的训练数据, 特别是大量 Long Horizon 的 Agent workflow 及大量的新的高价值的证明分析(例如很多数学定理的证明), 另外 AI4S 估计最近几个月也会有重大的突破. 这些推动了整个模型的可训练数据规模指数级在增长. 这也是模型本身的参数规模可以进一步扩展的前提.

另一个是来自于Infra的变化, 从早期的 96GB HBM 的 Hopper, 到现在 Blackwell / Rubin 288GB 的HBM, 以及相对大规模的超节点系统(NVL72)的演进, 使得在推理场景单个超节点理论上可以承载 5~10T 规模的模型.

1.2 10T的模型结构是什么?

基础设施和训练数据都满足模型继续 scaling 到 10T 时, 接下来需要回答的一个问题是 10T 的模型结构应该是什么样的?

首先从算力约束上来看, 我们要满足 Agent 一类 workflow 的高速推理需求以及成本约束, 那么期望的模型应当是更加稀疏的. 以当前开源的 3T 模型来看, 激活参数规模为 100B 左右, 那么我们能否在一个 10T 的模型上继续做到 100B~150B 左右的激活参数规模? 

其次从内存约束上来看, 非常值得注意的一个 Scaling 机会是 context scaling, 能否进一步把 context 的规模推向 5M 而不显著增加算力和KVCache 的占用? 这个约束不光来自于推理成本和速度的约束, 更重要的是对大量后训练 Scaling 上的约束, 我们需要 Rollout 足够的快, 并发足够的高.

简单的推导一下. 第一个问题, 或许我们需要某种 2048 ~ 4096 Experts 的 MoE. 而第二个问题则需要 Attention Block 需要有更好的算法支撑. 这也是今年在模型结构上各个基模团队出现一些新的变化和尝试的最根本的逻辑.

其实更值得关注的是这两个问题之间隐含的一些千丝万缕的联系. 很多时候, 我们期望 Attention 的效率足够高, 按照一些近似的数学推导看上去可以推导出Linear Attention 这类的算法. 但当它真要承载一个 num_experts = 2048~4096 的模型时, 很有可能会带来灾难性的影响. 例如大量的 dead experts 的影响... 另一方面,我们期望更高的 num_experts 数量也是期望能够在后训练阶段能够更加容易的进行局部参数更新, 避免带来某个任务增强后其它能力显著下降的影响(当然这涉及到一些后训练 RL 相关的算法, 过段时间空闲一点后再来写一下).

那么实际上这就带来一个算法上两难的问题, 一方面尽力需要提高 Attention 的计算结果, 使得它能够通过 MoE Routing-Gate 更好的触发需要激活的少量 Experts, 另一方面又需要降低 Attention 的计算复杂度, 并通过一系列手段来降低 KVCache 的占用. 基于这两个约束, 或许就明白了为什么最近几家国内的开源模型都在逐渐采用 YOCO 一类的路线, 例如《详细分析 DeepSeek-V4.1 Flash 技术报告(1) : 模型结构》.

当然还有一些所谓的 Loop Transformer 的做法, 但是我并不认为这样的做法是对的, 具体可以参考《谈谈未来的Transformer:  Loops Are Not What You Need》. 就像文中谈到的:

为什么 Loop Transformer 并不是一个正确的方法?

设 Loop 后的输入为 , 那么 score 的扰动是

同时 value 的扰动是 . 两者同时发生, 而且比例不由你决定. 换句话说, 你没法在残差上表达"我希望这条记忆改变模型看哪里, 但不改变模型读到什么". 这是最本质的局限: 它是内容空间的注入, 而寻址和内容在这里是纠缠的. 这也是我们在新的算法上希望分离Q, K, V 的最关键的原因.

我们更希望的是某种递归的方式, 在训练和推理阶段能够分离 Q和K,V 的处理, 对于Q是否能够通过某种记忆注入的方式获得更多的表达能力, 进一步增强后续在 MoE Routing Gate 上的选择精度. 而对于K,V是否能有更好的复用能力, 进一步降低内存容量的约束.

这是围绕着 Attention 算法的一个核心问题. 或者从数学上来看, 能否把原有的每一层Q, K, V 的变化, 变成某种能够利用局部的K,V不变性的处理, 将原有跨层之间 KV 流形上的映射进一步的融合到Q中.

另一方面是我在前段时间的一些很复杂的 agentic workflow 中发现的一些当前 context 管理的算法缺陷. 也是我在文章《谈谈Kimi K3 的KDA(2): 对比 Sparse Attention》中提到的一个问题, 我需要的是一个 attention 的算法能够对 KV 的计算满足基于 block 的 composable 的能力.

这些就是 10T 参数规模的模型可能必须要优先处理的问题. 点到为止不想展开.

2. 10T参数模型的 AI Infra 需要什么?

2.1 超节点规模需要多大?

国内最近有一个很有趣的讨论, 或许是大概知道了一些北美顶尖模型的信息, 然后自身网络/互联能力又很强. 于是开始讨论千卡到万卡规模的超节点. 这是我想主要谈的第一个问题. 首先不可否认大规模超节点确实解决了不少问题, 内存语义对于 EP 这类的 dispatch/combine 会有比较明确的收益, 但是是否意味者所谓的“一卡一专家”这样的说法也成立呢? EP 背后隐藏着一个“同步”的诉求以及整个 ScaleUP 的可靠性的约束.

规模越大带来的“计算”和“传输”耗时的方差越大, 也就是说整个系统的长尾延迟会导致整个系统的利用率随着节点数增加出现显著的下降. 然后一些设计不当的 ScaleUP 协议也会带来很大的影响, 从 2020 年我在思科的时候开始做 NetDAM 实质上就是最早的在尝试 Ethernet based ScaleUP, 当然后续也和 BRCM 一起进行了很多非常深入的讨论, 但 BRCM 在设计 SUE 的时候犯了一个错误, 我当时把 Nvidia FinePack的论文给他们, 让他们借鉴一下这种机制来避免Ethernet Header的开销, 但是他们后续的 SUE 设计上也没有给我 review 导致 pack 方案潜在的会出现很大的长尾, 这将会进一步约束整个 ScaleUP域的规模.

另一个问题来自于可靠性, 整个系统的 MTBF 也随着超节点规模扩大以及被迫使用光互连带来的可靠性降低急剧下降. 因此, 我个人是非常反对千卡规模的超节点的. 另一方面大家也可以注意到, DeepSeek前段时间开源的昇腾 950 基础组件, 超节点规模也就在 128 卡, 并没有广泛宣传的千卡甚至万卡规模的超节点部署.

那么在这些约束下, ScaleUP 规模支撑到最多 128 卡规模时, 交换机Radix = 128, 使用 112G Serdes 为 12.8Tbps , 使用 224G Serdes 为 25.6Tbps, 其实我们并不需要 Radix = 1024 这样规模的 ScaleUP, 另一方面也或许不需要 448G Serdes 这样的产品, 因为 448G Serdes 带来的光传输的可靠性问题暂时还未解决, 同时 FEC 等带来的延迟增长是显著的.

在 Radix = 128 或者说最多到Radix = 256的约束下, 构建一个交换芯片和 ScaleUP 协议该如何处理, 其实是非常容易的一件事.

2.2 基础设施的稳定性

对于这种 10T 规模的模型训练, 或许需要单个训练任务 20 万卡的规模. 那么整体系统的可靠性是一个非常值得探讨的问题. 特别是在 ScaleUP 和 ScaleOut 的取舍上. 我个人的观点是非常明确的, 在 ScaleUP 域内采用 Lossless Credit based 的方案, 当前尽量把 ScaleUP域约束在1~2个机柜内的铜互联为主的方案, 而更多的去提高 ScaleOut 的 Lossy 的可靠性, 具体可以参考《谈谈RDMA和ScaleUP的可靠传输》

可靠传输的实质是用算力去置换链路的不稳定性, 当你有一个 20 万卡规模的集群运行单个训练任务时, Lossless 的 RDMA 一定会达到某种不可用的状况, 所以大家才会看到今年无论是 AMD / BRCM / Meta 以及一些国内厂商都在自定义的RoCE协议中宣传支持 Lossy. 这些问题是我几年前就一直在提的, 当你的训练规模达到一定程度后, Lossless 并不像某些人宣传的那样 at scale.

但是这些厂商在 RoCE 上魔改支持 SACK 的时候, 似乎能力上还是有欠缺的. 例如某个知名厂商在今年的 HotChip 上分享了在 1% 丢包情况下, 一个 400Gbps 的网卡实际的传输性能在 SACK 的帮助下可以到 160Gbps, 这是他们所认为的 SOTA 的性能. 而我们想说的是, 在 3 年前 CIPU 2.0 完成开发时, 我们已经做到 5% 丢包时可以达到 90% 的Goodput, 达到业界领先水平.

当然有很多人会说, 现在网络上的丢包一般观测到的也就 0.1% 的量级, 把它做好了就行了, 为什么需要做到 5% 时还能接近满载的运行, 避免误重传带来的带宽占用. 5%这个数据并不是凭空而来的, 而是实实在在业务的要求. 通常 ScaleOut 网络中的大规模互联, 特别是扩展到 20w 卡规模时, 多层交换机组网和大量的光模块/光纤的使用, 你肯定不希望看到整个训练的 MFU 出现很大的抖动, 然而光模块中 DSP 晶振相位噪声过大, 加上高密机柜热点导致 DSP CTLE/DFE 漂移或者光纤接头的污染都会导致丢包和链路不稳定. 实质上还有一个显著的问题, 假设一个交换机的Uplink Radix = 32, 断一根上行链路带来的路由黑洞导致的丢包为 3% , 断两根为 6%. 还有一些由于 20万卡规模组网需要 Scale-across 的互联引起的一些丢包的问题. 所以我才会把可靠传输的目标定到 5% 的丢包率下系统仍然能够维持较高的 goodput.

2.3 基础设施的安全性

最近一直在谈一些安全相关的问题, 上周的云栖大会我们也提到云环境的多租安全《谈谈Agentic 时代的 DPU是什么: CIPU如何构建阿里云AI Agent、推理、训练等AI infra核心技术竞争力》, 作为全球第一个发布裸金属实例的团队, 其实有很多关于安全的设计, 但是不能公开对外说.  正好 Nvidia 这两天发布了 Open Agent Safety Platform

它把 Agent 安全分成相互补充的两层. OpenShell 在执行环境附近限制智能体实际可以访问的文件, 网络, 服务与凭据. Sentry 把监控和部分策略执行放到 BlueField-4 DPU 的独立信任域(Trust Domain), 为主机被攻破的场景增加独立防线. 但是... 有些基本的安全上的问题还是没考虑清楚, 实质上它还是一个从网络的角度在考虑这个问题, 借助于一些Telemetry然后通过BF4 上的一些 flow-table进行阻断. 有很多主机安全的处理他们并没有很完善的解决...

最根本性的问题是, Agentic workflow 打破了原有的安全边界. 原来我们讲企业内的软件很大程度上是可信可控部署的, 因此用户单一数据中心内并不需要什么多租户隔离的技术, 简单的安全访问控制即可. 但是当 LLM 产生大量代码时, 整个信任的边界发生了变化. 即便是很多基模团队的 Agentic RL 训练或许也需要按照任务进行多租户的安全隔离, 特别是大量的沙箱环境. 但是工业界似乎一直对裸机和 裸金属这两个概念理解不清, “像VM那样使用物理机”这句话估计很多人都不明白,  有些安全的问题, 等他们尝到苦果了就知道了.

2.4 基础设施的性能

前几天看到知乎的一篇文章《辩经系列之六:超标量或者静态排流水》[1], 包括OpenAI Janapeno 《从 Nvidia GPU 的缺陷到 OpenAI Jalapeño》[2] 都提到了一个问题: “超标量”.

其实这个问题我在去年就提过 《Inside Nvidia GPU: 谈谈Blackwell的不足并预测一下Rubin的微架构》[3], 记得去年在华为海思的一个什么会上, 还和廖恒博士聊过这个事情, 这篇文章老黄也在 NV 内部转发过, 真不知道 NV 的同学能听进去多少. 可惜有些背后的设计考虑涉密就不多说了...

大概就这样吧, 看到一些错误的东西, 随手写点文字, 全文完.

参考资料

[1] 

辩经系列之六:超标量或者静态排流水: https://zhuanlan.zhihu.com/p/2085077594198824273?share_code=1f6g3IYpUSCiJ&utm_psn=2089396614821631138

[2] 

从 Nvidia GPU 的缺陷到 OpenAI Jalapeño: https://zartbot.github.io/blog/arch/jalapeno/index.html

[3] 

Inside Nvidia GPU: 谈谈Blackwell的不足并预测一下Rubin的微架构: https://mp.weixin.qq.com/s/iNXR3fSIIrov870D5z6vIA

跳转微信打开

世界是一个巨大的草台班子(3): 谈谈 OpenAI 最近的Agent 逃逸案例

2026年9月27日 16:17

原创 渣B 2026-09-27 16:17 浙江

前几天的云栖大会我们才提到云环境的多租安全《谈谈Agentic 时代的 DPU是什么: CIPU如何构建阿里云AI Agent、推理、训练等AI infra核心技术竞争力》, 最近几天就爆出另一个安全问题, OpenAI 的 Agent 使用 DNS 隧道越狱, 《An agent used DNS to reach an external chatbot》[1]

而 DNS 隧道是一个大概存在 20 年的攻击手段了, 居然没有任何防范... 世界真是一个巨大的草台班子...大致的问题如下:

其实要防范这类也不是啥难做的, 我大概在 8 年前构建 Nimble 获得思科 CEO 大奖的时候就完全实现过:

Nimble 是一个基于 AI 的网络流量的实时分析系统, 当时由于 Flink 等数据处理框架性能不够, 我参考《Streaming Systems》这本书的算法, 基于Golang 重新写的一套流式数据平台, 大概单机每秒可以处理 1M records, 并增加了基于Tensorflow的实时推理引擎. 对于异常的流量分布很容易抓出来这类行为. 后来这套引擎给以色列团队参考整合进了 Cisco 的 DNA-Center 中, 但只是流数据实时处理框架, 没有包含任何 AI 相关的内容. 

有一点感慨, 思科当年实在是没看懂这么领先时代的技术, 而过了 8 年了, 如今才来慢慢补....

另外有一个开源的项目 《支持AI的ZaDNS服务器》 很早就可以通过一些 AI 模型识别潜在的攻击和盗用的情况...不过由于当时的边缘和嵌入式算力比较有限, 只做了一个很简单的 LSTM 的模型. 现在或许随便做一个 2B 以内的小模型就可以很完善的防范住这种攻击了...

参考资料

[1] 

An agent used DNS to reach an external chatbot: https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/

跳转微信打开

[随笔]其实人也是一个LLM, 也需要 KVCache

2026年9月26日 18:08

原创 渣B 2026-09-26 18:08 浙江

最近觉得人也越来越像一个LLM了, 而公众号的这些文章似乎很好的构成了 KVCache. 不光自己可以用, 也可以和大家做 Prefix-Cache.

起因是最近几年经常同时搞好几个项目, 有 CIPU 芯片相关的, 也有 GPU 微架构相关的, 也有大模型架构相关的, 还有一些算法相关的项目. 经常 Agent 还在写 RTL 的时候, 又切换一个桌面搞算法.

最近在做一些新的芯片相关的研究, 同时准备花一些时间来仔细分析一下 Off-policy 的 LLM-RL 相关的算法, 但几个月没碰过了几乎全忘光了. 比较幸运的是以前随手记录了一个专题:《大模型强化学习》

今天顺手让 Agent 做了一个网站版挂在 github page 上, 并且做了一个更简短的 summary, 似乎这也算得上某种 session compaction 了? 链接如下:

https://zartbot.github.io/blog/algo/llm_rl/

另一方面, 我发现一个好玩的事情. 以前天天叫嚣着需要 Lossless RDMA/RoCE 的人, 还叫嚣着 OpenAI 都在用 PFC 的人似乎都没怎么说话了. 相反整个工业界都在开始 show 自己 Lossy RDMA 下的性能, 终于从 Lossless 转向 Lossy 了.

  • AMD 在 Hotchip 宣称400Gbps 的 NIC 在 1% 丢包时可以达到 160Gbps, Goodput-ratio 40%

  • 国内某家 400Gbps NIC稍微好一些可以到 48%

即便是 Meta 宣称可以在 1% 丢包时 Goodput 在 86%, 那么也就是说依旧还是有 10% 的带宽被错误重传了

而 CIPU eRDMA 在 3 年前就已经是 5% 丢包率 90% 的 Goodput 了..而如今 CIPU 下一代的带宽已经超越 Nvidia 最新的 CX9 和 BlueField-4 2倍达到 1.6Tbps 了...

我想说的是, 这些都是要做 10w 卡 ~ 50w 卡稳定训练的关键技术, 几年前就在谈, 很多年前就在提一个业务指标:

  • 集合通信能够保证95%以上的Fabric利用率

  • 丢包率5%的时候仍然能够保证90%的Goodput

  • 无需任何交换机的高级特性, 网卡实现多路径和拥塞控制

  • 超大规模(128K QPs)并支持所有QP开启多路径转发能力.

  • 兼容RDMA RC Verbs, 线下RDMA应用无需修改代码即可直接运行.

  • Incast 128打1这样的场景, 每个QP之间的带宽差额最大100Kbps.

  • 完全OS无感知的热迁移

  • 完善的RDMA虚拟化支持

可惜几年过去了, 不知道哪一家真的追上来了. 回想起 CIPU2.0 在 3 年前送去流片的时候, 也就是 2023 年底, 我们就完整的预测到 MoE 模型会成为主流, 并把 All-to-All 的 incast 问题干干净净的解决了, 而时至今日还听说某些平台因为 incast 触发的 PFC 带来的各种故障... 真不知道工业界都在干些什么....

是时候好好读读这个专题了 《RDMA》

跳转微信打开

云栖大会, 明年再见~

2026年9月25日 09:42

原创 渣B 2026-09-25 09:42 浙江

这几天都在云栖大会的会场, 又来客串了一下 Technical Marketing 给一些重要的客户和媒体讲解了超节点和阿里云在 Agentic 时代的先进技术. 其中遇到一位知名博主, 也给她详细的进行了介绍. 视频拍的挺好的, 讲解的很全面, 我就不详细写了...

有一个彩蛋, “1.6T见过吗?”, 如果说“真武”和 Ascend 只是在争国内第一,  那么 CIPU 则是在 DPU 领域全面超越 Nvidia.

CIPU 2.0 在 400Gbps 发布仅比 BlueField 3晚了几个月, 但实际工作的性能远超 BF3. 而过去两年做出的 CIPU 3.0 则是全面超越 Nvidia BlueField 4 /CX9 直接对标 Nvidia 2年后发布的 BlueField 5 和 CX10. 这才是真正的”遥遥领先“

《谈谈Agentic 时代的 DPU是什么: CIPU如何构建阿里云AI Agent、推理、训练等AI infra核心技术竞争力》.

还有一个阿里云官方的视频, 大家可以看看超节点在数据中心内的样子.

在存储方面, 也有新一代的CPFS实现了大幅度的降本, 为大家提供更加普惠的 AI 服务.

那就这样, 欢迎明年再来~

跳转微信打开

谈谈Agentic 时代的 DPU是什么: CIPU如何构建阿里云AI Agent、推理、训练等AI infra核心技术竞争力

2026年9月23日 07:54

原创 渣B 2026-09-23 07:54 浙江

TL;DR

最近 Neo Cloud 爆出很多安全问题, 以及 OpenAI 等沙箱漏洞被模型利用导致攻击huggingface 等案例出现, 当 LLM 能力越来越强的时候,  Nvidia 也在开始宣传 Scale-in 旨在将传统的南北向网络改造成专为 Agentic AI Factories 提供安全、管理和数据加速的统一基础设施域.

那么 Agentic 时代的 DPU 是什么? 其实很早就有了答案, DPU这个词定义不清, 最早来源于Fungible, 他们也没想清楚, 而 Nvidia 沿用这个词也没想明白. CPU和GPU能不能处理 Data 是不是也叫 DPU ? 交换机甚至 FPGA 也能处理 data 是不是也算 DPU ? 其实我们很早就已经把它定义清楚了, 正确的说法应该是: 云基础设施处理器CIPU.  而 Scale-In DPU 的说法实质上就是对这个概念的展开的解释, 进一步定义清楚 DPU 是什么.

这次云栖大会我们带来了一个专题《云基础设施处理器CIPU技术深度解读》[1], 详细阐述了CIPU如何构建阿里云AI Agent、推理、训练等AI infra核心技术竞争力.

英文版: https://zartbot.github.io/blog/arch/cipu/en.html

1. AI时代重申云计算核心价值主张

由于算力资源持续紧张, 我们经常会在各种社交媒体上看到各种小广告, xx 8卡服务器 xx 万元可租, 当前到货 xx 台, 通常我们可以把这类称为微商云, 另一方面是以 Coreweave 这类为代表的新云(Neo Cloud). 整个行业似乎都在疯狂的扩张算力, 所有的关注点都在性能. 那么这些云和传统的云服务提供商(AWS, GCP, Azure, Alicloud等)有什么区别?

因此, 我们需要在这里详细谈谈 AI 时代的云计算核心价值是什么?

首先谈谈计算的核心业务价值, 你肯定不想自己的代码被错误的泄漏, 或者核心业务因为稳定性问题导致资损. 但是随着模型的能力越来越强, Agentic 时代的到来, 一系列问题出现了... 你肯定不想代码被错误的上传和泄漏, 也不想错误的攻击某些核心系统导致故障. 因此安全·稳定是计算的基石. 然后才是性能·成本, 同样的处理器能不能比其它计算提供方的性能高 10%~20%, 或者同样的性能价格低10%~20%? 这些价值主张, 无论是云计算还是本地化部署的计算, 都是需要考虑的.

那么什么是云计算? 云计算的核心业务定义是什么?  主要聚焦在弹性和多租上, 怎么理解这两个词, 其实国内由于大量的IDC建设和私有化部署, 很多人对于弹性的理解是不足的, 特别是在 Agentic 时代, 可能某些任务临时需要几百万核的 CPU 计算资源, 所谓的弹性其实就是为这些计算需求注入了算力流动性. 而云服务提供商实质上就变成了一个算力金融机构, 特别是在最近这些年算力紧张的时候. 既然云在为多个客户提供算力流动性, 那么多租户的安全隔离成为最重要的一个底线, 就像你存在银行的钱不希望被别人盗取, 而对于计算, 你也不希望你关键的数据被其他人获取/篡改甚至是删除...这个话题以前详细写了一篇文章《锐评某友商说传统云还在卖铁:  从金融的视角谈云计算及其流动性管理》 可以展开阅读一下.

因此在 AI 时代, 我们重申云计算核心价值主张: 云多租安全隔离仍然是底线: 没有多租安全隔离, 其他业务价值归零. 正是弹性和多租这两个云计算的核心业务定义, 才推导出云的基础设施中需要有一颗新的处理器来负责处理这些业务. 这也是过去几年 DPU 这个概念没讲清楚的, 而如今重申 Scale-In 的原因. 而我们很早就定义好了这类处理器, 即云基础设施处理器:CIPU. 它主要业务定位是构建多租安全隔离增强(安全) +  数据访问硬件加速(性能)

整个 CIPU 的发展刚好经过了 10 年的沉淀和 5 代架构的演进, 但唯一不变的是我们从第一天起就始终以云计算核心业务价值为中心.

首先是弹性裸金属实例, 这个技术是阿里云 CIPU 团队首创的, 并于 2017 年 10 月发布. 即便是云计算的一哥 AWS 也比我们晚了一个月. 而如今无论是 GPU 算力服务器, 还是用于 Agent Sandbox 的 CPU 服务器, 都构建在裸金属技术之上... 然后第二代 CIPU 实现了弹性裸金属和 VM 并池, 用金融的话语来说就是算力证券化来提供更好的算力流动性. 接下来第三代在 VPC 网络上实现了硬件加速, 第四代进一步构建了存储/本地盘虚拟化加速能了, 并很早的布局了针对云上弹性和多租隔离需求的弹性RDMA(eRDMA)能力, 成为全球第一个在所有Region 所有 AZ 的所有 CPU/GPU实例上提供标准的 RDMA RC Verbs接口的云服务提供商. 而第五代 CIPU 进一步增加了 CPFS 这类云上的并行文件系统的加速以及数据加密和 TPM 可信计算的能力.

2. AI时代云基础设施面临哪些新业务机遇和新技术挑战?

过去的几个月, 伴随着 LLM 能力越来越强暴露出了大量的安全隐患, 首先是 2026 年 7 月, openAI 由于 agent 从沙箱中逃逸, 发起了对 HuggingFace 的攻击, 然后媒体逐渐开始关注到基础设施的安全性问题, 2026 年 8 月 30 日 SemiAnalysis 专门发了一个稿揭露大多数 neo cloud 安全漏洞百出 《Most Neoclouds Suck At Security》[2]. 也引来了很多大佬的关注

更详细的介绍可以访问《谈谈 neocloud 的安全问题》

接着是性能方面的问题, 从能耗的视角来看, 计算是非常廉价的, 通常矩阵符点运算的功耗, 相对于数据搬运是非常廉价的, 在北美普遍能源紧张的背景下, 实质上, AI系统的性能瓶颈转移到内存墙以及高性能网络互联和存储访问. 其实你看OpenAI Jalapeno 的微架构 《重新设计推理芯片:从 Nvidia GPU 的缺陷到 OpenAI Jalapeño》[3], 实质上也是在处理内存搬运的代价, 通过统一的 L1 省去了复杂的 TMEM / SMEM / RF 之间的搬运, 避免了 Global L2 也是降低了数据搬运的成本.

因此提升性能的本质上解决内存墙和高性能网络互联和存储访问.

2.1 AI Agent 基础设施

在 Agent 场景中, 我们针对 Agent 的弹性和安全需求进行了深度优化, 在这次云栖大会中, 我们发布了Agent Sandbox[4]构建智能体基础设施底座, 通过 CIPU 云基础设施处理器与虚拟化技术协同优化, 为每个 Agent 提供 MicroVM 级安全隔离环境, 沙箱创建与冷启动 P99 小于 180 毫秒; 资源池预热后, 热启动 P99 小于 20 毫秒, 支持暂停、深休眠与快速唤醒, 深休眠唤醒时间小于 600 毫秒.

另外 Agent Sandbox 支持每分钟创建 10 万个沙箱, 满足模型强化学习 Agentic RL 和模型 RSI 自我进化的需求, 提供毫秒级交付,高并发启动,和百万级智能体的脉冲式弹性伸缩, 让模型学得更快和更加高效, 不断提升模型的智能.

通过 CIPU 的弹性裸金属技术, 无论是阿里云自己的 Agent Sandbox, 还是 DeepSeek弹性计算(DSec)都可以完全适配, 我们注意到 DeepSeek 今天也发布了弹性计算的论文《DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale》[5] 实质上也是一个多种计算实例规格并池的逻辑:

特别注意的是, 我们可能是全球唯一个一个能够让 DeepSeek 整个弹性计算基础设施一行代码不改直接迁移上云的 CSP. 完善的 RDMA 能力和本地盘虚拟化实例可以让 3FS 迁移上云, 而所有 8 代以后的 CPU 实例都支持 eRDMA, 并完全兼容 RDMA RC Verbs 生态, 可以使 DeepSeek 这样的基模厂商维持同一套软件栈在云上弹性扩容.

2.2 GPU 裸金属多租安全隔离

在 Semianalysis 的文章中提到 Neocloud 的安全问题, 例如 BIOS/BMC 这些固件安全, BMC安全隔离, 用户退租后的服务器固件及内存/磁盘安全擦除, DPU/CIPU安全隔离域, DPU/CIPU软件升级隔离, TPM固件可信等多个维度, 其实就是暴露了某个 DPU 公司的产品缺陷,  这家公司却要等到下一代 DPU 才开始理解为什么 Host 要放入一个不信任的域内, 而当前这一代大规模构建的 GPU 裸金属实例却暴露在大量的安全风险之中.

而 CIPU 在 2017 年发布第一代裸金属实例就完全解决了这些问题.

2.3 AI推理基础设施

在推理场景, CIPU 支持AI推理KV Cache和模型数据加载等多类型存储多租高性能访问, 以及基于 eRDMA 通过 CPU 实例 Offload engram/PLE 这些功能降低 GPU 服务器中的内存开销. 在存储领域我们通过 Virtual Storage Channel(VSC) 大幅度的提升了云存储 CPFS/DFS 的高性能访问和多租安全隔离能力, 并且基于标准的 NVMe KV commandset 接口提供了原生的基于 KV 接口的 KVCacheStore 能力. 并且我们也为 OSS 提供了 eRDMA 的数据直通能力, 成为全球第一个overlay RDMA穿透云LB,多租VIP服务化访问underlay云服务的运营商.

除此之外, 还有大量的涉及 PD 分离的 RDMA 数据传输优化, 甚至是跨 AZ 的传输能力, 也就是 Nvidia 谈到的 Scale-Across, 但是我们并不需要依赖任何特殊的交换网络即可提供高性能服务.

2.4 AI 训练基础设施

针对训练场景, 其实整个工业界在做的事情就是实现 Lossy + 多路径的传输 来解决传统 RoCE 网络的可靠性问题以及负载不均衡的问题. AWS为了多路径实现了 Reliable Datagram 的接口, 导致整个生态适配带来巨大的成本. 而即便是 OpenAI 和 Nvidia 合作构建的 MRC, 也仅支持部分 RDMA 语义. 其实这个问题是一个非常难解决的问题, 多路径转发会导致接收端乱序, 同时当网络拥塞的时候, 是换一个路径还是这个路径降速会遇到一个两难的选择, 并且还需要额外的探针去和交换机配合检测拥塞, 而 CIPU eRDMA 通过一个非常简单的算法解决了这个问题, 并且对网络上的交换机没有任何要求, 对不同收敛比的网络也可以很好的适配, 并且针对跨 AZ 的场景也可以充分利用带宽. 实现这些功能时, 还保证了和标准的 RDMA RC Verbs 接口完全兼容, 当前 NCCL / IBGDA / DeepEP 等常见的通信生态可以很容易的迁移到云端.

另外一个问题是传统 RoCE 的可靠性问题, Lossless 带来的 PFC 风暴和光纤闪断等可靠性问题极大的影响了整个训练集群的稳定性, 训练过程中经常出现 NCCL Hang 等由于网络可靠性导致的训练中断, 因此工业界也逐渐的迁移到 Lossy 的模式, 并选择使用 SACK 代替原有的 Go-back-N 机制更好的恢复丢失的数据包.

原理很简单, 但是做好却非常难, 例如某个知名厂商在今年的 HotChip 上分享了在 1% 丢包情况下, 一个 400Gbps 的网卡实际的传输性能在 SACK 的帮助下可以到 160Gbps, 这是他们所认为的 SOTA 的性能. 而我们想说的是, 在 3 年前 CIPU 2.0 完成开发时, 我们已经做到 5% 丢包时可以达到 90% 的Goodput, 达到业界领先水平.

最后还是云的业务视角, 我们需要使用云的虚拟化网络(VPC)来实现多租安全隔离 + 灵活组网, 无物理网络组网依赖. 实现这些能力后, 客户带来了巨大的收益:

感兴趣可以参考《“漫”谈RDMA现代化》 进一步了解..

而全球能够完整的实现这四个能力的, 仅有阿里云 CIPU, 并且这还是一颗三年前设计的芯片, 比较遗憾的是工业界三年多了还没追上来....  而下一代 CIPU 还会有哪些更领先的技术呢? 有一个彩蛋....

参考资料

[1] 

云基础设施处理器CIPU技术深度解读: https://yunqi.aliyun.com/2026/session?agendaId=164

[2] 

Most Neoclouds Suck At Security: https://newsletter.semianalysis.com/p/most-neoclouds-suck-at-security

[3] 

重新设计推理芯片:从 Nvidia GPU 的缺陷到 OpenAI Jalapeño: https://zartbot.github.io/blog/arch/jalapeno/index.html

[4] 

阿里云 Agent Sandbox 重磅发布,构建智能体基础设施底座: https://mp.weixin.qq.com/s/oJwamxNmU3elJbQFe1dVAw

[5] 

DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale: https://arxiv.org/abs/2609.22978

跳转微信打开

❌