[随笔]其实人也是一个LLM, 也需要 KVCache
原创 渣B 2026-09-26 18:08 浙江
最近觉得人也越来越像一个LLM了, 而公众号的这些文章似乎很好的构成了 KVCache. 不光自己可以用, 也可以和大家做 Prefix-Cache.
起因是最近几年经常同时搞好几个项目, 有 CIPU 芯片相关的, 也有 GPU 微架构相关的, 也有大模型架构相关的, 还有一些算法相关的项目. 经常 Agent 还在写 RTL 的时候, 又切换一个桌面搞算法.
最近在做一些新的芯片相关的研究, 同时准备花一些时间来仔细分析一下 Off-policy 的 LLM-RL 相关的算法, 但几个月没碰过了几乎全忘光了. 比较幸运的是以前随手记录了一个专题:《大模型强化学习》
今天顺手让 Agent 做了一个网站版挂在 github page 上, 并且做了一个更简短的 summary, 似乎这也算得上某种 session compaction 了? 链接如下:
https://zartbot.github.io/blog/algo/llm_rl/
另一方面, 我发现一个好玩的事情. 以前天天叫嚣着需要 Lossless RDMA/RoCE 的人, 还叫嚣着 OpenAI 都在用 PFC 的人似乎都没怎么说话了. 相反整个工业界都在开始 show 自己 Lossy RDMA 下的性能, 终于从 Lossless 转向 Lossy 了.
AMD 在 Hotchip 宣称400Gbps 的 NIC 在 1% 丢包时可以达到 160Gbps, Goodput-ratio 40%
国内某家 400Gbps NIC稍微好一些可以到 48%
即便是 Meta 宣称可以在 1% 丢包时 Goodput 在 86%, 那么也就是说依旧还是有 10% 的带宽被错误重传了
而 CIPU eRDMA 在 3 年前就已经是 5% 丢包率 90% 的 Goodput 了..而如今 CIPU 下一代的带宽已经超越 Nvidia 最新的 CX9 和 BlueField-4 2倍达到 1.6Tbps 了...
我想说的是, 这些都是要做 10w 卡 ~ 50w 卡稳定训练的关键技术, 几年前就在谈, 很多年前就在提一个业务指标:
集合通信能够保证95%以上的Fabric利用率
丢包率5%的时候仍然能够保证90%的Goodput
无需任何交换机的高级特性, 网卡实现多路径和拥塞控制
超大规模(128K QPs)并支持所有QP开启多路径转发能力.
兼容RDMA RC Verbs, 线下RDMA应用无需修改代码即可直接运行.
Incast 128打1这样的场景, 每个QP之间的带宽差额最大100Kbps.
完全OS无感知的热迁移
完善的RDMA虚拟化支持
可惜几年过去了, 不知道哪一家真的追上来了. 回想起 CIPU2.0 在 3 年前送去流片的时候, 也就是 2023 年底, 我们就完整的预测到 MoE 模型会成为主流, 并把 All-to-All 的 incast 问题干干净净的解决了, 而时至今日还听说某些平台因为 incast 触发的 PFC 带来的各种故障... 真不知道工业界都在干些什么....
是时候好好读读这个专题了 《RDMA》