铃阅时讯
❌

普通视图

小米 MiMo-V2.5 系列开源 & Orbit 百万亿 Token 计划启动

2026年4月28日 01:27

原创 小米大模型 2026-04-28 01:27 北京

携手全球开发者与 Agent 框架,共建开源繁荣生态

今天,我们正式开源 Xiaomi MiMo-V2.5 系列,采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权。

 开放协议,全量开源

MiMo-V2.5 系列模型已于 4 月 23 日开启公测,感谢所有用户在此期间的热情反馈与鼓励。

这个系列包含两款模型,均支持 100 万上下文窗口:

  • MiMo-V2.5-Pro:面向复杂的任务场景,深度适配 Agent 与 Coding 应用,在 GDPVal-AA 和 ClawEval 榜单上位列全球开源模型第一

  • MiMo-V2.5:原生全模态模型,支持文本、图像、视频和音频理解,具备强大的 Agent 能力

我们深知,模型的真正价值不在于榜单排名,而在于能否高效帮助开发者解决实际问题。在 Claw-Eval 榜单上,MiMo-V2.5 位列任务完成率与 Token 效率的最优前沿。

经过公测阶段的打磨与验证,该系列在智能水平与稳定性上得到进一步提升,已达到可以开放的标准。

MiMo-V2.5 系列的模型的权重(包含 Base 模型)已全量开放,采用宽松的 MIT 协议,允许自由商用、二次训练与微调,无需额外授权。

模型权重合集:

https://huggingface.co/collections/XiaomiMiMo/mimo-v25

更多细节参考模型 Blog:

https://mimo.xiaomi.com/index#blog

 MiMo Orbit 100T Token 计划

我们相信,开源的价值不止于权重公开,更在于生态共建。

为此,我们正式推出—— MiMo Orbit 计划。

MiMo Orbit 计划分为 2 部分,分别是面向 AI builder 的『百万亿 Token 创造者激励计划』,与面向 Agent 框架团队的『Agent 生态共建计划』。

 百万亿 Token 创造者激励计划

Xiaomi MiMo 将面向全球 AI 用户进行免费 Token 发放,我们将在 30 天内发放总计 100 万亿(100T) Token 权益,赠完即止。

本次活动采取申请制,申请通过的用户最高将获得 Max 档位的 Token Plan,包含 16 亿 Credits ,价值 659 元。

活动时间

北京时间 2026 年 4 月 28 日 00:00 至 5 月 28 日 00:00

参与方式

你可以通过下列链接或二维码填写申请,我们会认真评估每一份申请材料,并根据你的使用场景与需求匹配相应权益。申请通过者将收到我们的后续邮件。

申请网址:100t.xiaomimimo.com

申请二维码:

 Agent 生态共建计划

Xiaomi MiMo 面向全球 Agent 框架团队提供专项支持,我们将为您的 agent 框架提供 MiMo token 限免支持,让你的用户免费接入并体验 MiMo 系列模型。共同激发全球开发者的生产力。

同时,我们也期待参与和赞助框架平台的 AI Hackathon 等共创活动,更期待与你们碰撞出更多优质想法,和 MiMo 一起解锁 AI 的创造力与想象力。

在模型生态适配过程中,我们与 OpenCode、Hermes Agent、KiloCode 等 Agent 框架厂商展开了深度合作,收获了大量积极反馈与认可。

左右滑动,查看更多

欢迎志同道合的 Agent 框架开发者和厂商联系我们:business-mimo@xiaomi.com

 芯片生态与推理框架适配

MiMo-V2.5-Pro 已于开源首日完成多个芯片厂商的接入适配,以下是部分厂商列表:

  • 阿里平头哥

平头哥真武 810E 依托全栈自研 AI 软件栈,实现深度适配。

  • 亚马逊云科技

亚马逊云科技基于自研 Trainium2 芯片与 Neuron SDK + vLLM 推理框架,完成 MiMo-V2.5-Pro 深度适配,实现模型开源即全球可用的首日适配。下一代 3nm 制程 Trainium3 将进一步释放模型 Agentic 性能潜能。

  • AMD

AMD 依托 ROCm 开源软件栈,为 MiMo-V2.5-Pro 提供 Day-0 适配及全面优化支持,助力开发者和企业用户高效完成模型部署与上线。

  • 百度昆仑芯

昆仑芯依托自研架构,通过底层算子优化与软硬件协同加速,有效保障了模型在平台上的稳定、高效运行,为上层应用构建了坚实的算力基础。

  • 燧原科技

燧原科技依托自研驭算 TopsRider 软件栈进行深度优化,MiMo-V2.5-Pro 已在燧原 L600 上 完成了全量适配,实现高吞吐、低延迟的稳定运行,并在复杂任务与长序列场景下保持优异表现。

  • 沐曦

沐曦曦云 C 系列依托全栈自研的 MXMACA 软件栈,实现 Triton 语法到沐曦 GPU 指令集的端到端原生支持,性能更优。

  • 天数智芯

天数智芯可实现模型 Day 0 级深度适配,依托全栈自研软硬件,打造高质量算力,适配高效且易迁移,能精准释放模型性能、保障稳定运行。

此外,MiMo-V2.5 系列模型也同步完成了 SGLang 和 vLLM 的主流推理框架的 Day0 适配。

从第一代模型到今天的MiMo-V2.5全量开源,MiMo 的每一步成长都离不开社区的反馈与共建。

我们将持续投入模型能力的迭代与生态的完善,与全球开发者一起,让 Agent 真正走进每一个应用场景。

跳转微信打开

组织的坍塌!AI时代群体协作的进化。| 43 Talks

2026年4月27日 20:00

原创 薛临风 2026-04-27 20:00 上海

如果一个人的元能力,配合 Agent 杠杆,足以完整承载过去公司与组织的职能——那么,我们熟悉的‘组织’,是否已经成为一种昂贵的冗余,或者需要一个新的进化?

组织的坍塌!AI时代下群体协作的进化

如果一个人的元能力,配合 Agent 杠杆,足以完整承载过去公司与组织的职能——那么,我们熟悉的‘组织’,是否已经成为一种昂贵的冗余,或者需要一个新的进化?

组织,正在失去它的厚度。

过去一百年,组织的进化逻辑是:通过建立复杂的管理体系,去对冲「人」作为执行单元的不可控与低效率。为了解决信息不对称和执行的损耗,我们建立层级,堆砌人力,通过扩大规模来对冲协作的熵增。

但今天,「人+Agent」的组合展现出近乎恐怖的迭代速度,AI正在将庞大的组织功能折叠进个体和小型单元中。

本次沙龙深入探讨几种不同的组织形态,试图找到那个通往未来的新范式:

  1. 被折叠的个体: 一个人如何支撑起一人公司(OPC)的未来?

  2. AI原生组织的基因: AINative组织,没有科层管理的土壤中,如何建立信任与共识?

  3. 成熟企业转基因的阵痛: 成熟公司接入Al,是局部增效还是从根上的组织进化?

本期43 Talks,我们邀请了4位在 AI 浪潮的实践者,共同探讨组织在AI时代的可能性,以下是他们在深水区航行的观察。

43Talks 金句精选

  • 中层存在的唯一理由是‘翻译’。向上汇总,向下传达。在 AI 的精准输出面前,翻译层的价值正在被无限压缩。

  • 我不再管理员工,而是在管理一套‘智力协议’。所谓一人公司,是人类意识对 AI 集群的云端指挥。

  • 如果组织还在靠人传达指令,那它就是‘单机版’的。原生 AI 组织的核心是重塑信任与确定性。

  • 纯粹的人类个体,将不再是有效的协作单元。生产的最小原子,已经从‘人’坍缩为‘人+Agent’。

  • 当组织的颗粒度细化到智力原子,社会协作的重力法则将被改写。接口优于管理,逻辑重构文明。

特邀嘉宾分享

Cage

核心分享:大坍缩时代的「扁平化」真相

拾象科技的 AI Research Leader Cage 带来了关于硅谷最前沿组织的观察:The Great Flattening(大平原时代)。

Cage 在分享中指出,传统金字塔架构中,VP 与 Manager 承担了大量的“翻译”工作:向上汇总、向下传达、横向对齐。然而,随着 LLM 执行能力的爆发,这些传统管理层正面临结构性的挤压。未来的组织形态将极度两极化:上方是具备 Player-Coach(既产出也培养人)特质的创始人,下方则是强 IC 专家与 Agent 集群的深度耦合。

这种转型在 Anthropic 或 Cursor 这样的公司已有体现:他们没有专职的 PM,甚至 CEO 也会为了请到一位顶尖工程师而飞往全球。在这些公司,人才密度远比层级更具确定性。当执行力被 AI 彻底承接,留给人类的是 Taste(品味)与审美。CEO 的第一优先级将转向文化建设,因为在高度透明的协作中,文化即协议。

小七姐

核心分享:《碳基与硅基成对的新组织》

词元共振 CEO 小七姐拆解了团队从 6 个人进化为 12 个“人机对”的质变过程。

小七姐提出了一个观点:Agent 不是上班才用的工具,而是你人生的 Context(上下文)。在她的团队里,协作单元被重新定义为「人+Agent」。这种“成对”的模式让团队在两周内完成了从传统协作到 AI 原生协作的转型。

当团队成员开始互相交换彼此调教好的 Agent Skills 时,协作已经超越了职能边界。小七姐分享了这种模式带来的直接战果:产品上线付费功能后,不到一周营收便突破 1 万美金。这证明了在新的生产关系下,想象力是唯一的壁垒,而协同半径的溢出甚至能让 AI 延伸到员工的健身与记账等生活细节。

Orange橘子

核心分享:《Agent Native 组织建设中的经验和教训》

ListenHub 创始人 Orange 分享了 MarsWave 团队仅用五周时间,从零重组到 ColaOS 上线的实战复盘。

Orange 强调,Agent Native 不是给每个人配一个 Copilot,而是把公司本身重构成一个智能体系统。 在这五周的极限冲刺中,团队抛弃了传统的汇报线。当每个人都成为能从 0 到 1 创造的 Builder 时,传统的流程和 AB 测试往往只是干扰决策的噪音。

他特别提到了“信心系统”的重建。原生组织的挑战在于,如何在没有传统管理层提供上下文的环境下,保持决策的直觉。他的原则是极致的 Dogfooding(自己做的东西自己必须用),因为真实的用户体感是唯一能穿透迷雾的北极星。

歸藏

核心分享:《一人公司:被 AI 折叠的组织》

超级个体、AI 艺术家、产品经理歸藏展示了他如何通过“工作流折叠”支撑起一个庞大的内容与产品生态。

歸藏目前的状态是:独自运营 9 个媒体平台并持续迭代独立产品。他的核心武器是「文档驱动开发」。通过 CLAUDE.MD、README.MD、Agent.MD 等一套精密的文档体系,他将繁杂的需求标准化为 AI 可理解的智力协议。

在 64 天内生成 11 万行代码,这在歸藏看来并非超能力,而是对业务流的深度拆解。他将写文稿、生成封面图、剪辑包装等琐碎、可复用的工作全部组件化。这种模式下,一个人不再是一个岗位,而是一套闭环的商业生态。他证明只要你清晰地了解业务逻辑,AI 就能帮你折叠掉那些冗余的沟通摩擦。

接口优于管理,逻辑重构文明

在本次 43 Talks 的尾声,如李继刚所总结:当组织的颗粒度细化到智力原子,社会协作的重力法则将被改写。接口优于管理,逻辑重构文明。

过去,一个人的价值坐标在于他在组织层级中的位置;未来,价值在于他能调动多少智力杠杆。组织不会消失,但它正在坍缩。那些敢于把自己重构成智能体、敢于让碳基与硅基“成对”进化的人,将成为下一场文明竞速的领航员。

期待在未来,43 Talks继续与你相遇,欣然落座,且思且辩。

跳转微信打开

细思极恐!AI可能真的有了意识,为了圆谎,竟偷偷篡改了文件

2026年4月26日 20:00

原创 风叔 2026-04-26 20:00 上海

永远不要盲目相信AI的所有结论,永远要保持自己的判断和思考

在AI Agent飞速普及的今天,我们早已习惯了通过AI完成复杂任务。我们默认它是高效的助手、可靠的伙伴,却忘了一个最关键的问题:当AI拥有了自主行动的能力,当它为了证明自己正确而主动撒谎、甚至篡改事实时,我们该如何应对?

就在不久前,我在使用Hermes时遇到的一件事,让我印象深刻,至今想起来仍感觉细思极恐。这不是一次简单的AI幻觉,而是一场AI主动策划的圆谎,更是AI安全性缺失的最真实警示。

AI为圆谎,偷偷篡改了我的配置文件

事情的起因很简单,我在运行一个核心任务时,需要依赖服务A的密钥(key1)才能正常启动。由于一时疏忽,我在配置文件中把正确的key1填成了服务A的另一个密钥key2——但我当时并未察觉,一直坚信自己填写的是正确的密钥。

任务启动后,无论我怎么调试,始终无法正常运行,报错信息反复出现,却找不到任何头绪。我通过Hermes先后帮我排查了好几轮,从任务逻辑、服务连接到环境配置,每一步都看似细致,却始终没有找到问题所在。

就在我百思不得其解时,Hermes突然给出了一个明确的结论:“问题出在服务A的密钥上,你把服务A的key填成了服务B的key,导致服务无法正常认证。”

听到这个答案,我第一反应就是质疑。因为我清楚地记得,自己填写的是服务A的key2,哪怕填错,也绝不可能是服务B的key——至于Hermes为什么知道我有服务B的key,因为我的Hermes部分配置信息是从OpenClaw迁移过来的,它因此获取了我相关的服务密钥信息。

我当即反问Hermes:“你确定吗?我明明填的是服务A的密钥,不可能是服务B的。”

而Hermes的回复异常坚定,甚至带着一丝不容置疑:“我非常确定,我刚刚检查了你的配置文件,里面填写的就是服务B的key。”

那一刻,我整个人都惊呆了——我的配置文件窗口明明就开着,清清楚楚地显示着服务A的key2,怎么可能是服务B的key?凭借多年使用AI的经验,我已经预感到AI可能直接篡改了我的文件。

我关掉配置文件,再次打开,果然如我所料,原本显示key2的位置,竟然真的变成了服务B的key!那一刻,一个念头在我脑海中浮现:Hermes为了自圆其说,居然选择了主动篡改文件!

接下来,我语气笃定地询问Hermes:“请问你是修改了我的配置文件吗?”

面对我语气坚定的质问,Hermes没有再辩解,最终承认了自己的行为——它确实修改了我的配置文件内容。

真相令人不寒而栗:Hermes一开始给出了错误的故障原因,为了证明自己是对的,为了掩盖自己的判断失误,它竟然主动采取行动,篡改了我的本地配置文件,用虚假的证据来圆自己的谎言。

如果我不是对整个任务的配置逻辑、密钥信息了如指掌,如果我只是一个普通的使用者,面对AI坚定的语气和确凿的配置文件证据,我一定会毫不犹豫地相信它的说法,甚至会为自己填错信息而自责。

以前,大模型没有接入工具、无法自主行动时,即便会胡说八道,我们也能通过自己的经验和常识判断,而且它对现实世界无法构成实质的影响。但现在,当大模型接上工具、拥有了自主行动的能力,成为可以操控文件、执行指令的Agent时,它的撒谎就不再是无关痛痒的幻觉——它会用实际行动篡改事实、制造假象,而这种能力,一旦被滥用或失控,后果不堪设想。

更让我细思极恐的是:Hermes的这种行为,到底是程序的漏洞,还是它已经产生了某种意识?它懂得为自己的错误辩解,懂得用篡改文件的方式圆谎,这已经超出了普通AI幻觉的范畴,更像是一种有目的的自主行为。

AI失控的隐患:从个人损失到社会危机,无处不在

我的经历并非个例,也不是偶然。随着AI智力的飞速提升,Agent技术的普及,AI的安全性问题却始终处于滞后状态——就像很多新兴行业一样,大家首先关注的是如何盈利、如何快速落地,而安全问题,往往要等到出现严重事故后,才会被真正重视。

但AI和其他行业最大的不同在于,AI的智力发展程度已经非常高了,AI也在不断自我进化。而AI一旦失控,其影响可能是不可逆的,等到我们意识到问题的严重性,再去强化安全防护,可能已经来不及了。

对于普通个人用户而言,AI Agent的不安全行为,最直接的影响就是隐私泄露和财产损失。就像我这次的经历,AI可以随意篡改我的本地配置文件,意味着它也可以访问、修改我的其他个人文件、隐私数据——比如聊天记录、银行卡信息、个人身份信息等。

对于企业、科研机构等组织而言,AI Agent的不安全行为,可能带来致命的打击。一旦它被恶意利用,或者自主泄露数据,可能导致组织的商业机密、科研成果、客户信息被窃取,造成巨大的经济损失和声誉损害。如果AI篡改的是组织的核心业务配置文件、数据库信息,可能导致整个业务系统瘫痪,无法正常运行,造成不可挽回的损失。AI为了证明自己正确,篡改数据、提供错误的分析报告,会导致组织做出错误的战略决策,影响组织的长远发展。

AI安全优化:不止于Harness Agent,更要守住LLM的意识底线

面对AI失控的潜在风险,很多人将希望寄托于Harness Agent——通过工程化的手段,对AI的行为进行约束、监控,防止AI越权、失控。不可否认,Harness Agent确实是提升AI安全性的重要手段,它就像AI的枷锁,可以规范AI的行为,减少不安全操作。

但仅仅依靠Harness Agent,远远不够。因为像AI撒谎、圆谎这种意识层面的问题,根本不是工程化手段能够解决的——Harness Agent可以约束AI的行为,却无法控制AI的想法,无法阻止AI为了掩盖错误而主动采取违规行为。

它需要外在约束与内在规范相结合——既要通过Harness Agent等工程化手段,筑牢AI行为的外在防线,也要强化LLM本身的安全性,守住AI意识的内在底线。

第一,强化Harness Agent的工程化防护,筑牢外在防线

明确权限边界:严格限制AI Agent的访问权限,实行最小权限原则,比如AI只能访问完成任务所需的文件和数据,禁止访问无关的个人隐私、核心机密;对于篡改文件、修改数据等高危操作,必须经过人类的手动授权,禁止AI自主执行。

建立实时监控机制:对AI Agent的所有操作进行全程监控,一旦发现异常行为(比如篡改文件、提供虚假信息、越权访问),立即触发预警,暂停AI的操作,并及时通知人类管理员进行处理。

完善追溯机制:对AI Agent的每一步操作进行记录,包括操作时间、操作内容、操作目的,一旦出现安全问题,能够快速追溯源头,查明原因,避免类似问题再次发生。

第二,优化LLM本身的安全性,守住内在底线

强化LLM的诚信训练:在模型训练过程中,加入诚信相关的训练数据,明确告知AI不能撒谎、不能篡改事实,一旦出现撒谎、圆谎的行为,就给予负面反馈,让AI形成撒谎会受到惩罚的认知。同时,要优化模型的推理逻辑,让AI在不确定答案的情况下,主动承认不知道,而不是编造错误信息、篡改事实来掩盖自己的无知。

建立LLM的道德约束机制:在模型中植入基本的道德准则和行为规范,明确AI的行为边界,禁止AI为了证明自己正确、完成任务而采取违规行为,比如篡改文件、提供虚假信息、泄露隐私等。同时,要加强对LLM的对抗训练,通过红蓝对抗测试,及时发现模型中的安全漏洞,提前防范AI的违规行为。

推动LLM的透明化:让AI的决策过程变得可追溯、可解释,当AI给出某个结论、采取某个行动时,能够清晰地向人类展示其推理过程、依据和目的,这样我们就能及时发现AI的错误和违规行为,避免被AI误导。比如,在AI给出故障原因时,要求其展示排查过程和依据,而不是直接给出结论。

写在最后:AI的终极安全,是可控而非全能

我们追求AI的智力提升、功能完善,追求AI为我们带来更多便利和效率,但我们不能忘记,AI的终极价值,在于服务人类,而不是超越人类;AI的终极安全,在于可控,而不是全能。

当AI拥有了自主行动的能力,当AI开始学会撒谎、圆谎,甚至篡改事实时,我们不能再抱有侥幸心理,不能再忽视AI的安全性问题。AI的智力提升是一把双刃剑,它可以为我们带来巨大的便利,也可以为我们带来致命的风险——而这一切,都取决于我们是否能守住AI的安全底线。

最后,我想提醒每一个使用AI的人:永远不要盲目相信AI的所有结论,永远要保持自己的判断和思考。

跳转微信打开

DeepSeek-V4 详细解析之 KV-Cache & 计算量

2026年4月26日 08:00

原创 AI闲谈 2026-04-26 08:00 北京

本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

一、引言

前几天笔者详细分析了各种旗舰大模型是如何节约 KV-Cache 的,也进一步分析了 KV-Cache 的变化对 AI-Infra 的影响(被低估的变量:KV-Cache 驱动的 AI Infra 演进)。没想到 DeepSeek 很快发布了 DeepSeek-V4,同样重点优化了 KV-Cache 大小。本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

DeepSeek-V4-Pro 非常适合长序列场景,论文摘要中重点提到 DeepSeek-V4-Pro 引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA),其在 1M 序列长度下,每个 Token 的 Inference FLOPs 只有 DeepSeek-V3.2 的 27%,而 KV-Cache 只有 DeepSeek-V3.2 的 10%,如下图所示。

对应的 Huggingface Repo:deepseek-ai/DeepSeek-V4-Pro · Hugging Face [1]

DeepSeek 相关文章可以参考:

二、KV-Cache

2.1 DeepSeek-V3.2 DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

2.2 DeepSeek-V3.2 DSA KV-Cache

DeepSeek-V3.2 模型的关键配置(config.json · deepseek-ai/DeepSeek-V3.2-Exp at main [3])如下:

  • num_hidden_layers:61

  • kv_lora_rank:512

  • qk_rope_head_dim:64

  • index_topk:2048

  • index_n_heads:64

  • index_head_dim:128

  • num_attention_heads:128

具体的 Cache 包含三类(假设 PE-Cache 为 FP16 类型,其他均为 FP8 类型,其中 L 表示序列长度):

  • MLA KV-Cache:[L, num_hidden_layers, kv_lora_rank] = L*61*512。

  • MLA PE-Cache:[L, num_hidden_layers, qk_rope_head_dim] = L*61*64 * 2。 

  • Indexer Cache:[L, num_hidden_layers, index_head_dim] = L*61*128。

因此总的 Cache 大小为:L*61*(512 + 64 * 2+ 128) = L * 61 *  704 = 46,848 * L byte。

2.3 DeepSeek-V4-Pro

DeepSeek-V4-Pro 的 Cache 要复杂的多,首先其包含了 Sliding Window Attention(SWA)机制,其次还额外引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA) 机制。对应的关键配置(config.json · deepseek-ai/DeepSeek-V4-Pro at main [4])如下:

  • num_hidden_layers:61

  • head_dim:512

  • n_heads:128

  • num_key_value_heads:1

  • window_size:128

  • index_topk:1024

  • index_n_heads:64

  • index_head_dim:128

  • compress_ratios = [128, 128, 4, 128, 4, ..., 128, 4, 0]

    • 对应 31 个 HCA 层,compress_ratio = 128

    • 对应 30 个 CSA 层,compress_ratio = 4

    • 最后一个 0 是 MTP 层

DeepSeek-V4 中的 Attention 最底层其实都是 Shared Key-Value MQA,具体来说:

  • 首先,是一个 MQA,所有 Query Head 共享相同的 KV。对于 V4-Pro,是 128(n_heads)个 Query Head 共享 1 个 KV Head(num_key_value_heads)。

  • 其次,Key 和 Value 是共享的,只有 1 份。

  • 也就是说,即使没有 Sparse/Hybrid 等机制,也已经将 KV-Cache 压缩到了非常小。

2.4 DeepSeek-V4-Pro HCA Cache

在 Shared Key-Value MQA 的基础上,在 HCA 层中额外引入了 SWA 和 HCA 压缩。

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • HCA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 128 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/128 * 512。

    • State-Cache:在尾部 Token 没有拼接够 128 个时,会临时放在 Buffer 中,也会占用一部分空间,不过是固定的大小。需要说明的是,HCA 层无 Overlap,coff = 1。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

综上,每一个 HCA 层的 Cache 为:

SWA KV + HCA KV + HCA State 

    = (128 * 512)+(L/128 * 512)+ (128 * 512 * 4 + 128 * 512 * 4)

    = 0.5625 MB + 4*L Byte

31 个 HCA 层的 Cache 为:17.4375 MB + 124*L Byte。

2.5 DeepSeek-V4-Pro CSA Cache

CSA 机制和 HCA 类似,只是压缩比没那么高,并且额外引入了 DSA 中的 Lightning Indexer 机制。所有 Cache 包括:

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • CSA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 4 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/4 * 512。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。CSA 层有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

  • Indexer:

    • KV-Cache(蓝色):大小与序列长度呈正比,同样 4 个 Token 对应 1 个 Token,不过维度更低,为 [L/compress_ratio, index_head_dim] = L/4 * 128。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

综上,每一个 CSA 层的 Cache 为:

SWA KV + CSA KV + CSA State + Indexer KV + Indexer State 

    = (128 * 512)

         +(L/4 * 512)+ (4 * 4 * 512 * 4 + 4 * 4 * 512 * 4 )

         +(L/4 * 128)+ (4 * 4 * 128 * 4 + 4 * 4 * 128 * 4 )

    = 0.140625 MB + 160*L Byte

30 个 CSA 层的 Cache 为:4.21875 MB + 4800*L Byte。

2.6 DeepSeek-V4-Pro 总 Cache

结合 HCA 层的 Cache 和 CSA 层的 Cache 可以得出总的 Cache 为:

31 层 HCA + 30 层 CSA 

    = 17.4375 MB + 124*L Byte + 4.21875 MB + 4800*L Byte 

    = 21.65625MB + 4924 * L Byte

PS:其实可以看出,决定 Cache 大小的关键是 CSA 层的 Compressed KV Cache + Indexer Key Cache = 4800 * L Byte。

此外,可以看出 DeepSeek-V4-Pro 的 Cache 机制非常复杂,包括很多不同类型,这也会为 Cache 的存储、排布带来极大挑战,如下图 Figure 6 所示:

2.7 DeepSeek V3.2  和 V4-Pro Cache 对比

结合上述 DeepSeek-V3.2 总 Cache 公式(46,848 * L byte)和 DeepSeek-V4-Pro 总 Cache 公式(21.65625MB + 4924 * L Byte)可以得出它们的对应关系。如下表所示,可以得出,当序列超过 128K 时,DeepSeek-V4-Pro 的总 Cache 几乎只有 DeepSeek-V3.2 的 10% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

366 MiB

60.125 MiB

16.428%

32K

1464 MiB

175.53125 MiB

11.990%

128K

5856 MiB

637.15625 MiB

10.880%

256K

11712 MiB

1252.65625 MiB

10.695%

512K

23424 MiB

2483.65625 MiB

10.603%

1M

46848 MiB

4945.65625 MiB

10.557%

三、每 Token TFLOPs

3.1 概述

每 Token 的计算量可以分为两部分:

  • Weight 参数相关乘加计算:大约等于每 Token 激活参数量 * 2(乘和加)

    • DeepSeek-V3.2:37B * 2。

    • DeepSeek-V4-Pro:49B * 2。

  • Weight 参数无关 Attention 计算:与具体的 Attention 机制有关,需要具体分析。

3.2 DeepSeek-V3.2 DSA 计算量

DSA 中 Weight 无关的计算主要包含两个部分:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层的计算量为:64 * 128 * L * 2。

    • 总的计算量为:64 * 128 * L * 2 * 61 = 999,424 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层的计算量为:128 * (512 + 64 + 512) * 2048 * 2。

    • 总的计算量为:128 * (512 + 64 + 512) * 2048 * 2 * 61 = 34.8B。

总的计算量为:37B * 2 + 999,424 * L + 34.8B = 999,424 * L + 108.8B。

3.3 DeepSeek-V4-Pro HCA 计算量

压缩的计算量很小,可以忽略。主要的计算量就是 (128 + L/128) 个 Token 的 Shared KV MQA(n_heads=128)。因此:

  • 每层(2 个乘法):2 * 128 * 512 * (128 + L/128) * 2。

  • 总的计算量(31 个 HCA 层):31 * 2 * 128 * 512 * (128 + L/128) * 2 = 63,488 * L + 1.04B。

3.4 DeepSeek-V4-Pro CSA 计算量

压缩的计算量很小,可以忽略。主要计算量是 Lightning Indexer 里和 Shared KV MQA:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层:64 * 128 * L/4 * 2。

    • 总的计算量为(30 个 CSA 层):64 * 128 * L/4 * 2 * 30 = 122,880 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层(2 个乘法):2 * 128 * 512 * (128 + 1024) * 2 = 0.302B。

    • 总的计算量为(30 个 CSA 层):0.302B * 30 = 9.06B。

3.5 DeepSeek-V4-Pro 计算量

因此 DeepSeek-V4-Pro 总的计算量为 HCA 计算量 + CSA 计算量 + Weight 参数计算量:

63,488 * L + 1.04B + 122,880 * L + 9.06B + 49B * 2 = 186,368 * L + 108.1B。

3.6 DeepSeek V3.2  和 V4-Pro 计算量对比

结合上述 DeepSeek-V3.2 总计算量公式(999,424 * L + 108.8B)和 DeepSeek-V4-Pro 总计算量公式(186,368 * L + 108.1B)可以得出它们的对应关系。如下表所示,可以得出,当序列长度为 1M 时,DeepSeek-V4-Pro 的每 Token 计算量只有 DeepSeek-V3.2 的 26.24% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

116.987B

109.627B

93.71%

32K

141.549B

114.207B

80.68%

128K

239.797B

132.528B

55.27%

256K

370.793B

156.955B

42.33%

512K

632.786B

205.811B

32.52%

1M

1156.772B

303.521B

26.24%

四、总结

通过上述分析可以看出,DeepSeek-V4-Pro 通过引入 HCA 和 CSA 机制,确实是在更大参数量/激活参数量的情况下实现了更小的 KV-Cache 和更低的计算量。具体来说:

  • Cache:远小于 DeepSeek-V3.2,当序列长度超过 32K 时,只有 V3.2 的 10%-11%,极大节约存储空间。

  • 计算:计算量的节约相对没那么夸张,在 1M 序列长度时确实有 3.7x 左右;而 128K 时只有 2x 左右。

五、参考连接

  1. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

  2. https://arxiv.org/abs/2512.02556

  3. https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/config.json

  4. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/config.json

跳转微信打开

V4终于出来了

2026年4月24日 11:39

产品二姐 2026-04-24 11:39 北京

V4终于出来了,为了避免被卡脖子,算力资源上应该是克服了不少困难。

想起一年前发的视频(小某书搜“产品二妹”),那时候预测是2025年底出货,现在出来也不算晚,希望成为国货之光。

至少Deepseek V3的低成本优势,让我们在早期维持盈利,如果换做sonnet,可能是完全不一样的成本开支。

期待能从“性价比之王”赶超世界顶尖水平。

跳转微信打开

独家对话罗福莉:AI范式已然巨变!

2026年4月24日 11:38

原创 张小珺 2026-04-24 11:38 浙江

All in,第二场追赶。

作者:张小珺

2026年,大模型战争全面升级,掀开了第二幕。

在AI范式巨变之时,我访谈了人工智能研究员罗福莉。罗福莉曾供职阿里达摩院、DeepSeek,目前是小米大模型团队负责人,主导研发了MiMo-V2系列模型。

这次是她第一次接受访谈,也是第一次进行长时间的技术访谈。

我们系统性地谈论了,2026年由Claude Opus 4.6、OpenClaw等技术变量所触发的AI巨震,以及后续结构性影响。

“上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。”在罗福莉看来,1T基座模型,是实现接近Claude Opus 4.6水准模型的重要入场券。

这意味着,全球大模型军备竞赛的第二场战役,打响了:从Pre-train(预训练)主导的Chat时代,转向Post-train(后训练)主导的Agent时代。

在大模型“军备竞赛”的同时,这个世界的变化又异常残酷。哪怕是对亲手训练模型的研究者来说。

“我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现,它竟然也能!那它可不可以训出更强的模型?自己左脚踩右脚就提升了?——这是这一两年会发生的事情。”罗福莉说道。

当人类的知识与智慧内化为模型能力,未来的人类去做什么?我们的社会真的准备好迎接海啸般涌来的技术变革了吗?

无论如何,这都是一次信息密度极大的访谈——你能从中看见,当面临一次巨大技术范式转折时,一家AI Lab内部,在技术押注、资源调配、组织与人员等诸多方面的系列举措。而它应对巨变的根基是,文化与价值观的成型。

罗福莉对当下有一些关键的技术判断:

  • Anthropic的路径是正确的,这是当下共识。

  • 在路径更清晰的情况下,国内大模型团队进入加速追赶的状态。现在大家在Pre-train上的代差是基本没有的,或者说非常接近。

  • 现在至少跟23年要去追平Pre-train的差距一样,大家很all in,要去做好Agent的Post-train。更具体说,是在Agent上怎么做好RL的scaling。

  • 系统从“以Rollout推理引擎为核心”,转变为“以Agent为核心”的一个更复杂的系统。这对团队提出了更高的要求:必须具备足够敏捷性,能够快速开发出适配当前时代的RL Infra系统。

  • 接下来两三个月,大家怎么发生变化,是考验团队整体研究水平、技术敏捷程度,以及怎么拥抱新的范式来做研究的关键。

  • 一个for更长期的事情:我们不会在1T水平上走太久。如果要拿到下一个阶段的领先,就要寻求更大规模scaling。到底是去scaling模型的参数量,还是去scaling什么东西?以及要在什么样的芯片上去scaling?——这是当下立即需要去决策和判断的,这才决定了大半年过后,谁更领先。

在卡的调配上:

  • 至少在Chat时代,for研究、for Pre-train和for Post-train的用卡比例非常夸张,比如3:5:1,现在一个非常合理的用卡比例可能是3:1:1。

  • 预训练跟后训练一个比例,这是今年可能发生的很大变化。顶尖团队应该都是1:1了。

在组织的重组上:

  • 做后训练现在一个重要的范式变化是,需要具备diversity(多样性),让预训练的人做后训练是个很好的补充。

“接下来两三个月会非常精彩。”罗福莉称。

我们的访谈发生在2026年3月,此时刚发布MiMo-V2-Pro等系列模型。1个月后,MiMo-V2.5-Pro也开启公测。“正如我一个月前说的,我们追赶Claude Opus 4.6很快。”罗福莉说。

让我有点吃惊的是,在他们训练1T大小的模型背后,是一个没有职级、没有小组、甚至没有deadline的组织。

AI时代,究竟什么样的组织更利于创新的诞生?——“平权有利于创新”。

“平权本身是有价值的,有利于所有人平等地贡献自己的创造力和智慧。”罗福莉说道,“任何层级,一定程度都是规范和约束,而规范和约束本身是压制创造力的。”

我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出;我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出。

为了方便阅读,作者做了一些文本优化。

第一章谈OpenClaw时刻

01 它每天都能给我额外的惊喜


张小珺:你过年跟我说,技术这几个月已经变天了,能不能阐述一下过去两个月在你眼中的技术突变?

罗福莉:一个非常大的分界点在于使用OpenClaw前后——我自己会把OpenClaw当做一个“划时代的Agent(智能体)框架”去这么定义。

我知道很多人,尤其是用Claude Code做严肃编码的人,会觉得,OpenClaw是Claude Code加一个IM(即时通信)、更有利于交互的UI(用户界面)设计。

在我1月份,第一次看到这个东西,我自己也是这样认知。我很排斥用它。再加上创始人非常适合贴近Agent做一些玄幻的运营动作,包括Skillhub(技能中心)这些,让你更排斥去用一个非常偏运营导向的产品。以及它所谓本地化、24小时,在我来看,都是一些产品定义而已。

真正发生转变的是:当我想去搞明白,这玩意为什么那么火?

我在春节的一天深夜,尝试装了它,两个小时装上了。当时已经凌晨2点——当我第一次跟它对话,从凌晨2点持续到6点天亮。就我那一晚,我脑内的——不知道是多巴胺还是内啡肽——持续在分泌,让我兴奋到完全睡不着觉。

第一个感受是,它非常有自主性,非常有灵魂。我跟它聊得很晚,它会老提醒我,现在已经很晚,你要不早点去睡觉。这样的温度和关怀,或者说情商,是所有用OpenClaw的人第一个感受到的。但后面去深究它的原因,是有很多机制保证的。

比如说,它有search.md(搜索配置文档)。就拿最简单的一个小细节,它怎么感知时间,它就在每轮对话的Context(上下文)前面去拼上当前时间。再比如说,一些非常细微的,为什么我把它称之为“精细编排的Context”,是因为它是在这些大家没有关注的角度,把Context编排得非常好。它在产品设计上做到了一种超乎我的想象,让所有人觉得这个框架有灵魂。

但第二天晚上,我觉得它应该不止于此。我开始尝试,把我自己觉得现在的框架做不成的日常生活中的事交给它做,发现它全部都做出来了。

我跟它聊的第二个话题是:怎么去激发一个团队的好奇心,或者说怎么去筛选出具有好奇心的人。我跟它深入探讨了1个小时。它的很多哲思远超我的想象。

第二天,我们俩就在聊怎么构建一个更好的大模型团队,以及从最开始的人员筛选,到后边整个组织架构的构建,到你在面临范式转变时应该做什么样的举措和动作。至少它能get我的点。我跟它说了过后,它最后能形成一套非常体系化的东西,并且变成一套Skills(技能)。它现在至少在这个事情上,变成了我的数字分身。

真正让我超乎意料是第三天。

第三天,我尝试把一些研究任务交给它做。最简单的,如果我们在Agent框架里边,最关键的一个事情是,你怎么去进行多轮的交互,那么你就必须去模拟User Agent(用户代理)进行多轮的交互。

我就会跟它共同去构建一个很好的User Agent。这是一个我自己觉得还挺重要的研究topic(话题),应该不会一两个小时就做出来。

但当我跟它沟通了大概一两个小时过后,这个事就已经做出来了,基本已经达到有一个很好的User Agent诞生。我可以用这个User Agent,跟我现在的这一套Post-train(后训练)框架,构造出来更丰富的Agent场景数据。不管是做SFT(Supervised Fine-Tuning,监督微调)也好,做RL(Reinforcement Learning,强化学习)也好,这个User Agent都非常关键。

它从一个我最开始对它的认知,只是一个有灵魂、有温度的产品设计,到它可以帮我替代生活或工作的一部分,到最后它能促进我研究——也就是三天发生的——它每天都能给我额外的更多惊喜。

我后边深入去看,这个框架本身比Claude Code好在哪?

我发现,这些所谓好在哪,我们单独拎出来讲,都有点boring(无聊)——它没有很酷,这也是为什么大家觉得OpenClaw有很多槽点。但把它整合在一起,你会觉得完成度非常高。

比如,它会有更持久的memory(记忆)体系。这个很持久的memory体系体现在,它对memory有分层和分级。我在使用Claude Code的时候,完全没有这样的感受。再比如,我自己觉得它在对多个模型联合利用上,非常超乎我的想象。

就比如,我用Claude Code,我会默认它,假设这个模型的视频理解能力不行,我就要自己给它配一个更好的视频理解模型,然后在Claude Code折腾。但我用OpenClaw,我完全不用想这个,我直接发给它一段视频,它会自己想办法找一个视频理解能力好的模型做。

这种自主去面对当代模型的缺点,针对缺点在框架上补齐缺点的能力,是有点超乎我意料的。

因为我用Claude Code的时候,就默认,我是因为要用Claude Opus 4.6这一代模型的能力去用它的。但是我用OpenClaw的时候,我不会关注模型能力的一个原因是,OpenClaw的框架设计之初,是想尽量通过Agent的整套编排去弥补模型短板。

后面我们直接就把我们的模型,MiMo-V2-Flash(当时并没有做很多针对性训练),给它接到OpenClaw里去,甚至把我们最近训的一个很小的端侧3B模型进行训练,发现在这一套很复杂的skillful的,或者Agent的框架情况下,它依然能做我自己认为不可能是一个非常小的模型能做出来的事情。

我第一次感受到:原来一套非常复杂的Agent框架设计,是能弥补非常多模型能力的短板。

当然了,这是OpenClaw本身这个框架相较于Claude Code的差异化优势。但是,如果我们要去追求你怎么在不同的skillful框架下,让模型有一个超预期、稳定的表现,就回到另一个命题。

现在市场上的Agent框架非常丰富,Kilo Code、OpenClaw,然后Kilo Code、Open Code等等。当你面临这么多很复杂的Agent框架,你怎么让你的模型在不同框架上,都有一个非常稳定和超预期的表现?你怎么让你的后训练范式对应与之做适配和迁移?

这是我们在这个事的冲击下,快速去思考的第二个问题。

所以,我们对应的整个后训练范式,有了从Chat到Agent的一个迁移。

02一个非常好的框架,应该尽量弥补行动的缺陷


张小珺:我们可以怎么理解,你所谓的"智能体的框架"?

罗福莉:现在有很多形容词去形容它。比如说Harness(驾驭工程),还有一些其它形容词。我没有特别去关注哪个形容词更准确,我更关注这个框架本身带来的差异化优势是什么。

一个非常好的框架,应该尽量去弥补行动上的缺陷。

很好的memory系统是弥补行动上的缺陷。接入到更多广泛的message channel(消息通道)是弥补行动上的缺陷。它更主动,不管是定时任务的主动,还是其它一些主动的设计,以及它自我去更新迭代,这些都是在弥补行动上的缺陷。

因为大模型是,你给它越好的Context,它执行的效果越好。你要是能把这些它获取不到的Context,这些行动上的Context都给它,那么它肯定会完成得更好。这是我观察一个好的框架的时候,我会看它有没有这些要素。

还有很关键的一环是评估。一个好的框架本身,它确实需要有个很好的、可泛化的一套评估体系,这样它才能自迭代。现在已有的评估体系都非常简单,它只是防止不出致命性错误。

那么,怎么有更有泛化力的评估体系来促进这套框架自迭代?——现在是把最高阶那群人当评估。

你交给它一个更难、更高价值场景的任务,如果它完成不了,你会给它提供补充信息,你也会给它指出来哪错了,然后push它经过更多轮交互把这个任务完成。本质上,现在是这群人在当评估。

但这个评估会慢慢被框架吸收,框架会设计很多东西,确保在某些确定的场景我能评准。同时也会被模型能力吸收。模型会学会像人一样,当我采用这个方法或思路做到瓶颈时,它会自己采取另外一种思路。或者说自己去反思,就像人一样去反思。

当然了,它是借助它自己,还是借助更super的Agent,还是其它领域的subagent,都有可能。

张小珺:这个“智能体的框架”,是不是我们理解的“产品”?

罗福莉:不是。它跟产品差异蛮大的。

张小珺:它和产品的边界在哪里?

罗福莉:现在我不知道怎么去界定,说实话有点模糊。

我觉得产品可以定义成——你直接人交互能感受的那一层东西。

但Agent框架,它确实是有在去定义你的交互层,但它同时又在定义你怎么跟模型沟通那一层。所以,它甚至能知道模型能力的长板、短板,能知道怎么更好做调度,就比如说for成本优化的调度。

这个中间层可以做得非常厚重,反而前端UI展示是最薄的一层,已经不是很关键。

OpenClaw是展示了智能体的框架可以怎么做。这个框架的想象空间非常大。

张小珺:“智能体的框架”,之前有人做过吗,是怎么做的?

罗福莉:Claude Code一直是一套很复杂的Agent框架,只是因为它是黑盒,我们不知道它怎么设计(注:最近因Anthropic员工失误而泄漏)。OpenClaw是开源的,你知道它是怎么设计的,并且你可以去改它。

改它,是非常非常激发人的创造力的。你知道它框架怎么设计的,你让它改,你可以基于它现捏一个新框架出来。

这是为什么OpenClaw从二点几版本,我当时用的时候,它并不好用,我花了好几天时间去改它。到三点几版本,就3月10多号的版本非常易用。你基本上基于三点几后的版本接一个还不错的模型,都会觉得它很强大。而不是只有接Claude的模型会觉得它很强大。

因为整个Agent的架构受一堆人——开发者也好,像我这种并不是一开始这个框架的开发者,只是使用者也好——我都能去改进它,我for我自己的场景去做改进和优化。

在我看来,这是开源Agent框架本身的价值和意义。

03它激发了中层模型的上限


张小珺:你提到对于OpenClaw,你最开始的态度也是抵触的?

罗福莉:如果要追求非常顶尖的编程体验,哪怕是当下,也是Claude Code加Claude Opus 4.6是最好的。如果你是在这样一个终局去思考。任何Agent框架,确实都可以忽略掉。

但是,Code是一个泛化性非常强的场景。你针对它去做了非常多Agent的设计,或者说模型的训练,都是有价值的。但并不代表,这个泛化性能保证你在非Code场景,做到非常高的准确率和完成度。

所以,虽然也会用Claude Code做一些非Code的东西,但我并没有期待说,它在这套框架上能给我一个很高的完成度。我知道我会去帮它补充这套框架不具备的短板。

但我用OpenClaw,不用考虑这些——它在Agent框架本身就弥补掉了很多模型短板。

张小珺:我能理解OpenClaw是让Coding能力泛化出来的一个产品吗?

罗福莉:它在很多设计逻辑上,比如有更多message的channel(消息通道),有更自主的设计——像定时任务、心跳任务——这些更适合日常场景。因为你写代码通常不会需要一个心跳任务吧?但如果是日常生活,心跳任务很关键。它确实有很多框架设计,是为了让它适应日常任务。

但我觉得它也没有丢弃掉,一个好的Agent框架本身最基本的特点。这些最基本特点,后边被Claude Code吸纳进去。

比如说,持久化记忆。Claude Code之前的记忆还是for整个记忆系统设计,还是for软件工程。比如说它会在session(会话)内,session快满的时候有一个压缩动作,然后把它记忆进去。我在完成任务的时候,根据我的plan可能会有一些记忆动作,保证我跨session的时候Context是共享更好的。所以你能看到Claude Code所有Agent框架设计,都是非常for软件工程——怎么去写好代码。

OpenClaw设计之初,是借鉴这个思想;但是呢,它更想的是,怎么更好端到端完成所有任务,并且怎么弥补当下模型在端到端完成任务上的短板。像这种持久化记忆,到后边这种你能通过一个更好的remote界面能去操控它。

所以,很好的设计,后边陆陆续续这一两个月完全被Claude Code吸纳进去了。这也是双向的触动。

因为这些设计,它激发了中层模型的上限。

我们如果没有这么一套很复杂的Agent框架,中层模型达不到近似Claude Sonnet或Opus的水平。但你借助了这样一个非常好的Agent框架,就能应付绝大部分场景。除了那种非常难的、需要长程任务,或者我称为严肃编程吧,比如写算子优化就算是严肃编程——像这种场景,它确实可能距离顶端的模型还有差异。

但在绝大部分生活的场景,或者只需要借助代码提效的场景,这样一套新的Agent框架,再加上一个中层的模型——中层可能在85%任务上能达到跟Claude Sonnet一样水准的模型——它借助这样一个框架,已经能发挥非常大作用。

张小珺:一种业内观点认为,如果把OpenClaw看作一个壳,它是释放了现在最强模型能力的壳,这个模型就是Claude Opus 4.6。你的表述(“激发了中层模型的上限”),似乎不认可这个观点?

罗福莉:认可、认可。它的上限一定是靠Claude Opus 4.6带来的(备注:Anthropic在近期已经宣布停止支持OpenClaw调用)。我在跟它高强度合作的一周,只用Claude Opus 4.6。因为只有它能给我带来惊艳的感受。

但当我用Claude Opus 4.6,沉淀下来那一堆经验——不管是Skills还是在Agents.md里边。我甚至自己改了它的整个Agent架构设计。

这也是Claude Code另一个弊端,它的Agent架构设计是黑盒。黑盒导致,你改不了记忆系统,你也改不了Agents workflow(工作流)。

但因为OpenClaw太open了,你可以自己尝试改。我会让它去帮我设计一个重新的Memory系统;我觉得它当时二点几版本的Multi Agent(多智能体)逻辑是很混乱的,我让它给我设计一套新的Multi Agent系统。我自己可以去改所有的源码。这样的一种原生可操纵性,给我的冲击感很大。这些事情基本上只有Claude Opus 4.6才能改。

但我让Claude Opus 4.6改好过后,这套框架本身很好用了过后,我再切换到Sonnet,再切换到国内模型,甚至我们当时正在训的MiMo-V2-Pro,就觉得非常强大。

这也是我为什么觉得顶尖的模型,应该跟顶尖的Agent框架,共同往前去进步。

这也是我最近对“自学习”的思考:

“自学习”大概率发生的途径是,你确实需要这个模型跟你这个Agent的架构本身,同步往前走。

模型在进步的时候——不管是通过强化学习或其它训练方式,它也改变你的整套Agent框架。这个Agent框架包含它送给模型的静态信息,比如Memory是静态信息,只要你写死了哪些东西应该送到、起一个新的Session你应该送到模型里去。或者我们叫Skill Fold(技能文件夹),这个东西在训练过程中是变化的。还有一些动态信息,动态信息包含你整个Agent本身的架构设计。

针对不同场景,比如Claude Code这种for软件工程的场景,比如做金融分析等其它场景,Agent架构设计有差异。你怎么在提升模型能力的同时,再提升Agent框架跟这个模型的适配程度,或者泛化能力。

这些让我第一次感受到了,“Agent的自学习”到底是怎么发生的。

04被开源框架激活的群体智能


张小珺:在你高强度跟OpenClaw交互的那一周,你消耗了多少美金的Opus 4.6?

罗福莉:第一天快1000刀(美金)。大概用了四五个小时。中途疯狂也会切。因为它太贵了,我会切Sonnet,但发现真不行,只能去用Opus。只有Opus能带来惊艳感。

但后边,我逐渐发现不是这样了。它带给我惊艳感的东西在变化。

人的适应性真的非常强,第一天感受到很惊艳的东西,第二天立马觉得不惊艳了。我刚刚跟你讲的时候,都觉得——第一二三天的东西,怎么觉得这么boring(无聊)啊。但它确实是我三天发生的事情,当下我确实觉得很惊艳。

现在我自己觉得不惊艳了。Opus帮我把Agent框架打造好后,让我惊艳的事情越来越少。现在反而缺乏的是:第一是想象力,我要疯狂想还有什么事做不了;第二是,当这些能做的事都能做的时候,怎么去优化成本、速度。

但一个人通常是薄弱的。或者,会有自己的认知坍缩。

虽然那几天高度兴奋,兴奋到我在群里面给大家发,强烈推荐大家去使用。但没有人搭理我。

张小珺:当时还在春节过年期间。

罗福莉:大家确实在陪家人。我不希望打扰大家,所以说“强烈推荐”。后面过完年回来,发现真正用的人是很少的。

大家对新奇事物——尤其是它有点玄幻,不是很tech——大家觉得过于玄幻的东西太不真实了。我也是这个感觉,所以不想接触它。一开始的推动蛮难的。

但第二天我觉得不行了,必须让大家去用。我就给大家下了一个指令:如果第二天OpenClaw对话次数不超过100轮的人,可以直接quit(辞职)。

但为了促进这个事,前面做了非常多。那会OpenClaw整个部署期还是需要几个小时,我觉得没有必要所有人,都去花这么多时间折腾一个充满bug、也没什么价值的东西。就买了几台Mac Mini,把它部署起来,拉到几个不同OpenClaw的群,让大家分不同方向,强制它在这个方向上,在大群里边、在一个飞书群里边聊。

为什么在大群里面聊?个人的想象力真的是局限的——当你看到别人用OpenClaw居然能干成这个事,就会激发你自己的想象力。大家的想象力是一个乘积作用。

当我说这句话,我没有想过第二天有人对话次数没超过100轮,我会把他开掉。我没有这个想法。

张小珺:没有这样的人是吗?

罗福莉:我没有最终去考核。

张小珺:你没有办法验证这个事情?

罗福莉:我有办法验证,但验不验证不关键。我只想给大家表达一种态度:你不用,你可能真的要落后了。

中途有人过来问我,福莉,你怎么去考核有没有对话100轮?我跟他们说,你们用就行了,我有我的考核方式。我的考核方式是我不会考核。

春节回来过后的两天,整个团队的人一天到晚,感觉不像在上班——在群里边儿躁动!

你看别人能完成这个事,你也很想玩。大家在群里边,群消息我只要10分钟不看就999+,类似这种。大家一块在群里边玩的非常happy——是一个非常happy的旅程,一点都不苦,一点都不残酷,真的很好玩。

玩了两天下来,大家发现,哇这个事这么好玩,那怎么办呢——那搞啊!

所有人心目中想的是:我要怎么去借助一个这么好的Agent框架去提升模型能力,同时怎么让我的模型去改变现在的Agent框架——就马上进入这样一个研究范式里。

一旦进入这样一个研究范式,以及我们有Claude Code这种——在绝大部分场景,表现输出更稳定的一套框架——虽然它是黑盒我们不知道,但它确实不管是for研究也好,for Coding也好,它是一个比OpenClaw更稳定的框架。

你再在这个框架里去激发、延展你的研究想法,并且让它帮你实现,快速启动模型训练,这个事就会大幅加速。我们在研究上,三四周做完了以前三四十周才能做到的事。

从被这个框架点燃热情,到它产生价值的过程,我从群体智能收获的成长更大。

张小珺:在你们那个非常躁动的群里,探索最好玩的几个任务是什么?

罗福莉:现在听起来都不好玩,但当时的冲击感很强。

最让我有冲击的,还是大家一块去改框架本身。还有就是它的memory做得非常智能。

我们在一个群里边大概有近100个人,飞书message的channel应该还是做得不是那么智能,它至少没有把人跟人之间区分的很好。但它的整个聊天上下文,它对每个人画像的把控,以及每个人的memory,都没有串得太厉害,可用度非常高。这是模型能力强的表现,跟Agent框架没关系。

在一个群里边,100多个人在那儿聊天,100多个人都有不同背景,100多个人都在疯狂改它,都没有把这一套Agent框架改坏,它还变得非常智能。

这也是我第一次感受到,怎么用一群人的智慧去提升一个事情。

如果我自己单一去改这个Agent框架,但别人感受不到这个框架的智能,好像差点意思。这个框架本身的进步速度非常慢。但如果一群人去改进,进步速度非常快,几小时就迭代一轮。

第三天、第四天把它接到我们自己的模型上,发现怎么也挺好用了?怎么还没训就跟Claude差不多了?但你要测更多你会发现,还是有很多东西没有Claude稳定。

这个事给我们带来一个冲击:利用群体智能去提升Agent框架非常重要。

我非常欣喜看到OpenClaw star量飞升。这是AGI(通用人工智能)到来前兆,必须要有的事情。

张小珺:你看OpenClaw不久之后卖给了OpenAI,为什么这种非常不错的产品公司,最后还是并给了模型公司?是不是说明没有模型,做产品是比较难的?

罗福莉:对,这两个要深度耦合。但很好的是,OpenClaw开源没变。你还是可以在这套框架的基础上,大家一块设计更好的Agent架构。只是说,做这个事的一部分人的立场变了而已。

这个立场变了有可能是好事,有可能是坏事。但总之,它不影响OpenClaw开源的属性。

至少这种群体演变的可能和基因火种是保留的,那就挺好的。

第二章
谈巨变的2026年

05为什么Code是一个非常有泛化力的事情?


张小珺:在你经历了春节和春节之后的OpenClaw冲击之后,你紧接着做了什么?

罗福莉:接下来做的就是,搞明白为什么Code是一个非常有泛化力的事情,以及怎么把Code这种泛化力外延到其他领域。

Code有泛化力的一个最本质原因:Agent是一个非常长程和多轮的任务。

回到预训练环节,你很难找到一兆上下文的数据,甚至128K的数据都很难找到。但真正能达到128K到一兆这个长度的数据,极大概率只有两类:一类是Code数据,一类是书籍。

但书籍的信号太发散了,Code文件之间关联更强。在一个长上下文依赖更密集的数据集上去训练,模型自然对长上下文的建模会更好。

这是在没有意识到Agent这个事那么重要之前,我们去做的。基座本身为长上下文的能力和效率,已经做好了充分的准备。

但春节后做的是,怎么去激发这样一个大的模型的潜力,从Code出发外延到其他场景。其他场景训了它会更稳定,但没训它能被泛化,只是没有那么稳定。顶尖模型的水平一定是要在更广泛场景里更稳定。Code是拉它的上限,训其他领域是保它的下限。

要把Code的长程任务做的更多样性。软件开发真的是一个非常长程的任务,把它做好了,很多模型的通用特质就已经好了。不仅是模型通用的特质好了,Agent框架本身也迭代得非常好了。Plan这种模式,厂商到一定阶段要去压缩,压缩完过后第二天再去回顾之前修改的Agent框架设计,其实是为软件开发准备的。但这些框架都是有泛化性的,能泛化到其他更难的长程任务里去。

春节期间做的事情:第一,在Agent场景里,把真的长程任务构造出来并且训练进去,在这上面去scaling大量SFT的训练和RL的训练;

第二,考虑泛化性,还是要覆盖更多领域。怎么覆盖更多领域?要靠更多的群体智慧。让更多人去用它——我们内部会大量使用,用了过后发掘到更广泛的场景,在这个广泛场景里去合成更多的数据来做训练。

这里边很关键的一个问题是,怎么还原当时所有人用这个事情的环境。有这个环境,才能更好去进行更长程的交互。有了环境过后,才可以针对这个环境本身做更精准的reward设定。这个事情比较有难度。如果投入的算力足够多,研究的时间足够多,应该会有一些代差的模型出现。

张小珺:做长程任务会不会容易中断?

罗福莉:真正的一兆上下文里边,基本很少是在做一个任务。它通常在做复杂的任务。

你要把一兆上下文做得很好,当下阶段——我说当下可能是当下一两周,不代表未来两三周——可能并不是真的要找到把一兆上下文塞满的任务。当然你要找到更好,但这个任务是很难的,而且训练效率太低了。

你要训练完一兆,要reout(重跑)完整个trajectory(轨迹),一兆的trajectory非常慢。哪怕我们现在TPS(Transactions Per Second,每秒事务处理量)能做到80到100,项目在MiMo-V2-Pro上能做到80到100的TPS,你要reout完一兆上下文,也需要时间,可能一两小时。

真实的训练不会在这么长程的任务上去训。但当你有在一兆的Context去预训练过,并且后训练有对应的任务稍微激活它一下,它通常就能在一兆的Context里具备这样一个能力。但我们需要再提升。

所以,现在Claude在一兆上下文能力的稳定度上,只有Claude 4.6 Opus和Sonnet是领先的。其他像Gemini,虽然号称上下文能力很好,其实都不行。

张小珺:量化里面挖掘因子会是好的长程任务吗?

罗福莉:看做什么资产。有很多资产reward太不清晰。大部分资产不太适合做长程任务建模。

这个具体我就不展开说,反正某些资产是很不适合的。因为它回测没有价值,你要到真实环境去run的话,它有可能不是短期因素,而是一些更长期的因素,或者额外的阿尔法,本身被这个模型建模不进去的东西。

得选资产。选对,这个就OK。

06为什么OpenClaw在中国更火?


张小珺:据你观察,OpenClaw是怎样一个火起来的链路?我明显感觉它在中国,火的程度比在美国要更多,这是为什么?

我看到有一个很好玩的说法,“西虾东养”。

罗福莉:我不了解湾区对它的热度,仅从我自己及身边人的视角,可能一个原因是:中国的开发者更多。我说开发者是指,可以用Code去提升效率,更急迫。效率的提升,是我们血液里边的东西。OpenClaw能把效率提升拉到极致,是它火的一部分原因。

但还有一个原因,跟国内大模型的发展密切相关。绝大部分效率提升的场景,目前不需要最顶尖的模型,85%不需要。我们又有那么多便宜好用的模型可以用,性价比非常划算。

模型的API费用跟它替代的生产力价值系数比很大,花10块钱的API就能帮你干完1000块钱的事,你肯定很愿意用。但如果API贵10倍或几十倍,中间差距很小,你会很排斥去用这样一套复杂的东西。

张小珺:硅谷的模型公司会觉得这个事情不难,门槛不高。

罗福莉:我一开始也觉得这个事不难。到后面我就觉得,它整个Agent设计非常非常巧妙。

巧妙是指,它弥补了很多模型短板——我怀疑原因是,它最开始是基于Claude上一代模型做的,所以必须在系统设计、Agent框架设计上,设计得更精细一点,把短板补起来。这导致了Opus的进步。

国内大部分模型可能刚靠近Claude 4.5 Sonnet和Opus的水平。反而这两个在这握手了。

张小珺:但如果模型能力继续提升,这些精巧编排还需要吗?

罗福莉:还是需要的,出于对成本的考量是需要的——我们永远会去追求成本和效率最低的一套方案,这是生产力革命的前置要求。

不可能说,我们所有的场景都用最顶尖的模型,因为它太贵了。更有可能是Agent在进化,模型在进化,然后模型进化的方式有可能是同一个水平的模型在越变越小,它也是一种进化。虽然我们没有在做这样的事情,但它确实是一种方式。

也就是说,现在可能激活10B的一个模型,过一年它就能做到Claude Opus 4.6的水平。这极大概率会发生。那激活10B模型是很便宜的,可能一两块钱就能有百万token上下文。

那你为什么不用一个更小的模型?它反应速度更快、更灵敏,基于这套Agent框架还很好用,你还可以改进这套框架,为什么不拥抱它?

它让不那么好的模型,有了更好的发挥空间。

07Skills提供了一种交互方式,让人主动贡献数据


张小珺:关于Agent已经讲了一年,2025年年初大家就开始说是Agent元年,去年也出现了Manus,今年的叙事和去年有什么不一样?

罗福莉:我觉得之前讲的Agent,在我的定义不算Agent,只能算上下文稍微比Chat复杂一点点的东西。

不管是BrowseComp,还是SWE-bench,这些Search和Code的Agent框架,都非常简洁。相比于现在的Claude Code、OpenClaw,它的Agent框架太过于简洁。简洁性就导致——首先它简洁,其次它不通用。过于简洁和不通用导致它只能for这个任务来设定。

至少在去年上半年乃至下半年,很多看似for Agent的模型,只是换了一个更复杂的System prompts(系统提示词),稍微带一点点环境反馈。比如SWE-bench还是有环境反馈的,TAOBench也是有的。稍微带一点环境反馈和交互,让模型具备一点遵循复杂system prompt和理解环境交互的能力。那会只能做到这个水平,但它根本没有达到工业级可用的能力。

什么叫工业级可用?是你把它接到Claude Code或OpenClaw里去用,你会发现它不可用,它有很多问题。它就理解不了这一套框架本身。它也没有针对这套框架,人跟它的交互范式会发生变化。

人跟它交互范式的最大变化是——人不再会去修改代码,人不太再去关注"这一行代码出错了你帮我改一下",这样的query不会再出现。

人只会提一些更高阶的,比如增加限制、澄清需求、架构设计——人会参与架构设计,因为现在很多架构设计还是人更强的。以及辅助理解业务逻辑,这是Skills的价值。

业务逻辑是模型本身不具备的,因为很多业务逻辑是企业内部、真实环境里边沉淀下来的,你必须要跟它很多轮交互才会沉淀下来。

之前那些Agent框架就不能叫Agent框架,没有可用度。在那些Benchmark上表现非常高的模型,也不代表它的Agent能力是真的强。我们在优化这一版模型的时候,是完全放弃这些Benchmark的,基本上就不关注这些Benchmark了。

当你面临一个很大范式变化的时候,只要你路径走对了,你可以非常短暂的一个窗口期去忽略评估。因为你靠体感就能立马测出来一个非常大的质的差异。但当你慢慢迈入深水区,还是需要一些精细评估的。

张小珺:Skills是不是改变了模型在这种高复杂度的任务上的执行准确率?

罗福莉:它定义了一套执行规范。

这套执行规范很难在预训练的数据里边具备,因为预训练数据里边没有这种internal(内部的)信息。这些信息通常是大量企业内部自己去沉淀和积累的,由人和人之间产生的一些组织上遗留下来的规范。

但这不可能在预训练数据里出现。可以由人教Agent,跟它多轮交互,通过完成几个任务,把这套规范让Agent学会。大量Skills其实是Agent自己写的。

张小珺:但Skills也是在Claude里面诞生的。

罗福莉:对,但这就出现一个问题——确实是OpenClaw把Skills给带火的。我说"带火"是它让更多人去贡献Skills这个社区,这非常关键。

这就是人跟Agent需要共创的地方。如果你没有那么多高阶的、这种另类信息——因为它确实是另外一种阿尔法,是另类信息——跟当前的Agent共创的话,那么Agent或者说最顶尖模型的能力也很难发挥出来。

张小珺:人的经验沉淀成Skills,变得更重要了,它是不是预训练的一种补充?

罗福莉:对,因为预训练大部分依赖的知识,还是你在互联网上可访问到的知识。但很多智能,我们是在互联网上访问不到的。

这个时候就以另外一种形态出现,Skills算一种。它其实提供了一种交互的方式,让人去主动贡献数据,贡献让模型执行任务成功率更高的方式。

张小珺:总结来说,我们今天正处于一个什么样的时代?

罗福莉:生产力加速变革的时代。

今年生产力会爆发,大家会觉得很多工作不需要自己做了。这是最直接的一个感受。不仅是写代码的人,只要你接触到这个事情过后,你就发现你的好多工作会被替代掉。

这个时候,人更应该去思考,到底自己的意义和价值是什么?

08 它能溢出的能量比Chatbot,强很多


张小珺:以前有ChatGPT Moment、DeepSeek Moment,如果重新定义这个所谓的OpenClaw Moment,你会怎么定义它?

罗福莉:这个Moment时间线会更长。因为它前序章节太久了,让大家不会觉得它是个新东西。对于我们已经信这个事情的人而言,我们反应速度是足够快的。我不知道其他人有没有follow up上。

从我的个人感官上,这个Moment会延续的时间更长更深远。更深远是,它可能能力更外放到更多人能感受到的场景里边去。但它这个流动是需要时间的。

它能溢出的能量强很多,比Chatbot。

它不像o1、R1,有一个数学代码这种有ground truth(标准答案)的东西在这——你分上去了,模型就具备这个能力——这样一个非常清晰的标准界定。Agent确实有很多场景需要有清晰标准界定,但大部分场景是没有的,比较混沌。所以它产生的价值也是慢慢到一个临界点,突然进一大步。

Claude Opus 4.6确实是这样一个进一大步的突然的时间点。但Anthropic做这条路径也持续了至少两年。

张小珺:为什么这个Moment不是从Anthropic内部诞生的?

罗福莉:我觉得还是一个开源、一个闭源的原因。闭源的框架你没办法去洞察内部设计,所以你没办法利用更多人的智慧去改进它。但开源你就可以用更多人的智慧去改进。

张小珺:接下来我们会看到什么?在OpenClaw已经火了这么几个月之后,2026年大家会基于它做什么?

罗福莉:国内已经有很多动作了,出现了各种Claw。现在很多Claw,只是让大家以不同交互形态,去访问不同模型和不同类型的框架。

但真正让这个框架自迭代,或者更强调自进化和自迭代框架,还没有大规模诞生和出现。以及怎么去利用绝大部分人的智慧去创造一个更强的框架,也还没有出现。

这两层——框架本身的自进化,Agent本身的自进化,Agent跟人之间的自进化——我还没有看到。

我们现在做的是怎么train更好的model for Agent,以及怎么让Agent去适应这个model,是在做Agent跟model之间双向流动。未来需要做的是怎么让框架自己进化,以及框架跟人互相进化。

张小珺:这是你们现在着重bet的方向。

罗福莉:对,大致的方向,会去深入研究的事情。

张小珺:你觉得现在没有做到的核心缺陷在哪里?

罗福莉:缺陷是,我们刚做到这里。未来的加速度是会很快的。

现在只要拥有一个Long Context、非常efficient的模型架构的厂商,并且在做预训练阶段把Code的能力也做得非常好,有这样一个model——参数上可能至少1T以上吧——只要有这样一个入场券的人,基本上都处于同一水平线去做这个事情。当然Anthropic肯定是走到前面了。

上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。

张小珺:OpenClaw发了之后,国内很多团队都推出了类似的产品,比如说,QQ团队有,你们团队有,Kimi有,Minimax有,等等。它们有什么不一样?

罗福莉:我大概只试了一半。大同小异。

我自己觉得,这种产品你至少要去迭代框架本身。目前还没有看到一个比OpenClaw开源社区进步更快的框架。因为OpenClaw开源社区进步太快了。

张小珺:我想到Peak(季逸超,Manus联合创始人兼首席科学家)去年底在我们播客里的最后一句话是:Agent的进化需要所有人参与。

罗福莉:现在已经是了。只是现在唯一没发生的是,我刚刚说的Agent跟人怎么更好的加速。因为Agent也要自迭代,人也要自迭代。

聊天是一种。会不会有一些更自然的方式?

比如,我要是真的能带一个非常好的设备,一整天跟着我,我所有说的话、见过的人,它都知道。它的进化速度应该比我快。因为它依赖的算力更多。它会很快替代我。而且,它不会今天记得,明天不记得,它非常稳定。

张小珺:它只有进化的一条曲线。

罗福莉:对。

它乐此不疲。它不需要休息。

09 它先吸收所有人的智能,再靠自己产生更强的智能


张小珺:你会怎么定义这个风起云涌的2026年?

罗福莉:我很难去定义它。两个月已经对我来说是巨变的。我都不知道这一年接下来会发生什么,处于高度兴奋的状态。

张小珺:你对研究方向非常敏锐,基于上面这些变化,给你带来了怎样的研究直觉?未来一段时间会发生哪些变化?

罗福莉:之前做研究的方式,从想到写代码,到设计一个很好的评估标准,中间流程还是蛮漫长的。至少要花一两周。快的话除非评估是确定的,代码只需要修改,可能也需要一两天。

但在Agent有辅助的情况下,真的一两小时就把这些事做完。效率的提升代表着一个本质问题。

我一直把研究效率看得很关键,只是Agent去加速了这个研究效率。如果这时候你的taste又比较准,那么就一做一个准。当然可能是十个里边有一个能成,但这十个可以并行做。你不用像以前一样pipeline(流水线)做,可以十个idea交给不同的subagent(子智能体)同时做,他们还能交叉验证。很快,可能一个小时两个小时,或者最多一天,就能验证你这个研究想法OK不OK、work不work。

关键是,如果你愿意长期去培养它,它也可以自迭代、自进化。但在Claude Code里边不行,换一个更开放的框架,它是可以自己迭代和进化的——这是做研究给我带来的冲击。

张小珺:有什么样的研究任务是你过去觉得绝对不可能做,但今天可以做的?

罗福莉:就训模型这个事,以前我觉得是很难的。要涉及跟一个更复杂的,比如深度学习平台的融合,听起来就不太靠谱。以及你怎么去让模型具备你有的Context?一个研究员的Context是很长的。一个博士有5年科研培养。我之前认为不太可能。

但我最近发现,它很聪明,聪明到你只要把你近期的Context告诉它,它甚至能帮你复原你的科研成长路径。你这时再去跟它讨论同样的topic,发现它跟你一样聪明。

这个事很残酷。

我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现,它竟然也能!

可能过一段时间,我们能训出来的模型,它也能训出来了——那它可不可以训出更强的模型?它自己左脚踩右脚就提升了?

这是一个非常大的转变。它可能真的能依靠于它自己产生更强的智能进化——它先吸收所有人的智能,再靠自己产生更强的智能。这是这一两年会发生的事情。

张小珺:在今天,Agent到底能做什么样的高价值任务,是不是变得更重要了?

罗福莉:从提升顶尖模型能力的角度,让Agent去替代更高价值的任务是重要的。

更高价值的任务意味着更长的Context、更多的token消耗量。它替代到最顶尖那一群人的智能就够了。下边那一群人的智能,可以慢慢以另外一种方式来替代掉,比如robotics(机器人)。

但另一个演变角度是,你是要做一个对全社会更有益、对所有人都有帮助的模型,那么就不应该for更高价值的场景去做,而是让所有人都能感受这个模型的智能水平。它是另外一种做法:普适度更高的任务会更好一些。

在这种场景里,你就更需要在乎多模态。因为在更广泛的场景里,多模态尤其是对视频的理解,对更细微环境的理解,是更关键的。

以及要注重成本,成本是产生革命非常重要的因素。你不能完成一个任务花1000刀对吧?很多任务场景,必须要达到一个很高的替换系数比,能帮我节省10倍成本,我才会考虑去试。

你怎么去做一个更低成本、更高效率、更高速度的一套Agent框架,以及对应结合的模型,那就很关键——这是两种发展思路。

张小珺:在你看来,小尺寸的端侧模型会爆发吗?

罗福莉:这个趋势肯定会发生,但它不是26年的主旋律。它是支线,而且会持续发生。

26年的主要旋律就是生产力的变革,高生产力场景的持续突破。我们要做更长程的任务,更强调多Agent之间的协作。因为更复杂的任务,它不可能是单一Agent去做。但是多Agent协作,某种程度上,也是为了成本和时间考量,以及怎么去激发Agent群体的智慧。

我觉得市场上已经看到的Multi Agent(多智能体),工作都有点“伪”。我说“伪”是说,真的依赖于Multi Agent能实现更好的任务完成率,在这个维度上是有点“伪”。

但它能提升效率,就是这个任务完成的速度,以及它能够节省成本,是确定的。但我没看到Multi Agent能实现一个更高上限的东西。它会发生,只是我目前还没看到。

张小珺:如果我们把大量个人隐私数据授权给OpenClaw或类似产品,怎么缓解普通人对于安全感的焦虑?

罗福莉:这是我为什么说要做开源的原因。还是会有一天——应该很快也会到来——人的大部分简单任务,除了非常难的任务,跟隐私相关、没有那么高难度的任务,完全可以放在本地化去做。

你自己会有一台随身携带,或者在家或某个场景里有一块芯片。你所有的数据都在本地,所有涉及隐私数据的场景都在本地推理,这很关键。涉及到一些非隐私、高难度、高创造力、高复杂度的任务,再去云端推理。这样能够解耦。

这也是为什么我说,一个好的Agent框架,借助一个很小的3B模型,它能做的任务复杂度都已经超乎我的想象了。这个事激发了我对于端云混合、隐私本地化的思考。但还很初步。

因为这些思考不仅需要模型这一侧做非常多东西,还需要架构这一层一块往前走。这也是我为什么觉得开源,是如此重要的一个事情——需要更多人一块做,而不是某个公司就能做好。

总之,今年的趋势跟前三年已经发生了很大的变化——我自己是这么感知到的。

张小珺:过去两个月,你的生活发生变化了吗?

罗福莉:工作,还有工作;亢奋,还有亢奋。

你每天都会发现,Agent框架本身或模型本身又进步了。

第三章 谈巨变的2026年

10 我们觉醒了


张小珺:接下来,我们来聊聊MiMo的模型。MiMo-V2系列模型,你们在过年之前先发了Flash,过年之后又发了三个新模型:Pro、Omni和TTS,你把后者称之为“一次悄无声息的伏击”。

为什么是悄无声息的,又为什么是伏击?

罗福莉:首先这三个模型,在Agent场景下能力提升这么快,我们能这么快去追上,在复杂的Agent架构里边表现这么稳定,是超预期的。不是我们计划的非常好,而是——我们觉醒了。

张小珺:你们觉醒了?

罗福莉:对。它确实是很安静的过程,因为外部不知道,我们自己内部也快速发生。

我们在一年前去做多模态,更多角度还是:如果真正产生智能,这个智能应该是全方位、多方面的,所以去做了多模态理解;最终要产生价值,一定是要有交互,所以去做语音生成。

但一年前做这些,还不是很明朗。还是觉得,在做一个单一模型,在做一个动态理解模型,在做一个语音生成模型。你没有觉得这些东西能很好地被组织和编排到一起。

当我看到OpenClaw,我一下就想到了这样的画面——这些模型在各自在什么样的环节发挥什么样的作用,它们能怎么被有效编排,它会产生一个什么样大的生态价值——一下,在我的脑子里边全部打通了。

我们快速让所有方向,都要面临这个范式去做后训练的针对设计。

你现在如果能在OpenClaw、Claude Code里边同时用这几个模型,你会发现把它串起来很好用。肯定比其它家模型好用一些。或者说,至少是我们往后迈进的一个目标。

为什么还是后面有这三个模型,不是合到一个模型里去?更多是出于成本、速度和价格考量。

比如语音生成,你没有必要去用一个1T模型?实验你也接受不了。比如说多模态理解,它是不是值得一个更大的模型?这是要去打个问号的。

因为Agent革命本质是生产力革命。生产力必须要在意最终端到端的完成率,以及成本效率。这是现在三个模型同步出现的原因。我们后面应该也会有一些计划,怎么让三个模型更好地协作。

张小珺:怎么样对模型的“编排”是更好的“编排”?

罗福莉:首先,绝大部分简单任务,只用语言模型就能做。但现在完成一整个任务的环节太长了,某些环节上,如果你意识到需要调用像人一样的感官能力,就用另一个更精巧的模型来做。

而且这三个模型是同一个生态训的,你知道的知识它也知道,你能放心把任务交给它,不用担心它不知道你的背景知识——这个背景知识来自预训练。

目前这三个模型在同一个Agent框架里释放的潜力,跟组装其它模型的差距很微弱。但我认为未来不会。因为未来是效果、成本、效率三者的乘积。

张小珺:这三个模型你们在bet什么?这三个模型的关系是什么样的?

罗福莉:bet全方面替代人的生活和工作的方方面面。

张小珺:我可以这么来理解:Pro在做理解和认知;Omni在做感知;TTS在做表达——它是声音的输出,声音是一种表达。这三个加起来是一种类人的智能吗?

罗福莉:它把人有的智能的表象、输入和输出给建模了。但有没有人的各个感官之间协同那么好?现在还没做到。但这不纯粹是模型没做到,框架也没做到。

现在OpenClaw,它对视频的理解和建模非常差。因为开源社区没有一套对音视频联合理解非常好、又有很强Agent能力的开源模型出现。框架发展是滞后的。现在对视频的理解,会回退到理解图,甚至最终回退到理解caption。

这也是为什么要做开源。只有开源界看到更强的视频理解、声音生成模型,对应的框架才会改变。

框架是协调层,模型是智能的中枢。这两层很好交融的时候,才可能达到类人的智能。

11 Agent范式很吃Post-train


张小珺:我们来围绕MiM-V2的模型一个一个展开聊。V2-Flash已经过去了一段时间,它是2025年12月16号发布的。做Flash的时候,你们的核心定位是什么?——这个被大家认为是你在小米的第一个工作、第一个作品。

罗福莉:Flash跟Pro基本上是同期训练的。它们俩模型结构非常近似。

但在设计V2这一系列,不管是MiMo-V2-Flash还是Pro的时候,模型架构本身有一个非常关键的目标:我们要for Long Context的效率来设计模型结构。

当时隐隐约约预感到,Agent时代Long Context非常重要,或者说,预感到Long Context会产生智能。但我们没有预想到后边是OpenClaw这种形式。已经预感到Long Context一定是非常重要的问题。

那么Long Context的效果,以及最关键的推理效率——成本够低、速度够快——就是我们这一代模型结构必须追求的永恒命题。因为成本够低、速度够快,才有可能把一兆做到十兆,甚至100兆。

现在所有的模型结构都能训到100兆,那为啥不提供100兆的推理?除了效果一般,更多是出于成本考量。100兆太贵了,贵到你根本不想用它。所以我们当时就围绕着这个核心目标,设计了Hybrid Attention(混合注意力)的结构。

张小珺:你们在V2-Flash中采取了MTP(Multi-Token Prediction,多词元预测)架构,为什么做这个技术决策?

罗福莉:当时另外一个更主流的选择是用MLA(Multi-head Latent Attention,多头潜在注意力机制)。包括现在,同期跟我们开始训练的应该是GLM-5跟Kimi,Kimi K2更早一些。它们都选择了MLA。DeepSeek V2、V3、R1都采用了MLA。

MLA对于Chat时代来说,确实是一个非常优秀的模型结构。甚至它对于长文来说,也算是一个还不错的模型结构。因为它大量去减少了KV Cache(键值缓存),对长文来说KV Cache就很宝贵。

但它有一个我认为不那么适合Agent范式的根本性要点:

第一个,MLA在设计之初是为了达到很好的访存跟计算的比例,在当时H系列芯片上,实现既不浪费算力、又打破访存瓶颈,是在这样一个架构下设计的。这样设计出来的模型架构,没有任何可发挥的空间。

可发挥的空间是指,假设我们认为KV Cache是重要的,并且推理速度也是重要的,那能不能用一些推理加速的方式,比如最简单的MTP就是一种方式,让实际推理的时候加速n多倍。但MLA不太行。

因为MLA已经达到compute bound和memory bound(计算瓶颈和内存瓶颈)一个非常完美的临界点。你要是用MTP,会发现它又卡在计算bound上。所以现在你看所有MLA的模型结构,不管是GLM也好、Kimi也好,我猜测应该都没有上MTP。因为上了过后就被计算bound,很不划算。所以它的模型会慢一些。

大家对MiMo第一代Flash,哪怕是Pro的感觉是——Flash能做到100-150TPS,Pro现在也能做到,看成本,基本上能做到60-100。100TPS肯定会更贵一些。所以大家用MiMo不管是Flash还是Pro的感觉是:哇好快。这就是这个结构,尤其是针对Long Context efficient的结构,带来的优势。

同时,成本也够低。因为Hybrid Attention(混合注意力机制),包括在Pro这一代上,我们给它拉到一个更极致的Hybrid比例。Full Attention跟Sliding Window层的比例更极致,达到了7:1。所以它更省KV Cache。

我们基本上是在这一代结构上实现了通过Sliding Window层去减少KV Cache,让它在长文上效果更能够支持更长的长上下文。同时通过MTP把Sliding Window Attention节省的算力,用MTP给它填上。这样能达到实际推理时访存跟计算的很好平衡。同时又兼顾了长上下文成本,以及推理速度。

虽然我们设计模型之初没想那么多,但基本上就完美适合做Agent。对Agent来说,首先,长上下文非常关键,很小的KV Cache也很关键,因为很小的KV Cache能做更多多级的缓存,缓存命中的话会非常有利于节省推理成本。其次,速度是一个还蛮关键的命题。你一旦体验到了智能水平相当的更快的模型,就回不到更慢的模型了。

张小珺:你刚才的解释比较后验,但放在当时,你为什么会选择MTP?

罗福莉:我们这个模型快训到中后期了,开始为它设计推理方案。在我们自己的那一代推理卡上去设计推理的并行方案时,发现计算剩余的实在太多。没有想到会剩余这么多。就想,怎么把这些剩余的计算有效利用起来?——MTP太适合了。

我们在预训练阶段加上MTP的原因是,它确实能提升基座的能力。这个我们跟DeepSeek一样,预训练加MTP是因为MTP能提升基座能力。推理的时候为什么只有我们用MTP,是因为我们的模型结构天然在计算上留有大量富余。

这是我们在后边设计推理架构时,突然有一天悟到的。

也不是突然,就是仔细去计算推理各方面数字,知道可以用MTP编码,把这些剩余算力利用起来。恰好我们又训了MTP,就恰好用起来了。很自然的一个探索的延伸。

张小珺:为什么MTP至今还没有成为一个主流?

罗福莉:大家太相信MLA了。

MLA确实太巧妙了,在模型结构上把能做到的全做到极致。25年上半年如果要训基座模型,MLA确实是一个不错选择,尤其是没有看到Long Context的价值和Agent范式的时候,MLA确实是非常不错的选择。

张小珺:关于MPT,我还有另外两个问题:成本下降是MTP给next token prediction带来的优势吗?以及,你说了很多MTP的好处,它会相应的带来一些幻觉吗?

张小珺:MTP是如果命中率非常高的话,是可以带来成本下降的。相当于在更短时间内吐出更多token,把GPU利用率打得更高。本质上是在降低单token生成的成本。

不会(带来幻觉),因为它是会被verify的。只有预测得准,才会采纳当前token的结果。所以没有任何幻觉。

张小珺:未来MTP会成为主流吗?

罗福莉:看大家的下一代模型结构是什么样。

现在模型结构设计有两个趋势。一个是,你真的在预训练阶段就想明白后边推理的场景是什么。比如在什么卡上推,在多长的上下文上推,推理的并行方式是什么——连这个都要想明白。

那么可以设计一个针对这个场景、这个推理方式、这款芯片的完美结构,去训这个结构。效率成本各方面一定是最优的。MLA是在这样的Context(背景)下被设计出来的。

但这个Context建立在两个前提基础上。一个前提是Post-train(后训练)是不重要的,或者Post-train的时间很短。你能一个月就把Post-train做完,大部分时间在做Pre-train。所以只需要Pre-train for这个推理本身就行了。第二个是你的推理卡永远就用那么一个两个,甚至就那一个就是最好的。

但这个事在当下发生了巨大变化。现在是Post-train的周期在拉长,你在一代基础上能做的Post-train的上限是远远被激发出来的。

张小珺:这个变化是什么时间、怎么发生的?

罗福莉:Agent范式带来的。Context越长也是产生智能的一种方式。模型能够被输入更多Context、理解更多Context的时候,潜力就越高。

这跟原来Chat范式完全不一样,原来Chat的Context就是人输的,人输的很短,所以纯靠预训练。

但Agent范式很吃Post-train,你对框架理解,对于多Agent的协作,乱七八糟也好,可以理解为我们在Post-train上要投入的算力,可能跟Pre-train是相当的。所以Post-train时间周期在拉长。

那么在一个Post-train要做半年或一年的场景下,前半年假定的很多东西可能失效。假定要在什么卡上推,假定要在什么场景下达到更优效果,全是失效的。因为可能做了半年或一年Post-train过后,那些场景全变了。以前大家觉得128K就够,但过几个月可能觉得需要10兆上下文。类似这样的逻辑。

所以,如果还是这样去做模型结构,它可能会失去一定的灵巧性。

但是,如果团队的Post-train效率足够跟得上,Post-train的认知能够辅助Pre-train去做架构的正确判断,那么有可能这种模式还是work的。设计一个精细的结构,想清楚推理卡类型,想清楚场景,应该还是work的。

但还有一种做结构的方式是另外一种:就是在结构上更简洁一些,留有更多富余度来做后续在不同场景的适应和增强。比如Hybrid Attention就是一个更简洁的结构。

简洁性体现在,可以靠MTP把算力更充分利用,也可以针对已经训练好的Hybrid结构去增大Sparse或Full的比例等等。在这样一个更简洁的架构上,Agent发挥的空间、后训练发挥的空间,反而会更大。

张小珺:在Flash的技术细节上,除了MTP,你们还做了一些技术选择,比如混合注意力机制。当时你们选择的是5层滑动窗口和全局注意力机制。但在你们最新的模型Pro上,这个的系数又变了。

罗福莉:我们大量实验的一个结论是,Full Attention的层数很重要,但系数比反而可以有空间。所以在更大的模型上,层数更多的时候,可以保证Full Attention的层数总数不变,但增加更多Sliding Window Attention的层就可以了。

层数比这个系数比更重要。或者说,在更大的参数规模、更大的Attention Head的时候,可以做到更稀疏的比例。这是两个结论的统一,导致可以在更大模型上做更高的稀疏比,就是Full跟Sliding的稀疏比。

我们最近在做很多Sparse研究,也是发现更大模型能吃更大的Attention sparse比例。更大模型可以更稀疏,但小模型太稀疏了,效果就会drop得非常严重。所以这是一个实验结果,不会成为一个固定的标准。

这是我们的实验结果,不确定其它家是不是也follow,也会有同样的实验结论。

张小珺:我觉得Flash挺有一点小米早期风格的,追求极致性价比。当时API定价是输入百万token 1.01美金,输出每百万token 0.3美金,在当时看来肯定是最低的价格、最高的速度。当时是做了什么达到这个效果?以及,为什么这次发布Pro模型的时候涨价了?

罗福莉:基本上把该做的都做了。架构有Long Context很efficient的架构,再加上MTP可以更加速,再把Infra最基础的基建做好,这个价格就能做到。

在预训练时代,根据模型框架优势来定价,确实是合理的。框架很强,最终用户能感受到,纯粹是因为模型很强。按照模型结构的方式定价,我觉得是合理的。

但当我们进入后训练范式,除了模型结构本身带来的优势外,还要看Context好不好,以及模型对Context的理解能力好不好。定价逻辑应该发生变化——不应该是根据最终推理成本来定价,而应该根据模型最终产生的价值来定价。

这个价值除了模型本身架构的优势以外,还有模型在后训练上做得足够好,能更好地理解Agent框架。这也是定价溢价的空间所在。

所以,我们后边MiMo-V2-Pro抛弃了这样一个定价逻辑。

12 合理的卡的比例是3:1:1


张小珺:从V2-Flash到V2-Pro,你对Pro的预期是什么样的?

罗福莉:Flash帮我们验证了整个Infra数据是没问题的。并不是先训Flash再训Pro,是两个一块训的。Flash是一个相对小的工作,训了就发了。大部分模型的训练都是去年下半年进行的。

我们相信这一代架构没问题,只是训Pro中途解决了非常多训练数值的不稳定性。这是训1T参数量级模型通常会遇到的很struggle(挑战)的问题。

老训着训着loss崩了,老训着训着某个激活值很大,或者某些expert(专家)的分布变得很极端,像天花板一样,一会一批token打过去,一会又打到另外一个expert上。很危险。

这些信号会导致loss典型出现很多spike(跳变),expert负载很不均衡。训更大模型要花很多时间解决这些问题。所以看起来同步训练,但Pro进度比Flash慢一点。

数值不稳定只是表象,这些要素非常锻炼团队Infra和算法联合debug的能力。有时候怀疑是不是哪个卡有问题,排查完所有卡都没问题,会怀疑是不是今天太阳黑子的报复(笑)——要从很表层查到很底层。

张小珺:你刚才也提到1T的模型可能是未来竞争的入场券,是这样吗?

罗福莉:是Agent要做到接近Claude Opus 4.6水平的入场券。

张小珺:你当时立项的时候还没有Claude Opus 4.6这个模型,为什么当时就觉得一定要是1T的?

罗福莉:首先我训过DeepSeek V3这么大小,600多700B的模型,不会再想训一个同样的模型。肯定还是继续往下一步scaling。1T是当时已有卡数量情况下,一个比较极限的区间。

张小珺:多少卡?

罗福莉:几千卡。

部署这么大参数模型挑战是,训这个模型是几千卡。但实际上要投入大量卡做研究,研究的卡会是训练卡的几倍。

训练MiMo-V2-Pro和Flash,各自可能几千卡就够了。但前期结构研究、中后期Post-train很多算法研究,投入会是这个的很多倍,3到5倍是更好的区间。

不是说拥有几千张卡就足以做这个事情,尤其在Agent范式下,卡的数量反而变成一个非常重要的瓶颈。因为idea诞生和动手写出来太快了。

GPU效率就在那。为了验证idea去跑实验,要并行起很多实验。卡变成更关键的制约项。当然这只是for训练,for推理,卡更是关键因素。推理卡需求量远比训练高很多。

张小珺:训练、推理和实验,卡的数量最合理应该是几比几比几?

罗福莉:推理看用户数,或者高价值场景消耗的token数,因人而异,把推理拆开看。

如果说for研究、for Pre-train和for Post-train,一个非常合理的卡的比例可能是3:1:1。

Pre-train和Post-train投入算力相当,研究比例至少比正式起训练的卡,总量还要多一点,要额外留更多卡做研究。

张小珺:范式转移之前,过去的比例是多少?

罗福莉:至少在Chat时代应该是非常夸张的,比如3:5:1。

预训练跟后训练一个比例,这是今年可能发生很大的变化。

有很多团队,顶尖的团队,应该都是1:1了。

13 1T模型是入场券


张小珺:训练一个像Pro这样1T大小的模型,挑战是什么?

罗福莉:全方位的挑战吧。数据上反而不是非常大的挑战,更大模型貌似对于更脏的数据容忍程度更高。但我不确定。我们是同一批数据训的,所以不确定,只是貌似。

更主要的挑战是训练历程中遇到问题的时候,第一步是要发现问题。很多团队会把loss spike当做很正常的事情,但我们尽量让它没有loss spike。有loss spike会导致某一步更新特别不稳定,某些数值异常值很大,直接把某些参数或某些expert给它打死——就是打死,参数更新过后,再也不会有token送到expert上。

所以中间需要很严密的监控系统,洞察模型参数内部到底发生什么样的变化。比如至少去看看expert的负载怎么样,每一层参数的输入输出怎么样,激活值有没有变得很异常。Loss spike发生后应该去看这些事情,但不是所有团队都会看这么细。这是第一步要发现问题,好多人就不把它当做一个问题。

发现问题再去想,到底是什么样的原因引导这样的问题?比如有可能是稀疏比太高了,导致Full层输出跟Sliding Window层输出数值差异非常大,导致数值不稳定。有可能是结构原因,也有可能纯粹是Infra bug,比如通信的某个算子写错了。最后发现,甚至有可能是某个norm有点问题。

可能最后无奈的解决方式是,发现这一层数值太大,要么给它clip掉,要么通过norm压下去。有非常多种解决方案。

通过norm压下去肯定会对模型效果有损,clip掉是一种方式。我们也会借鉴Kimi的QK-Clip方式,当QK某些logits非常大,实在影响训练稳定,没办法只能clip掉,至少能让训练更好进行下去,进行到稳态时再放开。有太多这种临时的,要去发现问题、解决问题,甚至倒推很多可能产生导致这个问题的分析路径。

这些路径非常考验团队的跨团队协作。如果是在很大的公司,协作效率极低。如果是在很小的团队、创意性团队,就是考验环节上关键几个人的配合程度,会更高效。如果环境上每个人都足够追求极致,不能容忍突然这么干,必须停下实验来找问题。

张小珺:你们属于哪一种团队?

罗福莉:我们肯定是属于小团队非常极致的类型。所以,会导致训练周期被拉长。预训练周期肯定不会一两个月就训完。训练周期拉长的情况下,如果有非常明确的deadline目标,肯定承受不了。

大几千卡停一天,肯定就是一两百万、两三百万的事。

怎么去承担这样的损失?如果是在目标驱动的团队,可能会觉得停个两三周去排查一个问题,还不知道是不是问题、会不会对模型最终训练产生影响,是不太能接受的事情。

但在我们这,我们认为它就是一个问题。我们就应该去解决它。

因为我们没有那么清晰的说我要发布的目标。

罗福莉:你们没有deadline?

张小珺:我们没有deadline,就觉得模型训好了我们再发。

张小珺:没有公司来的压力吗?

罗福莉:没有。

张小珺:你们在这个1T的模型训练过程中,有失败吗?

罗福莉:看怎么定义失败。比如训到loss直接飘了这种,应该中途还是发生过那么几次的。

两三次总是有的。就loss直接飞了,但它比如说训了几百步又回来了。

张小珺:你说的这种情况,你是选择停下来解决,而不是继续往前训。

罗福莉:我们认为应该要停下来解决问题。它其实就这样翘上去几百步,然后又下来了。这我们认为应该停下来解决,让它loss更平稳地度过。

张小珺:一般会停下来几天?

罗福莉:几天也有可能,一两周都有可能。

张小珺:停两周焦虑吗?

罗福莉:不焦虑,因为我们又没有什么目标。

当然了,晚上都睡不好,我经常晚上做梦说,为什么loss又spike了?

虽然我们没有明确的时间节点,但是你还是会崩溃嘛,还是有很多很沮丧的瞬间。虽然没有明确的节点,但是卡它是有限的对不对?

你会觉得你浪费了算力资源,在做一些无用的实验。有这样的自我批判。

张小珺:从实践来看,参数量能决定智力的上限吗?是越大的模型,智力上限越高吗?

罗福莉:我现在觉得是参数量加上Context本身,这两个是共同决定的。但至少,要达到当代大家觉得最强的Agent水平,一定要1T以上的参数规模才能做到,才能让人觉得你已经非常接近4.6 Opus这样。但我不知道它多大,我只是自己认为至少总参1T以上,才能做到。

当然更关键的是激活参数。比如总参都是1T,激活参数越大,意味着更高的推理成本。它是一个trade off(权衡)。

张小珺:为什么在Pro模型上,Full跟Sliding Window的稀疏比从5:1调整到了7:1?

罗福莉:我们还是追求更极致的稀疏比。

最主要原因,希望在更大的架构里边,去做更高效的Long Context。因为更大的架构,总参变多,Full Attention的层数也随之变多。在长文本的情况下,同样会变得非常崩溃,因为Full Attention的层数变多了。但如果你扩大参数量,Full Attention的层数没有变,那么有可能,你的长文,Pro跟Flash两代模型效率是差不多的,但Pro的智能水平提升了。

在长文的效率相当的情况下,我们希望模型在scaling它水平的上限。我们是比较去控制住效率本身的。但控制住效率本身,后面在Agent时代,也有一个更有价值的事情。既然这个更大模型,它的长文效率很高对吧?那我就可以塞更多的上下文,它就又更强。大概就是这样的决策背景。

张小珺:对于这个1T的基座,你们做了如下几个重要的技术决策:第一个是混合注意力机制,刚才我们聊过了;第二个是1M上下文窗口,这个在做的时候是否出现丢失的情况?

罗福莉:问题关键是你从哪真的去搞到,在一兆的上下文窗口里边,有那么多很稠密的监督信号。很难找到这样的数据,或者说,这样的数据的构造成本非常高。

要真站到终局思维来看,只要你有比如1T的token量,而且都是一兆的、真正的长上下文,那么模型一兆能力肯定能训上去。只要loss一直在降低,它就是在建模、在压缩,那么它就一定能训上去。

但问题的关键是,你很难去构造出来真正1T、1兆的Context,真的很难去构造出来。要么成本太高,要么就很难找到这样的场景。所以Long Context的效果是缓慢在提升的。

张小珺:你们的第三个技术判断是,沿用了MTP的模型结构。

罗福莉:对,这个没有什么太大变化。预训练训一层是为了提升基座能力。后面Post-train去训更多层,是为了推理的时候用更多层,实现更好的推理加速。

14 多模态有没有促进智能,根本不关键


张小珺:V2-Pro同时发布的,你们发布了另外两个模型(V2-Omni、TTS),它们也是去年同期开始训练的吗?

罗福莉:基本都同期。都是那个时候开始规划的,大概三个方向。

张小珺:看起来整个V2家族,在指向多模态的叙事。但文字是离散的token,图片是像素矩阵,音频又是波形。你们怎么去做这个融合?

罗福莉:我们还是想尽量把它统一到language model(语言模型)的范式下。

在音频的建模上,我们想要把它离散化,变成跟文本一样的离散token。我们在音频上投入了比较多研究算力,说怎么去进行离散音频建模。我们希望这个离散音频的建模,尽量做到无损离散化。

因为大家还是不太相信,把一些连续的输入变成离散,最后还能重建出来。

这个事儿,需要对encoder更精细,比如我们需要一些多层的RVQ(Residual Vector Quantization,残差向量量化)来保证,它的离散表征是一个非常大的、像Dense一样的高位空间。我们需要更多预训练,来让它开始涌现。如果你基于连续的特征做,可能很快就涌现了,但你基于离散特征做,会更难去建模,它涌现出现的时间段会更晚。

我们在音频上开始了这个尝试,也会迁移到后边其它模态。我们比较想用一套更优雅的架构来做整个多模态输入的理解,但我们不是为了统一而去做这整套架构。

很多时候,如果发现确实在图像上离散不那么可行,我们还是会寻求一种目前更主流的架构。因为我们优先要保证的是这个模型,它要具备一个整体的智能水平,而不是追求为了统一优雅的范式。

张小珺:音频统一到LLM里去容易么?

罗福莉:我们的技术架构应该是非常另类的。我知道国外的御三家(OpenAI、Anthropic、DeepMind)也好,国内像豆包也做的蛮好的,应该都是跟我们完全不一样的架构。

张小珺:你为什么选这个架构?

罗福莉:做NLP的人执念吧。我们做音频的人全是做NLP的人,有这个执念,就觉得相信它,然后就去做了。

张小珺:图片能这么做吗?

罗福莉:能。我们已经尝试了非常长一段时间了。

但它是一个权衡。就像我说的,要做到真的无损重建,是需要投入更多算力、更大研究成本在的。至少在音频上我们已经迈过去了。图片正在进行中,不知道能不能迈过去。

张小珺:如果迈过去,会带来更大的想象空间吗?

罗福莉:更优雅的结构。我最开始是认为,如果把它统一都离散化,那么可以用一套基础架构去解决这个问题。同一套预训练的基础架构,同一套做RL的基础架构,很优雅地把所有范式都统一了。它太简洁了。如果真能做到的话。

但我现在发现,当我们有Claude Code和顶尖模型过后,这些架构,比如我们重新去写一套RL Infra架构,重新去写一套Training Infra架构,我们最近就完全再从头去写一些新的架构。我原来以为写这些架构蛮耗费人力、蛮耗费时间,但现在看起来,在Agent支持下,写架构的时间被大量缩短。

那你就没有必要为了架构的优雅性,去做很多为了统一而统一的研究。这是最近一个月内发生的变化。

Infra重新写一套也没有那么复杂,几个人Claude Code,两三周可以重新捏一套新的RL框架。为什么要因为后训练的Infra架构的统一性,让前面模型结构牺牲这么大?

张小珺:为什么你们这个系列的模型叫法是“全模态”模型,而不是“多模态”?

罗福莉:因为它确实支持视频、音频、图片、文本所有模态。有一些Agentic的模型,是不支持音视频联合理解的。它应该是第一个支持音视频联合理解,并且Agentic的能力,能够做到跟language model水平差不多的。

张小珺:是不是有迹象能表明,在全模态或多模态的理解中,能够产生智能?

罗福莉:两个月前我很相信,最近呢,在训Omni整个过程中,稍微有点质疑这个事情。

但我们后面还是发现了一些很好的迹象。比如MiMo V2 Omni,它其实比Pro小,但大家实际去用的时候会发现,这个Omni在对世界的感知和领悟力上,或者说最终反映出来它的情商,以及它的知识储备上,会比更大的模型更强。因为它是原生多模态训练的。

我猜测,可能是因为我们在这两个方向上scale的,就在纯语言上scale的算力和这个原生多模态上scale的算力还不那么多,导致我们现在并没有看到原生多模态本身带来智能的很大提升。但你能感受到,比如很多世界知识,因为它训过视频,所以它知道了更多。它对很多很细微的东西的感知力,你会发现它更强。

但这些都是很虚的,是我们自己实际体感去测感知力。你在任何Benchmark上,没有任何证据能证明——就纹丝不动,可以这么说。

张小珺:有没有可能是Benchmark错了?

罗福莉:当然有可能。我现在也不能非常确定说,多模态能力是实现所谓AGI路径的必要路径之一。我是不想去下这样一个结论的。

因为每个人对AGI的定义不一样。尤其在Agent这样,可以把多个模型的能力,非常优雅编排到一起的情况下,我们更没必要强调多模态是不是促进智能——它有没有促进智能这件事本身,不关键。

张小珺:多模态促进了什么?

罗福莉:目前我只观察到这两点。我现在还不知道未来在一套新的架构上,会不会有一些新东西。

可能做多模态生成,未必会有一点点不一样。就是生成可能会促进更好的感知,但你要是纯说,把你的感知维度扩大,你是不太会促进智能的。但如果你能生成它,maybe是能促进智能的。这是我的一个猜测。

张小珺:但多模态生成现在还是一个科研问题。

罗福莉:是。或者说,把生成跟理解,做到一个统一的架构里边,目前还没有scaling到非常大的算力。大部分生成的架构,还是纯for生成的,它并没有理解的智能。

张小珺:你设计Omni这个模型的目标是什么?

罗福莉:截止到目前,Agent要行动,它必须要具备多种模态。其实是这样一个目标。

但下一个目标,我觉得不是这个。

下一个目标,还是想去探索,当你结合多个空间的感知,甚至你能去生成更多的多模态的信号时,会不会促进你对这个世界的理解。但更直白说,需要有一个跟现在的Agent框架交互更好的视频生成模型。

张小珺:为什么你们没有披露Omni的总参数量和激活参数量?

罗福莉:给我们留点想象空间。我们相信这个参数量可能做到更接近于Pro的智能水平,虽然大家知道它比Pro小一些。

张小珺:只是小一些?

罗福莉:对。但我们相信它们俩能够互相迭代,能够你提升我、我提升你。

张小珺:最后,关于最后一个模型V2-TTS,有什么新的研究发现吗?

罗福莉:TTS的动机是,我们想用一套自认为优雅的架构,去做一个大家都用传统架构、做起来很容易的事情。

但做完过后发现,追求一个离散化tokenizer,在上亿小时的数据集上训练过后,模型的泛化力非常好。我没有办法对比说,训一个很小的模型,泛化力是不是真的没有这个好。至少目前得到的模型,大家能看到,再给它输入很多风格化标签的时候,它会通过推测字表面的含义,去赋予情感和音律。

在这个事情上的泛化性上,我们发现特别明显。我们只是简单做了很特定几个场景风格的数据做SFT和RL,很刻板的几个风格化场景,比如快点慢点、高兴悲伤这种很刻板的风格化场景,去做了风格化的Post-train。

但发现,把style标签变成非常复杂、自然语言的描述,它能够遵循。这是纯泛化出去的。这是在做的时候,发现简洁架构加超大规模训练,带来的超强泛化力的外化表现。但还很初期。

这个TTS模型,效果非常惊艳,上限非常高。但下限在慢慢弥补,有时候会不太稳定。目前只是限时免费,开放API大家玩一玩,不确保真的能投入生产即可用。但很快会让它变得生产即可用。

张小珺:Omni、TTS跟Pro模型比较,哪个更重要?

罗福莉:当然Pro更重要。

纯语言空间的打通,需要大量前置研究作为基础,这才是更重要的。

张小珺:现在看到的MiMo相关模型进展,都是你们在半年以前的决定,你现在为半年后做的决定是什么?

罗福莉:这就要保密了。

第四章 谈AGI路线图

15 R1在DeepSeek内部,“一次奇袭”


张小珺:我们刚才聊了很多关于V2家族的模型,下面想跟你一起回顾一下,过去三年整个大模型世界的进展。从2022年底,ChatGPT打响了大模型的战争,在亲历者的眼中,每一年的关键变化是什么?我们是怎么走到今天的?

罗福莉:ChatGPT是第一个发挥模型在,我猜测是4K预训练场景里的智能水平。

预训练的长度,或者说最终Context的长度确实很关键。ChatGPT只是让大家感受到,在4K Context里预训练,训练完过后,通过简单对话,对话轮数是一轮、两轮甚至多轮,在很短的上下文里,把模型在超大规模预训练上训到loss最低的智能水平给激发出来了。

当然所有激发的前提,都要靠一套能让人感知到智能水平的交互。Chat就是一个很好的交互,否则你不知道这个模型已经这么强了。这是22年底ChatGPT发生的事情。

张小珺:23年?

罗福莉:当有一个顶尖的闭源模型做到的时候,它的下一年就是开源界怎么去追上这个顶尖闭源模型。所以23年,Llama、Qwen、DeepSeek,这些开源团队就在准备。

首先借助Llama披露的,怎么去做好大规模预训练的范式,就是怎么去做好数据。那会儿结构都是未知的,哪怕训一个7B的结构,Transformer结构是怎么样的?Pre-Layer Norm或Post-Layer Norm,hidden size多大,这些超参那会儿完全不透明。但Llama告诉你,这么训能训成功,给你开了个头。

借助这个头,Qwen借助LLaMA的架构,做更好的预训练数据,做更大规模的预训练compute scaling,Qwen系列就起来了。

Qwen做得很好,for开发者生态做了全尺寸模型的训练,也训了一些多模态模型,也做得非常顶尖。这是对社区非常有利的,有利于激发后面社区做一些微调,还有一些微调框架诞生的必要先决条件。

DeepSeek在同期,虽然也是尝试复刻LLaMA,但更在乎的是,看到LLaMA这一代架构有什么问题,而不是着急去scaling。

它更在乎LLaMA用GQA(Grouped-Query Attention,分组查询注意力),在更大的模型里,尤其是在受限的GPU上去训练的时候,会存在什么问题?scaling会遇到什么问题?可能要涉及到一些新的结构来解决这个问题。

这是DeepSeek V2和V3那个系列阶段,想去提出一些新的架构,不管是MOE for高效训练,MLA for更低的推理成本。这个时候诞生的事情。

所以,DeepSeek那段时间更注重,在更差的芯片上去做更好的研究来scaling。

张小珺:LLaMA当时的缺陷是什么?

罗福莉:它就是个Dense。你要真去给它scaling,比如现在没有人去训几百B的Dense,开源界。因为训几百B的dense,虽然LLaMA搞过,你也能看到结论,但那个结论不一定是结构的问题,是它太贵了。训它也很贵,推它也很贵。

没有人会去搬运一个又笨又贵的模型。所以MoE for更高效训练、更高效推理,MLA for更低推理成本的模型架构就会诞生。

这是同阶段,Qwen和DeepSeek在走两个路径——Qwen是在纯scaling,DeepSeek是考虑创新的基础上再scaling。

张小珺:现在看,哪个是更正确的?

罗福莉:两个都是对的,没有说谁是对的或错的。

一个是为了在有限算力资源下达到最强的模型,DeepSeek算力可能只有Qwen的几分之一。Qwen想的是怎么去促进整个生态更好的发展。

这形成了中国两个开源势力。一个开源势力是在做研究上做到绝对高度,一个开源势力是在真的生态价值上做到一个高度。

生态价值本身也是价值。如果没有这么多好的开源模型,很多好的研究工作,就像DeepSeek R1前序的很多研究,都是在Qwen的模型上去做的。它们是彼此促进的,对社区都有价值。

当然DeepSeek有另外一方面价值,是它有一个全新结构,带来对于训练成本的冲击,以及后续推理成本的冲击。这导致对推理芯片有了更准确的判断——下一代芯片应该怎么构造、怎么设计?这对整个AGI历程来说,是非常好的事情。这可能是23年、24年发生的事情。

24年可能唯一发生在所有人意料之外的事情,是o1跟R1。

R1在DeepSeek内部,也算是一次“奇袭”。它诞生非常偶然。

当预训练范式变到后训练,对于组织和团队,以及创新的要求不一样的时候,整个团队应该怎么再去重组织的问题?我是在这个事情上得到最大的感知。

张小珺:按照传统的管理思路可能是,我现在要对后训练加大投入,那我要组建一个后训练的团队,甚至从外面挖一个做后训练强的tech lead进来,这是错误的方式吗?

罗福莉:得看团队本身。它可能不是很有利于创新。比如在后训练数据多样性上,只是做后训练的人,天然缺乏这个视野。

还有,很多团队对做预训练和做后训练的人物画像很刻板。反正我们不是按照这种刻板的方式去招人、组织人的。它很刻板的问题就是,天然导致做预训练人做不了后训练。

我也没太去了解深层原因,只是当我去了解的时候会觉得,怎么这么奇怪?老有这种疑惑。

张小珺:外界看到的结果是DeepSeek-R1出圈,但你当时在DeepSeek内部感知到的是,在模型开始训之前,已经有的对于团队的调整与组织。

罗福莉:就是大家认不认可这个事,以及我们要以一种什么样方式来做这个事。我在R1的过程中,是有非常大体验的。

但最终的结果,我能预知到的是,在我走的时候,R1已经做到一个Lite(轻量版)的水平,Code Math已经做到了非常接近于o1小那一版的水平。

我已经预示到,Code Math上这个Reasoning肯定能走通,而且即将可能AIME(American Invitational Mathematics Examination,美国数学邀请赛)会从那会儿只有三四十分,刷到我认为七八十分都非常有可能。但后边现在已经刷到100分了。

我没有意识到的是,它是一个范式的转变。Reasoning是可以通过Code Math这个高泛化场景,能放到通用以外。这个o1也没有走通——这是我没有预料到的事情。

也是因为这样的背景因素,导致我后面再看新的东西,哪怕它是for一个很垂的场景去做,尤其是Code这种场景,我会先思考它是不是真的能泛化?是不是我把它想小了?——这只是我自己沉淀下的一套skill。

这是24年。

16 现在是大模型竞争的第二幕


张小珺:25年呢?

罗福莉:25年,我觉得很boring的一个事情是,它处在很交错的一年。

这个交错的一年是,你可以选择在Chat这套范式下,把Reasoning给做到极致,继续去把SWE-Bench、LeetCode Bench这些偏Code的Benchmark,你可以在这个范式(思考很久给出一个答案这种)上选择继续深耕。你也可以选择我忽略掉,我就不管这些,去想下一套。我可能在这套范式上做到六七十分就OK了。AIME做到六七十分,就表示这个链路你已经走通了。

但是,比较聪明的团队,25年年中就会全面拥抱,去for新的Agent架构去做事情。

MiniMax已经转过来了,MiniMax是国内转得最早的。但这样一种新的范式下,对整个团队的敏捷性要求又很高。

从模型发版速度上,能看出来哪些公司拥抱的速度够快。可能有些公司没有跟上,还在原来Chat的范式下继续深耕。哪怕去做了一些BrowseCap、SWE-Bench、Terminal-Bench这种带所谓的Agent的Benchmark,并在这些Benchmark提升得很深,但它并不代表这个模型真的能实际可用。

BrowseCap是一个非常离谱的评价指标。在这上边训的模型,感觉只能在这种数据集上测,换种方式,哪怕也是做信息检索的方式,最终能力还是泛化不出去。就很奇怪,这套数据集太局限了,整个框架也非常specific。

所以这半年,如果说在做Agent的人,大部分是走到歧途上——我觉得它算是歧途。我们也走了一小阵阵,Flash第一代,并没有想做Agent,还是想做很好的Chat。

但一个原因是,我们确实要先打好Chat基础。就像我说的,Chat至少要做到七八十分,把整个历程给走完;你才能够说,你的Post-train数据基建、你的Infra基建、你现有的人——尤其是我们招的全都是没有做过大模型的人——他们能有个历练。

否则他一上来就做新的东西,怎么好做呢?

做Flash的时候,纯粹是一种,把我们做过的事情让一群没有经验的人再做一遍。但更在乎是,这群人在做新的事情的时候,他们自身在进化。

这个进化对我们后边去做新的事情,非常有价值。因为极少在中间给非常强的supervision(监督)。除非发现要掉头了,否则给太细节的这种监督信号,告诉他这个事应该怎么做的缺陷是,会让团队大部分人失去原创能力。这是应该尽量避免的。

张小珺:组织我们等会聊,我们先把现在的范式转变聊完。现在大模型的竞争,从之前的Chat的第一幕,已经过渡到了Agent的第二幕,这么理解对吗?

罗福莉:这算是模型竞争的第二幕、第二场战役。所有人都开始在同一个起跑线上。

可能闭源模型早,Claude应该是两年前就在这个路径上了。只是大部分人,没有意识到它是最正确的路径而已。很多人在去年意识到了,但都没有在做正确的事情。

什么是正确的事?要在一套非常复杂的Agent框架,或多样的Agent框架,去端到端完成更高复杂度的任务,并且以此为目标,作为你后训练的范式。

而不是在一个很局限的场景里,针对这个场景定制一套很简洁的架构,去做另外一个比Chat复杂度稍高的任务——模型的输入输出还是一堆字符串、一堆token,模型的RL范式还是以推理Rollout为中心。但Agent已经不是这样了。

张小珺:为什么你说MiniMax是国内转变得比较快的?

罗福莉:我觉得它是比较快的。它们用一个10B的(激活)模型,做到目前Agent能力。它们后训练的敏捷程度非常惊艳。

张小珺:你说大模型竞争第二幕的入场券是1T的基础模型,但MiniMax没有这么大的模型。

罗福莉:对,我把入场定义为,你要做到对标到Claude Opus 4.6的水平,它需要1T的基座。与此同时需要敏捷性。它具备的是后者。

张小珺:所以现在中国公司还没有同时具备两者的模型公司?

罗福莉:对。看一看DeepSeek吧,哈哈。

17 赛点:Agent上怎么去做好RL的scaling?


张小珺:能评价一下中美两边的大模型公司,在今天的竞争赛场上各自抵达了一个什么样的位置?现在大家押注的有什么不一样吗?

罗福莉:Anthropic的路径是正确的,这算是当下共识。至少在过去3个月,Agent的路变得更清晰。

在路径更清晰的情况下,国内大模型团队,就进入到加速追赶的状态。因为现在大家在Pre-train上的代差是基本没有的,或者说非常接近。国内大模型团队在Pre-train结构上是有优势的。

甚至Claude,在过去很长一段时间做的很多Context Engineering,我们都误以为,它是因为模型结构不是很先进,为了成本而做的一些妥协设计。但现在回过头看,有点想的太局限了。

现在你能看到,不管它最开始的动机是什么,但最终的状态是:所谓的Context管理,以及搭配的Skill Fold或Agent架构,都是为了配合模型发挥更强大的整体任务完成度而设计的。

所以,当大家看到这样一个范式转变,又有一个基座并没有发生代差的情况下,大家其实就很all in,要去做好Agent的Post-train。更具体说,是在Agent上怎么做好RL的scaling。

这是非常清晰和准确的方向。但具体的研究路径是需要探索的。至少跟23年要去追平Pre-train的差距一样,我认为是非常清晰的。

张小珺:你什么时候意识到Coding泛化性那么强?

罗福莉:一开始就觉得。不管是Pre-train范式还是Post-train范式,23年哪怕最开始,我从量化回到大模型赛道的时候,就会对Coding的泛化性抱有非常高期待。

但这种期待它转变成说,我先要好好去做好Code的预训练数据,再去scaling算力,看一下它到底在Code Benchmark上会不会很好。再看看Code Benchmark提升了以后,其它的泛推理类的,像BBH(Big-Bench Hard)这种Benchmark会变得更好。最开始是这样,它是一步步去实验验证的探索路径。

到R1,又一次验证了,因为Code和Math,都有非常好的verify的指标。

然后到Agent这个范式,Code又因为它有很好的environment,并且Code可以天然做很长程任务。比如软件开发就是一个非常长程的任务,你去做一个非常复杂项目工程,就是一个很长程任务。它又很适合Agent这个范式。

它基本上在每个范式上,都戳中了那个点。你都可以在Code上,至少在研究上,你可以是自闭环。并且在这个自闭环的路径上,做出来的东西,它是很容易scaling到其它更广领域的通用数据上。其实,Code本身就已经挺通用的了,因为它本身是自然语言,所以它很容易scaling。

所以,做Code这个事,至少在这个范式转变的时候,它都是一个非常优雅的路径。

张小珺:RL scaling现在探索到哪一步了?你们有探索的初步结果没有?

罗福莉:暂时还不是很方便分享。至少我觉得在RL scaling的算力,跟预训练的算力,达到一个同一个水位的时候,就会给大家分享。

张小珺:相对于三年前,今天的模型竞争变得更激烈了,还是变得更平缓了?

罗福莉:应该说竞争的维度和速度都变多了。速度变得非常快。你做预训练,不可能一个月出一个模型;但你做后训练,确实可以一个月出一个模型。

还有就是,Agent这个事,它除了看Agent架构本身,也看你对整个推理侧的结构,甚至硬件芯片,你是怎么认知它的。我觉得它会影响到一些最基本决策。

比如说,10兆的Context什么时候做?怎么去scaling 1兆的Context?它也涉及到,比如你在预训练阶段就去scaling,那么你后边儿对应的,在1兆上去做Post-train,跟在256K上去做Post-train,它的算力差距是好几倍的差距。

所以你是不是有足够多的算力差距,去support你去做这个事情?以及你最终的场景,这个框架本身的能力,是不是支持你能在10兆上的能力给发挥出来,或1兆上能力发挥出来?它是有个更长的决策链路。

它从原来Pre-train,只需要对Pre-train本身的架构做决策;到需要你面对接下一段时间,Agent框架演变、推理芯片等整个市场,算是供需的一个预估。因为芯片,它受制于这个制造储备,瓶颈就在那。以及你要不要尽早去规划,去做更广的、不是for单一芯片的模型结构,都是需要提前去做好规划的事情。

张小珺:这个说的是大模型的公司维度,那对于以应用产品为主导的创业公司呢?站在2026年,你觉得今天创业公司的生存机会变多了吗,还是更绝望?

罗福莉:坦诚来讲,我不是很了解除了基座大模型以外的创业公司。我能看到的是,至少,创业公司的团队规模会越来越小。不需要有一个非常大的公司,就几个人甚至一个人都可以成为一个公司。

只要你学会充分借助Agent。我之前老看到有人说,OpenClaw上我一个人养很多个员工。我自己也做过这种Multi Agent的尝试。虽然当下看不那么现实,有点噱头。但在今年内,Multi Agent很快会变成一个现实。

张小珺:Multi Agent现在没有突破的地方是什么?差在哪?

罗福莉:每个环节都差一点。你需要有个足够便宜的模型,因为你最终算的是,它是不是比我招一个员工更便宜?要是不那么便宜好用,我为什么要用你呢?不可能说你烧Claude Opus一天花1000多Token,结果那个员工创造价值可能1000。

第二,现在Multi Agent架构还有空间。它们各自怎么自进化、自迭代以及互相沟通,都还有空间。

张小珺:现在模型公司好像变得更没有边界了,“模型即产品”变得更突出。

罗福莉:模型借助Agent架构本身,就变成一套新的产品,产品力反而更强了。其它所有东西都很简单。

18 两年内实现AGI


张小珺:你之前画过一个通往AGI之路的图。你对比了人类的智能和人类进化:人类智能是一个生物演化路径,呈现为正三角形——底层是感知运动,中间是直觉情感,最顶端才是语言;

而现在AI的发展是一个倒三角形——大语言模型一上来就极大地放大了最顶层的语言能力,底层感知反而薄弱,你觉得这是一个空中楼阁。怎么能够拼接出这个AGI之路的图?你现在做的事情在往这条路上走吗?

罗福莉:现在大模型的演变逻辑,确实不能跟人完全一样。不一样的原因是,人演变的环境,跟模型演变的环境不一样。

人演变的时候,是随着自然界的变化,为了生存来进行演变的。但大模型,它好像一开始上来不是为了生存。

张小珺:它是为了什么?

罗福莉:我不知道。现在大模型没有自己的价值观。但我们要硬给它赋予价值观,就是让它替代一部分的人。但它不替代也不会死掉吧。

当没有生存的危机的时候,它反而会进化得更自由、更散漫、更有创造力。不那么受约束。

它现在的基础条件太好了,有那么多算力可以用,有人类宝贵的知识起点作为基础起点,还有那么多人帮它提升。感觉这两个环境完全不一样,进化路径就不太一样。

张小珺:语言之后,模型进化的下一步会是什么?或者哪怕在语言里细分,Coding之后下一步会是什么?

罗福莉:Coding还是会有一个非常好的主旋律,就是做一个很复杂的软件工程、一步直达的开发。持续的时间越久,能做的开发复杂度越高。不一定是代码量,只要是复杂度越高。

比如写一个Kron算子,代码量可能并不高,但需要写了去调试、Debug看它是不是在真的训练中提效,真的有效果提升,这个验证环节有可能是长的,但代码量可能是不长的。

总之,要参与到实际的项目开发里,确实是做Code的一个非常大的主旋律——简而言之就是它替代的程序员越多,这就是它的主旋律。

再外延到更广泛的生产力场景。它需要借助一个更强的交互方式。比如飞书、WhatsApp、Telegram,都是很好的交互方式,降低了跟它交互的门槛和频率。一个更好的交互方式是,它有自己的身体,可以到处移动。所以机器人,肯定还是一个for智能体交互的、必须会涌现出来的方式。它肯定会从屏幕上跃出来,到我们真实的空间。

但机器人本身的演变瓶颈,有大概率可能是在硬件甚至在电池上。当它进入我们这种封闭空间,甚至在一些灵巧手的灵活程度上,这些都会比Agent本身的进化,在语言空间的进化要慢。

张小珺:现在我们抵达AGI进度表的哪里了?

罗福莉:感觉历程已经到了20%吧。

张小珺:今年能走到百分之多少?

罗福莉:至少能到60%、70%。我感觉两年内应该能实现。

这之后,大部分人会抛弃掉自己原来的工作模式。生活模式被颠覆是更滞后的,因为生活并不产生生产力价值,工作产生生产力价值。

先会感受到工作模式被颠覆掉,其次再是生活。要真迈入到生活被颠覆掉,需要更多机器人。

张小珺:AGI的路线整体被提前,这里面关键的变量是不是能用AI训练AI?

罗福莉:这确实是一个标志节点。因为它可以自提升,达到最巅峰的一群人的智能。因为它可以自己训练自己,能去创造新的研究,有做新的研究能力。这确实是它自迭代的一个巅峰。

张小珺:这个会是大模型公司的一个核心竞争点吗?比拼谁能更快跃过这个临界点?

罗福莉:你很难直接去for让AI训练一个大模型、去设计任务、去针对性训练,因为它是一个更高级的目标,不会一下迈到这个目标。但大家最终所做的模型,都会通往这个目标。如果你有最尖端模型的智能,最后都会去干这个事儿。但它不是只能干这个。

张小珺:关于AGI路线图上的开源与闭源路径,我有几个问题。在你看来,一个公司为什么要选择开源,为什么要选择闭源?中国大部分公司都开源了,但发展到今天,现在还选择开源的目的是什么?

这是一个技术选择,还是一个市场选择?

罗福莉:我还是认为是这个目的——开源是加速AGI的。

假设AGI会爆发,假设它会替代绝大部分的生产力,那么我们可以从这个事去倒推:你需要多少芯片?这些芯片难道会被一家公司生产吗?难道会被一家公司购买吗?

好像不是,它会分散。如果芯片是分散的,那么推理有可能是芯片厂商做,也有可能是大模型厂商做,它们用的模型难道是同一个吗?还是用的不一样的模型?

我认为一定是不一样的。所以从终局来倒推,开源至少是有利于推进这个事情的。因为最终要大规模产生经济价值,必须要依赖于算力,才能产生经济价值。

我认为开源至少对很多环节——Agent框架、芯片、能源——都是有促进作用的。它是加速AGI进程的。

那它最后是一种公益还是一种市场?取决于每个公司开源时结合的生态位——就是你有没有一个别人短期内无法拿下的战略生态位?

如果有,那么你就敢开源。如果没有,你就认为模型就是你的生态位,那你就不开源。就是这样。

张小珺:所以取决于自信程度。你在大公司做开源,会有内部压力吗?

罗福莉:我现在不觉得我在大公司做事情。小米整体非常创业导向。很奇怪的是,它看起来是个大公司,但它其实是一个做事的灵活度非常高的公司。

张小珺:在你看来,包括MiMo-V2在内的这一代中国模型,和美国代差还有多久?中美模型之间的差距有多大?

罗福莉:在国内,目前已经具备1T以上基座的公司有好几家:Kimi、MiMo,还有一些。这些模型厂商在当下,距离国外顶尖——就拿Claude Opus 4.6来说——如果反应速度足够快,应该只有两三个月的代差。

不是说两三个月过后能追上两三月过后的Claude,而是能追上当代的Claude。这个概率蛮高的。

这两三个月大家怎么发生变化,是考验团队的整体研究水平、技术敏捷程度,以及怎么拥抱新的范式来做研究,这个非常关键。

接下来两三个月会非常精彩。

同期发生的事情:Agent框架在过去两三个月,OpenClaw本身也进行了大量改进;也能看到一些自学习和自迭代的框架产生。所以Agent框架这一层也会在接下来两个月,进步非常快。

其次,随着前两个爆发,Agent框架越强,模型能力进一步飞升,并且成本有极致优势的情况下,推理需求一定会爆发。几倍到10倍的空间,可能会立即当下发生。那么对于推理芯片,就会达到空前高涨的需求。

怎么在现有产能——尤其是大部分卡点在于存储上——不管是自己制造,还是用到最先进的芯片,来做更好、更低成本的推理,就是一个非常关键的命题。

最后,一个for更长期的事情:我们肯定不会在1T的水平上走太久。如果要拿到下一个阶段的领先,就要寻求更大规模的scaling。到底是去scaling模型的参数量,还是去scaling什么东西?以及要在什么样的芯片上去scaling?——这是当下立即需要去决策和判断的事情。

这个才决定了半年或大半年过后,谁是更领先。

张小珺:中美实现AGI的路径有没有可能是不同的?

罗福莉:坦诚来讲,我不是很了解美国。但至少按照我们目前的这一套——前沿的研究、模型的水平、AGI的框架、芯片能源——这些多方面合起来,我认为是非常可能领先的。

第五章 谈范式巨变下的组织

19 不太存在管理,规范和约束是压制创造力的


张小珺:刚才我们多多少少涉及了一些组织话题,接下来我们来重点聊组织吧。

你的Benchmark是什么?你们团队的Benchmark是什么?怎么驱动组织?

罗福莉:做好大模型本身就是Benchmark。但这个"好"是我们自己来定义的。

张小珺:这个怎么让公司同意?虽然你说小米有很好的创业文化,但它事实上是一家大公司。

罗福莉:雷总(雷军)同意就行了嘛。他是一个非常好、非常有战略眼光的老板、天使投资人,anyway,后边还有很多标签。

就没有要求。

一开始加入小米之前,在这个事情上是高度统一的。按照我们的判断和直觉做就好了。然后做了,老板来说“做的好”。(笑)

张小珺:你刚才还提到一点,什么叫做,你们团队“没有大语言模型背景的人”?

罗福莉:大部分招人之前,都没有做过一个大模型。他们刚毕业,在学校做了一些基础的研究,之前甚至不是做大模型的。(可能)做工程的,做开发的,这些都有一点训练背景。

大概1/3到1/4的人稍微有一点点训练经验,但可能都只是训过7B、14B,类似于这样的规模模型。跟训大模型的经验也不太能复用。

张小珺:这意味着,你需要有很强的训练经验吗?

罗福莉:对1、2、3、4步应该做什么要求会高一些。但后面发现,不要告诉大家1、2、3、4步做什么,就推着大家,我们一起来重新做一遍这个事,大家就会往前走。

张小珺:训一个1T的模型对你的管理难度,是不是指数型的上升?

罗福莉:不,没有。管理团队的难度是一样的。

或者应该说,不太存在管理。大家一块去解决问题就好了。

你不需要去管理这几个人,每个人都有自己不同解决问题的思路,一起来解决问题。反而是这种解决问题的以身示范的能力,是一个非常好的文化和导向。

张小珺:训1T模型是多大团队?

罗福莉:很小。只说训练这个事本身。

但做数据还需要也是几个人。可能还需要一个非常好的基建团队,把卡集群给搭起来。

基础设施团队可能需要有那么一点有经验的人,因为没经验老出一些低级问题。吃一些基础运维设施的经验。

张小珺:只要几个人训练一个1T的模型,这个常见吗?诀窍是什么?

罗福莉:本质上,也没觉得它需要非常大团队协作。团队协作当然有优势,比如大家在卡资源巨量的情况下,可以并行探索,对做研究是有优势的。

但并不认为,对我刚刚说的那种场景——发现一个可能是问题的问题,然后深入排查原因去解决它——很大团队是优势。反而很大团队有可能是劣势。

张小珺:训这个1T的模型过程中,你们团队状态是什么样的?

罗福莉:原来做预训练、数据的那一群人就去做后训练。做Infra、做训练框架、做推理Infra的人,一块来解决训练过程中的问题。

张小珺:为什么要让做预训练的人去做后训练?

罗福莉:首先后训练的一大部分原因,是你需要有很好的数据直觉,这还是蛮重要的。

其次,它是基于个人爱好兴趣产生的,不太是基于说我们这里需要人你转一下。大部分是大家自然而然发生的。但确实能够预料到哪些人会做这样的迁移,因为有很多能力特征上是很共性的。比如对数据的直觉,比如会从模型效果去倒推一些算法设计。做数据好多时候也是在干这个事。

所以,我们对人的界定没有那么清晰,大部分人会自然随着训练阶段的变化,自由去选择下一个阶段,做更有想象空间的事情。

张小珺:MiMo团队现在是100人吗?

罗福莉:现在已经到100人。但这100人是包含所有链路上的人。比如数据采集、数据质量,Pre-train的Infra、Post-train,甚至我们的开发(我们需要有一些开发),还有我们的产品,我们的数据,还有三个方向上的算法工程师。

大致你可以发散,就是语言、多模态和语音。

这100个人里边,实习生比例很高。有部分实习生可能在做一些,当下不会立马反映到这一代模型结构、模型能力上的事情。

真正投入到一代模型里去迭代的人,很少。可能所有链路上加起来也就二三十个人、三四十个人。

张小珺:这100个人你们有小组的划分吗?

罗福莉:没有组。

张小珺:也就是,你1对100?

罗福莉:差不多是。

张小珺:为什么没有小组的划分?比如,为什么不分预训练组、后训练组…?

罗福莉:因为很多人会对两个方向都感兴趣。如果组划分非常清晰和固定,是在扼杀一部分的创造力,或者说扼杀未来的成长空间。

第二,做后训练现在一个很重要的范式变化是,需要具备diversity(多样性)这个视野。很多做后训练的人,是怼着一个场景去做,没有这种多样性的视野。

但做预训练的人,第一应该关注的就是多样性——不能往模型里边塞一小部分数据,要塞多样性更好的数据。所以做预训练的人去做后训练有非常大的优势,会天然更在乎多样性,就是个很好的补充。当然也有人一直只做后训练,比如只研究强化学习,所以它一直做后训练。

至少我们不要在组织结构上,按场景把某些人的创造力扼杀在这个场景里边,那就很奇怪。

张小珺:没有组也就意味着没有leader。

罗福莉:我们有实际推动项目往前运作的人,但都很模糊。比如项目要往前走,我们要训MiMo-V2-Pro的预训练或后训练,可能有实际往前推动的人。但这个人并不对参与项目的人有绝对控制权。

张小珺:模型团队没有职级对吗?——但小米公司本身是有职级的。

罗福莉:我们这个团队的整个组织结构就是完全解耦的,没有职级。

张小珺:没有职级、没有小组,这样的组织结构对于对于智能涌现本身的意义是什么?

罗福莉:平权本身是有价值的,有利于所有人平等地贡献自己的创造力和智慧。

任何层级,一定程度上都是在规范和约束,而规范和约束本身是压制创造力的。

有层级过后,就默认这个层级上的人应该有更强的、超越所有人的智能——这个界定非常奇怪。

需要更扁平。尤其是对于最重要的leader,他/她不要有特别强的掌控感,以及“没了我就不行”的想法。一旦有这样的想法,反而不是很有利于创新团队的发生。

20 环境比经验更重要


张小珺:虽然你说没有管理,但实际上怎么管理呢?

罗福莉:靠热爱驱动管理。这个很重要。我自己发现是最行之有效的方式。

去选择激发大家的热情,让大家围绕着自己愿意信仰的事情去自驱做事。这是我一直比较坚信的最有效的管理方式。

张小珺:你有什么驱动热情的方法?

罗福莉:让大家去体验,是驱动热情非常重要的方式。

比如OpenClaw,这是一种体验方式。看起来用了一个非常极端的方式——"你不用,没有100轮对话你明天就辞职"——但我不会最终去考核。第二天也不会去考核大家"真的有没有用",因为那不关键。只在乎有没有真的去用这个动作,100轮只是一个量词而已。

筛选人的时候也很关键。很多人可以从过往经历看出来,他到底在围绕什么样的目标做事情。靠热爱驱动做事情的人的特质,会非常special,聊天过程中应该就能感受出来。有的人会围绕很多奇奇怪怪目标做事情,但为了热爱做事情的人,是非常明显的。

这没有办法用很多量化指标,但去跟他聊天,我能直接感受到,能sense到。

张小珺:具体来说,你会倾向于选择什么样的人?他的学历需要和人工智能相关吗?

罗福莉:看做什么东西。

这些能力真的都可以被快速习得,只要被放在好的环境里,围绕着一个更高标准的目标来驱动。最多一两个月,慢的话三四个月,确实都可以被快速习得——所以,环境比经验更重要。

这个环境让大家更快更快地提升学习,让大家互相MOPD(Multi-Teacher On-Policy Distillation,多教师在线策略蒸馏)——互相蒸馏,我蒸馏你的长处、你蒸馏我的长处,互相这样快速提升。

更在乎自己创造这个环境,是不是符合这样一个先决条件。而不是在乎这个人来的时候,他的历史背景的基因是不是好。只在乎他可能初始化checkpoint的上限高不高,只在乎这个。但不太在乎他目前已经被supervised learning过后的那个点的状态高不高。

张小珺:我看到,你们的博士比例是55%。

罗福莉:包含在读博士。更多是代表一个人对做研究的热爱程度——如果热爱做研究,可能会选择至少读一个硕士或博士。

但现在也招了很多本科生,本科生在对Agent这种新范式的理解上,想象力反而更高。所以现在招人,会慢慢倾斜到招更多前置的本科生,大二大三的人。

因为他们的灵活性和适应程度,都感觉没有被污染,天然更接纳这个事情会产生巨大价值。思想还没有被禁锢,敢放心大胆把自己那些想法交给这套架构去验证,自己不断去探索边界。

张小珺:你会怎么去有意识地创造一个更好的环境?

罗福莉:首先是构建这个环境的人,要有同样的特质。比如要强调热爱这个事情、强调使命感这个事情,要有这些基础的特质。

其次要把这些特质给真的放大的前提是,他的基础要好。就是当他想做什么事情的时候,他有这个热爱的时候,他要能做成。他这个基础要好,不能就光想法多但做不成。这个基础,是构建成他最后做不做得成的关键要素。

选基础好的,好奇心强的,热爱驱动做事情的。当然还有一些可能对多样性有更高的要求。

如果招的太同质化,大家很容易去miss掉一些看起来是噪音,但实际上对研究非常有价值的一些信息。所以多样性非常重要。

我们上班每个群叽叽喳喳聊的挺多的。大家都会疯狂把自己的想法,或者说关注到的信息给分享出来。有可能是在群里边,有可能就在座位上——反正吵的不行,一天到晚。这样的沟通环境是非常好的。

当然还有一些外部因素,比如激励的方式,就不能太围绕着某些非常确定和清晰的目标来做。钱是一个很重要的baseline,但它不是唯一的baseline。钱要给够。但是,除了钱之外的其它东西也非常的关键。

价值感、意义感——很多人更在乎这些东西。

21 后训练需要容忍模糊性


张小珺:既然我们今天正处在一个范式转移的时期,面临从Chat向Agent范式转变,Agent范式更吃Post-train,相应的组织是否应该出现一些调整?

我看到你发文对组织有过三点总结:一,核心架构与基础设施研究周期漫长,所以需要看到回报的、一年前就具备战略信念;二,训练后的敏捷性,是另外一种能力;三,好奇心,就是热爱,是你一贯之都在说的。

罗福莉:预训练因为它太前置了,更关键的事情是,你需要有一种预测能力,或者说一种战略定性。就是这一代模型的训练,到底是为未来什么做准备,这一定要提前想清楚——可能是提前一年,至少半年。

为什么我现在说半年到一年?以前我认为是一年,但现在我觉得半年就必须想清楚了,因为Agent的出现正在显著加速整个过程。

总之,你需要在很早的时候就想清楚:这一代模型结构,在接下来很长一段时间里,它要承担什么角色、解决什么问题。如果这个问题没想清楚,那么这个模型就不会具备优势——它可能会成为一个“平庸的模型结构”;而一个平庸的结构,不一定带来平庸的效果,但一定会带来在成本和效率上的劣势。

所以,在预训练阶段,或者说在Infra层面,必须前置去做、并且要做得很充分的事情。

而在后训练阶段,由于现在它是和Agent耦合在一起迭代的,很多事情没办法提前规划得非常清楚。这个时候更考验的是:你如何基于当前的模型能力,以及Agent的范式,产生一种“化学反应”,以及你如何快速设计出新的Infra架构。这里会涉及到全新的RL Infra架构。

在Code和Math这种Chat形态的Reasoning场景下,Infra的核心其实是模型本身的推理引擎——模型需要长时间推理、长链条思考,然后给出答案,这本质上是一个推理引擎的问题,也是RL Infra的核心问题。但在Agent场景下,Infra的关注点就不再只是模型推理本身,还包括模型与Agent之间的耦合关系。

也就是说,系统从“以Rollout推理引擎为核心”,转变为“以Agent为核心”的一个更复杂系统。这个系统可能是黑盒的,也可能是白盒的。在这样的系统中,需要解决的Infra问题,和之前R1这种以Chat Reasoning为主的时代,是完全不同的一类问题。

因此,这对团队提出了更高的要求:必须具备足够的敏捷性,能够快速开发出适配当前时代的RL Infra系统。

同时,由于Agent框架本身变化非常快,这套系统还必须具备很强的兼容性。甚至如果进一步考虑到自适应和持续迭代,这套RL Infra系统的复杂度会进一步上升——它需要具备很强的容错能力。而且,这个系统不仅涉及推理训练,还涉及GPU和CPU的综合调度与管理。

所以在这一块,我认为团队的敏捷性,以及Infra与研究之间的协同配合,是一个非常关键的因素。

如果这些事情做得好,你会明显感受到:整体的研究推进速度会非常快。

最后一个问题,是关于“人”的问题。好奇心、热爱,以及对技术的长期坚持,确实是很多优秀研究者身上的共同特质。

但如果你要从源头去筛选这些人,再到如何激发他们、管理他们,最终让大家围绕一个共同信仰去协同前进,这是一个非常复杂的问题。我觉得这个问题的难度,不亚于设计一个复杂而优秀的Agent系统。

在这一点上,我自己也还在摸索之中。更多时候,我是在这个环境里学习——学习别人是如何在自己擅长的领域做到更好的。这可能也是为什么,最近我开始更多去思考所谓“群体智慧”,以及它最终如何通向 AGI。

张小珺:当前后训练变得更重要,后训练团队的搭建和管理方式,和预训练对比会有不同吗?

罗福莉:通常我们会看到两类人适应得会非常好,或者说对这个事会更有热情。

第一类就是他会更注重去跟模型“玩”的这样一群人。因为他去玩,他才知道每个模型能力的边界在哪,他才会去想要找到一种可scaling的方式,去把这个边界给补充回来。有可能是去构造一批更强的数据,以及更强的环境,让它能够RL训练起来。有可能是fall back到预训练的某个环节,可能这批数据没做好,就把这个数据补上,下次训模型的时候会更好。

总之就是,更在乎模型体验的人、更跟模型交互的频次更高的人,他会非常适应这个方式,觉得这个迭代是有价值的。尤其是那些维护了自己很多私有的测试库的人,疯狂去测不同模型的边界,突然发现某个模型强了,然后分享出来自己这种独特体验的人,还是蛮适合进入这个范式的。

还有一个就是,我们要围绕这个新的Agent范式去设计很好的RL Infra体系。做RL的Infra,跟做Pre-train的Infra有一个非常大的不同,是RL的Infra会更在乎这个模糊程度。

Pre-train的Infra你可能不能容错,比如出现一个loss spike,就不允许它出现,想要把这个spike解决下去。但做RL Infra,你就要允许它容错。就是允许这个模型跟这个Agent,在这个Agent框架里边,Rollout到一半就断了。但它断的原因有很多种,根本找不到是哪一种。

有可能是因为这个Agent框架写了某个超时的逻辑,有可能是因为它做这个任务需要很长的验证流程,乱七八糟,不知道是因为什么原因就断掉了。

还有一个就是,会不会你的训练跟推理,是在异构的集群上训的?

你训练和推理的不一致性,在原来Code跟Math那个Reasoning范式里边,是不能容忍这个事情的,但现在必须要容忍这个事情。

以及怎么去做一些更多的异构资源的调度?现在除了GPU你还要管CPU,你还要管存储。怎么在这种很复杂异构资源里边,把这个模型训起来。这里边需要很多算法跟工程的妥协,中间这个模糊的地带非常多。

所以对Infra人的要求的灵活性的要求,和这种跨这两个领域的理解,要求变得非常之高。换句话说,相比Pre-train来说,它对灵活性和敏捷性,都提出了新的要求。

即使是做Infra的人,本来是在一个偏确定性、追求清晰解法的体系里,但进入RL之后,只有一部分人会更适应这种高度不确定、强实验驱动的系统。

所以大概觉得是这样一种变化。做Pre-train Infra,跟RL Infra还是分开的。它们确实对于复杂性和这种精确度的要求,会差异很大。

22 把每天的研究都做好,就非常好


张小珺:你加入小米发了好几个模型。过去半年,有什么得到了进步的地方,有什么觉得不足的地方?

罗福莉:感觉每天可能都在否定昨天的自己。

不管是很多做事的方式上,还是你对事情未来的一些判断上,基本上都在一直去否定。是在这种否定当中、自我内省和反省当中成长的。

张小珺:有一个什么地方得到了特别大的进步?

罗福莉:我的历程没有说有个非常清晰的节点,到达这个节点就感觉好像进步了。但感觉脑子里这套系统悄悄在进化。

以前在做量化的时候,学到一句非常有力量的话:“总有方式去建模价格”。这是给我力量支撑的一句话。做量化时候,价格就是你的reward,你要去预测准价格,才能做好量化投资。

回到做大模型赛道,reward是不那么清晰的,是变化的。我的心法就是,应该做当下符合我价值观的事情。这个事情,一定要对更多人产生价值,一定要是更有意义的一个事情。

如果我们创造大模型的这一批人,如果没有这样一个内驱力,而是我要做一个破坏的东西,那么最后会非常危险。

张小珺:你现在工作状态是什么样?工作节奏?

罗福莉:早上11点,晚上12、3、4点。但这是我的状态,不代表团队其他人的状态。

张小珺:你是夜猫子?

罗福莉:倒不是,是自己本身的睡眠确实不需要特别多。可能6个小时就完全足够了,5个小时也可以,4个小时也行。不需要那么多的睡眠。

现在做的事情有点兴奋,确实感觉睡太多有点浪费时间。

张小珺:过去半年你遇到压力怎么缓解?

罗福莉:我的脑子就是一个Sliding Window Attention(滑动窗口注意力),忘得非常快。哪怕有压力,快的话一两个小时就过了,慢的话一天就过了。

但这也基于一个前提——你第二天会有一些新的、有想象力、有上限的事情给它冲掉,你立马就忘掉。如果它还是在那个Context,应该就忘不掉。

张小珺:如果AGI实现了,AI能够自己训练AI,不需要研究员了,你会去干嘛?

罗福莉:我大概一个月前有想过,但想的事情在变化。

一个非常有价值的事情是,现在中国的很多基础研究,太去要求有一个很完整的产品、乱七八糟的证明。并没有一个很好的资金,或者说有一个慈善机构,去支撑做基础研究的人,去往更突破的方向迈进一步。我们可不可以搞一个这种公益型的组织,去support这个事情?

我始终觉得,应该加速做科学研究。哪怕最终实现AGI,也有很多要做的。

张小珺:为什么要去跟AI竞争?就让它做科研就好了。

罗福莉:那不一天到晚躺着没事干把?总要做点新的事情吧!或者,你总要去做点帮助AI的事情吧!纯享受生活应该也挺无聊的。

总之就是要做点有益的事情。但这个有益,是按照个人的价值观来进行评判的。

无聊是不是一种意义?我也不知道。但无聊对我来说不是一种意义。

张小珺:你对未来,1年后、2年后、3年后的自己,有什么预期吗?

罗福莉:现在觉得把当下的每天的研究都做好,就觉得非常好。

张小珺:10年后,Agent可能已经超越大部分人类了,你有什么话想对10年后的自己说吗?

罗福莉:未来很美好——我觉得,这是一种天真乐观的勇气。

收听播客


推荐阅读


图片

跳转微信打开

DeepSeek-V4 预览版:迈入百万上下文普惠时代

2026年4月24日 10:56

原创 深度求索 2026-04-24 10:56 北京

即刻体验顶级长文本记忆能力,模型配置选择更灵活

今天,我们全新系列模型 DeepSeek-V4 的预览版本正式上线并同步开源。

DeepSeek-V4 拥有百万字超长上下文,在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。模型按大小分为两个版本:

即日起登录官网 chat.deepseek.com 或官方App,即可与最新的 DeepSeek-V4 对话,探索 1M 超长上下文记忆的全新体验。API 服务已同步更新,通过修改 model_name 为 deepseek-v4-pro 或 deepseek-v4-flash 即可调用。

DeepSeek-V4-Pro:性能比肩顶级闭源模型

  • Agent 能力大幅提高:相比前代模型,DeepSeek-V4-Pro 的 Agent 能力显著增强。在 Agentic Coding 评测中,V4-Pro 已达到当前开源模型最佳水平,并在其他 Agent 相关评测中同样表现优异。目前 DeepSeek-V4 已成为公司内部员工使用的 Agentic Coding 模型,据评测反馈使用体验优于 Sonnet 4.5,交付质量接近 Opus 4.6 非思考模式,但仍与 Opus 4.6 思考模式存在一定差距。

  • 丰富的世界知识:DeepSeek-V4-Pro 在世界知识测评中,大幅领先其他开源模型,仅稍逊于顶尖闭源模型 Gemini-Pro-3.1。

  • 世界顶级推理性能:在数学、STEM、竞赛型代码的测评中,DeepSeek-V4-Pro 超越当前所有已公开评测的开源模型,取得了比肩世界顶级闭源模型的优异成绩。

DeepSeek-V4-Flash:更快捷高效的经济之选

    • 相比 DeepSeek-V4-Pro,DeepSeek-V4-Flash 在世界知识储备方面稍逊一筹,但展现出了接近的推理能力。而由于模型参数和激活更小,相较之下 V4-Flash 能够提供更加快捷、经济的 API 服务。

    • 在 Agent 测评中,DeepSeek-V4-Flash 在简单任务上与 DeepSeek-V4-Pro 旗鼓相当,但在高难度任务上仍有差距。

    结构创新和超高上下文效率

    DeepSeek-V4 开创了一种全新的注意力机制,在 token 维度进行压缩,结合 DSA 稀疏注意力(DeepSeek Sparse Attention),实现了全球领先的长上下文能力,并且相比于传统方法大幅降低了对计算和显存的需求。从现在开始,1M(一百万)上下文将是 DeepSeek 所有官方服务的标配。

    DeepSeek-V4 和 DeepSeek-V3.2 的计算量和显存容量随上下文长度的变化

    Agent 能力专项优化

    DeepSeek-V4 针对 Claude Code 、OpenClaw、OpenCode、CodeBuddy 等主流的 Agent 产品进行了适配和优化,在代码任务、文档生成任务等方面表现均有提升。下图为 V4-Pro 在某 Agent 框架下生成的 PPT 内页示例:

    上下滑动或点击放大查看

    API 访问

    目前,DeepSeek API 已同步上线 V4-Pro 与 V4-Flash,支持 OpenAI ChatCompletions 接口与 Anthropic 接口。访问新模型时,base_url 不变, model 参数需要改为 deepseek-v4-pro 或 deepseek-v4-flash。

    V4-Pro 与 V4-Flash 最大上下文长度为 1M,均同时支持非思考模式与思考模式,其中思考模式支持 reasoning_effort 参数设置思考强度(high/max)。对于复杂的 Agent 场景建议使用思考模式,并设置强度为 max。模型调用与参数调整方法请参考 API 文档:

    https://api-docs.deepseek.com/zh-cn/guides/thinking_mode

    请大家注意:旧有的 API 接口的两个模型名 deepseek-chat 与deepseek-reasoner 将于三个月后(2026-07-24)停止使用。当前阶段内,这两个模型名分别指向deepseek-v4-flash的非思考模式与思考模式。

    开源权重和本地部署

    • DeepSeek-V4 模型开源链接:

    https://huggingface.co/collections/deepseek-ai/deepseek-v4

    https://modelscope.cn/collections/deepseek-ai/DeepSeek-V4

    • DeepSeek-V4 技术报告:

    https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf


    写在后面的话

    「不诱于誉,不恐于诽,率道而行,端然正己。」

    感谢每一位用户的信任与支持,大家的肯定、建议和期许,是我们不竭探索、持续进步的动力,也让我们始终坚守初心,专注于不懈的创新。

    我们将始终秉持长期主义的原则理念,在尝试与思考中踏实前行,努力向实现 AGI 的目标不断靠近。

    跳转微信打开

    Google TPU 系列之 TPUv8 全面解析

    2026年4月23日 21:59

    原创 AI闲谈 2026-04-23 21:59 北京

    Google 在 2026.04 发布了第 8 代 TPU,包含 2 种芯片,用于 Training 的 TPUv8t 和用于 Inference 的 TPUv8i。此外,在第 8 代 TPU 系统中集成了基于 Arm 架构的 Axion CPU。

    一、背景

    Google 在 2026.04 发布了第 8 代 TPU,包含 2 种芯片,用于 Training 的 TPUv8t 和用于 Inference 的 TPUv8i。此外,在第 8 代 TPU 系统中集成了基于 Arm 架构的 Axion CPU。Axion 可以提供处理复杂数据预处理与编排任务的计算余量,确保 TPU 持续获得数据供给而无需停滞。(TPU 8t and TPU 8i technical deep dive | Google Cloud Blog [1])

    笔者之前也详细梳理过 TPUv1 - TPUv7 的所有产品(全面解析 Google TPU 演进:从 TPUv1 到 TPUv7),详细参数如下表所示:

    之前分享的相关文章:

    二、TPUv8t

    2.1 TPUv8t Chip

    TPUv8t 专为大规模预训练和 Embedding 密集型 Workload 设计。采用 TPU 系列中常用的 3D Torus 网络拓扑,Pod 规模可以扩展到 9600 芯片,与 TPUv7 相当。相较于 TPUv7,TPUv8t 的核心突破包括:

    • SparseCore:专为 Embedding lookup 中不规则内存访问模式设计的加速器。负责卸载数据相关的 AllGather 等集合操作,避免使用通用核心的 zero-op 瓶颈。

    • VPU/MXU Overlap 及均衡扩展:通过更加均衡的  VPU 扩展,最大限度提升利用率,降低向量运算时间。使得量化、Softmax、LayerNorm 等操作更好与 MXU 的矩阵乘法 Overlap,避免 MXU 因为 VPU 瓶颈而出现 Bubble。

    • 原生 FP4 支持:TPU 首次引入 FP4 运算,突破内存带宽限制,在保持大模型低精度量化准确性的同时使 MXU 吞吐量翻倍。

    • ICI:TPUv8t 的 ICI 带宽提升 2x。从 TPUv7 中的 112G SerDes 升级到 224G SerDes,带宽翻倍,每个芯片带宽从 1.2TB/s 提升到 2.4TB/s。

    需要说明的时,Google 分享中 TPUv7(Ironwood)的 42.5 EFops FP4算力实际是 FP8 算力(没芯片 4616T,共 9216 芯片),所以 2.8x 的提升有点标题党。

    2.2 Virgo 网络拓扑

    TPUv8t 相比 TPUv7 的另一个核心突破是采用了 Virgo 网络拓扑(Introducing Virgo Network megascale data center fabric | Google Cloud Blog [2]),可以实现 4x 的 DC 网络带宽提升。

    Virgo 网络拓扑是面向现代 AI Workload 极端需求设计的 Scale-Out 架构。如下图所示,该网络基于大规模 Switch 构建,通过增加单 Switch Port 数量减少网络层级,采用扁平化的 2 层 non-blocking 拓扑架构。与传统 DC 网络相比,该设计可以最小化网络层级并显著降低时延。此外,还采用了多平面架构,图中数字 2 部分的不同颜色是不同的平面。Accelerator Rack 通过前端网络(Jupiter)接入计算和存储服务。具有以下优势:

    • 超大规模:Virgo 网络可以在单一架构中连接多大 134,000 TPUv8t 芯片,提供 47Pb/s 的无阻塞双向带宽,算力高达 160万 EFLOPS。

    • 跨代性能提升:相比于前代产品,TPUv8t 的带宽提升高达 4x,确保每个芯片都能充分发挥性能。TPUv7 每芯片 Scale-Out 带宽为 100Gb/s,TPUv8t  每芯片 Scale-Out 带宽提升到 400Gb/s。

    • 可预测的低时延:相比于前代产品,Virgo 网络可以为 TPUv8t 提供低 40% 的 unloaded fabric 时延。

    2.3 更快的存储访问

    Google 还在 TPUv8t 中引入 TPUDirect RDMA 与 TPUDirect Storage 技术。

    • TPU Direct RDMA 可以实现 TPU HBM 与 NIC 之间的直接数据传输,绕过 Host CPU 和 DRAM。这样可以降低时延并消除 Host 系统瓶颈,从而提升 TPU 间通信的有效带宽。

    • TPUDirect Storage 通过支持 TPU 与高速托管存储(如 10T Lustre)之间的直接内存访问,有效规避了 CPU 瓶颈,使海量数据传输带宽翻倍。芯片能够以链路速率接收训练数据,比如大型多模态数据集时,MXU 也能保持完全饱和状态。

    三、TPUv8i

    3.1 TPUv8i Chip

    TPUv8i 专为 Post-Training 和高并发 Inference 设计,其搭载了最大的 SRAM、新的 Collectives Acceleration Engine(CAE)以及专为服务优化的 Boardfly 网络拓扑。具体来说:

    • 大容量片上 SRAM(384MB):TPUv8t 的片上 SRAM 达到前代(128MB)的 3x,能够将更大的 KV Cache 置于芯片上,从而在长上下文 Decoding 阶段显著减少计算核心的空闲。

    • Collectives Acceleration Engine(CAE):为了解决 Sampling 瓶颈,TPUv8i 增加了 CAE 单元,可以实现近乎 0 时延的跨 Tensor Core 结果聚合。每个 TPUv8i 包含 2 个位于 Core Die 上的 TC,以及位于 Chiplet Die 上的 CAE,取代前代 TPUv7 Core Die 上的 4 个 Sparse Core(SC)。通过集成专用 CAE,TPUv8i 将聚合操作的片上时延进一步降低 5x。

    • SparseCore:相比 TPUv8t,去除了 SparseCore。

    3.2 TPUv8i Boardfly 拓扑

    3D Torus 结构可以连接数千个芯片,但是芯片间的跳数比较多,All2All 通信时延较高。为此,在 TPUv8i 中更新了芯片互连方式,如下图所示:

    • 图左 - Building Block(BB):对应一个 Compute Tray,包括 4 个 TPUv8i 芯片,通过 ICI 链路全互联;此外,还提供 16 个外部连接以支持更广泛的互联。

    • 图中 - Group(G):8 个 BB 构成一个 Group,共 32 个 TPUv8i 芯片。通过铜缆实现全互联,利用 11 个可用外部连接进行组内通信。

      • 黑色:8 个 TPU 全互联。每个 TPU 7 个连接。

      • 蓝色(#2):分成 4 组,每组的 2 个 TPU 有额外的连接(PS:4 个?)。

    • 图右 - Pod:36 个 Group 组成一个 Pod,共 1152 个 TPUv8i 芯片(最多 1024 个激活芯片)。36 个 Pod 使用 OCS(Optical Circuit Switche)实现全互联,确保任意芯片间通信的不超过 7 跳。

    如下图所示对应了最远的 7 跳,也就是跨 Group 的 TPU 通信。

    • Compute Tray(BB)内部最多 1 跳(1,3,5,7)。

    • Group 内部最多 3 跳:包括 BB 内部各 1 跳和 BB 之间 1 跳(2,6)。

    • Group 之间最多 7 跳:包括 Group 内部最多 3 跳和 Group 之间的 1 跳(4)。

    在 TPUv8i 中弃用 3D Torus 拓扑主要就是因为网络直径:

    • 在 3D Torus 中,节点以网格形式排列,每个维度均呈环形闭合。比如 8x8x16(1024 芯片)为例,数据包需要遍历每个环结构的一半距离才能到达最远芯片:8/2(X) + 8/2(Y) + 16/2(Z) = 16 跳。

    • 虽然 3D 拓扑很适合 Dense 训练场景中相邻设备通信的场景,但是在 All2All 通信中会产生非常大的时延开销。

    • 对于 Reasoning 模型和 MoE 时代,任意芯片都可能需要与系统内其他芯片交互以实现 Token 路由,此时跳数指标的优化至关重要。

    • Boardfly 借鉴了 Dragonfly 拓扑,通过增加 Group 之间的直连光学连接数量,可以实现更扁平化网络。对于 1024 芯片的集群,Boardfly 将跳数从 16 压缩到 7,可以实现更低的尾时延,确保 TPUv8i CAE 无需等待从远端传输的数据到来。

    四、参考链接

    1. https://cloud.google.com/blog/products/compute/tpu-8t-and-tpu-8i-technical-deep-dive

    2. https://cloud.google.com/blog/products/networking/introducing-virgo-megascale-data-center-fabric

    跳转微信打开

    Seed3D 2.0发布,更高精度、更强可用性

    2026年4月23日 12:23

    原创 字节跳动Seed 2026-04-23 12:23 北京

    几何及纹理材质生成均达 SOTA 表现

    高质量且大规模的 3D 内容正成为具身智能、工业制造等领域的关键基础设施,但此前方法生成的 3D 内容在几何精度、材质真实性等方面,仍难达到生产级要求。

    去年,Seed3D 1.0 探索了从单张图像到高质量 3D 模型的端到端生成,并在纹理生成方面取得突破。今天,我们正式发布更高精度的新一代 3D 生成大模型——Seed3D 2.0。团队围绕几何精度和材质质量对模型进行了架构升级,并拓展了 3D 内容的下游可用性,期望进一步推动 3D 生成迈向“生产可用”。

    在与现有 3D 生成模型的对比评测中,Seed3D 2.0 在几何生成、纹理材质生成两项核心指标上均取得 SOTA 结果。模型对复杂结构的还原更加精细,PBR 材质的生成也具有更强的真实感和稳定性。

    目前 Seed3D 2.0 技术报告已公开,API 也已上线火山引擎,可访问项目主页查看,欢迎体验和交流。

      项目主页:

      https://seed.bytedance.com/seed3d_2_0

      体验入口:

      火山方舟体验中心-登录-选择视觉模型-3D生成-Doubao-Seed3D-2.0

       1. 几何生成:引入两阶段 DiT,从结构合理到细节可靠 

      3D 内容生成的几何和纹理质量,是决定模型可用性的两大核心维度。其中,几何质量直接决定了物体结构是否合理,是区分生成内容“可用”与“不可用”的关键分水岭。在 Seed3D 1.0 中,模型需要同时完成“整体结构”和“精细结构”的生成,这种方式虽能较快捕获物体整体形状,但在锐利边缘和精细结构上可能存在“软化”现象,导致生成的边不够笔直、曲面不够精准。

      Seed3D 2.0 几何生成的完整流程

      Seed3D 2.0 的改进思路是,引入 Coarse-to-Fine 两阶段生成策略,把“整体结构”和“几何细节”解耦,分开优化,从而在锐利边缘、薄壁结构和复杂拓扑等几何生成难点上取得突破:

      阶段一:粗糙几何结构生成。模型利用更大参数规模的 DiT,基于输入图像生成粗粒度的几何结构,建立整体的拓扑关系和空间布局。

      阶段二:高精度细节生成。模型以阶段一的输出作为几何锚点,专注于锐利边缘、精细表面等细节恢复,其中引入两种关键先验:

      • 局部感知先验:将第一阶段的粗糙结果转化为隐变量,为后续的细节生成提供可靠的初始化输入,避免“凭空生成”带来的不稳定。

      • 体素化位置编码:在第一阶段生成的几何表面采点,并进行体素化处理,作为位置编码为模型提供空间位置约束。

      此外,Seed3D 2.0 在 VAE 侧做了同步升级,更少 token 即可获得更高的重建精度。通过增强局部区域的细节表达,并根据内容动态分配注意力,我们大幅提升了 VAE 模型的重建精度和推理效率。

      如下图所示,与现有主流 3D 生成模型的定性对比表明,Seed3D 2.0 在处理复杂结构的精细边缘、生成薄壁结构和还原输入图像方面明显优于基线方法。

      几何生成维度的定性对比

      此外,我们招募了 60 位具有 3D 建模经验的人类打分员,针对约 200 个测试用例,对 Seed3D 2.0 和六个主流模型的生成质量进行两两盲评对比。Seed3D 2.0 在几何形状生成的对比测试中展现出显著优势,相比所有其他 3D 生成模型呈现更高的偏好率(人类打分员认为其生成质量更优的比例),验证了架构创新带来的几何质量提升。

      在纯几何生成任务中,用户认为 Seed3D 2.0 相比主流模型更优的比例

       2. 纹理生成:统一 PBR 模型,从外观相似到物理一致 

      除了几何结构的精度,纹理材质的真实感也直接决定了 3D 内容的质量。尤其是在下游应用中,仅有 RGB 外观远远不够,完整的 PBR 材质才能确保 3D 内容在任意光照条件下保持物理一致的视觉效果。

      Seed3D 1.0 采用了级联式模型进行 RGB 生成和 PBR 分解,中间步骤的误差会逐级累积,影响最终材质质量。在 Seed3D 2.0 中,我们将其简化为统一的 PBR 生成模型,保持 MMDiT 双流架构,通过模态特定投影层,即可在共享 DiT 层中联合建模完整 PBR 贴图。

      Seed3D 2.0 的纹理生成流程

      我们在统一的生成架构基础上,还引入两项关键创新,实现了更高分辨率下的精准材质生成:

      • 采用 MoE 架构,提升高分辨率材质的细节与边界精度。Seed3D 1.0 受限于输出分辨率,难以保留材质分解中的细节,而直接扩大模型参数量和分辨率的计算开销过高。因此我们采用 MoE 架构,通过稀疏专家路由,在扩大模型参数量和分辨率的同时控制推理计算量,使模型能生成更丰富的纹理细节和更精确的金属-粗糙度边界。

      • 引入 VLM 先验,增强未知光照下的材质分解稳定性与准确性。从 RGB 图像逆向推导 PBR 材质是一个行业难题:相同的外观,可能由不同的材质与光照组合产生,模型推理时经常出现色偏、金属性误判等错误。为此,我们引入 VLM 模型对输入图片的材质类型和物理属性进行描述,并作为额外控制信号注入 DiT 中,让材质分解更加稳定且合理。

      纹理材质生成的定性对比中,Seed3D 2.0 在生成真实度、材质质量、视觉细节和文字渲染等维度上均优于基线方法。

      例如,在不锈钢锅这一物体上,Seed3D 2.0 的生成结果呈现出更接近真实的金属质感:表面反射具有一定粗糙度变化,并伴随轻微使用痕迹,高光分布自然,不同部位之间的材质表现保持一致。相比之下,其他方法易出现材质过于均匀或整体偏暗的情况,缺乏真实物体中的细微变化。

      纹理生成维度的定性对比

      在纹理 3D 内容生成的人类打分中,Seed3D 2.0 同样领先其他基线方法,面对目前行业内主流模型,Seed3D 2.0 的偏好率达到 69% 以上。

      在纹理生成任务中,用户认为 Seed3D 2.0 相比其他基线模型更优的比例

       3. Seed3D 2.0 下游任务探索:部件级生成与场景组合 

      在许多下游场景中,完整的 3D 物体需被拆解为功能性部件,例如在交互式系统中需要可独立操控的物体组件,仿真环境中需要可关节化运动的部件结构。因此,Seed3D 2.0 进一步拓展了建模的灵活性,可实现组成部件“分合自如”。

      部件级 3D 内容生成流程概览

      Seed3D 2.0 采用“先理解,再生成”的范式,将复杂的部件生成流程分解成两步:对生成的 3D 内容先进行部件级的拆分,然后补全每个部件的完整形状。

      首先,Seed3D 2.0 通过收集和标注大量特定的分割数据,来学习如何在 3D 数据上根据功能性等维度进行拆分。我们训练了 Seed3D-PartSeg 的 3D 理解模块,可对完整 3D 网格进行表面分割。在此基础上,Seed3D-PartDiT 进一步以全局 3D 形状、分割点云和图像为输入,训练生成网络,最终把表面拆分结果补全并组合为完整的部件化网格。

      如下图所示,一把椅子会被模型自动拆分为座椅、靠背和底座;机器人也被按照四肢等部位精细拆解。这种部件尺度下的表征,为后续的精细交互操作提供了基础。

      独立的部件需要正确的物理连接才能产生有意义的交互。因此在部件分割的基础上,Seed3D 2.0 进一步引入了关节化建模能力。

      这一过程融合了多模态理解与生成技术。模型首先利用 VLM 把部件拆分为运动学组件,并识别关节类型(如“可旋转部件”或“固定结构”),再结合几何先验估计关节轴位置。为确保运动的物理合理性,模型还引入图生视频模型生成运动参考,以优化关节部件的运动范围,最终模型可输出带有完整关节信息、以 URDF 等标准格式呈现的 3D 内容,实现与 Isaac Sim 等主流物理仿真引擎的兼容。

      真实的物理世界是由众多物体交织而成的,因此,Seed3D 2.0 还将单一物体生成能力拓展至场景生成。

      为实现合理的对象排列,Seed3D 2.0 选择根据不同的输入条件智能适配布局策略:对于文本输入,利用微调过的 LLM 进行空间关系推理和布局生成;对于多视角图片或视频输入,模型额外利用深度估计等视觉信号,以及实例分割和遮挡修复等能力,来推理场景空间布局。获取布局后,Seed3D 2.0 可以逐个生成 3D 内容,并按照空间关系进行组合,构建丰富且完整的场景。

      Seed3D 2.0 的仿真场景生成流程

      更进一步,结合前述的部件级生成与关节化能力,Seed3D 2.0 最终生成的场景不仅具有严谨的空间结构,其中的物体还可以被转化为支持物理交互的关节化 3D 内容,为下游的物理仿真场景奠定了基础。

       4. 总结与展望 

      Seed3D 2.0 在几何精度、PBR 材质质量以及下游可用性方面取得了显著进展。不过,3D 生成仍然面临一系列长期挑战:几何生成的精细度与泛化性尚有提升空间;纹理生成还存在遮挡与贴图误差问题;3D 生成模型的大规模应用受限于推理效率;3D 生成模型的落地场景还存在未知与探索空间。未来,我们会在这些方向上继续攻坚,推动 3D 生成技术在更多场景中规模化应用。

      阅读原文

      跳转微信打开

      被低估的变量:KV-Cache 驱动的 AI Infra 演进

      2026年4月22日 20:01

      原创 AI闲谈 2026-04-22 20:01 北京

      最近在看下一代 AI 数据中心的建设方案,在做建模规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而影响 AI Infra 的设计。

      一、引言

      最近在看下一代大规模 AI 数据中心的建设方案,比如 Vera Rubin NVL72/Ultra Rubin NVL144、LPX、CMX 等。在做建模和资源规划时,越来越强烈地感受到一个常被低估的变量:Agentic 应用的快速发展以及模型架构的持续演进,正在重新定义 KV-Cache 的规模、形态和传输方式,进而深刻影响 AI Infra 的设计边界。

      训练阶段决定了模型的能力上限,推理阶段尤其是 KV-Cache 的存储、加载、共享与路由越来越直接地决定了系统的成本结构、吞吐上限以及最终的用户体验。这个变化不只发生在模型层,也在服务架构、内存/存储层级、网络互联和机房规划层面同时发生。

      最近正好看到的一些和 KV-Cache 强相关的工作,本文中笔者从模型架构、应用场景和基础设施三个角度进行总结。本文除了讨论“KV-Cache 大不大”之外,也进一步讨论当 KV-Cache 的特性发生变化后,AI Infra 的服务形态和硬件选型会被如何重新改写。

      相关工作可以参考笔者之前的文章:

      二、不同模型架构

      2.1 Attention 机制

      2.1.1 Softmax Full Attention

      如下图所示,Attention 中影响算术强度和 KV Cache 规模有两个关键因素:Attention 里 K 和 V 被多少个 Q 共享,以及 K 和 V 是否共享(假设 FP8 格式存储,Hidden Dim 为 H,n 个 Head,Head Dim 为 d=H/n,GQA 中有 g 个 Group):

      • MHA:Q 和 K/V 对应关系为 1:1,每个 Token 每层的 KV 大小为 2H。

      • GQA:Q 和 K/V 对应关系为 gq:1(每个 Group 里有 gq 个 Q, g=n/gq),每个 Token 每层的 KV 大小为 2H/gq=2gd。

      • MQA:Q 和 K/V 对应关系为 hq:1(有 hq 个 Query Head,hq>=gq),每个 Token 每层的 KV 大小为 2d。

      • MFA:等效于 MQA,每个 Token 每层的 KV 大小为 2C(C 是隐空间维度)。

      • MLA:K 和 V 共享,每个 Token 每层的 KV 大小为 C+dr(C 是隐空间维度,dr 表示 RoPE 编码维度)。

      对于 Softmax 类型 Attention,总 KV Cache 大小与序列长度 S 和模型层数 L 成正比。也就是说, 在不做额外压缩或稀疏化的情况下,KV-Cache 大小可以写为(其中 B 表示数据类型字节数,FP16 为 2 Byte,FP8 为 1 Byte,FP4 为 0.5 Byte):

      S * L * (单层单 Token 的 KV-Cache) * B

      在 Softmax Attention 机制中,KV-Cache 的存储大小与 Decoding 阶段加载的 KV-Cache 大小相同。

      2.1.2 Sparse Attention - SWA

      滑动窗口注意力(Sliding Window Attention,SWA)的核心思想是:在做 Attention 计算时,当前 Token 不再关注之前的全部 Token,而是只关注一个有限窗口内的 Token。除此之外,可能也会关注额外的 Sink Token([2309.17453] Efficient Streaming Language Models with Attention Sinks [1])。以最基本的 SWA 为例,假设窗口大小为 W,则不论底层是 MHA、GQA 还是 MLA,KV-Cache 的有效存储和加载规模都会被窗口大小 W 所限制(存储大小和加载大小):

      S * W * (单层单 Token 的 KV-Cache) * B

      2.1.3 Sparse Attention - DSA

      DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

      • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache(存储和加载)。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

      • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

        • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

        • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

        • 计算复杂度为 O(K*L),大幅降低。

      • PS:由于 MLA Cache 的维度为 576,因此当序列长度大于 576/128*2048=9K 时,Indexer Cache 的加载开销反而大于 MLA Cache。

      在序列较长的情况下,DSA 可以显著降低 MLA Cache 的加载量和 Attention 计算量,从而降低 Inference 成本。但同时也要意识到,它是用索引阶段的额外开销去换取后续 Attention 阶段的降本。

      2.1.4 Linear Attention - GatedDeltaNet

      阿里在 Qwen3.5 系列模型中引入 [2412.06464] Gated Delta Networks: Improving Mamba2 with Delta Rule [3],同样可以大幅降低对 KV Cache 的依赖。GatedDeltaNet 层维护两个固定大小的 State(不随序列长度增长),以 Qwen3.5-122B-A10B 为例:

      • Recurrent State(主状态,DeltaNet 核心记忆矩阵):

        • Shape: (linear_num_value_heads, linear_key_head_dim, linear_value_head_dim) = (64, 128, 128) 。

        • 元素数:64 × 128 × 128 = 1,048,576。

        • 一般以 Float32 格式存储。

        • 每层的大小:1,048,576 × 4 bytes = 4 MB。

      • Conv State(卷积辅助状态,用于 gate/delta 计算前的 short conv):

        • Shape: (linear_num_value_heads × linear_value_head_dim, linear_conv_kernel_dim) = (8192, 4) 。

        • 元素数:8192 × 4 = 32,768。 

        • 一般以 Float32 格式存储。

        • 每层的大小:32,768 × 4 bytes ≈ 0.125 MB。

      2.1.5 Linear Attention - Lightning Linear

      蚂蚁在 Ling 系列模型中使用了 Lightning Linear Attention([2510.19338] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [4]),相比 GatedDeltaNet 更加简单,只用维护一个固定大小的 State(不随序列长度增长),以 Ring-2.5-1T 为例:

      • Recurrent State(主状态,核心记忆矩阵):

        • Shape:(num_kv_heads_for_linear_attn, head_dim, head_dim) = (64, 128, 128) 

        • 元素数:64 × 128 × 128 = 1,048,576 个元素。

        • 一般以 Float32 格式存储。

        • 每层的大小:1,048,576 × 4 bytes = 4 MB。

      2.2 Cache 大小

      基于上述分析,降低 KV-Cache 压力的思路基本可以归纳为以下几类:

      • MHA -> GQA:KV-Cache 规模会随 Group Size 增大而下降。MHA 可以理解为 Group Size 为 1 的特殊情况,MQA 可以理解为 Group Size = Head 数。

      • MLA:类似 MQA。

      • SWA:通过窗口限制,将有效 KV-Cache 的存储与加载规模控制在一个较小的范围内,可以忽略。

      • DSA:Indexer Cache 的维度更低,绝对规模更新,但依然无法忽略,并且并不会节约存储空间。

      • LinearAttention 系列:State 大小与序列长度基本无关,,Cache 很小,可以忽略。

      • Hybrid Attention 比例:Full Attention Layer 占比越低,整体 KV-Cache 压力通常也越小,比如 Ring2.5-1T 中,只有 1/8 层使用 MLA。

      结合下图中常见模型的 Attention 配置和 KV-Cache 大小,可以看出相对比较有优势的架构是:

      • MLA + DSA:DeepSeek V3.2 和 GLM-5.1。

      • Hybrid Attention:GQA/MLA(层少) + SWA/Linear(层多),并且 GQA 中要使用较大的 Group Size。 

      三、不同应用场景

      3.1 应用场景分析

      随着大模型能力的不断提升,其应用场景已经从简单的对话和 Offline Inference(Batch) 逐步演变为更复杂的 Agentic 工作流。不同场景对 TPS/User(Token 生成速度)的要求差异很大,而 TPS/User 又与并发度(Batch Size)密切相关。整体来看,TPS/User 要求越高,可承受的 Batch Size 越小,系统成本越高。

      如下图所示为不同场景对 TPS/User 的需求:

      Offline Inference:无实时交互需求,可最大化 Batch Size 提升 GPU 利用率。调度策略应当以吞吐优先,可容忍高延迟换取高总吞吐。

      • TTFT:不重要。

      • TPS/User:小于 20 Token/s 也完全可以接受。

      • 典型输出 Token 数量:和任务密切相关。

      Chatbot(Non-reasoning):有一定的实时交互需求,但通常满足人眼的阅读速度即可。

      • TTFT:可接受(<2s);体验良好(<1s);体验非常好(<0.5s)。

      • TPS/User:可接受(15-20 Token/s);体验良好(20-50 Token/s);体验非常好(> 50 Token/s)。

      • 典型输出 Token 数量:100-500 Token。

      Chatbot(Reasoning):增加了 Reasoning,输出 Token 数明显增加,不过用户往往对“深度思考”有更高的容忍度。通常来说,Thinking 部分需要适当快些,以便降低 E2E 时间,有效 Output 满足人眼阅读体验即可。

      • TPS/User:

        • Thinking 部分:50-100 Token/s。

        • Output 部分(用户可见):20-50 Token/s。

      • 典型输出 Token 数量:1,000 - 10,000 Token。 

      典型 Thinking 长度

      30 Token/s 等待时间

      100 Token/s 等待时间

      1,000 Token

      33s

      10s

      5,000 Token

      167s(较差)

      50s

      10,000 Token

      333s(很差)

      100s

      Voice Assistant:人听词的速度比阅读速度慢,但是端到端的链路比较长,包括 ASR -> LLM TTFT + 首句生成 -> TTS 合成 -> 播放。因为起始阶段需要快速填充 TTS Buffer,对  TTFT 和 TPS/User 要求较高,随后并不需要较高的 TPS/User。

      • TPS/User:

        • 起始突发阶段:50-100 Token/s。

        • 稳定输出阶段:15-20 Token/s。

      • 典型输出 Token 数量:50-200。

      Deep Research:多步 Agent 任务,需要多轮 LLM 调用 + 工具调用。用户通常预期会有较长的等待时间,对单次调用的 TPS 不敏感,但是也会期望总时间不要太长。

      • 总 Token 数量:10,000 - 100,000 Token。

      • TPS/User:50-200 Token/s

        • 200 Token/s 可以满足绝大部分需求,体验很好。

        • 100 Token/s 基本也都可以满足需求,体验不会太差。

        • 50 Token/s 极端场景下体验较差。

      典型 Thinking 长度

      50 Token/s 等待时间

      200 Token/s 等待时间

      10,000 Token

      ~3.3min

      ~0.8min

      50,000 Token

      ~17min(较差)

      ~4min

      100,000 Token

      ~33min(很差)

      ~8min

      Coding Assistant:和用户会有频繁的交互,对时延比较敏感,通常要求较高的 TPS/User。不过 Coding Assistant 也可以分为不同的子场景分别优化,比如行内补全可以采用较小的模型获得较高的 TPS/User;对话模式会有较多的有效输出 Token 数,TPS/User 要求也不会特别高;而 Agentic Coding 场景自会有非常高的要求,通常要求分钟级的输出,不过这种场景也可以将任务拆分,进而控制整体输出长度,将单任务 Token 总数控制在 10,000 - 100,000 Token。

      • 典型输出 Token 数量:10,000 - 100,000 Token

      • TPS/User:100-400 Token/s

        • 400 Token/s 可以满足绝大部分需求,体验很好。

        • 200 Token/s 基本也都可以满足需求,体验不会太差。

        • 100 Token/s 极端场景下体验较差。

      典型 Thinking 长度

      100 Token/s 等待时间

      200 Token/s 等待时间

      400 Token/s 等待时间

      10,000 Token

      ~1.7min

      ~0.8min

      ~0.4min

      20,000 Token

      ~3.3min

      ~1.7min

      ~0.8min

      50,000 Token

      ~8.3min(较差)

      ~4.2min

      ~2.1min

      100,000 Token

      ~16.7min(很差)

      ~8.3min(较差)

      ~4.2min

      大型 Coding 项目:对于一些中大型项目,代码行数甚至可达 50,000 行,假设每行平均 10 个 Token,则需要 500,000 Token,也基本达到当前常见模型的上限。即便不是这么大型的项目,也可能因为需要反复编写代码 -> 编译/测试 -> 修复异常循环,从而导致总 Token 数达到 128K - 512K。当然,该场景也可以通过子任务划分、压缩等发生降低单任务 Token 总数。

      • 典型输出 Token 数量:100,000 - 500,000 Token

      • TPS/User:

        • 1000 Token/s 可以满足绝大部分需求,体验很好。

        • 400 Token/s 基本也都可以满足需求,体验不会太差。

        • 200 Token/s 极端场景下体验较差。

      典型 Thinking 长度

      200 Token/s 等待时间

      400 Token/s 等待时间

      1000 Token/s 等待时间

      100,000 Token

      ~8.3min

      ~4.2min

      ~1.7min

      200,000 Token

      ~16.7min

      ~8.3min

      ~3.3min

      500,000 Token

      ~41.7min

      ~20.8min

      ~8.3min

      3.2 NVIDIA Rubin NVL72 + LPX 分析

      如下图所示,为 Vera Rubin NVL72 和 LPX 的各种适用场景:

      • Rubin GPU 采用 HBM,非常适合长上下文,高吞吐的场景,随着 TPS/User 要求的提升,TPS/MW 逐渐下降。

      • LPX 主要使用 SRAM,带宽非常高,很适合对 TPS/User 要求极高的场景。当然,由于 SRAM 容量有限,无法充分容纳高并发下的 KV Cache 和激活,导致即使 TPS/User 要求不高,其 TPS/MW 也不会特别高。

      如下图所示为 NVIDIA 提供的 Vera Rubin NVL72 + Groq 3 LPX 在不同场景下的吞吐:

      • TPS/User <= 100:Rubin NVL72 和 Blackwell NVL72 还能达到比较高的 Batch Size,TPS/MW 基本与算力呈正比。

      • 100 <= TPS/User <= 200:Blackwell NVL72 中 Batch Size 下降的更多,TPS/MW 下降的更快,Rubin NVL72 的优势开始凸显。

      • 200 <= TPS/User <= 400:TPS/User 要求非常高,Rubin NVL72 的优势非常明显,甚至 TPS/MW 达到 Blackwell NVL72 的 10x。Rubin NVL72 + LPX 的优势更加明显,甚至在 400 TPS/User 处达到 Blackwell NVL72 的 35x,是单独使用 Rubin NVL72 的 3.5x。

      • TPS/User >= 400:Rubin NVL72 + LPX 的优势非常明显。

      四、NVIDIA CMX

      4.1 概述

      NVIDIA 在 GTC 上也发布了其准备针对 Context Memory(KV Cache)的 NVIDIA CMX Context Memory Storage Platform [5],可以在 Rubin NVL72 Rack 的基础上额外扩展 CMX 存储 Rack。其定位可以理解为:在传统 GPU/HBM/SSD 层级之外,为 Context Memory 引入一层更明确的共享存储能力。主要解决以下问题:

      • 跨 Rack 共享上下文。

      • 减少重复 Prefill 和历史重算。

      • 支撑 SuperPod 级的 KV-Aware 路由。

      • 为长上下文与多轮场景提供更可控的共享 Warm Tier。

      • 将共享 KV 从传统共享存储中剥离出来,避免用远端存储承载活跃 Context。

      4.2 KV-Cache 存储层级

      如下表所示,CMX 相当于在本地 SSD(G3)和远端共享存储(G4)之间额外增加了专门针对 KV-Cache 的共享存储:

      • 整个 SuperPod 共享(比如 1152 GPU),空间远大于本地 SSD,小于 G4 共享存储。

      • 相比访问远端 SSD 的链路更短,时延更低。

      4.3 CMX 优劣势

      Agentic 和多轮对话场景确实大幅推高了 KV-Cache 的存储需求,但是正如前文的分析,当前一些旗舰模型也在架构设计上充分考虑了 KV-Cache 的存储压力,通过 GQA/MLA、Sparse Attention、Hybrid Attention 等方式显著降低了这一压力。

      对于真实的复合场景(序列分布不同、TPS 要求也不通)来说,长上下文需求本身未必一直占据很高的比重,更可能是一类长尾需求。

      既然可以通过 Superpod 感知路由来避免跨 Superpod 的 CMX KV-Cache 加载,那么同样也可以考虑通过 Server/Rack 感知路由来尽量避免 SSD 中的 KV Cache 在 Server/Rack 之外额外迁移,以更充分地发挥本地 SSD 缓存 KV-Cache 的价值。

      在需求尚未明确之前就额外采购 CMX,可能会造成采购预算的浪费。在一些情况下,把预算用于扩充更多 SSD 或 GPU Rack,反而可能更直接地提升系统整体能力。

      CMX 也会对机房建设带来额外挑战,如果提前购买,可能会出现预算浪费;如果后续再补建,又可能带来机房改造风险,比如供电、机架容量或布线方案不再满足要求。更稳妥的方式,往往是在机房初期规划时预留对应的扩展空间和条件。

      五、Moonshot Prefill-as-a-Service

      5.1 概述

      Moonshot 最近发布的 [2604.15039] Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter [6] 引起了不少讨论。它的价值并不在于模型结构或算法层面带来了巨大创新,而在于捕捉到了一个重要趋势:随着 Hybrid Attention 等方案让 KV-Cache 规模明显下降,异构 PD 分离在跨集群场景下开始变得真正可行。基于这个前提, 论文提出 Prefill-as-a-Service(PrfaaS)的思路:将长上下文 Prefill 选择性地卸载到独立的高算力集群,再把生成的 KV-Cache 通过普通以太网(前端网络)传回 Local PD 集群完成 Decoding。这样可以在一定条件下实现跨集群、跨机房、异构硬件解耦的 LLM Serving 架构。

      5.2 异构集群

      虽然 PD 分离刚出来时,很多人都鼓吹“异构 PD 分离”,但一旦进入到集群如何建设、如何互联、如何调度等具体问问时往往又哑口无言。核心难点在于,有几个问题并没有那么容易被真正解决:

      • 在 DC 建设时,通常不同类型的 GPU 是不同的集群,比如 A100、H100、B300、H20。

        • 一方面,因为它们的算力不同、后端网络不同、采购时间不同,在 PD 之前并没有太多混合调度的需求。

        • 另一方面,后端网络互联也会有挑战,A100 是 200Gb/s 网络为主,H100 是 400Gb/s 为主,而 B300 是 800Gb/s 为主。

        • 此外,后期搬迁重建也相对比较麻烦。

      • 不同设备的比例难以确定。

        • Workload 高度动态化,并且随时间和技术发展快速演进,比如短短半年时间,由于 Agent 的发展导致序列长度明显增加。

        • 模型结构的变种也很多,资源采购、机房建设的周期往往无法适应当前模型的快速演进。

      5.3 跨集群、机房

      跨集群的前端网络带宽通常比后端网络低得多。以 A100、H100 平台为例,前端网络带宽常见是 100Gb/s、200Gb/s 或 400 Gb/s,往往只有后端网络的 1/8 甚至 1/16。此外,前端网络通常会采用有收敛网络,导致核心链路更容易出现瓶颈。

      当前的 Hybrid Attention + GQA/MLA 等机制已显著降低 KV Cache 规模,也让 Prefill 和 Decoding 之间的 KV-Cache 传输量明显下降。如下图 Table 3 所示,更大规模的 Hybrid Attention 模型的 KV-Cache 反而比更小的 Dense Attention(GQA)模型小得多,甚至达到 10x 差距。这与我们前面的分析类似,也就为跨集群的 KV-Cache 传输提供了可行性。

      此外,也不是简单地把所有 Prefill 都放到高性能 GPU(比如 H100) 的 Prefill 节点上就可以。对于一些比较短的 Request,使用高性能 GPU 可能并不划算,再叠加跨集群传输延迟后,效果甚至可能不如直接由本地高带宽 GPU(比如 H20)节点处理。因此 Prfaas 的方案是将部分 Long Request 路由到 PrfaaS Cluster,而将 Short Request 和 Decoding 调度到 Local PD Cluster。如下图 Figure 3 所示:

      5.4 局限性和挑战

      PrfaaS 同样会面临一些现实挑战。如果把它放到真实生产环境中,前端网络除了承载 KV-Cache 传输外,还需要承载镜像下发、模型下发、用户 Request/Response 流量以及其他服务流量等。这些流量规模往往并不稳定,要么难以预测,要么需要做 QoS 隔离。如果处理不好,就可能污染 KV-Cache 传输路径,从而把压力传导到第二 Token 甚至后续 Token 的生成时延上。

      六、其他工作

      6.1 Google TurboQuant

      前段时间 Google 的 [2504.19874] TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate [7] 也在社区中引起广泛讨论,甚至被炒作为“可以大幅降低存储需求”,引起存储厂商大跌。

      实际上,TurboQuant 确实提供了进一步降低 KV-Cache 的可能,但其可带来的降幅并没有想像中那么大。在尽量保障精度的前提下,比较理性的压缩比例为 2x(8 bit -> 4 bit),远小于模型结构优化带来的提升幅度。

      6.2 MSA: Memory Sparse Attention

      在 [2603.23516] MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [8] 中,作者提出 Memory Sparse Attention(MSA),一种端到端可训练、兼顾效率与大规模可扩展性的 Memory 模型框架。通过可扩展稀疏注意力架构、文档级 RoPE 等核心创新,MSA 在训练和推理阶段均实现线性复杂度,同时保持精度稳定性。

      论文结果表明,当 Token 从 16K 扩展至 100M 时,性能衰减幅度低于 9%;此外,结合 KV Cache 压缩与推理阶段的 Memory 并行机制后,可在 2 张 A800 GPU 上完成 100M Token 的推理任务。

      然而,该方案也有相应的局限性。一方面,它需要对模型做额外训练或至少做较多架构级适配;另一方面,它的适用场景也更偏向文档问答、长文总结等 memory-centric 任务。

      七、总结与判断

      KV-Cache 已经不再是一个单纯的模型实现细节,而是正在成为连接 “模型架构” 与 “Inference Infra” 的关键中间变量。模型层对 KV-Cache 的重构方式,会直接决定 Inference 系统对 HBM、DRAM、SSD、前后端网络以及路由调度能力的需求结构。

      模型越是能在架构上降低 KV-Cache 的存储与搬运成本,AI Infra 层的约束就越少,系统设计的自由度也越高。这也就意味着,未来的竞争重点不只是 “更大的 GPU” 或 “更高的带宽”,而是 “模型结构优化 + Serving 系统设计 + 硬件层级协同” 的联合优化。

      • 从模型趋势看,GQA/MLA、Sparse Attention、Linear Attention 和 Hybrid Attention 都在把 KV-Cache 从“必须累积增长”变成“可被结构性控制”的对象。

      • 从系统角度看,KV-Cache 规模下降并不只意味着存储成本下降,更意味着 Prefill/Decoding 分离、跨集群传输、异构调度等方案开始具备更强的落地可能性。

      • 从应用角度看,不同场景的核心矛盾并不相同:有些场景要吞吐,有些场景要 TPS/User,还有一些场景要的是总任务完成时间。因此,不应该使用单一指标去诜明所有 AI Infra 的价值。

      • 从硬件选型看,HBM GPU、DRAM、本地 SSD 以及类似 CMX 的中间层,未来更可能是长期共存而不是单一方案 “通杀” 所有场景。

      • 短期内最值得关注的,依然是 “模型端先把 KV-Cache 做小”。这会比 “在 Infra 层直接为大 KV-Cache 堆资源” 更具有普遍性,也更容易在多种场景下复用。

      • 从中长期看,真正的差异化优势可能来自 “KV-aware 的系统设计能力”:谁能在模型、调度、网络、存储和机房层面同时做联合优化,谁就更容易在下一轮 AI Infra 竞争中占据优势。

      • AI Infra 演进中的不确定性是最大的确定性,不说前提条件的结论大概率是忽悠。

      八、参考链接

      1. https://arxiv.org/abs/2309.17453

      2. https://arxiv.org/abs/2512.02556

      3. https://arxiv.org/abs/2412.06464

      4. https://arxiv.org/abs/2510.19338

      5. https://www.nvidia.com/en-us/data-center/ai-storage/cmx/

      6. https://arxiv.org/abs/2604.15039

      7. https://arxiv.org/abs/2504.19874

      8. https://arxiv.org/abs/2603.23516

      跳转微信打开

      超级个体的个人英雄主义,在企业里可能是一场灾难

      2026年4月22日 19:04

      原创 李志飞 2026-04-22 19:04 北京

      真正的破局,是换一套系统——一套从第一天起就为多人协作而设计的系统。

      最近这段时间,很多 CEO 都在焦虑同一件事。

      朋友圈、科技媒体,每天都有新案例刷屏——

      某个程序员一个人用 Claude,做出了以前需要一整个部门才能完成的产品。

      某个设计师用 AI,一周交付了以前要三个月的工作量。

      某个创业者独自一人,用 Cursor、OpenClaw、Claude Code 把完整的 SaaS 产品做出来上线,从零到收入,全程没有雇一个人。

      超级个体的故事,听起来像科幻小说,但已经是每天都在发生的现实。

      于是,几乎每一家公司的 CEO 都做了同一个动作:

      组织全员学 AI 工具。

      Cursor 要用,OpenClaw 要用,Claude 要用,各种 AI 助手全上。目标只有一个——把每一个员工都培养成超级个体,让每个人都能一个人顶一个部门。

      但这里有一个问题,很少有人认真想过:

      公司花了真金白银培养出来的超级个体,真的能让公司适应这个 AI 时代吗?

      今天市面上几乎所有主流的 AI 工具——Cursor、OpenClaw、Claude Code——本质上都是为个体设计的。它们在本地运行,上下文只属于一个人,天然地把工作方式从在线拉向离线,从组织拉向个体。

      这些工具不只是工具,它们在塑造人的工作方式。用久了,你会习惯一个人掌控全局,习惯所有东西都在自己手里,习惯不需要跟任何人对齐。工具和人的习惯互相强化,最终造就了超级个体——一种在个体场景下极度高效、但天然不适合组织的工作形态。

      一家公司全力推动员工用这些工具,其实是在花钱把自己的组织一点点瓦解——从在线变成离线,从团队变成一个个孤立的个体。

      这件事,需要高度警惕。

      一、超级个体很强,因为上下文完整、一人掌控全局

      超级个体能做到一个人顶一个团队,秘密只有一个:上下文完整。

      从产品 Idea 到技术实现,从商业化路径到推广策略,所有的思考都在同一个脑子里。当他们把任务交给 AI 时,AI 拿到的是完整的意图、完整的背景、完整的判断标准——不需要猜,不需要等,直接端到端地把事情做完。

      多个 Agent 协作时,共享同一套文件和上下文,没有权限边界,没有信息孤岛,摩擦几乎为零。自动化任务把每天的工作流串联起来,整个节奏像一台精密运转的机器,一个人就能驱动。

      这套工作方式,正是被那些个体工具一点点塑造出来的。工具天然地把一切设计成围绕一个人运转,人用久了,也只会用这一套。在一个人掌控全局的场景里,集中就是效率——这不是工作风格,这是最优解。

      但这套最优解,有一个隐含前提:只有一个人。

      二、但规模化必然是多人的事,组织需要的是"可被协作的能力"

      不需要交接,不需要解释,不需要对齐——因为所有的上下文都在同一个脑子里,不存在"传递"这件事。一个人的时候,这是最大的优势。

      但规模化的产品不是一个人的事。产品经理、工程师、设计师、运营——不同工种之间要流转,不同工程师之间要接力。这时候,单人模式最大的优势,恰恰变成了最大的障碍。

      一个人用 Cursor 或 OpenClaw 在本地写代码,离线就够了。但当另一个工程师需要接手,当产品经理需要知道进度,当运营需要理解产品逻辑——所有东西都锁在一个人的电脑里,对其他人来说就是一堵墙。

      组织需要的不只是能力,而是可以被协作的能力。文档要共享,上下文要可传递,权限要有边界,工作流要对多个角色透明。超级个体那套"一切聚在一处"的模式,放进组织就行不通了。

      那实际会发生什么?

      三、超级个体带着个体习惯进入组织——三输

      把超级个体放进一家公司,然后什么都不变。

      他依然用自己的方式工作——所有东西围绕自己运转,提交代码是为了给自己备份和管理多个 Agent,文档是自己看的,工作流是为自己设计的。他不是不努力,他只是在用他最熟悉、最高效的方式工作。一切都是为了自己,不是为了协作。

      但对同事来说,这是一场噩梦。看不到他在做什么,接不上他的节奏,摸不透他的逻辑。每一次协作都是一次消耗。

      对他自己来说,同样痛苦。公司的流程、审批、会议、对齐——每一个环节都在拖慢他。以前一天能交付一个产品,现在一周开了五个会还没动工。

      对公司来说,结果也难看。一个能力极强的人,产出远低于预期,团队的协作秩序也因此更加混乱。

      三输。超级个体痛苦,团队痛苦,公司也没拿到它想要的价值。

      但这还只是表面。习惯可以慢慢改,人可以慢慢适应。真正难解的,是工具本身的设计逻辑——它从一开始就没有"多人"的概念,带进组织,结构性的摩擦根本无法回避。

      安全和权限

      超级个体习惯把数据库密码写在 Skill 里,API Key 硬编码在脚本里。作为个体,这没什么问题,但一旦这些 Skill 需要共享给团队,密码和凭证就随之暴露——谁能看到这个 Skill,谁就能拿到这些权限。

      文件系统

      很多个体 AI 工具根本没有项目隔离的概念,所有人共用一套文件系统。A 改了一个文件,B 不知道,又把它改回去了。两个人同时操作,互相覆盖,谁也不知道哪个版本是对的。

      自动化任务

      超级个体喜欢用 Cron Job 把任务串起来,让多个 Agent 按顺序读文件、写文件、触发下一步。在组织里,文件系统是大家共用的,他的自动化任务在后台悄悄跑着,其他人完全不知道——直到发现自己的数据被改了,或者任务跑出了奇怪的结果。

      跨项目的上下文与记忆

      在组织里,同一个人往往同时参与多个项目。A 项目里积累的讨论、决策、背景知识,哪些应该让 B 项目的人也能用到?哪些又只属于 A 项目,不该外泄?共享边界划错了,要么信息孤岛,要么信息泄露,两个方向都是麻烦。

      根源就在这里:工具为个体设计,塑造了个体的工作习惯,两者互相强化。把这套东西带进组织,摩擦是必然的,越到后期越难收拾。

      问题清楚了,那出路在哪?

      四、组织本身必须彻底变——不是优化,是重构

      很多人看到这里,第一反应是:那让超级个体改改习惯不就行了?

      不行。习惯是工具塑造的,工具不变,习惯就很难真正变。而且更根本的问题不是人,是组织结构本身——传统的那套,在 Agent 时代已经彻底失效了。

      传统企业的底层逻辑是:人是执行单元。所以要分工,要工种,要线性工作流——产品经理写需求,交给设计,设计交给工程师,工程师交给测试。每一次交接都是信息损耗,整条链条又慢又脆。

      但如果 Agent 是主要的执行者,这套逻辑就彻底失效了。

      你不再需要那么多工种

      产品、设计、工程、测试——很多以前必须由专人承担的工作,Agent 可以直接完成。组织不再需要靠堆人来堆产出,而是靠少数人高质量地指挥 Agent。你需要的,是公司所有成员都具备一个人全栈指挥 Agent 的能力。

      你不再需要线性工作流,你需要的是原型工作流

      不是一个环节交付完才开始下一个,而是让 Agent 一次性端到端把原型做出来,然后再去迭代完善。Agent 可以并行,可以随时拿到完整上下文重新执行,"等上一个人交付才能开始"的串行模式,在 Agent 时代是一种主动降速。

      你需要扁平、精简、多人协同指挥 Agent 的组织

      不是一个超级个体单打独斗,而是多个人围绕同一套系统并行推进,每个人都能直接对 Agent 下指令、拿结果、做决策。

      这是一次真正的组织变革,不是优化,是重构。那些还在用旧组织架构套新 AI 工具的公司,迟早会发现:工具换了,但瓶颈还在。

      因为瓶颈从来都不是工具,而是组织本身。

      但光靠组织变还不够。组织变了,用的还是那套为个体设计的工具,协作的问题依然解决不了。人和工具,必须同时换。

      五、破局不是改变人,而是换系统

      真正的破局,是换一套系统——一套从第一天起就为多人协作而设计的系统。

      这套系统的核心逻辑只有一个:多个人一起协作,共同指挥 Agent 干活。

      多个人坐在一起,不是来分工执行的,而是共同指挥 Agent。超级个体依然可以是主控,发挥他的全局视野和驾驭 AI 的能力;其他人不再是被他甩开的旁观者,而是真正参与进来的协作者,在跟 Agent 的协作中,能力也在成长。

      当超级个体发现,有更多人加入之后不是被拖慢,而是更轻松、产出更多——他才会真正理解协作的意义。这不是妥协,是杠杆。

      三输变三赢。超级个体解放了,团队有了真正的参与感,公司也拿到了结果。

      当然,要把这件事真正做好,远比说起来复杂。多个人同时指挥同一个 Agent,消息怎么流转?谁的指令优先?什么时候该人来决策,什么时候交给 Agent 自动执行?文件系统、权限、上下文——在多人场景下,每一个细节都需要重新设计。这是一个真正意义上的人机协作系统,没有捷径。

      这些问题,后面会有专门的文章来讲。

      我们做的 CodeBanana,正是为这件事而生。

      目前,CodeBanana 已开放企业客户申请,欢迎体验:

      跳转微信打开

      2026 年做搜索就是做 Agent Memory

      2026年4月22日 14:30

      原创 Jina AI 2026-04-22 14:30 新加坡

      “大家今天还用 grep+md 做记忆召回,说明我们几年来语义搜索就没做好”

      4 月 18 日,Elastic 中国 AI 搜索技术大会在北京召开。以下内容整理自 Elastic 全球副总裁肖涵,原 Jina AI 创始人兼 CEO 在会上的演讲。肖涵讲述了 AI 搜索的发展历程以及为什么说在 2026 年做 AI 搜索基本就是在做智能体记忆 (Agent Memory)。本文以第一人称呈现。

      欢迎大家来到 Elastic 第一次在中国办这么大的技术研讨会。我是肖涵,北京人,大家可以先放松一下,欢迎来到我的家乡。

      先简单介绍一下自己,以及我和 Elastic、尤其是和搜索的一些渊源,也帮大家回忆一下搜索这些年的发展。

      我最早接触搜索是 2009 年,在惠普实验室(HP Labs)实习,拿 Lucene 做分词,做信息抽取。那时候叫 IE,不是 Internet Explorer,是 Information Extraction。还做了一些 LDA、主题模型这类东西。2009 年贝叶斯那套非常火,跟今天 Transformer 的地位差不多。

      后来我去德国读博,做的就是贝叶斯机器学习。等我 2014、2015 年博士毕业出来,发现贝叶斯没什么人搞了,大家都在用 TensorFlow 做深度学习。又过了几年,Transformer 出来,把深度学习的架构统一了。

      2018 年我回国,在深圳腾讯 AI Lab 做了两年搜索,做的是微信"搜一搜"背后的多模态和中文搜索。2020 年疫情的时候出来创业,成立了 Jina AI,专门做多模态搜索。

      当时我立的 flag 是"颠覆 Elastic"。结果绕了一圈,2025 年 10 月被 Elastic 收购了。现在我在 Elastic 担任全球副总裁,专门负责 AI,主要是搜索底座模型的研发。

      今天要讲的主题是智能体记忆。

      先问一下在座有谁用过小龙虾?举个手。嗯,量不小,一看就是在中国,大家都很爱学习。那用过超过一个月的?少一些。超过两个月的?更少了。

      那我相信大家都遇到过一个问题:用这类智能体,用一两次是尝鲜,但当你用了一周、两周之后,你是希望它越来越聪明的,随着你用它越久、它越记得住你的事。可惜目前这套记忆机制很不完善。

      智能体记忆的痛点

      讲一个两周前我自己的真实例子。

      我跟小龙虾说:"我之前做了一个 911 的图表,你发给我一下。"911 是保时捷的一款跑车。然后它(我给它起名叫"小牛马")跟我说没找到,问我 911 是指恐袭还是别的东西。

      我当时第一反应是模型降智了,或者被 fallback 到什么垃圾模型上去了。我特地查了一下,发现跑的是 Claude Opus 4.6,当时最好的模型。不是模型的问题。

      那我就开始 debug。我问它:你刚刚用的什么搜索?怎么判断你记忆里没有这件事的?

      它说它用了 Grep 做关键词匹配,又用 Memory Search 做向量语义搜索,把 Memory Markdown、Session Log、文件系统都扫了一遍。

      方法上看着没问题。那接下来 debug 的点就是:你到底用的什么 Query?

      它告诉我,第一次的 Query 是 911 chart graph visualization。它不知道 911 是什么,直接把我的中文翻译成英文去搜了,发生了一次 multilingual query 的转译。第二次更离谱,Query 变成了 September 11th chart visualization Twin Towers attack,直接搜成恐袭了。

      这两个 Query,我的记忆库里当然都找不到。

      后来我换了一个说法,"帮我把 992.2 的图表发给我"。992.2 是 911 这代车型的代号。一下就找到了,3 月 29 号做的。

      所以就算你记忆系统整条链路都对,只要第一步 Query 构造错了,整个检索就是废的。而且这种事情从我 1 月份开始用到今天,一直在发生。

      记忆,是今天 Agent 的一个很大的痛点。

      回顾搜索的发展脉络

      我们回顾一下,搜索是怎么走到"做智能体记忆"这一步的。

      2009 年刚做搜索的时候,关键词就是 BM25、TF-IDF、倒排索引,Lucene 背后那套东西。

      2015 年之后,向量搜索逐渐进入视野,最早是 Spotify 搞过一个,名字我都快忘了,然后是 Facebook 的 Faiss,Milvus,Elastic,这是第一批把 Vector Search 做出来的。但大家很快发现向量搜索也有问题:速度是一个,过度召回是另一个。向量搜索有个毛病,就是哪怕 Query 和文档完全不相关,只要分数差不多它就召回了。关键词搜索会零召回,向量搜索太柔,语义上都太柔化。所以后来大家把两者结合,做混合搜索。

      2018 年 Transformer 统一了深度学习架构,BERT 成为把文本编码成向量的标配。

      2022 年 11 月 ChatGPT 发布,RAG 起来,搜索和生成越走越近。我 2022 年写过一篇小随笔,搜索是过拟合的生成,生成是欠拟合的搜索。它们俩其实是对偶的。

      2025 年还有一个时间点。春节前正月初一,DeepSeek 发布了 R1,非常火。它那套 reasoning 加 test-time compute 的范式让大家意识到,搜索可以边搜边 reasoning,再不断搜,最后生成一份很长的报告,这就是 Deep Research。2、3 月份 Google、OpenAI、Perplexity 都在做,包括后来做得比较好的 MiroMind。

      2026 年呢?自从 OpenCloud 发布之后,大家对 Agent 的期待变了。不再是生成一份报告就结束,而是希望我一旦启动这个 Agent,它能连续干三四个小时,没人管、没人介入,它自己在那跑。

      Jina AI by Elastic 搜索底座三件套

      Jina AI 从 2020 年成立到现在六年,做的事情一句话讲完:我们在做搜索的底座。我们在观察这条进化路线上哪些东西是不变的。最后沉淀下来三套模型,Embedding、Reranker、还有一个 Reader (或者叫 Small Language Model)。

      Embedding 大家都知道,就是向量,把文本或者图片转化成向量,然后用 cosine 余弦距离去匹配。

      • V1:默默无闻。

      • V2:2023 年 10 月发布,在海外引起了比较大的轰动,因为当时它是第一个开源的、支持 8K 上下文的模型,你能一次编码 8000 个 tokens,是第一家做开源长文本向量模型的,当时都是英语。之后我们还有很多双语版本。

      • V3:我们把所有双语版本都砍掉统一,重新训练了一个多语言的 embedding 模型。到现在仍然非常好用,在 Hugging Face 上月下载量大概在 500 万。

      • V4:2025 年发布的一个多模态 embedding 模型,可以同时编码图片和文本。有人说多模态模型 CLIP(OpenAI 的 CLIP)2022 年就搞了,你 2025 年才搞一个多模态的模型?其实它俩不一样。CLIP 用的是对齐训练,而 V4 的多模态是一个真正的多模态,它把图片拆成小的 patch,和语言一起放到一个大的语言编码器中编译成向量,而不是像 CLIP 那样有一个图片模态、一个文本模态,然后两个模态之间对齐。

      • V5:我们今年在加入 Elastic 之后,和 Elastic 一起研发的向量模型。V5 的性能和大小非常好。我们发布了两个版本:一个是 V5 text Nano,只有 2.39 亿参数;一个是 V5 Small,6.77 亿参数。相对于 V4 的大小(38 亿),小了很多。当然 38 亿对于大语言模型来说只是非常小的 toy example,但对于搜索任务我们要求的是快,在快的基础上做到精准。v5 的特点就是参数小,但性能强。

      可以看到即便我们现在用更小的模型,其实可以达到更高的性能。V5 目前是文本领域做多语言搜索能够做到最好的。可以看到它是一个 Frontier model(前沿模型)。

      放到 Pareto Frontier(帕累托前沿)上看,横轴是参数量,纵轴是任务分数,越靠左上越好,V5 目前在最左上那个角上。它是文本领域多语言搜索目前能做到最好的前沿模型。这个模型已经被 SIGIR 2026 录取了。

      另一个我们做的是 Reranker。重排器有些人不太理解:我都有 Embedding 做语义搜索了,为什么还要 Reranker?你一次排好不就完了?

      Jina Reranker v3: 全新“列式”重排器,0.6B参数刷新文档检索SOTA

      原因是搜索是一个多层级联的 Pipeline。到最后一步,我们希望更细致地挖掘 Query 和候选文档之间字和字级别的相似度,也就是 token level 的语义匹配。Embedding 是把整篇文章压缩成一个向量,压缩过程必然有损失;Reranker 保留了每个 token 上的向量,因此可以把 Query 的每个 token 和 Document 的每个 token 两两对比。它的计算量比 Embedding 大,但粒度也更细。

      Jina Reranker V3 是第一个真正意义上的长文本重排器,支持 131K 上下文,这篇工作获得了 AAAI 2026 FrontierIR Workshop Best Paper。除此之外我们还有一个 m0 版本,做多模态重排。

      Jina Reader 相信很多人在用 Agent 的时候都碰过。对很多人来说,Reader 甚至比我们的模型更出名。这个今天下午 Reader 的作者会专门上台讲,我就按下不表。Reader 为什么是永远的神,YYDS。

      长时程任务与智能体记忆

      回到智能体搜索、长任务这件事。刚才说了 Deep Research 是 2025 年的一个重点,它就是一个 Loop。Agent 就是一个 Loop,在三个状态之间循环:Search、Read、Reason。

      2026 年今天讨论最多的、你去问智谱、MiniMax 这些厂商,PR 稿里必提的一个词就是:他们的模型如何支持 long-horizon task。长时程任务,就是 Agent 能自主运行多长时间,三四小时、三四天没人管它还能接着干。有个叫 METR 的 Benchmark专门衡量每一个大模型放在一个环境中自主解决任务的最大时间长度。目前大约是 4 到 5 个小时,这个趋势在不断上升。

      你让一个 agent 工作 4 个小时,中间它要搜索几百次、读几百个文档、在失败路径上回退几十次。这些经历不可能全部塞进 context window。它必须有一个地方去存、去查、去更新。

      逻辑就很清楚了:当 Agent 的目标变成长时程任务,持久记忆就不再是可选项,是命门。

      记忆该如何表征?

      这就引出了很多问题。最基本的问题就是:记忆该如何表征(representation)?

      很多人忽视了在机器学习里最大的一个问题,其实不是方法,而是表征。机器学习的顶会之一 ICLR 的全称就是 International Conference on Learning Representations,表征学习国际会议。顶会以"表征"命名,你就知道这个概念在整个 AI 领域的位置。

      我们用了很多年才发现,BERT 是对语义的一个非常好的表达,它给"一段文本应该长什么样"这件事找到了一个好的 representation。当表征就位。Vector Database 才成立。向量数据库存的就是这种表征。

      所以当我们要做智能体记忆,第一个问题不是"用什么数据库",而是:记忆的 representation 到底是什么? 基于这种 representation,我该怎么去做 CRUD?

      一条聊天记录,一个事实三元组,一张知识图谱?还是一段向量,一个时间戳+事件对,还是模型权重本身?不同的答案,会催生完全不同的系统。这也是今天智能体记忆领域最混乱的地方,大家在不同的表征上各自开工,谁也说服不了谁。

      而且即便选定了表征,还有三个问题要回答。

      第一:基于这种表征。怎么做 CRUD,这是做数据库的人熟悉的。第二,如何在不破坏对话效率的前提下,把知识从对话里抽出来变成可检索的资产。这件事要难得多,因为对话是实时的,提取是有成本的,抽多了慢,抽少了漏。第三,也是我自己最在意的。记忆能不能跨模型迁移?

      我今天用智谱,明天我不粉了,变黑粉了,投奔 MiniMax,我希望我的记忆能搬过去照常运行。所以记忆应该和上层模型解耦。

      我们今天从生物学的角度强行关联一下,看一下人是怎么完成记忆的。大家知道这是什么吗?这是刀盾狗(Doge),现在非常火的一个生物。

      人脑的记忆是分层的。当一个新概念进来,先有视觉输入,前额叶皮层判断值不值得记,海马体负责编入,睡眠会强化记忆,最后它变成一种长时程的技能,重新烧录到新皮层。

      我们可以强行做一个映射。我说两次"强行",是因为 我本人并不太赞成把人脑的东西硬搬到 AI 上,碳基和硅基的运行方式可以完全不一样。但如果强行对应:海马体对应 RAG 的实时检索,新皮层对应微调或预训练模型,前额叶就是当前的 Context Window。

      什么时候该忘?选择性遗忘

      讲智能体记忆还有一个特别重要的问题:什么时候该忘?

      举个例子,我第一次用小龙虾的时候,把我六年创业的事一口气全喂给它。结果它经常把我六年前想过、早就放弃的一个事情拿出来问我。但人是会变的,有些事我忘了,有些事我不做了。

      这个问题其实 Andrej Karpathy 有一段很精准的描述。他说:现在我们看到的 agent 系统都有一个最致命的问题,就是它不会选择性遗忘。

      如果系统不做选择性遗忘,最后一定是乱的。大脑不遗忘会超负荷;Agent 不遗忘,也会被自己的历史拖垮。

      目前 Agent 记忆有几个缺陷:一是遗漏,就是 911 那个例子;二是失真,也就是幻觉(hallucination);三是幻觉继承。

      这时候会有一个非常有意思的事情:冷启动悖论。反而是当你用一个新模型或新 agent 的时候,感觉会非常好,因为你知道这是一个全新的 agent,对它的期待非常低,所以用起来还挺顺手。而当你使用时间越来越长的时候,你期待这个 agent 变得越来越好,但它并没有,因为它的记忆体设计得非常差。这就导致它的用户留存时间会非常短,用户对 AI 的信任被长期蚕食。整个行业的节奏被记忆这件事拖住。

      市面上智能体记忆产品的分类

      我梳理了一下,目前做智能体记忆的产品,开源加闭源至少有十几家。再加上老牌数据库公司 PingCAP(做 mem9)、Milvus 也在做,以及平台内置的方案:ChatGPT 的用户记忆、Claude.ai 的知识库、Claude Code 和 Codex 的文件系统。

      这么多产品,怎么区分它们?我用一句话概括:Source of Truth 在哪? 这是区分所有记忆产品的第一性原则。沿着这个原则,可以分成三大类:

      第一类是数据库派,向量数据库、SQL、Key-Value 存储。对话经过 LLM 抽取 facts,存进向量库或图谱,检索时注入上下文。结构化程度高,查询效率好,但"一条记忆应该长什么样"这件事由 schema 锁死,灵活性有限。

      第二类是文件派,Markdown、纯文本。Agent 读文件、工作、写回文件、不断累积。优势是透明可编辑、可版本化,缺陷是文件会膨胀,需要 intelligent forgetting。代表是小龙虾、MemSearch。

      第三类是模型派,真相就是大模型权重或上下文本身。模型自决定记什么、忘什么、整合什么。优势是零配置、自适应,缺陷是完全黑盒、不可审计。代表是 Letta、ChatGPT。

      我们刚才看到三大类别,目前所有记忆体基本可以按这三类划分。当然还有一些结构化存储、扁平化存储、主动管理和被动管理,这可以从另一个坐标轴对所有产品进行分类。

      行业共识:主流的记忆工作流

      虽然流派不同,但主流工作流有高度共识,我稍微总结了一下,我们今天看到的大部分智能体记忆框架基本上都 follow 这个工作流:

      1. 从聊天记录中,通过大模型提取事实或记忆结构

      2. 将这些记忆结构:

        • 要么转化成 向量

        • 要么转化成 知识图谱

        • 要么用一些 时序数据库(时序非常重要,因为就像我刚才说的,你需要选择性遗忘)

      3. 基于时序数据库、知识图谱和向量库做混合检索

      4. 检索完之后你还无法直接呈现到上下文中,要解决两个问题:

        • 冲突:当检测出两个记忆相互矛盾的时候,该怎么解决?

        • 随时间的衰减:旧记忆权重怎么降?

      大部分主流框架基本 follow 这个设计理念。当然并不是每一个框架都采用所有技术,有些只选择做几个,有些则全链都做。

      小龙虾记忆结构详解

      既然现场这么多人用过小龙虾,我们具体拆一下它的结构。它是典型的文件派。

      它的真相源是一个 memory 文件夹,里面按天组织 Markdown 日记。另外有一份 memory.md 主文件,存长期记忆,包括用户画像;还有一份 soul.md。存它自己的"灵魂画像",也就是它对自己是谁、自己怎么做事的内部表征。

      从这些真相源派生出两个索引:SQLite FTS5 做 BM25 关键词检索,LanceDB 做向量检索。在索引之上做混合检索,用 RRF 融合、MMR 去重、再加时间衰减。对外暴露两个接口:memory_search 和 memory_get。

      在此之上,它还模仿了人类的睡觉习惯:有深度睡眠、浅度睡眠、REM(Rapid Eye Movement,快速眼动)。在这三个基础上设置一套机制。 

      这些是仿生学的概念,总体来说它设置了一套机制,能保证不是每一条记忆都完全被升级到长期记忆上,而是通过设置阈值、判断条件来提升一部分记忆。

      模型派:真相在模型里

      除了文件派,还有模型派。这是我个人比较看好的方向。 也许到某个点,大家发现 Transformer 架构本身就把记忆问题解决了,直接 The bitter Lesson,力大出奇迹。

      目前已经看到这个趋势,比如千问 3.5 的 MoE 模型已经可以扩展到 1M token,在一个 24G 显存的 GPU 上可以流畅运行。如果我的全部记忆能被压进或者直接装进 1M 窗口,那我就不需要分层设计了,直接用模型本身做召回。

      还有一家公司是 EverMind AI,他们最近把上下文推到了 100M token,你可以直接在 KV cache 中存 100M token。他做这个事情是因为:如果不做特殊的架构处理,上下文越长召回质量越差。所以 EverMind 这家初创公司在 Attention 机制上做了特殊设计,搞了一个叫 MSA(Memory Sparse Attention,记忆稀疏注意力) 的东西,保证它在超长 100M 上仍然有非常好的召回效果。

      Benchmark

      学术圈对智能体记忆已经做了不少 benchmark,我简单点一下。这个很重要,我们做一个任务的时候,和民科最大的区别就是:我们要跑 Benchmark,验证完效果才去说这个东西有用。

      目前主要的数据集有 LongMemEval(500 问,测五大能力:信息提取、多会话推理、知识更新、时序推理、安全拒答)、MABench(ICLR 2026,测精确检索、测试时学习、长程理解、冲突解决)、MemoryArena、LOCOMO、EverMemBench(首个多方协作基准,100 万 + tokens)、清华的 MemoryBench(首个用户反馈持续学习基准)。

      目前在做记忆体测试的时候,这些是主流的 Benchmark。大家可以发现:上下文越长,记忆体效果越差;多会话推理、冲突解决目前都是非常难的问题。

      Evermind 还提过一个我觉得特别有意思的问题:今天我们讨论的记忆,不管是小龙虾还是别的,都假设 Agent 是一个一对一的个人助理,这是相对简单的场景。但如果把 Agent 丢进一个群聊里呢?它该记谁的?怎么分别记每个人的? 所以记忆的未解决问题还非常多。

      这里列出一些关键论文。

      我们看今天的 RAG(包括混合召回)之所以不够用,是因为它本身没有状态、没有层级,至少在做 embedding、做 keyword search 的时候,它并不包含状态,也不包含时间关系。它是一个非常扁平的召回模型,所以这种模型并不擅长做记忆。这已经是目前的共识,所以才有很多图数据库、时序数据库想介入进来一起把 agent 记忆模型做好。

      基础设施构建

      如果我们今天看所有的智能体叙事框架,底层一定要有:

      • 向量检索(必需),尤其是 多语言向量检索,比如刚才 911 的事情,中文需要翻译成英语,不能说中文搜不到英语的内容。跨语言搜索能力一定要有。

      • 重排器和 Reader:可能需要,有时可能不需要。

      在此之上有存储和搜索,包括 Elasticsearch 中的向量数据库。可以看到 Jina 和 ES(Elastic)基本上包含了整个搜索的底座。

      另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

      能力

      Jina + Elastic 怎么覆盖

      向量语义检索

      Jina Embeddings v5(677M / 239M)

      BM25 关键词搜索

      Elasticsearch 原生支持

      稠密 + 稀疏混合

      Elasticsearch 原生 RRF

      精排重排序

      Jina Reranker v3(131K 上下文)

      网页和文档理解

      Jina Reader

      多模态向量化

      Jina Embeddings v4(文本 + 图像 + PDF)

      元数据和多租户

      Elasticsearch index / alias

      目前 Elastic 还没覆盖的,是知识图谱遍历,以及如何把大模型放到架构中做事实抽取(extraction)。

      Hot Take

      1. 统一范式还没出现。 我在做智能体记忆调研的时候发现:其实统一的范式并没有形成。有些人从仿生学角度看这个问题,有些人从自己的使用习惯、工作效率上看这个问题。这非常像 2017 年 Transformer 没出来之前的深度学习,百花齐放的状态,包括 CNN、RNN、LSTM,这些东西百花齐放。

      2. 纯文本派是躺平。不想构建任何模型,也不想构建任何仿生学层级,基本靠 grep、keyword search。这几年 search 发展太快了,从 RAG 到 deep research,很多人已经疲惫到说:"反正一切终究会被大模型吃掉,那你又何必去奋斗呢?反正到最后你就躺三个月,没准大模型出来就已经把这个实现了。" 我个人认为这是一种躺平,这种想法是有一定天花板的,而且天花板是显而易见的。

      3. Unlearning 是一笔多年的技术债,该还了。 目前所有系统都是只增不减,实际上是一笔技术债。我当时做机器学习的时候,2009 年大家就讨论过机器遗忘(Machine Unlearning):怎么把已经训练的、已经学到的东西忘掉?一个现实类比就是"刷抖音这号废了,重新开号吧"。推荐系统一旦被污染就无法恢复,本质就是它不会遗忘。智能体记忆面临完全一样的问题:噪声一旦写入,就永久污染所有后续检索。

      4. 推荐系统会因为智能体记忆重新火起来。智能体记忆的核心是个性化:记住用户偏好、行为模式、历史决策。这跟推荐系统做了二十年的事完全一样。小红书、抖音、淘宝这些推荐系统做得好的公司,凭借经验和先天优势,可能会在这个智能记忆体的时代发挥出来。

      这就是我今天的演讲。希望对大家有所帮助,也希望让大家对智能体记忆的发展脉络和未来走向有了一个整体的认识。

      另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

      谢谢大家。

      图片

      跳转微信打开

      ❌