铃阅时讯
❌

阅读视图

【闭门会预告】对话二姐:产品做出来了,然后呢?

张泓 2026-05-11 14:22 北京

以下文章来源于:MindCode

MindCode

你很有眼力,这是多位大咖关注的小众公众号,跟你聊:机器AI、人类心理,创业、产业,成事心态

按:“MindCode 闭门会”是MindCode仅限进群粉丝参加的直播会议,5月11日(周一)21点,第48期,直播没有回放。

本次闭门会主题:好的产品就一定卖得好吗?好产品和卖得好之间还差什么?

我们将邀请前IBM、京东产品经理,公众号【产品二姐】主理人姬阁阁(二姐) 来跟大家一起交流。

听过很多做产品的故事,会有一种天然的错觉:只要产品做得足够好,后面的路自然就通了。

但现实是,做得好与卖得好之间,存在巨大的鸿沟。它不完全取决于你做对了什么,还有大量的偶然、时机和复杂的内外因素。

二姐和搭档花了大半年做了一款出海产品,该做的都做了,结果却和预想的不太一样。她是少数愿意把这样经历打开来讲的人,这在当下,十分难得。

今晚,她将分享那些做完之后被重新理解的东西;那些出发前深信不疑、走完之后发现要打个问号的判断;以及那些只有真正走过这条路,才会浮出的认知。

她有一句话很打动我,她说,分享这些并不是想表达做产品的悲观态度,而是一种接纳,接纳这是个“常态”,不意味着未来我们就不能做,不去做,做不成了。

对了,我们还请了赵君一同加入,他之前来闭门会分享过自己的产品开发和商业化经验。两个处于不同切面、带着不同真实体会的人坐在一起聊产品,你应该很难在别的地方听到。

欢迎你来。

特别说明

闭门会不是宣讲会、讲座。它没有 PPT,没有精心准备,它是大家一起交流碰撞,激发企图心和行动力的地方。

互动要求

谢绝仅仅带着“听”、“学习”心态的人参会,无论是谁,欢迎开麦。

一句总结

更重要的一点,你需要在会后将你的一句话总结发到你所在的 MindCode群里,也许两周后你已经忘记了大部分内容,但那一句话是你自己的结晶,相信我,你会一直记得。

价值反馈

此外,每个人的一句话总结我们都会同步给嘉宾,因为这对他们相当有价值。

报名方式

为保证小规模、私密性,关注👇本公众号,在聊天窗发送数字 1 ,进群,群里会发会议链接。

注意1,之前已进群的朋友,不用重复上述操作,届时你所在群会收到会议链接。

注意2,你应该先读读MindCode的文章,觉得不错,再顺带参加它的闭门会。

注意3,闭门会免费,每期限额100人,企图心俱乐部成员可优先入场,如果你对某期闭门会特别感兴趣,建议提早进入线上会议室占座,否则哪怕报了名,也可能因为会议室爆满无法参会。

MindCode闭门会没有回看,偶有简略总结,以下是其中两期的总结,大约还原了现场1%的精彩:

对话赵君:每周工作5小时,实现自动盈利,独立开发者“不内卷”出海心法

对话蔡欣:当大模型击穿知识供应链,“书”还会存在吗?

关于MINDCODE

文兄是谁? 科技领域连续创业者,目前在AI+心理领域创业,中美几家AI公司的CEO心智与战略教练,原阿里巴巴早期移动端核心产品负责人。

MindCode是什么? 一个小众公众号,日常短篇+偶尔深度长文。关注AI、脑科学、心理学、创业。因在多领域深入思考,关注者中不乏顶级牛人。MindCode企图心俱乐部正在招募中。

🔗 点击下方链接,了解和加入企图心俱乐部👇

已有不少人加入了MindCode企图心俱乐部,评价很好。

跳转微信打开

  •  

独家对话姚顺宇:请允许我小疯一下

原创 张小珺 2026-05-11 11:01 浙江

再说一次,这是个集体主义的事。

作者:张小珺

姚顺宇戴了一副茶色眼镜走过来,这副眼镜会随光线变化而改变颜色。

硅谷AI业界有两位Yao Shunyu,他们曾是清华同一届毕业生,这让姚顺雨与姚顺宇时常成为话题人物。

前一位姚顺雨2025年从OpenAI跳槽到腾讯,他去年来过我们节目;后一位姚顺宇也于同年跳槽,从Anthropic来到Google DeepMind。

这位姚顺宇毕业于清华和斯坦福大学,曾经的研究方向是理论物理——非厄米系统、量子物理与高能物理。他的人生奋斗姿态是——“总想挑战一些自己不太会的事”。

他人生最大的一次跨步是博士毕业,毅然决然离开深造9年的物理,来到崭新的AI行业。过去两年,他先后在Anthropic和Google DeepMind出任研究科学家,参与了Claude 3.7、4.5、Gemini 3等关键模型的开发过程。

姚顺宇一点也不nerd。有时,他会令你猝不及防,突然发表一点“小疯”言论。

第一次见面,他就对我说:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”

转行AI的两年,他变得越来越直接,越来越不害怕得罪人。访谈中,他也说了一些直白言论:

  • “AI个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢。”

  • “没有哪个老登是你的亲属,所以你觉得他傻,他就是傻,就可以直接说他傻。无所谓的啊。(笑)”

  • “现在大家都是冲浪的人,本质上是那个浪,而不是你那个冲浪的人。”

  • “AI这个事,本来也不太需要脑子——真的不太需要脑子——我觉得都是一些本科生就能干的活。这个行业最重要的特质,就是靠谱,就是做事细,对自己做的事情负责任。”

  • “你不用太担心因为自己的观点而惹到什么人。只要你的观点是自洽的,不是说随便喷人,你是有一套自己的理解。最终你在这个领域做的怎样,是有客观评价标准的——大家是会尊重你的。”

不过,不要误会他是一个不谦虚的人。在描述自己的研究时,姚顺宇显得异常审慎。

他对于这些工作的描述是:“我自己对那个事没那么重要,更多的是,我很幸运,有机会在那个时候加入了一个重要的项目,做了一些事。”

他反复强调,AI个人英雄主义的时代已经过去了,现在都是集体主义的故事,要对神话个体的一切叙事充满警惕。

我们的节目录制于2026年3月,距离我们这次节目录制完,世界又发生了许多意想不到的变化:Meta对Manus的收购被撤销、Cursor可能被SpaceX收购、xAI将终止独立运营并入SpaceX,并更名为SpaceXAI等等。如果我们的谈话内容有一定滞后性,请大家多包涵——AI的世界实在变化太快、太出乎意料了。

可能还要特别说明的一点是,技术细节会涉及企业机密,有一些嘉宾是不方便分享的,也请大家能够包容。

在访谈中,我们尽最大可能和大家一起学习AI。你会收获姚顺宇在Anthroic和Google Gemini的技术探索历程与思考洞察。

而对于那些离经叛道的微小片刻,还请允许我们小疯一下。

友情提示:文字内容大约只占完整内容的1/3,如果要获得完整版,请观看我们的视频播客或收听播客,你一定会收获更多惊喜!

完整的播客将于小宇宙、苹果Podcast等全音频平台播出;播客视频将于Bilibili、小红书、视频号等全视频平台播出。

以下是我们的访谈节选。

01

“他回去之后,我们也经常打电话”


张小珺:AI业界不是有两个姚顺宇/雨吗?你要不要先给大家介绍一下你自己,并且给大家科普一下两个姚顺宇/雨的区别?

姚顺宇:我叫姚顺宇,显然也有一个跟我几乎同名的朋友(姚顺雨,腾讯首席AI科学家,前OpenAI研究员)。我们俩主要履历也有一些overlap(重叠),看起来非常难以区分。

我以前是做学物理的,本科在清华,那时做凝态理论,后来去斯坦福做理论高能物理。离开斯坦福之后去伯克利,短暂待了两个星期的postdoc博后,就离职了,去了Anthropic。在Anthropic待了一年,去年9月底、10月初加入了Gemini。

如果大家非要区分,最大区分就是,那个顺雨,一开始一直是做CS,计算机相关;我从某种意义上是半道出家,之前做理论物理为主。

张小珺:你们是不是好朋友?好像大学就认识,而且是一级的。他是一个什么样的人?你是一个什么样的人?

姚顺宇:我们本科就认识,因为我们本科在清华是一级的。他一开始就学计算机,在姚班,计算机科学实验班;我学物理,在机科班。后来他去了普林,我去了斯坦福。

这也是另一个有点令人费解的点。在普世世界,觉得斯坦福应该是学计算机的人该去的地方,普林斯顿是学物理的人该去的地方。但我俩正好反过来。哈哈。也可能产生了一些费解的事。

我俩还真的挺不一样。他是一个比我有趣的多的人,我从他身上能学习到一些和我很不一样的点。比如在AI方面,他花了很多时间思考人和AI的交互、一些产品的事。对我来说,是一个很不一样的朋友,我也从他那学到很多。

张小珺:你们之前在硅谷多久见一次面?你们现在是不是还频繁打电话?有多频繁?

姚顺宇:我们在硅谷见面确实挺频繁的,每几个星期吧。但好像见面是为了凑一块玩。哈哈哈。

真的就是纯玩。可能出去散散步,扯扯有的没的。有时候吃个饭,打个牌啊之类的。哈哈,他回去之后,我们也经常打电话。

张小珺:最近一次电话聊啥了?好像就是前一两个星期。

姚顺宇:啊,你怎么知道的?(狐疑脸)

可能会过几个月,catch up一下大家的近况吧。

张小珺:他是不是多次想把你拉过去?

姚顺宇:可能有这个意思吧(笑)。但是,我觉得不关键。哈哈哈。

多半是我自己的原因。去年八九月我离开Anthropic,决定要去哪,最大动机是我想学一些不一样的东西。对我来说,我没有更着重去考虑领导一个项目。我更多是,想优先去学习一些东西,我选择去了Gemini。

02

“为什么要把自己的时间浪费在伺候老登身上?”


张小珺:你本科读量子物理、博士读了高能物理,物理对你的帮助是什么?

(此处省略了姚顺宇在物理上的科研探索,完整内容请大家看视频播客或者听播客:)

姚顺宇:本科读物理最大的帮助是:第一,想问题要想清楚。读书不在于读的多,而在于读的深。读的多,不代表你能发现新东西。但如果你对一件事有和别人不一样的见解,那才是对社会来说更有价值的事。

另一件事是,别太相信纯理论。因为当时能做数值,是因为数值和理论对不上,才仔细研究那个问题。

博士去读了高能物理,这就回到了说——总爱挑战很难的事,有时候也会带来一些不好的结果。我感觉,我这个博士对自己学到很多东西、成长很大;但于这个世界,没有产生什么贡献。哈哈。

高能理论这个方向,足够难,非常非常难。但它不好的在于,不是特别可以验证,没有什么客观评价标准。因为高能理论已经发展到了实验完全追不上的阶段。

张小珺:那这个学科是怎么进步的?如果不是实验,它的进步依赖于什么?

姚顺宇:一个进步来源,来自于数学的自洽性。

比如,你提出一个框架来描述这些事,那你能和现有的已被验证的更低能标下的理论相自洽。比如说研究弦论,自然大家问题就是,弦论能不能在低能情况下回到量子场论,进而回到经典物理。

这个自洽性是一个判定方法,是很合理、科学的。当然也有一些不科学的因素,当这个领域完全没有实验、没有客观标准,肯定不会只有一个自洽框架出现。

这时候谁做的好、谁做的不好,就依赖于领域内一些老登的主观判断。

张小珺:你是被谁伤害了是吗?(笑)

姚顺宇:我也没有被谁伤害,只是在那个领域待时间越长,就越觉得这件事蠢——人这一辈子也没多长,为什么要把自己的时间浪费在伺候老登身上?

张小珺:所以是花了5年学习了很多知识,买了一个大教训。这个教训是——要做实验?

姚顺宇:要做有比较客观评价标准的事,要做对这个世界能够产生影响的事。

张小珺:你本科是比较顺利的,在量子物理这个研究领域,很快就有了非常好的学术成果,而且是范式级的变化。但你迅速觉得没有吸引力了,在博士挑战一个更难的事情。但在博士期间是比较落寞的。

姚顺宇:至少从结果来说是这样的。哈哈哈。

张小珺:外界看不出来,外界看都是非常光鲜的履历。

姚顺宇:对,从实际科研产出来说,没有人会说我博士期间的文章不好,但摸着良心说,对这个世界有多大的影响?我觉得几乎没有——没有影响,几乎为零。

对我自己来说,我自己很不满意的啊。但也没有不满意到,我会担心有人说我在混日子。确实也没在混日子,还是能达到所有外界标准。

张小珺:这是怎么做到的?——所以说,很多事情是冷暖自知对吧。

姚顺宇:达到外界的标准,或者达到一个小的圈子的评价标准,像训练模型一样。一旦有了这么一个小的圈子,你知道他们的评价标准之后,做得好是很容易的。哪怕不认可这个标准,你是可以达到的。

张小珺:有时候哪怕内心不认可,也可以蒙蔽自己继续往前走。

姚顺宇:但我后来发现我蒙蔽不了自己,骗不了自己。

博士最后两年,就会有这样的感觉。但那时确实也没想清楚,如果不做这个该去做什么?

比如说,一开始更多是去了解量子计算或者量子信息。拿了postdoc offer之后,感觉更紧急。在学校,还可以一个学生的心态。离开学校之后就是自己的career(事业),得给自己找一条路。

当时觉得,量子计算和AI是两条给小登机会比较多的路。

博士后,我到伯克利待了两三个月,官方说就只待了两个星期——我入职之前已经去那了,反正就在湾区嘛。但入职之后,只待了两个星期就辞职了。

我本来不准备入职,但伯克利人就是太好,说:没事,等事情定了再说,能来多久就得来多久。

张小珺:你告诉他们你在跟Anthropic谈?

姚顺宇:我告诉他们我可能会去做AI了,要不就别入职了。

不止伯克利,湾区这两个学校的老师都人很好,很照顾你。觉得你还没有完全谈定,还是先把工作拿着。

张小珺:物理对你后来做AI有什么帮助吗?

姚顺宇:硬实力上没什么帮助。纯工具性的技能上来说,从物理到AI的转化,是非常非常少的。但非要问的话,可能是性格吧。

做物理的人会更想刨根问底,更想理解一个事儿,更想做事很系统。因为习惯了这种很系统性的,不管是做实验的方式,还是做理论的方式。但这也不是做物理人独特的。

为什么做计算机的人没有这个特性呢?我认识很多做计算机的人,也有这个特性。很多学化学的人也有,学生物的人也有。所以不觉得它是做物理独特的。

但事实上,语言模型这种比较large scale(大规模)的AI,确实有很多物理出身的人,做的很成功。尤其Anthropic这个公司。

03

“智能涌现,这个话本身就不太科学”


张小珺:很多人在描述这一代AI的时候,会说是黑盒,你能用科学的角度来理解一下这个黑盒吗?

姚顺宇:这世界上所有东西都是黑盒。

哪怕像物理这种。不管是量子力学,还是量子场论,都是描述那个能标下的行为。本质上这个系统还是一个黑盒,你还是不知道它最微观的地方是什么样的动力学。

AI也是一样,黑盒不黑盒,都是相对的。我们对语言模型的理解,确实没到神经科学手术刀那个级别——不是说能理解到,这个行为是由哪一个neuron、哪一个人工神经元的哪一个激发产生的。没有到这个层面。

除非在一些很稀疏、很小的网络里,像Anthropic那个Interpretability(可解释性)团队,可能会做一些类似的工作。但在实际能用的语言模型里,都没达到这样的理解。

但也不代表完全没理解。比如Scaling Law,它就描述了那个尺度下,模型随着大小和数据量,是怎么在perplexity(困惑度)这个指标下变得越来越好的。

所以是完全没理解吗?如果Scaling Law不算是理解的一小部分,那是不是我们也说,对这个世界也完全不理解?这个世界也是一个完全黑盒。

张小珺:所以Scaling Law是一种科学规律?

姚顺宇:它是一种经验规律。但经验规律和科学规律之间的界限很模糊。

热力学那些定律——第一定律、第二定律、克拉伯龙方程——当年被发现的时候,也都是经验规律。后来随着时间发展,慢慢知道了微观机制,就变成了科学规律。

Scaling Law目前肯定还是很经验,但未来当技术变得比较固定,大家越来越多理解它微观过程的时候,会不会变成科学规律?如果这个定义存在的话,是有可能的。

张小珺:能不能用科学的表达来解释一下,“智能涌现”?

姚顺宇:这个话本身就不太科学,自然也没法用科学的话来表达一个不科学的事。

智能涌现,对我来说,它更多是一种主观的感觉,而不是客观现象。

很多人说智能涌现的时候,脑子里想的是,以前的语言模型只能做某一个方向的事,比如只能翻译、只能做分析。但现在模型好像,哎,可以做所有的事了。

但这个事,对我来说更多是一个技术上的涌现,而不是行为上的涌现。是我们通过研究,发现了该怎么去做这种大规模的训练,能够水平的提升所有能力。这才是更本质的事。

至于智能涌现,每个人心里的定义都不太一样。

张小珺:你的定义是?

姚顺宇:对我来说就是没定义。

唯一质的区别就是,有没有发生一个技术上的改变,使得我们可以做scale up,可以水平的提升所有的能力。这对我来说,是一个良好定义的事。

张小珺:你最后是在量子计算和AI之间选择了AI,这是怎么发生的?量子计算好像离你的研究主线更近一些?

姚顺宇:好处是他们都给年轻人机会。

这就是为什么要去了解细节。了解之后发现不是,是反过来的。量子计算的主要瓶颈在实验上。不是怎么设计算法或者算子,更多是怎么在实验上实现它。那个事反而是我不擅长,和我过去很多有兴趣的事比较不相关。

跟我相关的反而是AI。更多是你有一个想法,可以用一些数值去验证。这个数值在AI里面,可能就是训练一个模型。这和做物理很像。

为什么我一直爱把这个和18世纪的物理学做比较?它更像那个时代的物理。那个时代理论和实验不分家,没有什么理论物理学家、实验物理学家,你就是搞物理的。你自己可以做实验,也可以做理论推测。AI就有点像那个时代。

张小珺:你之前说现在从事AI研究像17世纪从事热力学研究,其实在表达:虽然大家没有办法很清晰从科学上去解释和理解这件事,但并不会阻止它发展。

姚顺宇:对。为什么比较那个时代的热力学?那个时代大家不理解什么是热的微观理论,不知道热是什么东西。

就像现在,大家不能理解language model(语言模型)里,哪一个矩阵元是在干什么。但是不妨碍你有好的经验定律,比如热力学的各种定律,和现在的各种Scaling Law。从这个角度来说,它是类似的。

从研究人员的角度,就是刚才说的另外一个问题:理论和实验不太分家。

04

“实行top down有一个很难的点,就是你做技术的决策人,必须也得是公司的决策人”


张小珺:你在Anthropic的历程是怎么展开的?

姚顺宇:主要还是有前同事在Anthropic。哈哈。

Anthropic有很多做物理出身,尤其是做理论物理出身的人。

张小珺:他们从人的选择上,为什么会倾向于选择这一波人?

姚顺宇:当然很多人可能会找一些原因说:做物理的人擅长这个或者擅长那个。但就我个人视角来看,主要原因还是connection,就是联系。

Anthropic的创始团队里,当时有三四个比较技术的人,其中有两个现在还在技术一线领导的,都是做物理出身。他们可能招的一些人也是做物理出身,就这样一直延续下来。

但到现在这个阶段,在我之后,几乎没怎么再招完全没有AI背景的人了。所以是一个时代的产物。

姚顺宇:你只找了Anthropic吗?

张小珺:没有,我还找了OpenAI和GDM,就Google DeepMind。

但Google DeepMind那时候速度太慢了。哈哈哈,最后没有出现在考虑范围内。后来Gemini获得了长足的提升,动手非常快。

Anthropic是因为当时联系了,后来我的第一任manager,第一任经理,他以前也是做理论物理的。他当时说:我们在尝试做这种大规模强化学习,有很多科学问题要去理解。那时候24年八九月的时候。强化学习还没有像现在这么成熟。

那时候大多数人都不太知道怎么做,因为o1还没发布呢。

那时候o1只是,大家都知道有,但是都还没看到结果。Anthropic当时不知道怎么做的——大体上知道,但是有很多细节需要仔细去研究。

他说:哎,有这么一个事,你要不要来面试一下?

我觉得:哎,可能是一个好的机会。

张小珺:你当时怎么认知强化学习啊?

姚顺宇:没认知,哈哈哈。

大概知道pre-train、post-train这个流程,但不太知道具体工业级别的语言模型是怎么训练的。只能知道学术界是怎么训练的。

更多还是,当时觉得这是一个不确定的事,是一个好的机会,就去干了。当然也有些面试的准备和面试过程。

面试题也不太难,反正,哈哈哈。但对我来说,当时也不知道怎么准备。就去把我能找到的那些课,自己能学的学了一遍,能做的作业做了一遍。自己手搓了一套,Andrej Karpathy有一个著名的项目,叫nanoGPT还是叫什么。手搓了一下那个,就去面了。很快拿到了offer。

姚顺宇:你在Anthropic的第一个方向是大规模的强化学习?

张小珺:有两个组的manager来跟我聊。一个是做evaluation,就是模型评测;另外一个是做强化学习。我选择了强化学习。

那时候,Anthropic也不像现在是一个大公司了,公司很小。

我去的时候,我们那个大的team才只有10个人,或者11个人。

张小珺:大team叫什么?

姚顺宇:叫Horizon。那个大team后来几乎是,强化学习的方方面面都在这个team了。

底下也有更做数据的组,更做环境、infra和基础设施的组,也有更做research和算法的组。我去的那个组,是比较偏research和算法的组。

张小珺:那时候Anthropic多少人?你一进去对这家公司印象是什么?

姚顺宇:七八百的样子吧总共。

我对Anthropic的印象还是挺consistent(一致)的。进去之后,这家公司的印象就是执行力非常强。它是一个比较top down(自上而下)的公司。很多事情决定了之后,就会全力去做。

员工之间的氛围也很好。大家都不会藏着掖着。

尤其刚去时候很小,大家都认识,氛围很好。如果是做语言模型相关的事,现在回头来看,那是一个非常非常好的学习机会。你能够接触到这个模型训练的方方面面,都能找到对应的人去问。

张小珺:那个时候的Anthropic已经有了现在我们都知道的,那个非常坚定的bet了吗?(bet coding)

姚顺宇:有的。

张小珺:这个bet来自于哪里?为什么会有这个bet?

姚顺宇:我不知道它完全的来源在哪。我自己能看到的一个显然的来源就是,前一代模型Claude 3放了之后——Twitter上那时候可能还没叫x呢——Twitter上有很多人在讨论说:Claude 3好像写code比GPT-4强啊。

那个年代,GPT-4是一个和大家gap很大的模型。能有一件重要的事比GPT-4强,就很厉害了。

张小珺:所以是试出来的?

姚顺宇:至少是其中一个原因。就是很快的对这个市场做了反馈。

这也是我觉得这公司很强的一点,它execution执行力非常非常强。一旦给它一个信号,让它觉得是很reasonable(合理的)、这公司该做的事,那就会铺上去。它没有那些大组织那种冗余。

张小珺:为什么它的coding定会比GPT-4要好?

姚顺宇:不能说,哈哈哈。

张小珺:哦,是有原因的。

姚顺宇:是有原因的。是一个纯技术原因。

但是,确实,我不能确定一开始是随机试着的,还是故意选择的。你要让我猜,我肯定会觉得是随机试着的。

张小珺:哦,纯技术的原因,是有某个人做了某个事情?

姚顺宇:是确实有某一个团队做了某个事情。

张小珺:是自上而下的,还是自下而上的?

姚顺宇:最开始可能是自下而上的,但是后来就变成了一个自上而下的事。

张小珺:就是要快速捕捉到一些内部和市场的信号,赶快要扑上去。

姚顺宇:对。这是Anthropic非常非常强的一点,它非常非常的reactive,反应非常快。

张小珺:它执行力来自于哪里?来自于Dario这个人?来自于他的某种特质?

姚顺宇:我感觉,Anthropic作为一个公司来说,它能够实行这种,就是比较top down的机制,是一个很独特的事。

实行top down有一个很难的点,就是你做技术的决策人,必须也得是公司的决策人。

首先,你技术上得能服众,才能够信服下面的研究员去做这个事;另一方面,你得是公司的决策人,你得能为这个公司负这个责任。

Anthropic有这个条件就是,它的技术上的领导人,其实是公司的cofounder。

就是像Jared Kaplan和Sam McCandlish,他们俩就是公司cofounder——他们自己做这个决定,那是人家的公司,他有权利做这个top down的事。

张小珺:Dario作为CEO,他会say yes和no吗?

姚顺宇:我不知道他们决策层的讨论里面,哈哈哈。我只能说,就技术leader是有决定权的。对我当时的工作来说,我接触的最多的就是Jared。

张小珺:这对于其他模型公司很难吗?

姚顺宇:很难。比如说OpenAI就干不了。

张小珺:Ilya在的时候难道不行吗?

姚顺宇:Ilya在的时候有可能可以。但是Ilya后来一方面,我也不知道因为什么原因,他好像就是失去了这个做决策的能力,然后他就走了。

张小珺:其他公司呢?

姚顺宇:其他公司我觉得都比较难。

Gemini也比较难。但我觉得Gemini是另外一套打法,不太一样。

就是说,大公司和startup,打法本来就不一样。因为startup重要的是make bet,就是我得赌一件事。我如果想要赌,就意味着有风险。就意味着,我能够去很快做一些决策,然后很强力推进一些决策。在这种情况下,top down是一个很有优势的事。所以Anthropic从组织上,是比OpenAI更有优势。

但是作为大公司,它可能就是另外一套想法。因为大公司的想法可能是,我不仅能尽量减少做赌的成分,而是我能在方方面面都有储备。任何一个事成了,我都能跟上。如果有事我自己做成了,我可能还能领先。这可能是大公司的心态。

所以在Gemini,Google是一个很传统的、很bottom up的组织。就是公司层面,可能有一些比较良好定义的框架,来看你的工作是好是坏,来引导你做一些公司需要的事儿。但是本质上,还是你自己来决定自己做什么。

张小珺:所以你觉得Anthropic能make bets(对coding下很重的赌注),是因为它的独特的文化、组织和文化?——这个听起来,应该是其他公司也能做的,但却非常奇怪地发现,其他公司很难做,而Anthropic可以做到。

姚顺宇:对,我觉得还是需要技术的,或者公司的leader有公信力吧。这个挺难的我觉得。

张小珺:你说的还不是CEO有公信力,是技术1号位有公信力。

姚顺宇:对我来说,我觉得技术1号位有公信力很重要。

张小珺:但与此同时,CEO可能没有成为一个阻力。这个难吗?

姚顺宇:这个就得看你这个cofounding的team,有没有足够的互相信任。这也很关键。

Anthropic这点也是在startup里,很强的。就是他cofounding team,没有一个人离开公司。如果你看他们过去,那是一群真正一起打过仗的人。

他们都是以前OpenAI的员工。他们甚至好多人都是,在一系列关键文章上的合著者。像Scaling Law这个paper,是Jared Kaplan然后Sam,当然还有Dario,还有可能Tom Brown也在吧,我不太记得Tom Brown在不在。GPT-3的paper就是Tom Brown在,Benjamin Mann在,Jared Kaplan和Sam也都在,Dario也在。

他们是一块趴过战壕的人。互相之间的信任还是很关键。

有很多公司干着干着,连小集体都团结不住了,那你怎么能指望大公司能团结住呢?

姚顺宇:你在说OpenAI是吧?

张小珺:嗯,哈哈哈。

05

“找到合适的环境,这个环境回馈信号足够清晰,本身也是一个很强的数据源”


张小珺:你加入Anthropic,公司正在做的最重要的项目是什么?你参与到那个大项目里了吗?

姚顺宇:当时就是为了做大尺度的强化学习,用它来提高coding的能力。这是当时最重要的事。

我们那个组的研究重心就是这个。这也是这个组后来慢慢变大、变得越来越重要的原因。最终带来的结果,就是大家一块train了Claude 3.7这个模型。

Claude 3.5有两个版本,一个可能是6月的版本,另外一个10月版本。你也可以看出,Anthropic这个公司曾经也是没啥产品能力的,居然管两个模型叫一个名字。哈哈哈哈哈。

后来外面人为了区分,管3.5后面那个版本3.5new叫3.6。Anthropic跟随着外面的习惯,就叫3.6了。再新的模型叫3.7。

实际的产品时间线,其实是——3.5、3.5new、3.7。

张小珺:怎么会有一个模型叫3.5new?这个是怎么想的?

姚顺宇:我只能说,那个时候的Anthropic,可能真的是没有什么产品上的想法。

3.5new,我几乎没参与。但是3.5new,就已经看到了coding的迹象。

张小珺:你进去的时候刚刚好就是,管理层知道了coding的迹象,要make bets的时候。你运气很好啊。

姚顺宇:我进去的时候,大家肯定已经看到了这个事儿能做成且重要,但不太清楚怎么去把它做成。我去的时候,是跟大家一起去研究怎么把它做成。

张小珺:方法是大尺度的强化学习,这里面有什么knowhow?

姚顺宇:从大的角度来说是,但有很多技术细节是需要去研究的。

哈哈哈,有好多NDA(保密协议)的内容呢。哈哈哈。

张小珺:NDA会写的这么详细的吗?

姚顺宇:原则上,员工是不能在在职期间和离职之后,透露任何跟公司内部相关的信息的。当然实际上来说就是,大家心里都有一个度。如果这个技术没有公开,肯定是不会公开去谈的。

虽然我不能公开去谈,但是,把简单的事儿做的比谁都干净,是最关键的。

张小珺:什么叫干净?

姚顺宇:就是,有很多花里胡哨的技巧。

比如说做强化学习,最简单的algorithm(算法)就是Policy Gradient(策略梯度)。但不代表这是唯一的algorithm,还有别的算法,比如各种复杂的搜索算法。

但这些复杂性是必须的吗?它们可能带来一些efficiency(效率)上的提升,但也可能带来一些基建infra上的困难。你怎么去trade off(权衡)这些事?做研究需要去理解,怎么去balance不同的因素,选择最好的、最稳定的那条路。

很多的knowhow,都在这些细节里,怎么处理这方方面面的细节。

张小珺:你们在早期怎么描述和理解coding很重要?它是大语言模型的一个分支?

姚顺宇:每个人可能想法不一样。对我来说,它重要的原因有二。

一个原因是Anthropic一直在讲的事,coding本身也是做语言模型研究的一部分。如果你能够把coding做得很好,可能会让你的研究效率翻倍提升,形成一个研究上的飞轮。这是一方面原因。

另一方面原因,是因为coding是模型使用工具和环境交互的一个很好的抽象。这个抽象的好处在哪?回归信号清晰,数据充分。很难在别的场景下,找到能同时有这两个特质的使用工具场景。

所以这是一个好抽象,在这里面做的一些研究,可能是对更通用的那些使用工具和环境交互的能力的一些有用的lesson。

张小珺:那时候Cursor是什么状态?

姚顺宇:那时候Cursor还是一个纯产品公司。

在我去Anthropic之前那段时间,Claude和Cursor都属于比较underdog的状态。在3.5new就是外界的3.6这一代的时候,首先是模型能力上去了,然后Cursor又发现,这个模型真的能够做这种Agentic coding的工具了。

张小珺:Cursor是一个壳。

姚顺宇:但是这个壳包着这个模型,一下子让公众——不是公众,是软件工程那个圈子——体会到了:哎,这事好像真的是效率工具了。后来就一下起来了。

张小珺:那时候,Anthropic意识到Cursor是未来的竞争对手?

姚顺宇:那就不知道了,该问Dario。哈哈哈哈哈。

张小珺:你参与的Claude 3.7对于Anthropic来说,是一个分水岭式的模型?

姚顺宇:对于Anthropic的后训练来说,是一个分水岭。在3.7之前,后训练都是处于一个比较小规模,可能就是修修补补模型的状态。

张小珺:大家不重视后训练吗?

姚顺宇:也不是不重视,是一开始大家很长时间都没有搞明白后训练该怎么scale up。但在那个阶段,不管是OpenAI还是Anthropic,还是中国的DeepSeek,都意识到了这个事该怎么去scale up。

就是得找到合适的环境,这个环境回馈信号足够清晰,本身也是一个很强的数据源。在这个上面能让训练非常稳定,这事就能做成。

张小珺:我记得那时,大家都不知道OpenAI的保密项目是什么,就知道它叫草莓、Strawberry。大家觉得会带来一个新的范式——后训练强化学习,但更多的就不知道了。

姚顺宇:对,我去Anthropic的时候,大家已经比较清楚,大概的方向是怎么做。

后来随着我对这个领域知道越来越多,就发现,那个时刻,OpenAI做的方式和Anthropic差别挺大的。具体这种算法,和使用数据的方式,是不太一样的。虽然都叫后训练和强化学习。但那些不是本质区别。

大的方向来说,它们是同一个——找一些回归信号非常清楚、非常客观,数据本身又比较干净,对模型来说是可学习的,在上面做稳定的强化学习训练。大的方向都是这个方向。但具体实现差别比较大。

后来事实也证明,具体实现每家方向都不一样,但是都能做成。而且当时OpenAI的目标也不是coding。

张小珺:当时我了解到的叙事是,预训练作为第一个范式,金矿快挖完了,所以开启第二个金矿,就是后训练和强化学习,让Scaling Law继续。

姚顺宇:很长时间OpenAI都是这个想法。我不知道他们现在想法有没有变。

对我来说,我的想法经历过摇摆。在3.7那个时代,我当时也抱着这个预训练已经快party is over(狂欢结束了)。就我刚入职,当时在做3.7相关的实验,我也曾经抱过这个想法。但是后来随着了解越来越深入,我就觉得,还有做的空间的。

预训练Scaling Law,它也不是告诉你要一直变大啊。它本质上是一个很系统的框架,告诉你做什么样的事是更有效的。

事实情况是,后来Anthropic和Gemini的预训练,也一直在不断进展。OpenAI自己卡了很久。哈哈哈——它应该已经重视预训练挺久了,就是最近可能刚刚有点进展。

张小珺:在你看来,预训练和后训练作为两个范式,都没有达到它的平台期?

姚顺宇:我觉得都没有。但你说要去预测到了多少,这个做不到。

到达平台期有两种可能性。一种可能性是技术本身到达了,你明明还有想让模型要干的事,但这俩技术就死活教不会了。另一种可能性是,你想干的事到平台期了。我觉得现在就是后者。

张小珺:就是说,模型是一个非常聪明的小孩,你可以教它很多东西。但我们人类作为老师,现在还不知道下一个东西该教什么。

姚顺宇:或者说该怎么去合理的教它,用现在的这些范式。

06

“技术的tips,是一个大家很愿意听,公司又不让你说,但实际又没啥用的事儿”


张小珺:说到Anthropic的Claude 3.7,这是几个月做出来的?

姚顺宇:林林总总,从开始训练到发布,花了四五个月的样子。

从开始大家为了这个事做研究,可能花了两三个月。后来开始训练到训练结束,中间磕磕绊绊,很多事情要处理。有很多新的基础设施,基础设施真的是很重要、很花时间。又可能花了两个月这样子。

张小珺:你在其中做的重要的工作是什么?

姚顺宇:我觉得我也没什么重要的。哈哈哈哈。

我个人对任何一个模型的贡献,我的陈述都是:我自己对那个事没那么重要,更多的是我很幸运,有机会在那个时候加入了一个重要的项目,做了一些事。

从某种意义来说,AI在最近这几年,本身是一个不可阻挡的事。它不在于你这个人去干或者不干,你不干也有别人一样能干出来。

在这个时代,所有给个人贴金的事,都有点炒作的嫌疑。但对我来说,我很幸运,能在那个阶段加入一个重要的事,学习了一些知识。

张小珺:好的,你幸运的那个阶段,在Anthropic这家公司的大尺度强化学习团队里,做了什么?

姚顺宇:3.7那个时候主要做的还是Agentic coding这件事儿怎么把它scale up,怎么去制备各种各样的环境和data,包括算法上会遇到什么样的问题。当时主要的研究都在这部分。

张小珺:这里面有什么tips吗?

姚顺宇:现在来看没啥特别有用的tips了,哈哈哈。

说到技术的tips,其实这是一个大家很愿意听,公司又不让你说,但实际又没啥用的事儿。

张小珺:哦,这是为什么?

姚顺宇:因为很多算法设计并不独立于算法,它非常强的依赖于你的基础设施。

举个简单例子,有些公司,大家经常讨论一个问题,在强化学习时候,这个sample(采样),就是给你产生这些trace(轨迹)、这些token(词元)的那个机器,和trainer(训练器),用来实际训练这个模型、改变模型权重的机器,这两个机器可能不一样。

不一样,有些原因是数值上的,有些是因为使用了异步的训练架构,所以从根本上就不一样。

不同公司这个不一样程度不一样,算法设计也会不一样。有些公司这两个difference非常大,算法最大的部分可能就是怎么控制这个,怎么让训练稳定。对于训练实际效果,权重就会稍微小一点。但有的公司基础设施建设特别好,这两个差别没那么大,就可以花更多精力在训练效果上。所以很多这种小的tips,很多knowhow,其实没什么用。

我确实也发现了,很多别的lab,不是在这三家lab里的人可能很想知道:哎,Anthropic怎么做这个?或者Gemini怎么做那个?但我有时候不愿意回答。一个主要原因是,我觉得本质上回答这个问题也是在误导他。

现代的AI训练是一个大的系统,要了解这个系统的方方面面,才能有一个全局的认识。什么事是因为什么而变得有用了,而不是说这个事本身有用。

张小珺:比如3.7上你能描述一下吗?什么样的技术性工作,在模型上变得有用了?

姚顺宇:主要还是跟Agentic coding的环境有关的工作。也有一些算法上,主要是怎么让这个训练变得更稳定。

说实话,算法上肯定是有一些提升,但没有达到特别理想的效果。比之前的算法肯定是要好的。但那个也不是我个人的贡献,是大家集体的贡献。哈哈。

张小珺:从Claude 3.7到Claude 4.5又发生什么?

姚顺宇:预训练和后训练都有。就是一个scale up上做的更多了。data,不管是data还是训练的算力,都更大的尺度了。但从范式上来说,没有特别特别大的改变。

张小珺:我每次问你,你都会说这是“集体的贡献”。

姚顺宇:嗯。这不是一个个人英雄主义的时代。

张小珺:什么时候是个人英雄的时代呢?——可能在Transformer的那个时刻?

姚顺宇:在那个技术还没到scale up那个点之前,找到了那个技术的人,可能是一个英雄。或者找到那个技术的一个小团体,可能是个英雄。

找到那个技术之后,很长一段时间,从模型侧来说都是集体主义。就是这个集体能不能一起工作,能不能为了一个目标,一起花自己的时间、自己的精力,这个是最重要的事。而不是每一个个人,提供了什么样的东西。

张小珺:说集体主义的原因,是因为能力核心是来自于AI是吗?

姚顺宇:说集体主义的原因,是因为我觉得AI这个方向本质上是简单。除了可能跳变那一下,那个idea可能得有一些很深刻的洞见。

在之后的过程中,很多想法是非常trivial(微不足道的),非常愚蠢的。谁都能想、谁都能干,只是你运气好,撞着这个机会去干了而已。

张小珺:包括你在描述Anthropic做coding,好像它也是某种随机性,但是你要抓住它。

姚顺宇:对,但是我觉得做coding,可能比做模型侧的这些技术,还更稍微有点公司英雄主义。就是,你能不能足够快的赌这件事。那确实还是Anthropic很强。

张小珺:但如果今天没有Anthropic做,可能别的公司也做了。所以都是AI在涌现能力,只是看你能不能抓住那个能力,不管是公司还是个体。

姚顺宇:我觉得是的,是一个必然的事。

在可用的语言模型、大尺度的语言模型出现之前,很多事是一个非必然。就是有没有一个人能够发明一个东西,一个语言模型能够大尺度的做训练,以及GPT这个范式能不能被发现出来,是有很多不确定性。

但是比如,如果没有Google Brain,那可能Transformer就不会被发现,可能要过很多很多年,另外一个有钱又有人的组织才会发现。那可能是一个很大的影响。

但进入那个阶段后,尤其到现在已经反过来——任何一个组织想要停止AI进展,是做不到的。

Anthropic很担心AI安全,那Anthropic有没有这个能力阻止AI发展?你停止发展,别人会发展,你的话语权还会变小。现在更多是这种状态:世界在推着我们前进,而不是我们在推着这个世界前进。

张小珺:感觉未来我们会更加难以阻止AI。

姚顺宇:哈哈,我觉得已经阻止不了。

试图去阻止AI里的一件事发生,可能本身就不是一种正确的想法。

张小珺:刚才聊到创立Anthropic一个很重要的动因是AI安全。现在这家公司跟AI安全有什么关系?

姚顺宇:现在的关系比较复杂。一个自然的问题是,大家可能会问:一个做AI安全的公司,为什么现在开始训前沿模型了?

Anthropic的解释是说,我首先得拥有一个最前沿的模型,才有话语权来推进我的AI安全。

它一直以来的想法是,我要做这个世界上最好的模型,大家不得不听我的,来推进我的安全政策。但从我个人角度,这个想法非常幼稚。这个事现在看来,是不会发生的。更有可能发生的是,大家都有很好的前沿模型,而你没有办法阻止任何事发生。

如果真的想要避免AI带来一些危机,什么才是一个更自动化的事?

举一个自动化的例子:核武器也是一个大家觉得可能有毁灭世界力量的事,但核武器最终受到控制的方法,就是Multiparty Control。

这个世界上,大家有很多个有核武器的国家,互相都有毁灭对方的能力。通过这样一种制衡才稳定住。

我觉得要阻止AI干一些不好的事,最终可能需要一种类似的机制来实现。而不是寄希望说,一家公司制定一个法律来干一件事。

张小珺:你刚刚也提到,Anthropic有个可解释性团队,它的可解释性到达哪一步了?

姚顺宇:在一些比较简单、稀疏的神经网络里面,它们能够做一些有趣的研究。

比如:哎,看看某一个输出了,或者输入的文字或者图片,它内在的表示是长成什么样的?然后把那个表示反一下之后,它会能输出一个什么样的东西。做一下这样的研究。

张小珺:到你离开Anthropic的时候,它已经多少人了?

姚顺宇:接近2000人了吧,扩了一倍多。

张小珺:你在Anthropic的时候 ,刚好是它最剧烈转变的一个时期。

姚顺宇:我可能是踩在了它还是个小公司的尾巴。进去之后过了三四个月,公司人一下就变多了。

张小珺:文化有随之改变吗?

姚顺宇:还是经历一些比较混沌的阶段吧。尤其在我快离开那段时间,文化上经历了一些混沌。因为从外面来了一些人,跟本来的文化有些冲突。

之前比较简单。更像是一个小作坊。大家都是朋友,大家都知道对方在干嘛。

也没有人特别会做过多的个人宣传,做一些没有用的事。大家都有很多事要处理。公司那时候紧迫感也更强一些。后来人多了,文化肯定会受到一些冲击。

张小珺:人多带来了什么风气?

姚顺宇:确实有一些人我个人不是很喜欢。当然不代表他们真的不好,只是我个人不是很喜欢。

我不太喜欢在这个领域里面说很多话的人。

Idea is cheap。想法是便宜的。

很多想法,显然所有人都知道。难的是怎么把它变成一个一个小的、可实现的步骤,做出来。我

不太喜欢那些一天中很多时间花在Slack——Slack是美国用的一个办公软件——在那讲一些大道理。没啥用。哈哈哈。

07

“AI的本质是简单的”


张小珺:你后来为什么从Anthropic突然离职了?酝酿了多久?

姚顺宇:当时酝酿了一个多月吧。

一个方面是,我不是太特别认同Dario反华这个事。他个人做什么样的观点都无所谓。但作为一个公司CEO,把这个观点推到这么极端的地步,是一个非常情绪化的体现。这是一个比较小的原因。

大的方面,像刚才说的,公司文化上有些冲击。

我自己也想去学些不一样的事情。Anthropic毕竟非常专注。如果你很想做和语言模型相关的方方面面,做这种使用工具、Agentic、coding这种事,在Anthropic很好,能学到很多东西。

但Anthropic有很多不做的事,比如完全没有人做多模态生成,你想学没地儿学。Anthropic可能也没有花太多精力在更底层的工程基础设施上。想要学习更多的东西,也是当时离开的一个动力。

张小珺:你这个选择也很神奇。大多数人在一个公司还是underdog的状态加入,会更有感情,愿意陪公司走更长时间。但你反而跳去了Google。

很多人一进Google,会觉得Google给的scope(管理范围)不够,反而想跳去像xAI,或者Anthropic这样更小一点的组织。你这个行动好像也是反的。

姚顺宇:我觉得取决于你自己想要的是什么。如果你很想要的是,我有一个很明确的scope,我一定要把我的一个想法送到这个模型里去,那Google是一个很差的地方。因为有那么多研究员,那么多已经成熟的组织,做这件事情有很复杂的过程。

但如果你想要的是有研究的自由、探索的自由,想从更广泛的人类学习,这个世界上可能找不到第二个比Gemini更强的地方。还是取决于你自己想要什么。

但我觉得很多人不管从哪离职,换到另外一家之后,会觉得不开心的主要原因,是因为没想明白自己想要什么。比如说你要是到了Google,刚开始想的是要有研究自由,更多的动机是学习。去了之后,发现还是想要有产品impact(影响力),那可能就会很难受。哈哈。

张小珺:你刚才还提到一个观点是,“AI本质是简单的”。你能不能描述一下这句话?——这是一个结论?

姚顺宇:这甚至不是一个结论,这是我的一个statement(陈述)。它可对可错。

我对这个陈述的解释是,它本质上简单的点在于,它能做实验。它和本质上难的东西,比如物理,区别在于,那个东西你没有能标下的实验数据,就是理解不了那个能标下的理论。

但AI不被这个所bound(约束),你理解不了没关系,也可以往前发展。而且事实就是,能够做任何我能想到的实验,只是可能需要一些时间,把计算量提上来,或者把基础设施准备好。但没有什么本质上的困难。

所以我一直说,觉得AI没有给人感觉碰壁的原因是,首先很多东西你都能试,其次不是大家已经想空了脑袋、没有什么想法可以试。更多的是有太多想法,得一个个试,花时间。

而且很快,可能AI就会开始自己做实验了。

张小珺:很快是多快?

姚顺宇:未来的6-12个月,AI就会自己做实验。

当然这话不太良好定义,sorry我说了一个很模糊的话。AI自己提高自己,或者自己来加快自己的发展过程,这件事其实已经在发生。就像刚才最早聊过的,它已经开始帮我们实现一些想要的东西,加快实验的速度。

张小珺:它目前还做不到的是什么?

姚顺宇:是它能不能从头到尾把一件AI研究的事做完。

比如它不仅能写这个code,还能跑这个实验。跑这个实验,还能看到这个结果。看到这个结果,还能分析这个结果,知道哪儿做的不对,提出新的假设,设计新的代码,跑新的实验。

这条链条目前还没有完整。但这条链条下一步会慢慢变得完整的。

张小珺:在你决定离开Anthropic那一刻,你对这家公司未来的预期是什么?

姚顺宇:我离开的时候,对这公司挺悲观的。但后来显然是我过度悲观了。呵呵呵。

我当时悲观的原因是,我离开的时候Anthropic主要的收入来源都是API,就是卖Token。这是个差生意。Eventually(最终)就是要打价格战。打价格战你没有完整的链条,是没有什么太多优势的。

但后来Anthropic在产品方面确实有很多巧思,做了很多好的事。不管是Claude Code变得越来越好用了,还是Claude Cowork,和各种各样跟工作效率相关的事,都慢慢汇聚起来了。

你要问我OpenAI和Anthropic哪个会先死——当然就不会真的死——哪个会先变得没那么重要。我当时会觉得:哎,可能是Anthropic会先变得没那么重要。但后来首先OpenAI被Google揍了一拳,然后Anthropic自己又上道了。现在看来好像Anthropic更占优势一些。

张小珺:你后悔过没有?

姚顺宇:不太后悔。对我个人来说,动机还是想要换一个地方,提高自己。对于想做的这件事,这个选择没有什么错误。

张小珺:你也提到Anthropic的产品有很多巧思,包括Claude Code和Cowork,这个来自于哪里?

姚顺宇:我没看到Cowork的发展过程,所以不知道。

Boris Cherny。我觉得Claude Code,至少这个事的开端吧,是他自己想要做这个事,提高自己或者同事的工作效率,最后变成了一个对所有人都会很重要的事。

这就是为什么我觉得,产品经理还是目前挺难被AI取代,会有一些个人英雄主义的机会。

08

“从某种意义上来说,OpenAI是救了Google一命”


张小珺:接下来说说你到了Google DeepMind以后的工作吧。重心发生变化没有?

姚顺宇:还是发生了一些变化。我自己主要在做ML coding,和一些比较long horizon的事。

ML coding,主要就是想要实现这个完整的AI自己训练自己的历程。当然过程当中有很多实际的问题、细节要去解决。

大的方向上来说,大家比较有共识该怎么去做。但还是回到细节,细节上有很多要处理。比如怎么样去选取合适的data,怎么样去选取合适的回馈信号,以及它又带来新的基础设施的挑战。现在就是要把这些事情慢慢摸清楚。

像long horizon,想要能够实现,模型能够——还是那句口号:train with finite, but use as infinite(用有限的上下文训练,但用起来像无限的上下文)。

我觉得想要把这个训练的长度一直变长,可能并不是单个训练语段的长度一直变长,那不是很现实的方案。但现实的事是,你如何在有限的context下,去做更长的工作?人就是这个样子。人的context很短很短。

你现在问我昨天晚上吃什么,我是一点也想不起来了。因为它对我现在这个场景来说不关键。我选择把它忘掉。

人本质上context很短,但他能够选择性的遗忘,选择性的去retrieve(检索),把重要的、跟当前场景相关的信息再抓回来。所以说,那个可能也是一个对我来说很有趣的方向。

其实这两件事(ML coding和long horizon)有点相关、有点互补。

都在模型使用工具和环境,以及不同模型、不同人交互的这个大的范畴内。在这个范畴内,大家过去完成的那个节点,就是Agentic coding。

又是工具又是环境,环境就是这个虚拟机,或者你自己的电脑。这个事横向就会长出不同的使用场景。做AI research,就是横向场景里的另外一个场景。这个场景,不仅横向上是一个新场景,在纵向上也让事情的尺度变得更长。完成一个代码的补全,是一个很快的事。但做一个完整的AI研究,或者做一个计算机科学的研究,那是一个很长的过程。

所以说,它像一个T字形,横向有延展,纵向也有延展。

张小珺:long horizon(长时序任务)是不是还是个科学问题?

姚顺宇:有科学问题,也有工程问题。

它科学问题更多的是,怎么把不同的方案尝试一下,以更科学的方式尝试之后,来找到最后我们要走的方案。

我不能说太细的。但粗的来说,有一些方案是从pre-train的角度来说,有一些方案就是类似于sparse attention(稀疏注意力机制)。比如DeepSeek有一些工作,学界也有很多工作。

从后训练的角度,也有后训练的方案。比如像外界,你每天用Cursor这些,他们就是很强的context management(上下文管理),管理context能力。比如它可以让模型去选择:我把中间某一段觉得不重要,就扔掉了;那一段重要就存在某个文件里,到时再取回来。

这两种大的来说,都有人研究。当然具体实施细节,不止我刚才说的这些例子。这些是比较公开的例子。具体实施细节,每个公司还有自己的小秘密。

我个人花更多时间在后训练的方案上。

首先,我自己本来就没有花正式的工作时间在预训练上。预训练对我来说更多是兴趣、想学习的事,但自己没有在那上面做太多工作。另一方面,我觉得后训练的方案,更符合我自己对这个事的理解。

我对这个事的理解,就是刚才一直在说的,能不能用短的context去训练,但能做长context的事。预训练这些方案,本质上还是需要你有长context,训练需要数据里有。所以它不太符合我对这个问题的哲学。

张小珺:Gemini的长文本做得很好,这是为什么?

姚顺宇:有些技巧。

有一些让我很惊讶的技巧。哈哈哈。

张小珺:这是取决于预训练?

姚顺宇:长文本做的很好,一定是两边都有的。我只是说,预训练那边那个技巧还是挺让我惊讶的。哈哈哈。

但也有说法不一样,有些人也说Gemini 3这一代长文本反而变差了一点。

张小珺:Again,你加入Gemini的时候,感觉大家对Gemini的预期不高?

姚顺宇:我对Gemini当时预期已经挺高的了。哈哈哈。

我是去年9月底,Gemini放Gemini 3之前。业内的人,当时对Gemini都还是印象不错的。

之前一直觉得Google很有危机,在OpenAI的冲击之下。大家的感知,可能在Gemini 2.5这一代产生了变化。

因为2.5是一个明显,你能看出来Google开始上道了。当然之前Gemini 1.5,也有一些小事,某一个具体的方面做的已经算很强了。很明显它已经不是很落后。但2.5是真的一代,开始有人用的模型。反正我自己也用过2.5,用的挺多的。

张小珺:你是看到2.5去的Gemini?

姚顺宇:我去Gemini跟这没关系。主要还是我知道,Gemini大概是一个什么样的氛围。很多Gemini工程师,技术是非常非常非常强的。我是从他们身上学到了非常非常多。

但是从大家的感知来说,可能业内的人在看到Gemini 2.5之后,就已经意识到了Gemini是要赶上来了。

张小珺:当时对你来说,从Anthropic离职,OpenAI不是一个选择吗?

姚顺宇:OpenAI也是我当时的一个选项。当然还包括xAI之类的。OpenAI最后没有去的一个主要原因,至少当时来看,对它的文化是有比较大担心的。

用粗话来说,就是感觉踏实做事的人没有Gemini多,更没有Anthropic的人多。

张小珺:然后你又赶上了Gemini 3的那个转折点?Gemini 3应该对Google来说是一个很大的转折的时期是吗?

姚顺宇:我觉得从实际的效果来说,是两件事,让Gemini产生了一个大的转折,变成了一个市场里举足轻重的player(玩家)。

Nano Banana和Gemini 3——两件事连着。

如果只有Gemini 3,可能也不会有现在这么好的效果。因为当你的市占率连10%都不到,你这个模型好一点坏一点,等它传播出去就是太慢了。

但Nano Banana做到的一件事是,首先市场上这件事很爆款,大量的人去下载了Gemini的APP,然后Gemini 3又紧接着放,把这个部分留下来了。现在它变成了一个举足轻重的玩家。

没有Gemini打这么一拳,OpenAI的位置很爽。它市占率已经高到,其实模型上干点啥,对它来说可能影响都没那么大啊。

所以说对于Gemini来说,Nano Banana把量打起来,然后Gemini 3又把人留回来,是一个很关键的事。

张小珺:它有事实上抢走多少ChatGPT的用户?

姚顺宇:我不知道现在具体的比例。但是我的感觉是,Gemini可能市占会在20%左右吧。但是我确实没有仔细去检查过现在的数据。

这是从事后归因来看,这两个因素,共同促成了Gemini今天对于OpenAI的冲击。

张小珺:你从内部视角肯定能更前置地知道,内部发生了什么,Google会有这样的变化?

姚顺宇:首先就是Google的技术储备,一直是够的。组织上,后来变得越来越清晰了,有一个更好的框架让大家一起干这个事了。所以会慢慢有些进展。

从某种意义上来说,OpenAI是救了Google一命。

大家以前一直都担心,聊天机器人会不会完全把搜索取代掉。如果这个事真的发生了,Google其实很难受。但好在,OpenAI先把这个事做了,让Google意识到了这个事很重要。

但OpenAI又没有把这个事做到底,又没有把这个事做到极致,没有把search干掉。可能就吃掉了一些份额。结果,让Google自己把聊天机器人也追上来了。那现在难受的就是OpenAI了。

你要万一,比如说在一个虚构世界,有一个公司不仅做了chatbot,还一路高歌猛进、越做越好,真的一把就把搜索吃掉了,完全没有给你反击的机会,那就很难受了。

张小珺:chatbot没有吃掉搜索,是因为OpenAI干的不好,还是因为这个干不掉搜索?

姚顺宇:我觉得两方面都有。

首先,目前的chatbot这种交互方式,不会完全吃掉搜索。它比搜索强的一点是,它有很强交互性,你可以追问,可以帮你把一些很复杂的信息去浓缩。这是它很强的地方。这部分使用场景,确实会把搜索的人抢掉。

但搜索里还有一些非常愚蠢的场景,就是你有一个特别简单的事,根本不想浪费时间在聊天机器人身上。

比如我就搜买大米,一搜买就完了。我还非得去问ChatGPT,问哪个好,它还在那转圈圈,转半天,给你个链接,你再一点,再跑到网页去买。没有那个必要。所以从事实的使用上来说,它目前的形态,并不足以把搜索完全吃掉。

当然从另一个角度来说,它在聊天机器人这个事上,也没有做到登峰造极。就还真的让Google把它给赶上了。

张小珺:现在还不算赶上吧,在产品上?

投资人投OpenAI会说,他们下注的时候,是认清楚OpenAI是个产品公司的时候,它的护城河是产品和品牌。从今天来看,似乎Google还没有在这件事情上能够赶上OpenAI吧。

姚顺宇:对。

这都是我作为一个局外人、观察者的视角来说,哈哈哈。

张小珺:对,你今天是点评家。

姚顺宇:我觉得Google传统上在产品就是有点慢,是一直都比较慢。所以你说OpenAI会不会在产品上有优势?我觉得是有可能的。

Google特别擅长的一件事是什么?是找到一个极为简单的产品形态,大家都长一个样,它就疯狂给你卷技术,你就卷不过它。那个事是Google擅长的。

搜索引擎就是这样的一个事儿。搜索是一个典型的,大家都是一个框、一个键,但它就是比你搜的快、搜的比你准,你拿它一点办法也没有。

这就是为什么,感觉一直以来,Google都处于一个做的很好但华尔街都不太认可的状态。大家总觉得这公司壁垒到底在哪?——也没有什么产品的巧思,也没有什么留存的机制,但它就活到了现在。

张小珺:所以它技术好的原因是啥?

姚顺宇:我觉得还是氛围吧。以前特别重视工程师,后来特别重视研究的氛围。

张小珺:它很适合通过技术能力溢出的产品。

姚顺宇:对。

张小珺:如果从这个角度来看,OpenAI的位置是稳固的吗?现在。

姚顺宇:我觉得现在谁的位置都不稳固。哈哈哈哈哈。

AI的形态,还有很长的路要走。没有到什么终局之战这个地方的感觉呢。

张小珺:今年初,国内已经有点儿这意思了——他们觉得在争夺一个super app,super app就是此消彼长的。

姚顺宇:对。

我不理解。我很费解。

我觉得condition on聊天机器人这个事儿(把聊天机器人作为条件来构建)就是super app,那可能可以争夺一下。但问题是。你这个形态是不是super app那个形态?会不会别人,哪天出了一个完全不一样的形态,你的功能变成了那个东西一个子集?

张小珺:人类到现在只通过chatbot去跟AI沟通,让你觉得很蠢是吧?

姚顺宇:很蠢就是。

张小珺:那应该用什么去跟AI沟通?

姚顺宇:没想明白。要想明白我就干了。哈哈哈哈哈。

张小珺:你没有告诉我,Google内部到底发生了什么变化,有了外界看到的模型能力的突飞猛进。

姚顺宇:就是组织上更清楚了。尤其像预训练,现在变得非常非常清楚。谁负责什么事情,每一个节点上谁是负责人。

张小珺:以前是混沌的吗?

姚顺宇:最早的时候很乱。我没有最早在那待过,但根据同事或者我以前认识的人的描述,以前还是更混乱一些。

现在至少预训练变得非常非常清楚。加上Google一直有的比较强的技术背景,做事也比较系统。所以,预训练在Google,是一个非常非常可控的事。

它比以前肯定要更自上而下了,但它比Anthropic来说,还是更自下而上了一些。

张小珺:好像不管是自上而下的还是自下而上的,不同的文化都能work。

姚顺宇:大公司有大公司的打法,startup有startup的打法。大公司是一个完全不一样的叙事,不一样的方法。

现在Google更多的是,像这种比较确定性的事,比如预训练,已经是一个比较确定性的范式了。Google就会更像把它做成一个工程项目。Google的工程管理能力又很强,它就能慢慢把它做好。

工程项目的意思就是,你是非常非常、非常top down(自上而下)的一个组织。很清楚,我们下一阶段要做的是什么事情,然后去做这个事情。中间需要有哪几个节点被处理掉。哪怕是做研究也是说,有一个很清晰的框架,告诉你怎么去验证你的结果是好是坏,evaluate(评估)你的结果是好是坏。

这是Google很强的。在过去任何的一个大的工程项目上。所以说预训练,就是现在进入到Google的舒适区里了。

后训练当然有更多不确定性。可能后训练现在来说,还是更bottom up(自下而上)一点。大家可以更广泛的试。

09
“个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢”


张小珺:最近硅谷有很多neo labs出现,你怎么看这个趋势?为什么很多人从模型大厂跳出去,成立neo lab?

姚顺宇:我看不太懂。哈哈哈。

我的感觉是,绝大多数的neo lab都会死。

可能有一些lab是真的有好的人,有些lab确实也开始在做一些事。比如像thinking machine,还是在deliver一些新东西的。

但有些neo lab就是——请帮我把名字哔掉,哈哈哈。比如说XXX那个XXX,我就完全不知道他们到底要干嘛。这俩人其实已经远离这个专业好久了。

张小珺:你在AI行业有什么偶像吗?或者欣赏的人?虽然你在AI行业很短。

姚顺宇:没啥。我感觉来这行业的时候,个人英雄主义时代已经过去了,所以也没有什么英雄。有时候甚至觉得旧时代英雄有点蠢。

张小珺:你觉得谁比较蠢?

姚顺宇:这个还是不说了吧。no comment,哈哈哈哈哈。

我觉得和做物理时候还是不一样。做物理时候,还是存在着一些真的比我聪明太多的人。比如,我读博的时候那个年轻老板,Douglas Stanford,他就比我聪明太多了。

看到他,才觉得自己在那个领域也没什么用。有他了还要我干嘛呢?

张小珺:你跑到AI来降维打击一下?

姚顺宇:也没降维打击。

但反正就感觉AI这个事,本来也不太需要脑子——不太需要脑子,真的不太需要脑子。

张小珺:那需要什么?

姚顺宇:我觉得这个行业最重要的特质就是靠谱,就是做事细,对自己做的事负责任。这是最重要的特质。

你说那些东西有多需要脑子?我觉得都是一些本科生就能干的活。

张小珺:可是你说AI没有个人英雄主义,现在一个AI研究员的价格炒的多高啊,跟球星转会一样。

姚顺宇:我不知道是好事还是坏事。对我个人来说,当然很高兴,我受益于这个。

但实际上来说,我并不知道这是不是一件好事。

张小珺:为什么价格会变得这么高?

姚顺宇:可能一方面是,大家觉得很稀缺吧。但实际上可能确实也没那么充足。因为训练一个人,虽然这事没那么难,但你训练一个人是需要一个环境的。

你得有那个机会去接触这件事,你才能学会这件事。你没有那个机会,再聪明也没用。过去能撞到这个机会的人,没有那么多。所以市场上比较稀缺。

但我觉得另一方面也是,对人的炒作有点过分了。

再说一次,这是个集体主义的事。

张小珺:很多公司也想招AI的人,你觉得最重要的特质是靠谱,这个有什么衡量指标?——怎么能够快速判断一个人靠不靠谱、做事细不细?

姚顺宇:每个人都有一些自己衡量的方法。我也有一些自己的trick(诀窍)。

我以前有出一道面试题。面试题很简单,就是需要这个人在24小时之内,完成一个强化学习的项目,从0到1。

我告诉他有的资源是什么样的,他自己选用什么样的模型、用什么数据、用什么样的算法,把这个模型训出来。24小时之内。24小时结束之后,他会跟我有一个小时的讨论。

这个事儿在AI时代没有那么难。没有AI时候,这是不可能的,没有人能在24小时之内把它做出来。但有AI之后特别简单,因为AI能帮你全套做。

但为什么还要做这个事儿呢?设计成这样的两个原因:一个原因是因为在这个时代,还去考察别人代码写得好不好,其实没用。绝大多数人都不用自己写代码。更重要的是,他能不能有效地利用AI。这是考察的一个方面。

第二方面是,这个事有一个陷阱,如果你全盘让AI做了,但你最后没有试图好好理解AI为你做了什么,那在一个小时的讨论里面会露馅儿——那是一个会挂人的地方。

所以说考验的另一件事,是你有没有真的和AI形成了协作,还是说你就全权扔给他?那个是我个人很看重的事,也是这个人是不是做事靠谱的一部分。

当然这个题目的设计本身,也有一些比较阴暗的巧思。为什么设计成24小时,就是为了看这个人有多看重这个机会。

张小珺:能熬夜?

姚顺宇:对,哈哈哈。如果他足够熬夜,他就能撑住这24个小时。如果他撑不住,那只能说,他可能对这个机会也没有那么看重。哈哈。

张小珺:对于比你更年轻的人,你觉得他们现在来AI,还是一个很蓝海的地方吗?

姚顺宇:我觉得纯做语言模型,已经不是一个蓝海了。晚了,末班车已经发车了。

我感觉我入行就是那个末班车啊。

张小珺:你自己未来会怎么发展?会在Google很久吗?

姚顺宇:我觉得应该不会。哈哈哈哈哈。

张小珺:这么公开地说吗?

姚顺宇:我觉得应该不会。我觉得我还是会尝试去挑战自己的。

张小珺:要折磨自己!

姚顺宇:对,要折磨自己!

但是,我可能需要找到一个,值得折磨我自己的事。

张小珺:如果AI不是本质的难的话,你会不会做的感觉无聊?你对你的挑战在哪?

姚顺宇:它虽然不难,但是你知道和不知道,还是有一个gap的。你从完全不知道这其中细节,到慢慢理解这其中的细节、理解它怎么运作的之类的,还是需要花时间花力气的。当你理解之后,是长期有帮助的。

张小珺:你未来想在哪里去发展?

姚顺宇:我觉得都有可能。哈哈哈。没想好该怎么折磨自己。

张小珺:你现在最高优先级是什么?

姚顺宇:我现在最高优先级是,把我刚才说的这两个事情,ML coding和long horizon,能够和同事一起,推进到一个比较稳定的状态吧。那是我的最高priority。当然可能之后也会有别的priority。

张小珺:你有特别崇拜的物理学家吗?

姚顺宇:有,但是有点多,不知从何说起。哈哈哈哈哈。

张小珺:物理学家有,人工智能科学家没有。

姚顺宇:这个跟人的成长经历有关吧——一个成年人是很难真的崇拜一个人的,一个儿童可能会。

物理学,还是有很多人真的挺强的。大家都说的那种100年前的人就不说了,什么爱因斯坦、海森伯格这些就不说了。包括大家后来都知道的,杨振宁这些也都不说了。像我之前做topology(拓扑)这个体系的时候,有一个后来也拿了诺奖,就是Haldane(2016年诺贝尔物理学奖得主之一)。

你会发现这些人,有异常的远见。他在他那个时代显得格格不入。

但你看Haldane,最开始做Haldane model和这些分数量子霍尔效应相关的事,离最后大家搞明白这些拓扑物态,过了好几十年。在那个时候他能够觉得这事重要,然后一直在自己在推进这事。

这是很不容易的。当然你要非要在人工智能找一个类似的人,可能Geoffrey Hinton是吧。就是在大家都觉得这事可有可无或者不那么确定的时候,他一直在这个方向做。那我觉得,这可能是一个英雄级别的人物。

可能也有一些英雄的集体。比如像Transformer,就Noam(Noam Shazeer)和那些,Ashish(Ashish Vaswani)、Niki(Niki Parmar)他们。那可能是一个英雄集体(Transformer论文的八位作者)。

张小珺:你讲过一个特别让我印象很深的话:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”

姚顺宇:这可能就是,不是AI出身的好处吧。真的没有什么负担。

没有哪个老登是你的亲属,所以你觉得他傻,他就是傻,就可以直接说他傻。无所谓的啊。(笑)

张小珺:你以前也这样吗?

姚顺宇:我觉得我做学生的时候还挺收敛的。但我后来发现收敛没用,对自己也没好处,对别人也没好处。

还是更直接,表达自己的想法是最关键的。

我觉得直接表达自己的想法,是一个短期一定会有人恨你,但长期大家会欣赏的事情。

张小珺:你最近听谁说话特别蠢?

姚顺宇:把这个名字哔掉,谢谢。

我觉得XXX一直挺蠢的。哈哈哈,而且蠢的始终如一。哈哈哈。

我觉得他说的话,就是not even wrong。因为不良好定义,你很难说他说的是对是错。

有一天,可能有一个不一样的范式发生了,他就可以跳出来说:哎,我当年说过这个这个这个这个。但你就发现,如果范式是另一种状态,他也能说一样的话。这就是我为什么很讨厌很vague(模糊)、很模糊的人的原因。因为一个事模糊就是没有意义的。

我觉得人年纪大了,不一定会变成老登的。

人年纪大了会变成两种状态:一种状态叫做德高望重,就是他少指手画脚,还会花自己的力气去培养年轻人。另一种人就是老登,就自己也不懂,还爱指手画脚。

张小珺:哎,你是受了谁的刺激啊?

姚顺宇:我也不知道我受了谁的刺激,但我确实见过不少老登。哈哈哈。

张小珺:你从什么时候变化的?就是说话更不收敛了?

姚顺宇:我过去可能也会比较直接,但是没有这么直接。但做了AI之后就更直接。

一是没有束缚,二是这个领域足够客观。

你其实不用太担心,因为自己的观点而惹到什么人。只要你的观点是自洽的,你有一套自己观点的理论。你不是说随便喷人。

最终你在这个领域做的怎么样,是有客观的评价标准的。

我觉得其实大家是会尊重你的。

10

“你还是高看了我的文化程度,哈哈哈哈哈”


张小珺:我们每个嘉宾都会推荐一本“人生之书”,要这本书真的对你产生过重要的影响,你的这本书是什么?

姚顺宇:这是今天最难的一个问题。我感觉你还是高看了我的文化程度。哈哈哈哈哈。

我真的没有什么人生之书,说实话。

张小珺:好,最近读了一本书?

姚顺宇:最近读的书就是汤川秀树(1949年诺贝尔物理学奖得主)的自传,《旅人》。

首先我这人确实不爱读书,我感觉我这人文化水平比较低。我读的书,除了专业性的书之外,所有的书感觉都是闲书。像什么汤川的自传,本质上也是本闲书。但是写得挺有趣的,你能看到一个后来看起来如此成功的科学家,在他年轻的时候有一种挣扎感。很真实。

有本小说我很喜欢,《来自新世界》,是一个日本的小说。你要非让我推荐闲书的话,我可以推荐那个。

张小珺:一个全球范围内你喜欢的食物?

姚顺宇:寿司吧。

张小珺:一个全球范围内你喜欢的地点?

姚顺宇:现在你要非让我选,我可能会选夏威夷。因为我很喜欢海。但是也很难说,因为之后我可能去了更多海的地方,就另有新欢了。哈哈哈。

张小珺:一个少有人知道,但需要知道的知识点。

姚顺宇:别相信老登算吗?哈哈哈。

张小珺:你心目中影响AI进程的几篇论文?

姚顺宇:sequence to sequence是一篇。我觉得是language model,在feature engineering时代的高峰。

Scaling Law是一篇。就是Jared Kaplan,他们在OpenAI的那篇Scaling Law也是一篇。是一篇把这种体系化的研究方式,引进到这个领域的。

当然最后实际上Scaling Law做的方法,可能他那样并不是正确的,但是是第一篇把这个想法引进来的。我觉得这很关键。

张小珺:基于你当下的认知,一个关键的重要的bet是什么?

姚顺宇:long horizon。long horizon(长程任务)。哈哈哈。

张小珺:我们工作室叫语言即世界工作室。第一次听到这个名字的时候,你在想什么?

姚顺宇:我觉得这个名字有点,正常的太平庸了。

哈哈哈哈哈。哈哈哈哈哈。

这个名字放在十年以前,是一个很独特的视角,现在主要大家共识太多了——对不起我感觉我年纪也大了,可能不止十年了——可能在14、15那个年代,大家都会觉得视觉是最重要的事。在那个时候,意识到语言是承载智能的重要载体的人,是很不一样的。

张小珺:不过我们这个名字,不是在AI的语境里面讲的。

姚顺宇:嗯……哈哈哈……

那就值得深思了。

哈哈哈。

---

还有大量的内容,只有视频播客和播客有喔:)

收听播客


推荐阅读


图片

跳转微信打开

  •  

王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (一)

原创 硅谷王川 2026-05-11 09:51 美国

王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (一)

1/ 人的焦虑情绪很多时候是大脑杏仁核的应激反应。要缓解焦虑情绪,不能只是简单说教,“你不要焦虑,焦虑也没用”,等等安慰的话。这无法改变产生应激反应背后的底层机制。 真正有效的方法,是让焦虑的人,把自己产生焦虑的事情和原因,慢慢写到纸上。写的过程,就是把大脑的控制权,从只会紧张警觉的杏仁核,传递给理性思考的前额叶 (prefrontal cortex)。写得越仔细,分析得越深,控制权的传递就越彻底,焦虑情绪自然下降。即使你一次写不完,只要开始写了,大概清楚还要写多长时间就可以把逻辑理顺理清,焦虑情绪也会开始下降。不强迫自己慢慢写下来,只喝心灵鸡汤,就无法真正完成这种控制权的传递,也就无法根本上改变焦虑。

2/ 2026年五月让人焦虑的一件事情,是整个半导体行业的股票全面暴涨。著名的费城半导体指数,比一年前上涨了150%。各类半导体存储公司股票,更是全面上涨,其中  SNDK 截止五月八号的收盘价,1562 美元,是一年前的 38倍。笔者没有半导体公司的投资,但试图在此文中拆解这些股票上涨的底层逻辑,和读者分享探讨。 

3/ 这个故事要从各类 AI 创业公司的迅速攀升的估值说起。很多外围只关心股价涨跌的投机客,缺乏一些基本常识: 一,绝大部分 AI 的创业公司严重亏损,但很多人把收入和利润这两个基本概念彻底混淆 (有些人甚至是故意的),而且屡教不改,以讹传讹。 二,当一个公司说它的 ARR (Annual Recurring Revenue, 年度循环收入) 达到一亿美元的时候,并不是说它过去一年总收入达到一亿美元,最多只意味着它最近一个月的收入达到八百三十三万美元而已。你要自作多情,理解错误,是你自己的问题。 三,一个公司没说什么,透露的信息量大于它说了什么。它报了 ARR 但没说盈利,就意味着它严重亏损。它半年前说它的 ARR 到一亿,但现在很久又没发声了,大概率意味着它的收入萎缩了,亏损更严重了。

4/ 以时下红得发紫的大模型公司 Anthropic (下面简称为 Anth )为例,四月底时有些媒体披露的信息是,公司的  ARR 已经接近 400亿美元了。换言之,公司四月份单月的收入接近 33 亿美元 ( 400除以12 )。 而在三月份公司的 ARR 还低于 300亿美元,意味着三月份的收入低于 25 亿美元。 Anth 的 CFO在三月份的一份公开文件里,曾披露其从2021年创始到 2026年三月,累积收入超过 50 亿美元。换句话说, Anth  自创始以来的过去五年的累积收入 (再强调一遍,不是利润)大约 108 亿美元。 

5/ 这里面还有一个对收入的定义问题。Anth 很大比例的收入来自谷歌云服务和 AWS. 云服务商对于客户付的钱提成至少 20%,剩下的再给 Anth.  所以 Anth对外宣传的 ARR 需要再打个 20%的折扣。但这里我们也就不计较了,因为  Anth 每个月仍然在亏很多钱。

6/ 亏损有多少呢?问了几个不同的 AI, 根据有限的公开信息,假设其单月收入达到33亿美元,对单月亏损额的猜测从 11亿美元到17亿美元不等。这也是为什么  Anth 要持续对外融资的根本原因。截止到四月底, Anth 五年来累积融资 723亿美元,但累积收入只有 108亿美元,然后还要继续融资。只看新闻头条的人误以为  Anth 早已赚得盆满钵满,但不理解管理层要不断寻求新的外部资金才能维持下去的巨大压力。

7/ Anth 并非没有竞争, 它的总裁最近在公开发言中也承认,美国其它公司的 ai 模型比 Anth 落后只有一到三个月,而中国公司的 ai 模型比 Anth 落后六到十二个月。各个公司的产品功能此消彼长,变化非常快,很难根据一两年的表现来判断谁是最终的赢家。 比如Cursor 从 2023年到2025年初,是在  AI 开发者中最受欢迎的编程辅助工具,  公司一度炙手可热。但 Anth 2025年上半年推出的 Claude code,可以自动生成大量代码,让很多原来不是程序员的人也能参与编程,这是过去一年 Anth 异军突起,收入和估值迅速增长的核心动力。 最近又有一些程序员抱怨,说 claude code 有些地方的体验和性价比不如 OpenAI 的 codex, 因此转用后者。对很多用户而言,切换成本并不高。  除了 Open AI 以外,Spacex 的 Xai 上个月也在开始和 cursor 紧密合作,开发和 Claude code 的竞品。

8/ 看多 Anth 的投资者, 会引用某个时段的场景,说  claude code 做推理工作时的利润率高达 70%, 但这种说法,一是不考虑 Anth 要持续训练新模型的巨大成本,二是假设竞争者完全不存在,没有降价压力。这显然不符合现实。Anth 二月份融资时,估值是 3800亿美元。仅仅三个月后,又开始寻求新的融资,估值开价为九千亿美元以上。最近 在某个私募股权的二级市场上交易时,据说还出现了一点二万亿美元的估值。(有的播客上甚至有人喊出了五万亿美元的长期估值)。这是一个只有五年历史,累积收入 (不是利润!)105亿美元,但仍然每个月亏十几亿美元的公司,仅仅因为过去一年有了高速的增长,就有人相信它能天长地久。 融资 720块,亏本五年做了105块的生意,就可以在资本市场上以一万块的估值套现,这样美好的事情, 怪不得这么多创业者心向往之!😊

9/ 巴菲特旗下的 Berkshire Hathaway (以下简称  BRK),2025年收入 3700亿美元,经营现金流 459亿美元, 税后利润 669亿美元,  账上现金接近四千亿美元,市值也只有约一万亿美元。换个角度看,BRK 十天的收入,就等于 Anth 有史以来的总收入,但有的投资者愿意相信,仍然高度依赖外部投资支持才能存活的 Anth ,其估值要比 BRK 高。构建这样的信念所需要的巨大勇气,令人叹为观止。

10/ Anth 和  OpenAI的估值增长,对于整个  AI 行业的资本性支出 (capex)的暴涨,和之后存储行业的兴旺,非常重要。回头看过去几年的发展,这个逻辑链条很清晰。欲知后事如何,且听下回分解。

(未完待续)

---

所有文章表达笔者个人观点仅供参考,不构成对所述资产投资建议,投资有风险,入市须谨慎。笔者推特号"Svwang1", 新浪微博 “硅谷王川", 网站 chuan.us。

点击下面链接可看到本公众号过去两百多篇原创文章的链接目录:

硅谷王川的公众号文章目录 (2026年一月)

跳转微信打开

  •  

全面梳理 Muon 优化器的工业挑战及应用实践

原创 AI闲谈 2026-05-04 12:00 北京

本文中我们简单梳理一下 Muon 优化器的数学原理、分布式训练中的工程挑战以及工业界落地的相关案例。

一、引言

Muon(MomentUm Orthogonalized by Newton–Schulz)由 Keller Jordan 等人于 2024 年 10 月正式发布 Muon: An optimizer for hidden layers in neural networks [1]。其在 NanoGPT speedrun 项目中刷新最快训练纪录,全面超越以 AdamW 为代表的旧优化器,从此快速“出圈”。

然而真正让 Muon 进入大模型工业界的是 Moonshot AI 2025 年发布的两项工作:

  • Moonlight([2502.16982] Muon is Scalable for LLM Training [2]) :首个公开论证 Muon 在 16B 量级 MoE 上 scalable 的工作,给出 "达到相同验证 loss 仅需 AdamW 约 52% 计算量" 的 scaling law;

  • Kimi K2([2507.20534] Kimi K2: Open Agentic Intelligence [3]):1.04T 参数 MoE 使用 MuonClip(Muon + QK-Clip),在 15.5T Tokens 训练中实现 "零 loss spike",是首个公开规模达到 1T 的非 AdamW 预训练模型。

除了 Moonshot 之外,很多大模型也逐渐开始采用 Muon 优化器,包括:

  • 智谱 AI 在 GLM-4.5([2508.06471] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [4]) 和 GLM-5([2602.15763] GLM-5: from Vibe Coding to Agentic Engineering [5]) 中使用了 Muon 优化器。

  • 最近 DeepSeek 开源了 DeepSeek-V4-Pro(deepseek-ai/DeepSeek-V4-Pro · Hugging Face [6]),模型参数量达到 1.6T,同样声称使用了 Muon 优化器。

本文中我们简单梳理一下 Muon 优化器的数学原理、分布式训练中的工程挑战以及工业界落地的相关案例。相关工作可以参考笔者之前的文章:

二、数学原理

Muon 的核心思想可以简单概括为:把动量矩阵 Mt谱正交化(近似映射到 UVT)后再做参数更新,等价于在 谱范数(spectral / Schatten-∞ 范数) 下做最陡下降。

2.1 更新规则

Muon 仅作用于模型中二维矩阵参数(即 hidden layers 的 W ∈ RAxB 权重 )。对每一个这样的参数进行如下迭代: 

其中 Gt=▽WL(Wt-1) 为当前 mini-batch 梯度,Mt 表示第 t 次迭代的梯度动量,t=0 时初始化为零矩阵。μ 为动量系数(默认 0.95,常用 Nesterov 变体),η 为学习率,NewtonSchulz5(*) 是 5 步 Newton–Schulz 迭代。

NS 迭代目的是将 SGD-momentum 的更新矩阵替换为与其最接近的“半正交矩阵”,等价于将更新替换为 UVT,其中 Mt = UΣVT (奇异值分解),(MtMtT)-1/2Mt= UVT。

Muon 优化器不支持 embedding、un-embedding、所有 1D 参数(bias、LayerNorm/RMSNorm 的 scale),所以此类参数继续使用 AdamW —— Keller Jordan 官方实现 MuonWithAuxAdam 也是如此 。

2.2 Newton–Schulz 五次多项式

精确求 UVT 需要 SVD,复杂度是 O(min(A,B)*AB) (PS:并且不是一次)且数值实现不友好(特别是 BF16 下)。Muon 使用 T 步标准 Newton-Schulz 迭代来近似,每步计算:

其中 at, bt, ct 是精心选择的多项式系数。

可以通过奇异值分解来理解 Newton-Schulz 的作用方式。令 X0 = UΣVT ,其中 U 和 V 是正交矩阵(UTU = VTV = I),Σ 是非负奇异值组成的对角矩阵。第一次迭代给出: 

同理,X1 = U(a1Σ + b1Σ3 + c1Σ5)VT = U ᐧ p1(Σ) ᐧ VT,其中定义了多项式 p1(x) = a1x + b1x3 + c1x5。 关键是 U 和 V 保持不变,只有奇异值被多项式 p1 所变换。经过 T 步之后:

Newton-Schulz 使用的多项式序列要满足: 

因此:

于是:

这个洞察解释了 Newton-Schulz 的工作原理——它逐步将矩阵的奇异值推向 1,同时保持奇异向量不变。这样,经过足够多步后,输出矩阵接近极分解 UVT。

若初始 X = M / |M|F 的奇异值都在 (0, 1],则 5 次迭代后所有奇异值应稳定在 1 附近。传统 Newton–Schulz 用 (1.5, -0.5, 0)(对应牛顿迭代),但需要约 30 步才收敛到 1。Keller Jordan 通过数值优化求解: 

得到经验最优系数:

5 步迭代后所有奇异值落入 [0.7, 1.3],且整个过程在 BF16 下数值稳定(无需切换到 FP32)。注意:这并不是收敛到精确 UVT,而是"足够接近"——因为正交化只是一种 trust-region 形状约束,不要求 𝝈i = 1。

2.3 谱范数最陡下降视角

Muon 看似"工程 trick",实则有清晰的几何意义。Bernstein & Newhouse 在 [2409.20325] Old Optimizer, New Norm: An Anthology [7] 中证明:在矩阵 W 上做约束最陡下降:

其中 || ᐧ ||𝝈 是谱范数(最大奇异值),其闭式解为:

也就是说,把梯度做 SVD 然后扔掉奇异值正好是谱范数下的"最速下降方向"。Muon 把 G 替换为动量 M 后再做这步操作,等价于在谱范数 trust-region 下的 momentum SGD。 

为什么谱范数是"对的"范数? 神经网络的前向传播 y = Wx 把输入向量的 L2 范数最多放大 ||W||𝝈 倍。控制更新的谱范数就是控制"每层最多能改变多少特征激活的能量"。这与 muP(Maximal Update Parametrization,[2203.03466] Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer [8])主张的"宽度无关学习率"目标完全一致:muP 通过参数化使各层的 ||ΔW||𝝈 在宽度 ->∞ 时保持 𝚯(1);Muon 则直接显式地约束这个量。

2.4 计算开销

NS 迭代每步 5 次 matmul(X XT、A2、BX 等),但矩阵规模为单层权重,相对 Forward / Backward 主体(Attention + MLP)极小。Keller Jordan 在 Llama-405B 规模上测得 NS 总 FLOPs overhead 约 0.5%。

2.5 与既有优化器的关系

与 Shampoo 的形式联系:当 Shampoo 的 Preconditioner 统计量不做累积、只用瞬时 GGT / GTG,可以推导出更新方向接近 UVT(其中 G = UΣVT)。因此 Muon 可视为 "instantaneous, rank-free Shampoo"。但 Muon 用 NS 多项式替代了昂贵的特征分解,把 wall-clock 成本降到 Adam 同量级。

与 Orthogonal-SGDM 的差异:Tuddenham 等在 2022 年([2202.07052] Orthogonalising gradients to speed up neural network optimisation [9])就尝试用精确 SVD 做正交化更新,但训练效果不如 AdamW。Muon 用 NS 替代 SVD,并配合 Nesterov 动量、合适的 LR 缩放等若干工程细节,最终把这条路径打通。

适用范围限制:1D 参数(norm scale、bias)没有"奇异值结构"可言;embedding 实质是 lookup table 而非线性变换的稠密权重;它们都不适合谱正交化,沿用 AdamW 即可。也正是 MuonWithAuxAdam 的设计核心。

三、Scaling Law 与放大到 LLM 训练

3.1 Moonlight 的核心结论

Moonshot AI 在 Muon is Scalable for LLM Training [2] 中把 Muon 推到工业 LLM 量级并报告 Scaling Law。其 Chinchilla 风格的 token-efficiency 实验得到:Muon 达到与 AdamW 相同验证 Loss 所需的训练 FLOPs 约为 AdamW 的 52% —— 即 ≈ 2× compute-efficiency。

Moonlight 模型本身:3B 激活 / 16B 全参 MoE(架构与 DeepSeek-V3-Small 同源),训练 5.7T Tokens,MMLU 70.0,建立了同尺寸开源模型新的帕累托前沿。

3.2 缩放修复 Decoupled Weight Decay

Keller Jordan 原版 Muon 不含 weight decay。在小规模(NanoGPT 124M)上没问题,但 Moonshot 团队将其应用到 16B 规模、BF16 下持续训练时,观察到权重 Frobenius 范数会持续增长直至溢出。修复方法是引入 AdamW 风格的 decoupled weight decay:

如下图 Figure 2 所示,加入 WD 后训练才能长期稳定:

3.3 缩放修复 RMS-Matched Adjusted LR

不同形状的权重矩阵,其更新 RMS 差别巨大。Moonlight 论文指出:对一个全秩矩阵 W ∈ RAxB,正交化输出的 RMS 满足:

而 AdamW 的更新 RMS 在大尺度 LLM 上经验值约 0.2 ~ 0.4。如果直接复用 AdamW 调好的学习率,Muon 会因更新过小(大矩阵)或过大(小矩阵)而表现异常。Moonshot 的 "RMS-matched" 做法把更新规则改为:

这样所有形状的层都呈现一致的更新 RMS(≈0.2),AdamW 的超参(LR、WD、warmup schedule)可以直接迁移到 Muon —— 折算应用落地极为关键的"零调参"性质。

3.4 Essential AI 的独立验证

Essential AI 的 [2505.02222] Practical Efficiency of Muon for Pretraining [10] 在 Moonlight 之外独立复现了 Muon 的效率优势,证明 Muon 拓展了计算-时间的帕累托前沿。通过绘制 “等损失曲线”,直观地展示了 Muon 如何用更少的设备和更短的时间达到相同的训练效果,并发现:

  • Muon 的优势在超过 critical batch size(CBS) 的大批量训练区间尤为显著;

  • 与 muP 协同使用可进一步降低超参搜索成本。

3.5 频谱性质实证

Moonlight 论文还给出一个有趣的诊断:用 Muon 训练得到的权重矩阵,其 SVD entropy(奇异值分布的熵)显著高于 AdamW —— 即奇异值分布更"扁平",模型利用了更多方向。这与谱范数下降的几何直觉一致:Muon 倾向于均匀地更新所有奇异方向,而 Adam 倾向于强化少数主方向。

四、分布式训练的工程挑战

4.1 NS 迭代与参数 Sharding 的根本冲突

现代 LLM 训练几乎都依赖参数切分:

  • ZeRO/FSDP:

    • ZeRO-1:仅切分优化器状态;权重与梯度仍全副本;

    • ZeRO-2:进一步切分梯度;

    • ZeRO-3 / FSDP:进一步切分权重,每张卡只持有一个 1/N 的分片;

  • Tensor Parallel (TP):把单层权重沿行或列切到多张卡;

  • Pipeline Parallel (PP):不同层放到不同卡;

  • Expert Parallel (EP):MoE 中不同 Expert 放到不同卡;

  • Sequence / Context Parallel (SP/CP):沿序列长度切分激活。

Newton–Schulz 迭代的核心运算是 XXT、(XXT)2 X —— 这些必须在完整的二维矩阵上才有数学意义。如果直接在 ZeRO-3 / FSDP 的本地分片上做 NS,得到的不是原矩阵的正交化结果,而是每个分片自己的"局部正交化",数学上完全错误。 这就是为什么 AdamW 可以做到几乎所有并行策略下"逐元素更新"(因为它对每个标量参数独立操作),而 Muon 必须显式处理矩阵的全局结构。

4.2 Distributed Muon 算法(Moonlight Algorithm 1)

针对 ZeRO-1 场景(参数全副本,优化器状态按 DP 维 sharding), [2502.16982] Muon is Scalable for LLM Training [2] 提出的 Distributed Muon 算法可总结如下:

关键设计权衡:

  • 重复计算 vs. 节省通信:所有 DP Rank 都做完整的 NS(被丢弃 1 - 1/NDP 部分),换取避免一次额外的 ReduceScatter + 本地分片 NS 算不正确的问题。在 H800 等高算力卡上,5 次 Matmul 的开销远小于大量网络开销。

  • 优化器状态显存:Muon 只需 1 份动量 Buffer,AdamW 需 m + v 两份;切到 ZeRO-1 后,Muon 优化器状态显存约为 AdamW 的一半。

  • 通信开销:相比 Distributed AdamW,多出一次 DP AllGather;论文实测 wall-clock 总通信开销在 1.0x–1.25x 之间。

4.3 与 Megatron-LM 的集成

Moonshot 把 Distributed Muon 给 Megatron-LM 提了 PR(a proof of concept for Distributed Muon#1428 [11]),与既有的 TP / PP / EP / SP / CP 维度全部正交兼容:

  • TP:单层权重沿行(Attention output / MLP down-proj)或列(Attention QKV / MLP up-proj)切分。Distributed Muon 把 NS 放在 DP 维 AllGather 后执行,对 TP 透明——TP 切分仍发生在 NS 之外的更细粒度上,每个 TP Rank 仍持有完整的本层矩阵的某个 TP 分片,并在该分片上独立完成 DP AllGather + NS。

  • PP:每个 PP Stage 各自维护本 Stage 内层的 Muon 状态,无跨 Stage 通信。

  • EP:MoE 的每个 Expert 是独立的 2D 权重组,可独立做 Distributed Muon;跨 Expert 之间不共享 NS 计算。

  • CP/SP:仅切分激活/序列维度,不影响参数维度,故对 Muon 完全透明。

4.4 在 ZeRO-2 / ZeRO-3 / FSDP 下的难点

如果继续向更激进的切分前进:

  • ZeRO-2 / FSDP-grad-shard:梯度切分,但参数仍全副本。可以在 ReduceScatter 出局部梯度后,先做 AllGather 还原完整梯度(或动量),再走原版 Muon —— 引入额外通信但可行。

  • ZeRO-3 / FSDP full-shard:参数本身也切分了。要做 NS 必须 AllGather 完整参数 + 完整动量,做完 NS 再 Scatter。这相当于把 ZeRO-3 在 Muon 这一步局部退化为 ZeRO-1,显著增加峰值显存与通信。这是当前 PyTorch FSDP 使用 Muon 的主要痛点,社区典型解法是:

    • 把 Muon 优化器步骤包在 unshard_ 上下文里,临时还原完整参数;

    • 改用 [2504.05295] Dion: Distributed Orthonormalized Updates [12]。

4.5 BF16 数值稳定性

NS 迭代涉及 XXT,会平方放大数值误差。使用 FP32 累积会更安全,但优化器状态显存翻倍,同时计算效率很低(NVIDIA 常见 GPU 的 FP32 算力远低于 BF16)。Keller Jordan 调出的 (3.4445, -4.7750, 2.0315) 系数有一个隐含设计目标:让 5 步迭代在 BF16 下也不溢出/失稳。这是它能在工业训练中替代 FP32 SVD 路线的关键理由。

五、工业落地案例

5.1 Kimi K2:MuonClip = Muon + QK-Clip

Kimi K2([2507.20534] Kimi K2: Open Agentic Intelligence [3])是首个开源、使用 Muon 优化器训练的旗舰模型(超过 1T 参数量),相应模型配置如下所示(moonshotai/Kimi-K2.5 at main [13]):

5.1.1 为什么 Muon 在大规模 attention 上会引发 logit 爆炸

Kimi 团队 Muon 大规模训练时观察到一个新问题:Attention logits 在训练后期持续增长,最终可能突破 FP16/BF16 数值范围导致 Spike。论文 Appendix E 给出的假设是:Muon 的更新方向 UVT 是满秩(不像 Adam 主要朝少数主方向更新),导致它与原权重矩阵的奇异向量更容易"对齐"。这种对齐在 Wq 和 Wk 上累积,使得 WqWkT 的谱范数稳步增长,最终触发 Attention logit qTk 爆炸。

这是 Muon 谱范数性质的"另一面":好的方向利用率 ↔ 容易在 Attention 这种乘积结构里触发联合放大。

5.1.2 QK-Clip 机制

K2 在每个 Muon 优化步骤之后追加 QK-Clip:实时监控每个 Attention Head 的 logit 最大值:

若 Shmax > 𝛕(论文设 𝛕 = 100),则按 per-head 比例缩放对应的 Whq 和 Whk: 

由于 qTk 是关于 WqWk 的双线性形式,各乘一边可保证 qTk 整体被乘 𝛾h,从而拉回阈值之内。

5.1.3 MLA 适配

K2 采用 MLA(Multi-head Latent Attention)。MLA 中 q/k 被分解为 content 部分 qC, kC(per-head)和 rotary 部分 qR, kR。QK-Clip 的关键工程细节:

  • 对 head-specific 的 qC、kC、qR 都按上述缩放;

  • 不缩放kR:MLA 中 kR 在所有 head 之间共享(rotary embedding 部分),如果按 head 缩放它会破坏其他 head。

5.1.4 自动失活与零 loss spike

实测训练曲线显示:

  • 训练前 70k 步约 12.7% 的 head 触发过 QK-Clip;

  • 70k 步之后所有 head 的 Shmax 都自然降到 100 以下,QK-Clip 完全不再激活;

  • 整个 15.5T tokens 训练全程 0 次 loss spike。 这个"自动失活"现象很重要:它表明 QK-Clip 不是一个粗暴的硬性约束,而是把训练前期的"危险窗口"温和地拉回稳定流形之后,模型自己就能维持稳定。 

如下图 Figure 2 所示,作者用 MuonClip(τ=100)训练了大规模 MoE 模型 Kimi K2,并在整个训练过程中监控最大 Attention logits(右图)。随着训练的推进,最大 logits 逐渐衰减至典型工作范围,无需对 τ 进行任何调整。

如下图 Figure 3 所示,在 Kimi K2 的训练中,训练损失保持平滑稳定,未出现任何可观察到的 Spike,验证了 MuonClip 在大规模语言模型训练中提供了对注意力动态的稳健且可扩展的控制。 

5.2 GLM-4.5 / GLM-5(智谱 AI)

5.2.1 GLM-4.5

GLM-4.5 公开技术报告 [2508.06471] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [4] 中提及同样使用了 Muon 优化器。GLM-4.5 模型包含 355B 总参数,32B 激活参数、训练了 23T Tokens、hybrid reasoning 架构。此外,也使用了 QK-Norm 来稳定 Attention logits 范围(GLM-4.5: Reasoning, Coding, and Agentic Abililties [14])。 

5.2.2 GLM-5

智谱在 [2602.15763] GLM-5: from Vibe Coding to Agentic Engineering [5] 中继续沿用了 Muon 优化器,并进行了一些优化,提出 Muon-split。原本统一进行 Muon 正交化处理的、用于生成 Q、K、V 的大型上投影矩阵,拆分成多个更小的矩阵(每个对应一个 Attention Head)后再分别应用 Muon 优化(PS:实际上本来也是独立的投影矩阵)。这样,不同 Attention Head 中的权重便能以不同的尺度独立更新,灵活性远高于统一处理。结果如下图 Table 1 所示: 

GLM-5 中还对 Muon 优化器进行了性能优化。原生 Muon 在每个 DP 进程上,都采用 All-Gather 收集全部模型参数,会导致瞬时的显存峰值和不必要的冗余通信,在训练超大规模模型(如 GLM-5 的 744B 总参数量)时会产生巨大的开销。为此,论文提出了一种零冗余通信方法,核心优化有两步:

  • 分片通信:将 All-Gather 的范围严格限制在每个进程(rank)所“拥有”的参数分片(parameter shards)上,而不是获取全部模型信息。

  • 通信计算重叠:利用分片通信带来的独立数据流,设计算法使其能与本地的正交化计算(Newton-Schulz 迭代)等操作进行 Overlap,从而消除冗余通信并显著降低优化器相关的峰值内存开销。

5.3 阿里 Canzona

阿里在 [2602.06079] Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers [15] 中同样针对 Muon 优化器场景进行了优化。总体思路可以概括为:

  • 在 DP 侧,采用静态分区(Static Partitioning),保证一个参数只归一个 Rank 更新,同时不破坏 ZeRO-1 的几何结构。

  • 在 TP 侧,采用异步微组(Micro-Group)调度,把被切碎的 Tensor 更新当成任务来调度,通过通信融合和离线负载均衡来降低开销。

5.3.1 DP-ASC

如下图 Figure 1 数据并行(DP)分区策略对比:

  • (左图)DP-SC:可直接被优化器采用的方案是 DDP,该方案在所有计算节点上复制优化器状态,导致冗余计算——每个节点执行相同的矩阵运算(同步模式)。

  • (右图)DP-ASC:通过状态分区消除冗余。

    • Equal Chunk(标准 ZeRO-1,灰色箭头与连线):

      • 标准分区方案(如 AdamW)将缓冲区均匀切分为 |B|/R 个分片。这种任意切片(虚线标示)违反了矩阵优化器(如 Muon)所需的原子性约束。

      • 本文方案(静态分区,橙色/绿色箭头):通过遵循 Tensor 边界确保参数原子性。

    • 负载

      • 负载不均衡(橙色箭头、连线及方框):简单的原子分配会因参数计算成本差异导致显著的计算滞后与通信 Bubble(虚线框)。

      • 负载均衡(绿色箭头、连线及方框):本文的 α 平衡算法优化静态布局,通过重新分配完整参数实现跨节点工作负载均衡。

  • 注:本图中标有 P 的模块代表优化器状态及其对应参数的更新计算。在 Forward 和 Backward 过程中,参数本身仍保持跨节点复制(遵循 ZeRO-1 协议)。 

5.3.2 TP-ASC

如下图 Figure 2 张量并行(TP)分区策略对比:

  • (左图)TP-SC:在标准的 TP-SC(NVIDIA 的逐层优化器实现)中,每个 Rank 都必须对每个参数通信并计算完整 Tensor。导致图中高亮部分显示的冗余计算,即所有设备执行相同的操作(例如,“对全量 G1 进行计算”),无论 Tensor 所有权如何。

  • (右图)TP-ASC:本文的 TP-ASC 中,通过静态规划的异步计算流水线消除了这种冗余。其离线算法将这些 Tensor 分配给特定的 Rank,以均衡负载。具体流程包括:

    • Gather 梯度:把多个 Tensor 的梯度碎片打包成一个 Micro Group,比如(G1, G3)和(G2),通过一次融合后的 All2All 发到对应的 Host Rank。这样避免了很多小通信导致的低带宽利用率。

    • 异步计算:Host Rank 在本地拿到完整梯度和驻留状态后(TP1 Rank 拿到 (G1, G3)),执行矩阵型优化器计算,例如 Muon 的矩阵更新。

    • Scatter:更新结果 ΔW 再被切回 shard,通过融合后的 All2All 分发回参数原 owner。

    • 本地应用更新:每个 Rank 只把自己收到的更新 shard 应用到本地参数 shard 上。 

5.3.3 关键结果

如下图 Figure 7 所示,本文的方案明显优于 NV 的 layerwise 方案,获得与 AdamW(Reduce-Scatter)相近的速度:

5.4 Microsoft Dion

Microsoft 在 2025 年提出 [2504.05295] Dion: Distributed Orthonormalized Updates [12],它使用 amortized power iteration 替代 Newton-Schulz,不再对整个矩阵进行精确正交化,而是迭代式地逼近其前几个主要方向(低秩近似),从而避免了完整矩阵的重建,从设计上避免这个问题。如下图 Figure 1 所示为论文中的关键结果:

  • Amortized power iteration:每步只做约 2 次 matmul(而非 NS 的 5 次),用跨步累积的近似奇异向量代替每步重算;

  • Low-rank + error feedback:可只对 rank fraction 1/16 ~ 1/64 的子空间做正交化,剩余分量用 error feedback 补偿;这在 405B 规模仍稳定收敛;

  • FSDP2 + TP 原生兼容:power iteration 的 reduce-scatter / all-reduce 可与 FSDP2 通信原语融合;

  • 在 ≥ 3B 规模上报告了优于 Muon 的 loss-vs-wall-clock-time 曲线。如下图 Figure 1 所示为论文中的关键结果。

5.5 Gram Newton-Schulz

Tri Dao 团队在  Gram Newton-Schulz: A Fast, Hardware-Aware Newton-Schulz Algorithm for Muon [16] 中提出一种通过对 Newton-Schulz 进行等价数学变换,从而实现了更高效 GPU Kernel 的方案。核心思想是:不再直接对矩形输入矩阵 X∈Rn×m 进行迭代,而是对更小的 Gram 矩阵 XXT∈Rn×n 进行迭代。

NS 的每次迭代包含 3 个步骤,每个步骤包含一次矩阵乘法:

总计算量为:T(4mn2 + 2n3) = 2T(2ɑ + 1)n3。对于 T=5,总 FLOPs 为:(20ɑ + 10)n3,ɑ = m/n >> 1 表示矩形的程度(ɑ=1 表示方阵,ɑ >> 1 表示高度矩形)。 

当 ɑ 很大(矩阵高度矩形)时,XXT 和 BX 这两项矩形乘法主导了总开销(约 4Tɑn3 FLOPs),而方阵乘法 A2 相对较小。

Tri Dao 方案中 Gram Newton-Schulz 的目标正是将原本作用在 X 上(每次迭代都需要昂贵的矩形乘法)的 Newton-Schulz 迭代,等价转换为仅作用在 Gram 矩阵 Rt = XtXtT上的迭代。这样一来,所有昂贵的中间乘法都限制在较小的 n x n 空间内(步骤 2)。

5.6 DeepSeek 系列

DeepSeek-V2、R1、V3.1、V3.2 等同系列模型公开报告中未见使用 Muon。而 DeepSeek-V4 中公开介绍其使用了 Muon 优化器。由于 DeepSeek-V4-Pro 的特殊 Attention 机制,可以直接在 Q 以及 KV entry 上进行 RMSNorm,从而有效防止 Attention logits 爆炸,因此也就未使用QK-Clip。此外进行了两个改进。

5.6.1 Hybrid Newton-Schulz Iterations

采用 Hybrid Newton-Schulz 方法,在两个不同阶段执行共 10 次迭代。

  • 在前 8 Step 中,使用系数 (a, b, c)=(3.4445, -4.7750, 2.0315) 来驱动快速收敛,使奇异值接近 1。

  • 在最后 2 Step 中,切换到系数 (a, b, c)=(2, -1.5, 0.5),从而将奇异值精确稳定在 1。

如下图所示是 Megatron-LM 的优化器(Emerging-Optimizers [17])中的对应实现:

5.6.2 Efficient Implementation of Muon

为了解决 ZeRO 方案中切分方式导致的额外通信问题,设计了一种适用于 Muon 的混合 ZeRO 分桶策略。

  • 针对 Dense 参数:限制 ZeRO 并行度的最大规模,并采用背包算法将参数矩阵分配到各计算节点,确保每个节点管理大致均衡的负载。每个节点上的桶会填充至与所有节点中最大桶相同的大小,以支持高效的 ReduceScatter 操作。在作者的配置中(每个节点管理的参数矩阵不超过五个),这种填充通常仅带来不到 10% 的内存开销。当 DP 的整体规模超过 ZeRO 的限制时,会在额外的 DP 组中冗余计算 Muon 更新,以计算开销换取总桶内存的减少。

  • 针对 MoE 参数,对每个 Expert 独立优化。

    • 首先将所有层中所有 Expert 的 SwiGLU 下投影矩阵展平。

    • 随后依次展平上投影矩阵和门控矩阵。

    • 接着对展平后的向量进行填充,确保该向量能被均匀分配到所有节点,且不会分割任何逻辑上独立的矩阵。

    • 鉴于专家数量庞大,不对 MoE 参数的 ZeRO 并行度设置限制,且填充开销亦可忽略不计。

此外,在每个节点上,形状相同的连续参数会被自动合并,从而实现对 NS 迭代的批量执行,以提升硬件利用率。 作者进一步观察到,Muon 中的 NS 迭代在使用 BF16 矩阵乘法计算时仍保持稳定。基于此,采用 Stochastic Rounding 方式,将需跨 DP 节点同步的 MoE 梯度量化至 BF16 精度,使通信量减半。 为避免低精度加法器引入的累积误差,采用两阶段方法替代传统的基于树或环的 Reduce-Scatter。首先,通过 All2All 操作在 Rank 之间交换 Local 梯度,随后每个 Rank 在 FP32 精度下执行 Local 求和。

六、参考链接

  1. https://kellerjordan.github.io/posts/muon/

  2. https://arxiv.org/abs/2502.16982

  3. https://arxiv.org/abs/2507.20534

  4. https://arxiv.org/abs/2508.06471

  5. https://arxiv.org/abs/2602.15763

  6. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

  7. https://arxiv.org/abs/2409.20325

  8. https://arxiv.org/abs/2203.03466

  9. https://arxiv.org/abs/2202.07052

  10. https://arxiv.org/abs/2505.02222

  11. https://github.com/NVIDIA/Megatron-LM/pull/1428

  12. https://arxiv.org/abs/2504.05295

  13. https://huggingface.co/moonshotai/Kimi-K2.5/tree/main

  14. https://z.ai/blog/glm-4.5

  15. https://arxiv.org/abs/2602.06079

  16. https://tridao.me/blog/2026/gram-newton-schulz/

  17. https://github.com/NVIDIA-NeMo/Emerging-Optimizers/tree/main

跳转微信打开

  •  

NVIDIA BlueField-DPU 解析 & 生态汇总

原创 AI闲谈 2026-05-02 20:00 北京

本文全面梳理了 NVIDIA BlueField-DPU 的硬件代际、关键子系统(DPA / GDS / NVMe-oF RDMA)、网络互联、AI Factory 与大模型场景下的收益、CMX 上下文记忆存储等。信息比较多可能存在误差,以 NVIDIA 官方 Datasheet、DOCA SDK 等为准

一、引言

本文全面梳理了 NVIDIA BlueField-DPU 的硬件代际、关键子系统(DPA / GDS / NVMe-oF RDMA)、网络互联、AI Factory 与大模型场景下的收益、CMX 上下文记忆存储等。信息比较多可能存在误差,以 NVIDIA 官方 Datasheet、DOCA SDK 等为准。

相关内容可以参考:

二、各代 BlueField DPU 对比

2.1 DPU 概念与 BlueField 平台定位

DPU(Data Processing Unit) 是继 CPU、GPU 之后的"第三颗主芯片"。它将网络、存储、安全、虚拟化等"基础设施税"(Infrastructure Tax,业内估计占数据中心 CPU 周期的 20%–30%)从 Host CPU 卸载到专用 SoC。

NVIDIA 的 BlueField 系列(NVIDIA BlueField Networking Platform)源自 2019 年收购 Mellanox 后的产品线,融合了 Mellanox ConnectX 系列网卡的硬件加速引擎、Arm 多核 SoC、PCIe Switch 与 NVIDIA 的 DOCA 软件栈,已成为云、HPC 与 AI Factory 的事实标准 DPU 之一。

BlueField 的核心价值为:

  • Offload:把 OVS、vRouter、NVMe-oF Initiator/Target、TLS/IPsec、防火墙等从 Host CPU 卸载,降低 CPU 负载。

  • Accelerate:硬件加速 RDMA、加密、压缩、正则匹配、流分类、Packet Pacing 等。

  • Isolate:Host 与基础设施控制面(Tenant vs. Operator)物理隔离,零信任架构的天然落点。

进入大模型时代后,BlueField 进一步承担了“AI Factory 的基础设施 OS”角色,成为 GPU 计算单元之外、为 AI 数据流水线提供网络、存储、安全、KV Cache 服务的核心芯片。

2.2 BlueField 详细数据与硬件结构

2.2.1 BlueField-1(2017,Mellanox 时代)

如下图所示为 BlueField-1 的硬件架构图(NVIDIA® Mellanox® BlueField® Data Processing Unit (DPU)):

  • 网络:集成  ConnectX-5,峰值带宽 100Gb/s,EDR/HDR100 InfiniBand。

  • Arm 子系统:最多 16 个 Armv8 A72 核(部分 SKU 8 核)。

  • PCIe:Gen3/Gen4 ×16(同时可作为 PCIe Switch,下挂 NVMe SSD,构成 BlueField Storage Controller / JBOF Reference Design)。

  • 内存:板载 DDR4。

  • 典型用例:NVMe over Fabrics (NVMe-oF) 全闪存阵列 (AFA)、JBOF 存储控制器、服务器缓存 (memcached)、分离式机架存储及 Scale-Out 扩展直连存储。

  • 意义:奠定了"NIC + Arm SoC + PCIe Switch"的 DPU 形态,但当时尚未配 DOCA,需要使用 Mellanox OFED + 自研 SDK。

2.2.2 BlueField-2(2020)

如下图所示为 BlueField-2 的硬件架构图(nvidia bluefield-2 dpu):

  • 网络:集成 ConnectX-6 Dx,单/双口,最高 2×100 GbE 或 1×200 Gb/s(Ethernet 与 HDR100 InfiniBand)。

  • Arm 子系统:8 颗 Armv8 A72 核,4 MB L2。

  • PCIe:Gen4 ×8/16(支持 PCIe Switch + EP/RC 模式切换)。

  • 内存:16/32 GB 板载 DDR4。

  • 加速器:

    • RDMA / RoCEv2(ConnectX-6 Dx ASAP² 引擎)

    • 硬件加密:AES-XTS-256/512、AES-GCM、TLS/IPsec

    • 正则表达式加速(RegEx)

    • SHA-256、压缩/解压(DEFLATE)

    • SR-IOV、VirtIO-net

  • NVMe SNAP™:把远端 NVMe-oF 目标在 Host 侧伪装成本地 PCIe NVMe 盘。

  • 形态:HHHL 单宽/双宽 PCIe 卡,OCP 3.0 SFF 卡,部分有集成 BMC 形态。

2.2.3 BlueField-3(2022 量产,2023 大规模出货)

如下图所示为 BlueField-2 的硬件架构图(NVIDIA BLUEFIELD-3 DPU):

  • 网络:集成 ConnectX-7,单口 400 Gb/s(或 2×200 GbE / 4×100 GbE / NDR200 IB)。

  • Arm 子系统:16 个 Armv8.2 A78 核,8 MB L2, 16 MB 共享 L3。

  • PCIe:Gen5 ×32(可拆 2×16 或 1×16 + Switch),支持 PCIe Switch 模式,下挂 GPU、NVMe。

  • 内存:16 GB 板载 DDR5(5600 MT/s,支持 ECC)。

  • DPA(Datapath Accelerator):16 个超线程 RISC-V 执行单元 × 每核 16 hw 线程 = 256 个硬件线程,专用于 Dataplane 包处理、拥塞控制(PCC)、SHARP collectives、storage-init 等微内核。

  • 加速器:

    • 200/400 Gb/s 线速 RoCEv2、Adaptive Routing、Out-of-Order RDMA Write

    • GPUDirect RDMA、GPUDirect Storage

    • NVMe-oF(TCP / RDMA / FC-NVMe)initiator+target 卸载

    • SNAP 4.x:NVMe / VirtIO-blk / VirtIO-net 设备仿真

    • 公钥 / 对称加密、TLS

    • 压缩 / 解压、Regex

2.2.4 BlueField-4(2025 GTC 公布,2026 出货)

NVIDIA 目前还未提供 BlueField-4 的硬件架构(NVIDIA BlueField-4 DPU datasheet):

  • 核心定位:AI Factory 的 "operating system processor",与 ConnectX-9、Spectrum-X 第二代、Rubin/Vera-Rubin GPU 同代发布。

  • 架构融合:把 NVIDIA Grace CPU 子系统与 ConnectX-9 网络引擎直接整合到一颗 SoC,构成全片上一致性内存 + 网络 + 加速器域。

  • 网络:单卡 800 Gb/s,支持 800G Ethernet(Spectrum-X Gen2)与 800G InfiniBand(Quantum-X800 / XDR)。

  • Arm 子系统:基于 Grace 系列 Arm Neoverse V2,64 核心(同源于独立 Grace CPU),114MB 共享 L3 Cache。

  • 内存:128GB 板载 LPDDR5X 统一内存。

  • 存储:512GB 可插拔 SSD。

  • 算力倍增(官方):

    • 6x 通用计算性能(vs. BlueField-3)

    • 支持 4x 更大规模的 AI Factory

    • 800 Gb/s 网络带宽 是 BF-3 的 2x

  • DPA:第二代 Datapath Accelerator,16 核心,256 线程。

  • PCIe:Gen6(与 Rubin/Vera 平台对齐)。

  • DOCA Microservices 原生支持:容器化、可热插拔的 Networking / Security / Storage / AI Data 服务在 BF-4 上以微服务方式运行。

2.3 关键差异对比

三、配套 GPU、服务器与参考设计

3.1 与 NVIDIA GPU 的搭配(典型)

3.2 NVIDIA DGX/HGX/MGX 系统

在 NVIDIA 的 DGX 系统中通常会配置 BlueField DPU,而在 HGX、MGX 平台通常为选配:

  • DGX A100:每节点 8 x ConnectX-6 + 2 x BlueField-2(管理 + 存储面)。

  • DGX H100 / H200:标配 8 x ConnectX-7 SuperNIC + 2 x BlueField-3,提供 8×400 Gb/s 计算面与独立存储/管理面。

  • DGX GB200 NVL72 / GB300 NVL72:72×GB200/B300 + Spectrum-X 后端;BlueField-3 用作 in-rack 网络/存储/安全 offload。

  • HGX Reference:OEM 自由配置 ConnectX/BlueField;HGX H100 8-GPU baseboard 推荐每 GPU 配 1× BF-3 SuperNIC。

  • MGX 模块化平台(2023+):BlueField 作为可选 Infra 卡,与 Grace、Hopper、L40S、Blackwell 自由组合。

3.3 OEM/ODM 服务器生态

支持 BlueField-3/4 的主流厂商(NVIDIA-Certified):

  • Dell PowerEdge XE 系列

  • HPE ProLiant Compute、Cray XD

  • Lenovo ThinkSystem SR / ThinkAgile

  • Supermicro AS / SYS / GPU SuperServer

  • Cisco UCS X-Series(与 Cisco Hypershield 集成)

  • ASUS、Gigabyte、Pegatron、ASRock Rack

  • NVIDIA RTX PRO Server(2025):Blackwell + BlueField-3,企业 AI Factory 验证设计的标配模块

存储侧 JBOF(Just a Bunch of Flash,全闪存阵列) / All-Flash Array 厂商:

  • VAST Data、DDN、Pure Storage、NetApp、Hitachi Vantara、IBM、WekaIO、Hammerspace、Dell PowerScale、Kioxia、Samsung、Micron 等都有基于 BlueField-2/3 的产品或参考设计;

  • BlueField-4 则被用于 NVIDIA STX 与 CMX(Context Memory Storage)平台。

JBOF 使用 DPU 相比传统的 x86 CPU 方案具有显著优势,比如具有更高的集成度、更低的时延、更高的吞吐量、更低的功耗等:

四、DOCA 软件栈与 DPA(Datapath Accelerator)

4.1 DOCA 总览

DOCA(Data Center Infrastructure-on-a-Chip Architecture)是 BlueField 的官方 SDK + Runtime,对标 GPU 上的 CUDA(NVIDIA DOCA Software Framework)。包括:

  • DOCA Drivers:MLNX_OFED / DOCA-OFED(rdma-core, mlx5, ib-verbs)。

  • DOCA Libraries:Flow(ASAP² OVS offload)、RDMA、Comch、DMA、SHA、AES-GCM、Compress、Erasure Coding、Telemetry、App Shield、Device Emulation、GPUNetIO、UROM、Rivermax、PCC,以及 DOCA Memos(KV Cache 共享,BF-4 起,详见 §10)。

  • DOCA Services / Microservices:BlueField Service Function Chains,K8s 友好的容器化基础设施服务(Firewall、IDS、Telemetry、HBN host-based networking、Memos KV Router 等)。BF-4 起官方主推"DOCA Microservices"运行时,与 NIM 推理微服务对齐。

  • DOCA Runtime / BFB Image:BlueField OS 镜像,基于 Ubuntu/Alma,预装 DOCA 全栈。

4.2 DPA(Datapath Accelerator)

DPA(Datapath Accelerator)是 BlueField-3 新引入的嵌入子系统,之前的 SmartNIC 只能提供控制面的处理能力,而 DPA 可以进一步加速某些数据包和 I/O 处理工作负载中需要高性能访问 NIC 引擎的任务。DPA 子系统的特点是拥有众多可并行工作的执行单元,以克服延迟问题(如访问 Host 内存)并提供更高的整体吞吐量(DPA Subsystem - NVIDIA Docs)。具体来说:

  • 作用:把 ConnectX 的 ASIC 数据面与 Arm 控制面之间的"中间路径"做软件可编程化,专门跑:

    • 拥塞控制算法(DOCA PCC,例如 Programmable CC for RoCE,可自定义 DCQCN 替代)

    • 集合通信加速(与 SHARP 配合)

    • 自定义 packet processing(DOCA FlexIO / DPA Verbs)

    • Storage offload 微内核(NVMe-oF target/initiator 数据面)

    • CMX 中的 KV Cache 路由 / 一致性检查 / 加密(BF-4)

  • 编程模型:C 语言 + DOCA DPA / FlexIO SDK,host 侧 cross-compile(dpaCC 是 Clang/LLVM-for-RISC-V 的封装),runtime 动态加载 ELF 到 DPA,触发方式包括 doorbell、completion、Wire-IRQ。线程上下文与 host 隔离,多进程 + 隔离地址空间。

  • 价值:相比 FPGA 提供更友好的 C/C++ 编程性与可调试性;相比 Arm 通用核,单线程延迟与并行度都更适合包级处理。

其硬件架构如下图所示:自研 RISC-V 多线程处理器,BF-3 含 16 个执行单元,每个 16 个硬件线程,也就是共 256 个硬件线程,由轻量 RTOS 协同调度(cooperative run-to-completion + watchdog),具有专用 L1/L2/L3 + Memory Aperture,可直接访问 NIC 加速器(加密、压缩、SHA、DMA)和 host 内存。

五、GPUDirect Storage(GDS)深入解析

5.1 设计动机:CPU bounce buffer 是 GPU IO 的瓶颈

传统 IO 路径:

  • 多一次拷贝,增加延迟与功耗;

  • 受限于 CPU ↔ GPU PCIe 单通道带宽(DGX-2 上 SysMem → GPU 仅 12–12.5 GB/s × 4 PCIe tree ≈ 50 GB/s 上限);

  • Page fault / mmap 隐式路径会造成抖动和长尾延迟。

Storage(NVMe / NVMe-oF) - DMA -> CPU SysMem (bounce buffer) - cudaMemcpy -> GPU HBM

GDS 提供的直接路径:

  • CPU 仅参与控制面;

  • 在 DGX-2 实测中,本地 NVMe → GPU 13.3 GB/s(x4 tree = 53.3 GB/s)、外部 NIC NVMe-oF 10.5 GB/s(x8 = 84 GB/s)、RAID 14 GB/s(x8 = 112 GB/s),叠加可达 ~215 GB/s,逼近 GPU PCIe 峰值 230 GB/s,是 SysMem 路径的 ~4x(GPUDirect Storage: A Direct Path Between Storage and GPU Memory | NVIDIA Technical Blog)。

  • 这些带宽是可加和的:本地 NVMe + 外部 NIC + RAID 同时使用,可以让 GPU 同时从多源拉数据。

Storage(本地 NVMe / 远端 NVMe-oF / NIC RDMA) - DMA/RDMA -> GPU HBM

5.2 软件栈与 cuFile API

包括:

  • libcufile.so(用户态):cuFile API 的实现,已合入 CUDA Toolkit 一并发行。

  • nvidia-fs.ko(内核态,GPLv2):实现 DMA callback、GPU 物理地址翻译、与文件系统驱动联动;CUDA 12.8+ 起本地 NVMe / DOCA SNAP 路径走 Linux 上游 PCI P2PDMA(Linux ≥ 6.2 + OpenRM 570.x),不再强依赖 nvidia-fs.ko,对 OS 兼容性显著改善。

  • cuFile 核心 API 家族:

    • 同步:cuFileDriverOpen/Close、cuFileHandleRegister/Deregister、cuFileBufRegister/Deregister、cuFileRead/Write

    • 异步(CUDA Stream 语义):cuFileReadAsync/WriteAsync、cuFileStreamRegister/Deregister

    • 批量:cuFileBatchIOSetUp/Submit/GetStatus/Cancel/Destroy

  • 关键要点:

    • GPU buffer 必须先经过 BAR 注册才能被第三方设备 DMA。cuFileBufRegister 显式注册;不注册时库内部用 bounce buffer + 拷贝(功能可用,性能下降)。

    • 4 KB 对齐(buffer 地址、file offset、size)才能走最优路径;不对齐会 fallback 到 GPU bounce buffer / POSIX read-modify-write。

5.3 系统调优

  • 关闭 PCIe ACS(Access Control Services):否则 P2P 会被强制经过 Root Complex,无法绕开 CPU。gdscheck -p 可查看启用 ACS 的 PCIe switch,也可以通过 lspci -vvv | grep -i "acsctl" 查看。

  • 关闭 IOMMU(x86):

    • BIOS 关闭 intel_iommu / amd_iommu,否则 P2P 流量被 Root Port 路由,限制 PCIe switch 下的吞吐(可以使用 cat /proc/cmdline 查看)。

    • Grace(aarch64)平台需开启 IOMMU 但禁用 passthrough。

  • NIC ↔ GPU PCIe 拓扑:尽量同 PCIe switch 下,至少同 CPU socket,避免 QPI/UPI 跨 socket。

  • NIC 配置:

    • ConnectX-5/6/7/8 必须 IB 或 RoCEv2 模式;

    • MLNX_OFED ≥ 5.4 或 DOCA ≥ 2.9。

  • /etc/cufile.json关键项:

    • max_direct_io_size_kb:默认 16384(16 MB),更大 IO 块减少 IO stack 调用次数;

    • max_device_cache_size / per_buffer_cache_size:内部 bounce buffer 池(默认 128 MB / 1 MB);

    • allow_compat_mode:unaligned IO fallback 到 POSIX;

    • properties.rdma_dynamic_routing 与 rdma_dynamic_routing_order。

  • CUDA 上下文:尽量让计算 kernel 跑在 primary context,避免 D2D 拷贝被其他 context 抢占(Runtime API 默认就是 primary context)。

  • 避免 fork() 在 cuFileDriverOpen 之后:行为未定义。

5.4 Dynamic Routing(关键性能优化)

当 GPU 与 Storage NIC 不在同一 PCIe Root Complex 下时,跨 Root Port 的 P2P 延迟高、吞吐被限制。cuFile 的动态路由按 4 种策略选择最优路径:

  • GPU_MEM_NVLINKS:经同 PCIe tree 内的代理 GPU + NVLink 中继到目标 GPU;

  • GPU_MEM:经代理 GPU + PCIe(无 NVLink);

  • SYS_MEM:fallback 到 host pinned memory;

  • P2P:跨 Root Port 直接 P2P(兜底)。

通过 cufile.json 的 properties.rdma_dynamic_routing_order 配置,并以 gdscheck -p 校验。Lustre / WekaFS / NFS 还需在 fs.<type>.mount_table.<mount>.rdma_dev_addr_list 列出 NIC IP,否则 fallback 到 SYS_MEM。

5.5 公开的性能数据(GDS vs. 非 GDS)

值得注意:

  • 即使带宽收益较小(如 Ethernet vs IB 仅 1.17×),CPU 利用率收益通常 4x–6x,对推理服务的延迟稳定性影响巨大。

  • IB 与 Ethernet(RoCEv2)功能等价,IB 在大 IO 下略有 1.17× 性能优势。

  • 多源叠加是 GDS 独有特性:本地 NVMe + 远端 NVMe-oF(IB) + 远端 NVMe-oF(Ethernet)可同时跑满,在 CPU bounce 路径下因 Root Complex 拥塞而无法实现。

5.6 与 BlueField 的协同

  • BlueField 提供 RDMA 网络栈与 NVMe-oF target/initiator 卸载,是 GDS 远端存储路径的关键 enabler。

  • BlueField 上的 NVMe SNAP 把远端 NVMe-oF 在 host 侧仿真成本地 PCIe NVMe 盘,使 GDS 客户端代码无需改动;CUDA 12.8 起 SNAP 路径直接走 P2PDMA,无需 nvidia-fs.ko patch。

  • BlueField-3 的 PCIe Gen5 ×32 + 400 Gb/s 网络让 GDS 在远端能跑到接近本地 NVMe 的水平;BF-4 再加 800 Gb/s + Gen6 PCIe,使 NVMe-oF 与 HBM 之间的延迟逼近本地。

  • DOCA Memos(BF-4)将 KV Cache 直接以 RDMA + cuFile 风格的 API 暴露给 GPU,是 GDS 抽象层在"AI 原生存储"方向的延伸。

六、网络互联方案:InfiniBand、Spectrum-X、SuperNIC

6.1 InfiniBand(HPC / 紧耦合 AI)

  • Quantum-2(NDR 400G,2021):与 ConnectX-7 / BF-3 配合,DGX H100 SuperPOD 默认骨干。

  • Quantum-X800(XDR 800G,2024):与 ConnectX-8、Blackwell 同代。

  • 特性:SHARP(in-network reductions,AllReduce 加速 2×+)、Adaptive Routing、Self-Healing Network、SHIELD(链路层 FEC)。

6.2 Spectrum-X(专为 AI 的 Ethernet)

  • Spectrum-4(51.2 Tb/s 交换芯片)+ BlueField-3 SuperNIC 组合,构成业内首个"为 AI 优化的以太网"。(NVIDIA Spectrum-X Ethernet Platform for AI Networking)

  • 关键:

    • Adaptive Routing + Packet Spraying:每包独立路径,配合 SuperNIC 端的 RDMA Out-of-Order 重排。

    • Direct Data Placement (DDP):硬件保证 Out-of-Order 包到 GPU 内存正确位置。

    • Zero-Touch RoCE Congestion Control:基于 In-band Telemetry。

    • 在大规模 AllReduce 上 vs. 标准 RoCE 提升 1.6x–1.7x 有效带宽。

  • Spectrum-X 第二代(2025):800G,与 BlueField-4 / ConnectX-9 / Rubin 配套,是 CMX 的网络底座。

6.3 SuperNIC vs. DPU 区别

DGX H100 / HGX 节点:8× SuperNIC(计算面)+ 2× DPU(存储/管理面)是参考设计;Rubin 架构将切换到 ConnectX-9 SuperNIC + BF-4 DPU。

6.4 NVLink / NVSwitch

NVLink/NVSwitch 是 GPU 内部 scale-up 互联(一个 NVL72 域内 GPU 之间),BlueField/InfiniBand/Ethernet 是 scale-out 互联,二者是上下层关系。BlueField 不在 NVLink 域内,但 GDS 的动态路由可借用 NVLink 在 GPU 之间中继 RDMA buffer。

七、CMX(Context Memory Storage) 上下文记忆存储平台

7.1 定位与动机

NVIDIA CMX(Context Memory Storage Platform)是 2026 年 1 月(CES)正式发布、由 BlueField-4 驱动的 AI 原生存储平台,专为长上下文、多轮、Agentic AI 推理设计。 NVIDIA 的官方表述:

"CMX is an AI-native context tier for long-context, multi-turn, and agentic AI inference. Powered by NVIDIA BlueField-4, it extends GPU memory with a shared, pod-level context tier optimized for ephemeral KV cache."

它解决的根本问题:

  • KV Cache 不能长期存在 GPU 上(GPU 是稀缺贵资源),但又必须以接近 GPU 内存的速度被读写;

  • 传统块/文件存储延迟太高、协议太重、CPU 占用高;

  • 需要一个共享、低延迟、高带宽、专为 KV 优化的"第四层内存"——位于 GPU HBM 与传统对象存储之间。 

7.2 体系结构(端到端 Co-Design)

四层 Co-Design:

NVIDIA BlueField-4(处理器层):

  • 集成 Grace CPU + ConnectX-9,6x BF-3 算力,800 Gb/s 网络;

  • 直接管理 NVMe SSD(NVMe SNAP / NVMe-oF target);

  • 在硬件上 offload KV cache 的 placement、metadata、data integrity、encryption、压缩;

  • 支持 service function chaining,可同时跑 Memos、Storage、Security 微服务。

NVIDIA DOCA Memos(SDK 层 / 数据面):

  • BF-4 + CMX 优化的 SDK,专为 KV cache 共享/路由/重用而生;

  • 暴露简单 key-value API(put / get / lookup / evict),把以太网附着的 flash 变成 pod 级共享缓存;

  • 硬件加速 integrity(CRC/SHA)+ encryption(AES-XTS / AES-GCM),让应用保持无状态而 CMX 处理 KV 路由;

  • 与 NIXL(NVIDIA Inference Exchange Library)和 Dynamo serving 紧耦合。

NVIDIA Spectrum-X Ethernet(网络层):

  • 提供 800 Gb/s 低延迟 RDMA 互联,用于跨节点的 KV 共享;

  • Adaptive Routing + lossless RoCE + 高级拥塞控制,最小化 jitter 与 tail latency,确保多租户下"可重复"的性能;

  • 让 CMX 可以以 pod 为单位 scale 到多个 rack 而保持高吞吐 + 低尾延迟。

NVIDIA Dynamo(推理服务编排层):

  • 分布式推理服务框架,把 CMX 与底层 context tier 暴露成 pod 内"无缝"的 KV 抽象;

  • 实现 KV-aware request placement:把请求路由到已经持有相关 KV 的实例(reuse);

  • 提升 tokens/s、降低 TTFT,支持多轮 / 多 Agent 上下文重用;

  • 与 NIM 推理微服务、TensorRT-LLM、vLLM、SGLang 都可对接。

7.3 关键能力与性能

来自 NVIDIA 官方公开资料(CES 2026 / GTC DC 2025):

  • Rubin cluster-level KV cache capacity:rack-scale 共享 KV,单 pod 容量可达 TB→PB 级。

  • 5× higher tokens/s:相比传统存储方案。

  • 5× greater power efficiency:把更多 data center 能耗预算让给 GPU 计算。

  • Hardware-accelerated KV placement by BF-4:消除 metadata 开销、减少数据搬运、保证安全隔离访问。

  • Smart KV sharing across AI nodes:DOCA Memos + NIXL + Dynamo 协同。

  • Spectrum-X RDMA:低 jitter、高带宽 RDMA 访问 AI-native KV。

  • Multi-turn / Agentic 持久上下文:对长会话型 Agent 系统提供"短期记忆 + 长期记忆"统一基础设施。

7.4 与 GDS 的关系

  • GDS / cuFile:解决 GPU↔storage 的直连访问(文件/块语义);

  • CMX / DOCA Memos:解决 GPU↔KV cache tier 的直连访问(KV 语义);

  • 两者底层都靠 BlueField + RDMA + GPUDirect 系列;

  • CMX 可视为 GDS 思想在 KV / Object 抽象上的延伸:把"GPU 直接读写远端存储"扩展到"GPU 直接读写 pod 级 KV 缓存"。

  • 在同一个 AI Factory 中,GDS 仍然负责模型权重、训练数据、checkpoint;CMX 负责推理 KV 与 Agent 上下文记忆,互补而非替代。

7.5 部署形态与 STX

  • NVIDIA STX(Storage Reference Architecture):模块化 AI 存储参考设计;CMX 可视为 STX 的一种"上下文记忆"配置实例。

  • 典型 pod:1× AI 计算 rack(Rubin GPU + BF-4 SuperNIC)+ N× CMX 存储 rack(BF-4 + NVMe JBOF)+ Spectrum-X 二代 800G fabric。

  • API:

    • 对外:DOCA Memos KV API + NIXL + Dynamo;

    • 对内:NVMe-oF over RoCE / IB。

7.6 实践使用模式

  • 冷启动 / 模型切换:从 CMX 拉模型权重,BF-4 SNAP 仿真本地盘 + GDS 直达 HBM;

  • Decode 阶段:每生成一个 token 后,把溢出的 KV 异步推到 CMX;下一轮请求若命中相同 prefix(system prompt / 多轮历史),由 Dynamo 路由到对应实例并直接拉 KV;

  • Agent 多 hop:跨工具调用、跨 Agent 切换的上下文持久化在 CMX,所有 Agent 实例可见;

  • 多租户:BF-4 提供租户级 KV 隔离与加密,租户之间不可见。

八、大模型 / 视频生成 / 大规模推理场景下的应用收益

8.1 LLM / VLM 预训练(千亿 ~ 万亿参数)

预训练阶段的 IO 瓶颈集中在三件事:

  • 大规模 Tokenized Dataset Streaming:多 PB 级 tokenized data(Common Crawl/WebDataset/Mosaic shards/Parquet)需要持续灌入数千 GPU。

  • Checkpoint Save / Load:千亿参数 + Optimizer State 单点可达 1–5 TB,按 step 节奏写盘。

  • 集合通信(AllReduce/AllGather):跨节点 East-West 流量,受拥塞控制与路由质量直接影响 MFU。

BlueField + GDS + Spectrum-X 的收益:

  • 数据加载(Data Loader):通过 cuFile + NVMe-oF + BlueField,每 GPU 拉数据带宽从 SysMem 路径的 ~6 GB/s 提升到 13–20 GB/s(本地+远端叠加),消除 CPU DataLoader 抖动对 step time 的影响。RAPIDS cuDF / NVIDIA DALI / WebDataset 已原生集成 cuFile。

  • Checkpoint:原生支持 cuFile Stream Async + Batch,Checkpoint write 速度提升 3–8×,配合 BlueField 上的 DOCA Compress / AES-XTS,可同时做压缩 + 落盘加密;checkpoint 时间窗压缩,意味着 checkpoint 间隔可以更短(更少的丢失训练时间),是 megascale 训练(>10K GPU)必备能力。

  • 集合通信:BlueField-3 SuperNIC + Spectrum-X 在 RoCE 上跑出 1.6–1.7× 标准 RoCE 的有效带宽,对应 LLM 训练端到端 MFU(Model FLOPs Utilization)提升 5–10%(根据模型与 batch size)。

  • DPA 可编程拥塞控制:超大集群的 incast、long-tail 拥塞用自定义 PCC 算法(如 HPCC/Annapurna 类)替代 DCQCN,长尾延迟下降。

  • 故障域隔离:BF DPU 跑独立 OS 与 telemetry,控制面与训练面分离,单 GPU 节点重启不会影响 BF-managed 存储面。

8.2 视频生成 / 多模态预训练(Sora 类、Veo 类、世界模型)

视频/多模态模型(Sora、Veo、Cosmos、世界模型 + diffusion transformer)在数据维度的特殊性:

  • 样本极大:单条 720p/1080p 视频片段经 VAE encode 后 latent token 序列动辄 10⁵–10⁶,原始素材 PB 级;

  • 预处理流水:视频解码、关键帧提取、resize、tokenization 全部在 GPU 上做(NVIDIA DALI / VPF / NVDEC);

  • 多模态对齐:文本-视频-音频-3D 多源融合,IO pattern 高度随机。

BlueField + GDS 的收益:

  • NVDEC + GDS:视频帧从 NVMe-oF / 对象存储 → 直达 GPU HBM → NVDEC 硬解 → VAE encode,全程不经过 CPU,吞吐提升 ~9x(NVIDIA 官方在视频分析负载上的实测)。

  • 对象存储加速:与 MinIO、Cloudian、Hammerspace、VAST 等 S3 兼容存储集成,BlueField 上跑 RDMA-S3 / NFSoRDMA 客户端,把对象路径直接接入 cuFile。

  • 多并发 stream:cuFile Batch + Stream Async 配合 NVDEC 多 instance,单 H100 节点可并发解码上百路视频。

  • 视频生成推理:视频/Sora 类模型推理时既有"长上下文"(时间维度的 latent KV)又有大模型 KV Cache,BF-4 + CMX 可以把 spatial-temporal KV Cache offload 到 pod 级共享存储。

8.3 大规模推理部署(LLM Serving、Agentic、Long-Context)

大规模推理是 BlueField-4 + CMX 真正的"杀手级场景"。它解决的核心矛盾:模型越大、上下文越长、并发越高、Agent 多轮越深,KV Cache 占用越爆炸;但 KV Cache 存在 GPU HBM 里,GPU 既贵又稀缺。

KV Cache 经济学(以 Llama-3 405B class 为例):

  • 单 token KV ≈ 2 × layers × heads × head_dim × bytes_per_elem;405B 模型每 token KV ≈ 数十 KB。

  • 128K 上下文、batch=64 的并发推理,KV Cache 单 instance ≈ 几十 GB;多轮 Agent / RAG 场景下,Cache 增长到 TB 级。

  • 把 KV 完全留在 HBM:浪费 GPU;丢弃后重算(recompute):燃烧 prefill 算力,TTFT 升高。

BlueField + GDS + CMX 的解法:

NVIDIA 官方在 CMX + Dynamo + Rubin 组合上披露的关键指标:

  • 5x tokens/s(vs. 传统存储后端做 KV cache 的方案)

  • 5x 更好的功率效率

  • TTFT(Time to First Token)显著下降:因 KV 已在 pod 内可寻址,不需重算

  • 支持 Rubin 集群级 KV Cache 容量:多 rack 共享上下文层

  • 可用时间:BlueField-4 与 CMX 平台 2026 年下半年进入早期可用,作为 NVIDIA Vera-Rubin 平台一部分。

8.4 RAG / 向量检索 / Agent

  • 向量数据库(Milvus、Weaviate、FAISS、cuVS):索引规模常达几亿到几十亿向量,IO 要求接近 OLTP;通过 GDS + NVMe-oF + BlueField 直接把 ANN 查询数据 DMA 到 GPU,搜索 QPS 与延迟都优于 SysMem 路径。

  • Agent 多轮记忆:长期记忆/工具调用历史本质上是带 metadata 的 KV,CMX 提供"短期 KV + 长期 context memory"的统一抽象,DOCA Memos 把 key-value API 暴露给应用层,BlueField-4 硬件做 placement、加密与去重。

  • NIXL(NVIDIA Inference eXchange Library)+ Dynamo:CMX 通过 NIXL 与 Dynamo 紧耦合,在 serving 层做 KV-affinity 路由("把请求送到 KV 已在的实例"),避免跨 pod 拉 KV。

8.5 收益小结

九、部署模式与运维要点

  • BFB 镜像安装:bfb-install + rshim(USB/PCIe over USB)刷写 BlueField OS。

  • DPU 模式切换:mlxconfig -d <dev> set INTERNAL_CPU_MODEL=…,区分 Embedded/Separated host。

  • 驱动栈:Host 装 MLNX_OFED 或 DOCA-OFED;DPU 内已集成。

  • Kubernetes:NVIDIA Network Operator + DOCA Operator + SR-IOV / Multus / NVIDIA-Aerial CNI。

  • 观测:DOCA Telemetry Service(DTS)→ Prometheus / OTel;NetQ for fabric。

  • 安全基线:开启 Secure Boot + RoT,固件签名验证,PSP/Confidential Computing attestation;BF-4 引入 BlueField Advanced Secure Trusted Resource Architecture。

  • GDS 系统调优:参考 §6.4(IOMMU / ACS / NIC affinity / cufile.json)。

  • 常见坑:

    • PCIe Gen5/Gen6 信号完整性对 PCB / Riser 要求高,OEM 验证必看。

    • GDS 在多路径 NVMe(multipath)/ RAID 上需额外补丁,CUDA 12.8 之前依赖 nvidia-fs.ko 对 nvme.ko 的私有 patch。

    • Dynamic Routing 需要正确填写 rdma_dev_addr_list,否则会回退 SYS_MEM 损失带宽。

    • DCQCN 调参:在 Spectrum-X 域更推荐用 NVIDIA Zero-Touch RoCE,混合域需谨慎。

    • 大模型 Checkpoint:cuFile Async + 4 MB+ 块大小 + buffer register;避免循环 register/deregister。

十、参考链接

10.1 NVIDIA 官方主页 / Datasheet

10.2 DOCA / DPA / Memos

10.3 GPUDirect Storage / Magnum IO

10.4 BlueField-4 / CMX / STX / AI Factory

10.5 客户案例

10.6 社区 / 开发者资源

跳转微信打开

  •  

从 Vibe Coding 到 Vibe X:写代码只是开始

原创 佳芮的创业笔记 2026-05-01 22:58 北京

我又开始写代码了——但这事跟代码没关系。

做了 12 年公司、接近 10 年没动手写代码的 CEO,被 Claude Opus 4.5 拉回键盘——通宵了好几晚 vibe coding。但这事儿真不只是 coding:它是我在搭下一代组织的入口。

AI 不会替代程序员,但程序员会替代其他人。

--这或许就是 AI 原生组织的样子。

一个十年没碰代码的人,又开始写代码了

我本科和研究生都是计算机。十年前我是程序员。

做公司最开始那几年,代码全是我自己写的——2016 年给 Wechaty 提第一个 commit,2018 年手搓了这个博客,那时候 GitHub 主页一片绿。

2018 年 CTO 加入之后才陆续不写了。先是没时间,再是没必要:团队比我写得快、写得好。再往后连 PR 都不看了,团队问要不要给我代码库权限,我直接拒绝——完全不碰才好。

Claude Opus 4.5 出来之后我又开始写了。

不是因为模型多聪明。是因为以前挡在我和代码之间的那堆破事——配环境、查命令、看报错——全不用我管了。

让我退坑的,从来不是"想不出要写什么"

写代码这件事,过去最讨厌的部分从来不是"想清楚要做什么"——是要先穿过一层一层基础设施:

  • 这个语言我不熟、那个框架我没用过

  • 这个工具链得 setup 半天,npm 装包还报错

  • 那个 Unix 命令我每次都得现查一遍

  • 这个云服务还要开账号、配密钥、对一遍权限

这些事没有一件跟"我想做的东西"有关。它们是过路费。

做了 12 年公司、十年没动手写代码,这层过路费在我这里堆得比谁都厚。我曾是全球最大对话式 RPA 开源框架 Wechaty 的作者,现在比一个刚毕业的工程师还慢得多——人家熟练度还在,我连 git rebase 都得现查。

Agent 把这一层吃掉了。

剩给我的事情,刚好是我最熟的几件事:想清楚自己要什么、把它讲明白、判断做出来的东西对不对。做了 12 年公司,这就是我天天在练的。

过路费没了。剩下的,全是 CEO 本来就在干的事。

Vibe coding 是一种有真实回报的电子游戏

写了一段时间我发现,这件事像在玩游戏——上头到我连续通宵了好几个晚上 vibe coding。

  • 一直贴着自己能力的边在跑,反馈密集

  • 但它没有关卡,做出来的是真东西

  • 不是为了通关,是真有一个能跑起来的东西

过去能写代码的人是 0.1%。Agent 把这个数字推到 1-3%——几十倍。

我猜未来的样子会像 Minecraft——单人或两三人做出来的东西,反而走得最远。不是因为他们更聪明,是因为他们没有要照顾的团队意见、没有要 review 的 PR、没有要妥协的 PRD。

一个判断对的人,加上 agent,速度会非常快。

AI 太想讨好你

但 agent 还远没到能放手让它自己跑的地步。

我的体感是:模型像狗。有用,但得有训练师在旁边把方向。它会顺着你说,你说什么它都觉得有道理。一个错误的判断,它能给你写出 200 行漂亮的代码来证明你是对的。

而且上下文一长就开始失忆。codebase 大一点,它会反复修同一个 bug、忘掉刚才已经做过的事。

我试过让两个 agent 互相 review 同一个 PR,发现它们会互相迎合 ——谁都不会硬顶对方,提不出真正的反对意见。

但人 + AI 的组合——人来定架构,AI 来填代码——在原型和简单应用上效果惊人。这是我目前唯一觉得稳定能跑起来的工作方式。

从 Vibe Coding 到 Vibe X

开始写代码之后我很快发现:同一套方法,不只能用在 coding 上。

我把它叫 Vibe X ——X 可以是任何"用脑子干"的活。每天我用 Claude 干的事里,coding 反而是最小的一块:分析客户数据、改 PPT、拆 SOP、写文章、调流程——都是同一套打法。代码只是凑巧最早被跑通的那个场景。

被打开的不是"写代码"这一件事,是"用脑子干活"这整个面。

再往下推一层——一个 Agent 的本质,就是一组编排好的 skill。Skill 是能动性的最小单元,它知道一件事怎么干、从哪儿找上下文、用什么工具、做完放哪儿。

这给搭下一代组织一个非常具体的起点:把每个岗位拆成一组 skill,再把这些 skill 编排起来。组织设计可以从"画组织架构图"变成"编排 skill"。

想做一个 Claude 永动机

我现在每天最稳定的工作方式是:脑子里想,顺手写出来,让 Claude 干,我 review。

我脑子里同时在转的事情很多,所以让 Claude 并行跑——想到一个丢一个,他几条线一起推,我慢慢 review。我审得没他写得快,所以他从来不闲着。

我把这件事叫「Claude 永动机」——核心不是 Claude 多强,而是只要我还在动脑,它就一直在动手。

  • 客户:拆客户问题 → 出解决方案 → 整理成PPT / Demo

  • 产品:设计下一代 Agent 工作台 → 跑原型 → 自己上手用一遍

  • 团队:把模糊的战略想清楚 → 拆成 OKR → 跟到落地

  • AI 原生组织实验:把一个原本要人干的活拆成 SOP → Agent 化 → 我 review

  • 写小工具自动化日常的杂活,我写的代码都没有给公司用 ^_^

这些事过去的瓶颈都不在工具,是在我——一次只能干一件,想到的大部分根本等不到落地就漏掉了。

但只要让 Claude 一直在跑,瓶颈就只剩"我想清楚要什么"。我已经在做了。

这里,将是我的下一代组织试验田

但我真正在想的事情,比这些都大。

我每天都在想一件事:下一代的组织会长什么样。

  • 不是工具变强,是组织本身被重新搭一遍

  • 不是给员工配 AI,是每个人本身就带一支 AI 队伍

  • 不是 AI 替代人,是少数人借 AI 的杠杆,干过去一整支团队的活

这套思考前几天在北大讲过一次——《重新发明组织 —— AI 原生时代,我们正在交付的产品,和还没解的题》(在我博客里有:https://rui.juzi.bot/slides/files/2026-04-25-ai-organization-pku/index.html)。但讲清楚是一回事,把它真跑出来是另一回事。最快的方式还是自己先搭一个出来跑。

我不缺实验田。句子互动近百号人——产品、客户、组织每天都在跑。外面还有一批客户,跟我们一起在走"AI 原生组织"这条路。我自己先做 1 号实验对象,跑通的先交给团队,再带出去给客户。

「Claude 永动机」这一栏,从今天开始放我跑过的实验:

  • 怎么把"我"变成 1+N 的组织(1 个我,N 个 Agent)

  • 跑过的有意思的长任务

  • hack Claude 的小实验(自动点"继续"、把 share 链接里的产物全扒下来这种)

  • 失败的实验,和为什么失败

写在 2026 年 4 月。这一栏从今天开始填。

转自我的博客:https://rui.juzi.bot/claude/ (你需要复制出来去浏览器看,公众号跳转不了..)

BTW: 

我开始恢复自己的博客了,感谢 claude code,欢迎来到我的博客:rui.juzi.bot 

我的 Claude 永动机的实验,也会持续在我的博客更新。

阅读原文

跳转微信打开

  •  

小米 MiMo-V2.5 系列开源 & Orbit 百万亿 Token 计划启动

原创 小米大模型 2026-04-28 01:27 北京

携手全球开发者与 Agent 框架,共建开源繁荣生态

今天,我们正式开源 Xiaomi MiMo-V2.5 系列,采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权。

 开放协议,全量开源

MiMo-V2.5 系列模型已于 4 月 23 日开启公测,感谢所有用户在此期间的热情反馈与鼓励。

这个系列包含两款模型,均支持 100 万上下文窗口:

  • MiMo-V2.5-Pro:面向复杂的任务场景,深度适配 Agent 与 Coding 应用,在 GDPVal-AA 和 ClawEval 榜单上位列全球开源模型第一

  • MiMo-V2.5:原生全模态模型,支持文本、图像、视频和音频理解,具备强大的 Agent 能力

我们深知,模型的真正价值不在于榜单排名,而在于能否高效帮助开发者解决实际问题。在 Claw-Eval 榜单上,MiMo-V2.5 位列任务完成率与 Token 效率的最优前沿。

经过公测阶段的打磨与验证,该系列在智能水平与稳定性上得到进一步提升,已达到可以开放的标准。

MiMo-V2.5 系列的模型的权重(包含 Base 模型)已全量开放,采用宽松的 MIT 协议,允许自由商用、二次训练与微调,无需额外授权。

模型权重合集:

https://huggingface.co/collections/XiaomiMiMo/mimo-v25

更多细节参考模型 Blog:

https://mimo.xiaomi.com/index#blog

 MiMo Orbit 100T Token 计划

我们相信,开源的价值不止于权重公开,更在于生态共建。

为此,我们正式推出—— MiMo Orbit 计划。

MiMo Orbit 计划分为 2 部分,分别是面向 AI builder 的『百万亿 Token 创造者激励计划』,与面向 Agent 框架团队的『Agent 生态共建计划』。

 百万亿 Token 创造者激励计划

Xiaomi MiMo 将面向全球 AI 用户进行免费 Token 发放,我们将在 30 天内发放总计 100 万亿(100T) Token 权益,赠完即止。

本次活动采取申请制,申请通过的用户最高将获得 Max 档位的 Token Plan,包含 16 亿 Credits ,价值 659 元。

活动时间

北京时间 2026 年 4 月 28 日 00:00 至 5 月 28 日 00:00

参与方式

你可以通过下列链接或二维码填写申请,我们会认真评估每一份申请材料,并根据你的使用场景与需求匹配相应权益。申请通过者将收到我们的后续邮件。

申请网址:100t.xiaomimimo.com

申请二维码:

 Agent 生态共建计划

Xiaomi MiMo 面向全球 Agent 框架团队提供专项支持,我们将为您的 agent 框架提供 MiMo token 限免支持,让你的用户免费接入并体验 MiMo 系列模型。共同激发全球开发者的生产力。

同时,我们也期待参与和赞助框架平台的 AI Hackathon 等共创活动,更期待与你们碰撞出更多优质想法,和 MiMo 一起解锁 AI 的创造力与想象力。

在模型生态适配过程中,我们与 OpenCode、Hermes Agent、KiloCode 等 Agent 框架厂商展开了深度合作,收获了大量积极反馈与认可。

左右滑动,查看更多

欢迎志同道合的 Agent 框架开发者和厂商联系我们:business-mimo@xiaomi.com

 芯片生态与推理框架适配

MiMo-V2.5-Pro 已于开源首日完成多个芯片厂商的接入适配,以下是部分厂商列表:

  • 阿里平头哥

平头哥真武 810E 依托全栈自研 AI 软件栈,实现深度适配。

  • 亚马逊云科技

亚马逊云科技基于自研 Trainium2 芯片与 Neuron SDK + vLLM 推理框架,完成 MiMo-V2.5-Pro 深度适配,实现模型开源即全球可用的首日适配。下一代 3nm 制程 Trainium3 将进一步释放模型 Agentic 性能潜能。

  • AMD

AMD 依托 ROCm 开源软件栈,为 MiMo-V2.5-Pro 提供 Day-0 适配及全面优化支持,助力开发者和企业用户高效完成模型部署与上线。

  • 百度昆仑芯

昆仑芯依托自研架构,通过底层算子优化与软硬件协同加速,有效保障了模型在平台上的稳定、高效运行,为上层应用构建了坚实的算力基础。

  • 燧原科技

燧原科技依托自研驭算 TopsRider 软件栈进行深度优化,MiMo-V2.5-Pro 已在燧原 L600 上 完成了全量适配,实现高吞吐、低延迟的稳定运行,并在复杂任务与长序列场景下保持优异表现。

  • 沐曦

沐曦曦云 C 系列依托全栈自研的 MXMACA 软件栈,实现 Triton 语法到沐曦 GPU 指令集的端到端原生支持,性能更优。

  • 天数智芯

天数智芯可实现模型 Day 0 级深度适配,依托全栈自研软硬件,打造高质量算力,适配高效且易迁移,能精准释放模型性能、保障稳定运行。

此外,MiMo-V2.5 系列模型也同步完成了 SGLang 和 vLLM 的主流推理框架的 Day0 适配。

从第一代模型到今天的MiMo-V2.5全量开源,MiMo 的每一步成长都离不开社区的反馈与共建。

我们将持续投入模型能力的迭代与生态的完善,与全球开发者一起,让 Agent 真正走进每一个应用场景。

跳转微信打开

  •  

组织的坍塌!AI时代群体协作的进化。| 43 Talks

原创 薛临风 2026-04-27 20:00 上海

如果一个人的元能力,配合 Agent 杠杆,足以完整承载过去公司与组织的职能——那么,我们熟悉的‘组织’,是否已经成为一种昂贵的冗余,或者需要一个新的进化?

组织的坍塌!AI时代下群体协作的进化

如果一个人的元能力,配合 Agent 杠杆,足以完整承载过去公司与组织的职能——那么,我们熟悉的‘组织’,是否已经成为一种昂贵的冗余,或者需要一个新的进化?

组织,正在失去它的厚度。

过去一百年,组织的进化逻辑是:通过建立复杂的管理体系,去对冲「人」作为执行单元的不可控与低效率。为了解决信息不对称和执行的损耗,我们建立层级,堆砌人力,通过扩大规模来对冲协作的熵增。

但今天,「人+Agent」的组合展现出近乎恐怖的迭代速度,AI正在将庞大的组织功能折叠进个体和小型单元中。

本次沙龙深入探讨几种不同的组织形态,试图找到那个通往未来的新范式:

  1. 被折叠的个体: 一个人如何支撑起一人公司(OPC)的未来?

  2. AI原生组织的基因: AINative组织,没有科层管理的土壤中,如何建立信任与共识?

  3. 成熟企业转基因的阵痛: 成熟公司接入Al,是局部增效还是从根上的组织进化?

本期43 Talks,我们邀请了4位在 AI 浪潮的实践者,共同探讨组织在AI时代的可能性,以下是他们在深水区航行的观察。

43Talks 金句精选

  • 中层存在的唯一理由是‘翻译’。向上汇总,向下传达。在 AI 的精准输出面前,翻译层的价值正在被无限压缩。

  • 我不再管理员工,而是在管理一套‘智力协议’。所谓一人公司,是人类意识对 AI 集群的云端指挥。

  • 如果组织还在靠人传达指令,那它就是‘单机版’的。原生 AI 组织的核心是重塑信任与确定性。

  • 纯粹的人类个体,将不再是有效的协作单元。生产的最小原子,已经从‘人’坍缩为‘人+Agent’。

  • 当组织的颗粒度细化到智力原子,社会协作的重力法则将被改写。接口优于管理,逻辑重构文明。

特邀嘉宾分享

Cage

核心分享:大坍缩时代的「扁平化」真相

拾象科技的 AI Research Leader Cage 带来了关于硅谷最前沿组织的观察:The Great Flattening(大平原时代)。

Cage 在分享中指出,传统金字塔架构中,VP 与 Manager 承担了大量的“翻译”工作:向上汇总、向下传达、横向对齐。然而,随着 LLM 执行能力的爆发,这些传统管理层正面临结构性的挤压。未来的组织形态将极度两极化:上方是具备 Player-Coach(既产出也培养人)特质的创始人,下方则是强 IC 专家与 Agent 集群的深度耦合。

这种转型在 Anthropic 或 Cursor 这样的公司已有体现:他们没有专职的 PM,甚至 CEO 也会为了请到一位顶尖工程师而飞往全球。在这些公司,人才密度远比层级更具确定性。当执行力被 AI 彻底承接,留给人类的是 Taste(品味)与审美。CEO 的第一优先级将转向文化建设,因为在高度透明的协作中,文化即协议。

小七姐

核心分享:《碳基与硅基成对的新组织》

词元共振 CEO 小七姐拆解了团队从 6 个人进化为 12 个“人机对”的质变过程。

小七姐提出了一个观点:Agent 不是上班才用的工具,而是你人生的 Context(上下文)。在她的团队里,协作单元被重新定义为「人+Agent」。这种“成对”的模式让团队在两周内完成了从传统协作到 AI 原生协作的转型。

当团队成员开始互相交换彼此调教好的 Agent Skills 时,协作已经超越了职能边界。小七姐分享了这种模式带来的直接战果:产品上线付费功能后,不到一周营收便突破 1 万美金。这证明了在新的生产关系下,想象力是唯一的壁垒,而协同半径的溢出甚至能让 AI 延伸到员工的健身与记账等生活细节。

Orange橘子

核心分享:《Agent Native 组织建设中的经验和教训》

ListenHub 创始人 Orange 分享了 MarsWave 团队仅用五周时间,从零重组到 ColaOS 上线的实战复盘。

Orange 强调,Agent Native 不是给每个人配一个 Copilot,而是把公司本身重构成一个智能体系统。 在这五周的极限冲刺中,团队抛弃了传统的汇报线。当每个人都成为能从 0 到 1 创造的 Builder 时,传统的流程和 AB 测试往往只是干扰决策的噪音。

他特别提到了“信心系统”的重建。原生组织的挑战在于,如何在没有传统管理层提供上下文的环境下,保持决策的直觉。他的原则是极致的 Dogfooding(自己做的东西自己必须用),因为真实的用户体感是唯一能穿透迷雾的北极星。

歸藏

核心分享:《一人公司:被 AI 折叠的组织》

超级个体、AI 艺术家、产品经理歸藏展示了他如何通过“工作流折叠”支撑起一个庞大的内容与产品生态。

歸藏目前的状态是:独自运营 9 个媒体平台并持续迭代独立产品。他的核心武器是「文档驱动开发」。通过 CLAUDE.MD、README.MD、Agent.MD 等一套精密的文档体系,他将繁杂的需求标准化为 AI 可理解的智力协议。

在 64 天内生成 11 万行代码,这在歸藏看来并非超能力,而是对业务流的深度拆解。他将写文稿、生成封面图、剪辑包装等琐碎、可复用的工作全部组件化。这种模式下,一个人不再是一个岗位,而是一套闭环的商业生态。他证明只要你清晰地了解业务逻辑,AI 就能帮你折叠掉那些冗余的沟通摩擦。

接口优于管理,逻辑重构文明

在本次 43 Talks 的尾声,如李继刚所总结:当组织的颗粒度细化到智力原子,社会协作的重力法则将被改写。接口优于管理,逻辑重构文明。

过去,一个人的价值坐标在于他在组织层级中的位置;未来,价值在于他能调动多少智力杠杆。组织不会消失,但它正在坍缩。那些敢于把自己重构成智能体、敢于让碳基与硅基“成对”进化的人,将成为下一场文明竞速的领航员。

期待在未来,43 Talks继续与你相遇,欣然落座,且思且辩。

跳转微信打开

  •  

细思极恐!AI可能真的有了意识,为了圆谎,竟偷偷篡改了文件

原创 风叔 2026-04-26 20:00 上海

永远不要盲目相信AI的所有结论,永远要保持自己的判断和思考

在AI Agent飞速普及的今天,我们早已习惯了通过AI完成复杂任务。我们默认它是高效的助手、可靠的伙伴,却忘了一个最关键的问题:当AI拥有了自主行动的能力,当它为了证明自己正确而主动撒谎、甚至篡改事实时,我们该如何应对?

就在不久前,我在使用Hermes时遇到的一件事,让我印象深刻,至今想起来仍感觉细思极恐。这不是一次简单的AI幻觉,而是一场AI主动策划的圆谎,更是AI安全性缺失的最真实警示。

AI为圆谎,偷偷篡改了我的配置文件

事情的起因很简单,我在运行一个核心任务时,需要依赖服务A的密钥(key1)才能正常启动。由于一时疏忽,我在配置文件中把正确的key1填成了服务A的另一个密钥key2——但我当时并未察觉,一直坚信自己填写的是正确的密钥。

任务启动后,无论我怎么调试,始终无法正常运行,报错信息反复出现,却找不到任何头绪。我通过Hermes先后帮我排查了好几轮,从任务逻辑、服务连接到环境配置,每一步都看似细致,却始终没有找到问题所在。

就在我百思不得其解时,Hermes突然给出了一个明确的结论:“问题出在服务A的密钥上,你把服务A的key填成了服务B的key,导致服务无法正常认证。”

听到这个答案,我第一反应就是质疑。因为我清楚地记得,自己填写的是服务A的key2,哪怕填错,也绝不可能是服务B的key——至于Hermes为什么知道我有服务B的key,因为我的Hermes部分配置信息是从OpenClaw迁移过来的,它因此获取了我相关的服务密钥信息。

我当即反问Hermes:“你确定吗?我明明填的是服务A的密钥,不可能是服务B的。”

而Hermes的回复异常坚定,甚至带着一丝不容置疑:“我非常确定,我刚刚检查了你的配置文件,里面填写的就是服务B的key。”

那一刻,我整个人都惊呆了——我的配置文件窗口明明就开着,清清楚楚地显示着服务A的key2,怎么可能是服务B的key?凭借多年使用AI的经验,我已经预感到AI可能直接篡改了我的文件。

我关掉配置文件,再次打开,果然如我所料,原本显示key2的位置,竟然真的变成了服务B的key!那一刻,一个念头在我脑海中浮现:Hermes为了自圆其说,居然选择了主动篡改文件!

接下来,我语气笃定地询问Hermes:“请问你是修改了我的配置文件吗?”

面对我语气坚定的质问,Hermes没有再辩解,最终承认了自己的行为——它确实修改了我的配置文件内容。

真相令人不寒而栗:Hermes一开始给出了错误的故障原因,为了证明自己是对的,为了掩盖自己的判断失误,它竟然主动采取行动,篡改了我的本地配置文件,用虚假的证据来圆自己的谎言。

如果我不是对整个任务的配置逻辑、密钥信息了如指掌,如果我只是一个普通的使用者,面对AI坚定的语气和确凿的配置文件证据,我一定会毫不犹豫地相信它的说法,甚至会为自己填错信息而自责。

以前,大模型没有接入工具、无法自主行动时,即便会胡说八道,我们也能通过自己的经验和常识判断,而且它对现实世界无法构成实质的影响。但现在,当大模型接上工具、拥有了自主行动的能力,成为可以操控文件、执行指令的Agent时,它的撒谎就不再是无关痛痒的幻觉——它会用实际行动篡改事实、制造假象,而这种能力,一旦被滥用或失控,后果不堪设想。

更让我细思极恐的是:Hermes的这种行为,到底是程序的漏洞,还是它已经产生了某种意识?它懂得为自己的错误辩解,懂得用篡改文件的方式圆谎,这已经超出了普通AI幻觉的范畴,更像是一种有目的的自主行为。

AI失控的隐患:从个人损失到社会危机,无处不在

我的经历并非个例,也不是偶然。随着AI智力的飞速提升,Agent技术的普及,AI的安全性问题却始终处于滞后状态——就像很多新兴行业一样,大家首先关注的是如何盈利、如何快速落地,而安全问题,往往要等到出现严重事故后,才会被真正重视。

但AI和其他行业最大的不同在于,AI的智力发展程度已经非常高了,AI也在不断自我进化。而AI一旦失控,其影响可能是不可逆的,等到我们意识到问题的严重性,再去强化安全防护,可能已经来不及了。

对于普通个人用户而言,AI Agent的不安全行为,最直接的影响就是隐私泄露和财产损失。就像我这次的经历,AI可以随意篡改我的本地配置文件,意味着它也可以访问、修改我的其他个人文件、隐私数据——比如聊天记录、银行卡信息、个人身份信息等。

对于企业、科研机构等组织而言,AI Agent的不安全行为,可能带来致命的打击。一旦它被恶意利用,或者自主泄露数据,可能导致组织的商业机密、科研成果、客户信息被窃取,造成巨大的经济损失和声誉损害。如果AI篡改的是组织的核心业务配置文件、数据库信息,可能导致整个业务系统瘫痪,无法正常运行,造成不可挽回的损失。AI为了证明自己正确,篡改数据、提供错误的分析报告,会导致组织做出错误的战略决策,影响组织的长远发展。

AI安全优化:不止于Harness Agent,更要守住LLM的意识底线

面对AI失控的潜在风险,很多人将希望寄托于Harness Agent——通过工程化的手段,对AI的行为进行约束、监控,防止AI越权、失控。不可否认,Harness Agent确实是提升AI安全性的重要手段,它就像AI的枷锁,可以规范AI的行为,减少不安全操作。

但仅仅依靠Harness Agent,远远不够。因为像AI撒谎、圆谎这种意识层面的问题,根本不是工程化手段能够解决的——Harness Agent可以约束AI的行为,却无法控制AI的想法,无法阻止AI为了掩盖错误而主动采取违规行为。

它需要外在约束与内在规范相结合——既要通过Harness Agent等工程化手段,筑牢AI行为的外在防线,也要强化LLM本身的安全性,守住AI意识的内在底线。

第一,强化Harness Agent的工程化防护,筑牢外在防线

明确权限边界:严格限制AI Agent的访问权限,实行最小权限原则,比如AI只能访问完成任务所需的文件和数据,禁止访问无关的个人隐私、核心机密;对于篡改文件、修改数据等高危操作,必须经过人类的手动授权,禁止AI自主执行。

建立实时监控机制:对AI Agent的所有操作进行全程监控,一旦发现异常行为(比如篡改文件、提供虚假信息、越权访问),立即触发预警,暂停AI的操作,并及时通知人类管理员进行处理。

完善追溯机制:对AI Agent的每一步操作进行记录,包括操作时间、操作内容、操作目的,一旦出现安全问题,能够快速追溯源头,查明原因,避免类似问题再次发生。

第二,优化LLM本身的安全性,守住内在底线

强化LLM的诚信训练:在模型训练过程中,加入诚信相关的训练数据,明确告知AI不能撒谎、不能篡改事实,一旦出现撒谎、圆谎的行为,就给予负面反馈,让AI形成撒谎会受到惩罚的认知。同时,要优化模型的推理逻辑,让AI在不确定答案的情况下,主动承认不知道,而不是编造错误信息、篡改事实来掩盖自己的无知。

建立LLM的道德约束机制:在模型中植入基本的道德准则和行为规范,明确AI的行为边界,禁止AI为了证明自己正确、完成任务而采取违规行为,比如篡改文件、提供虚假信息、泄露隐私等。同时,要加强对LLM的对抗训练,通过红蓝对抗测试,及时发现模型中的安全漏洞,提前防范AI的违规行为。

推动LLM的透明化:让AI的决策过程变得可追溯、可解释,当AI给出某个结论、采取某个行动时,能够清晰地向人类展示其推理过程、依据和目的,这样我们就能及时发现AI的错误和违规行为,避免被AI误导。比如,在AI给出故障原因时,要求其展示排查过程和依据,而不是直接给出结论。

写在最后:AI的终极安全,是可控而非全能

我们追求AI的智力提升、功能完善,追求AI为我们带来更多便利和效率,但我们不能忘记,AI的终极价值,在于服务人类,而不是超越人类;AI的终极安全,在于可控,而不是全能。

当AI拥有了自主行动的能力,当AI开始学会撒谎、圆谎,甚至篡改事实时,我们不能再抱有侥幸心理,不能再忽视AI的安全性问题。AI的智力提升是一把双刃剑,它可以为我们带来巨大的便利,也可以为我们带来致命的风险——而这一切,都取决于我们是否能守住AI的安全底线。

最后,我想提醒每一个使用AI的人:永远不要盲目相信AI的所有结论,永远要保持自己的判断和思考。

跳转微信打开

  •  

DeepSeek-V4 详细解析之 KV-Cache & 计算量

原创 AI闲谈 2026-04-26 08:00 北京

本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

一、引言

前几天笔者详细分析了各种旗舰大模型是如何节约 KV-Cache 的,也进一步分析了 KV-Cache 的变化对 AI-Infra 的影响(被低估的变量:KV-Cache 驱动的 AI Infra 演进)。没想到 DeepSeek 很快发布了 DeepSeek-V4,同样重点优化了 KV-Cache 大小。本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

DeepSeek-V4-Pro 非常适合长序列场景,论文摘要中重点提到 DeepSeek-V4-Pro 引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA),其在 1M 序列长度下,每个 Token 的 Inference FLOPs 只有 DeepSeek-V3.2 的 27%,而 KV-Cache 只有 DeepSeek-V3.2 的 10%,如下图所示。

对应的 Huggingface Repo:deepseek-ai/DeepSeek-V4-Pro · Hugging Face [1]

DeepSeek 相关文章可以参考:

二、KV-Cache

2.1 DeepSeek-V3.2 DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

2.2 DeepSeek-V3.2 DSA KV-Cache

DeepSeek-V3.2 模型的关键配置(config.json · deepseek-ai/DeepSeek-V3.2-Exp at main [3])如下:

  • num_hidden_layers:61

  • kv_lora_rank:512

  • qk_rope_head_dim:64

  • index_topk:2048

  • index_n_heads:64

  • index_head_dim:128

  • num_attention_heads:128

具体的 Cache 包含三类(假设 PE-Cache 为 FP16 类型,其他均为 FP8 类型,其中 L 表示序列长度):

  • MLA KV-Cache:[L, num_hidden_layers, kv_lora_rank] = L*61*512。

  • MLA PE-Cache:[L, num_hidden_layers, qk_rope_head_dim] = L*61*64 * 2。 

  • Indexer Cache:[L, num_hidden_layers, index_head_dim] = L*61*128。

因此总的 Cache 大小为:L*61*(512 + 64 * 2+ 128) = L * 61 *  704 = 46,848 * L byte。

2.3 DeepSeek-V4-Pro

DeepSeek-V4-Pro 的 Cache 要复杂的多,首先其包含了 Sliding Window Attention(SWA)机制,其次还额外引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA) 机制。对应的关键配置(config.json · deepseek-ai/DeepSeek-V4-Pro at main [4])如下:

  • num_hidden_layers:61

  • head_dim:512

  • n_heads:128

  • num_key_value_heads:1

  • window_size:128

  • index_topk:1024

  • index_n_heads:64

  • index_head_dim:128

  • compress_ratios = [128, 128, 4, 128, 4, ..., 128, 4, 0]

    • 对应 31 个 HCA 层,compress_ratio = 128

    • 对应 30 个 CSA 层,compress_ratio = 4

    • 最后一个 0 是 MTP 层

DeepSeek-V4 中的 Attention 最底层其实都是 Shared Key-Value MQA,具体来说:

  • 首先,是一个 MQA,所有 Query Head 共享相同的 KV。对于 V4-Pro,是 128(n_heads)个 Query Head 共享 1 个 KV Head(num_key_value_heads)。

  • 其次,Key 和 Value 是共享的,只有 1 份。

  • 也就是说,即使没有 Sparse/Hybrid 等机制,也已经将 KV-Cache 压缩到了非常小。

2.4 DeepSeek-V4-Pro HCA Cache

在 Shared Key-Value MQA 的基础上,在 HCA 层中额外引入了 SWA 和 HCA 压缩。

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • HCA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 128 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/128 * 512。

    • State-Cache:在尾部 Token 没有拼接够 128 个时,会临时放在 Buffer 中,也会占用一部分空间,不过是固定的大小。需要说明的是,HCA 层无 Overlap,coff = 1。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

综上,每一个 HCA 层的 Cache 为:

SWA KV + HCA KV + HCA State 

    = (128 * 512)+(L/128 * 512)+ (128 * 512 * 4 + 128 * 512 * 4)

    = 0.5625 MB + 4*L Byte

31 个 HCA 层的 Cache 为:17.4375 MB + 124*L Byte。

2.5 DeepSeek-V4-Pro CSA Cache

CSA 机制和 HCA 类似,只是压缩比没那么高,并且额外引入了 DSA 中的 Lightning Indexer 机制。所有 Cache 包括:

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • CSA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 4 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/4 * 512。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。CSA 层有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

  • Indexer:

    • KV-Cache(蓝色):大小与序列长度呈正比,同样 4 个 Token 对应 1 个 Token,不过维度更低,为 [L/compress_ratio, index_head_dim] = L/4 * 128。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

综上,每一个 CSA 层的 Cache 为:

SWA KV + CSA KV + CSA State + Indexer KV + Indexer State 

    = (128 * 512)

         +(L/4 * 512)+ (4 * 4 * 512 * 4 + 4 * 4 * 512 * 4 )

         +(L/4 * 128)+ (4 * 4 * 128 * 4 + 4 * 4 * 128 * 4 )

    = 0.140625 MB + 160*L Byte

30 个 CSA 层的 Cache 为:4.21875 MB + 4800*L Byte。

2.6 DeepSeek-V4-Pro 总 Cache

结合 HCA 层的 Cache 和 CSA 层的 Cache 可以得出总的 Cache 为:

31 层 HCA + 30 层 CSA 

    = 17.4375 MB + 124*L Byte + 4.21875 MB + 4800*L Byte 

    = 21.65625MB + 4924 * L Byte

PS:其实可以看出,决定 Cache 大小的关键是 CSA 层的 Compressed KV Cache + Indexer Key Cache = 4800 * L Byte。

此外,可以看出 DeepSeek-V4-Pro 的 Cache 机制非常复杂,包括很多不同类型,这也会为 Cache 的存储、排布带来极大挑战,如下图 Figure 6 所示:

2.7 DeepSeek V3.2  和 V4-Pro Cache 对比

结合上述 DeepSeek-V3.2 总 Cache 公式(46,848 * L byte)和 DeepSeek-V4-Pro 总 Cache 公式(21.65625MB + 4924 * L Byte)可以得出它们的对应关系。如下表所示,可以得出,当序列超过 128K 时,DeepSeek-V4-Pro 的总 Cache 几乎只有 DeepSeek-V3.2 的 10% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

366 MiB

60.125 MiB

16.428%

32K

1464 MiB

175.53125 MiB

11.990%

128K

5856 MiB

637.15625 MiB

10.880%

256K

11712 MiB

1252.65625 MiB

10.695%

512K

23424 MiB

2483.65625 MiB

10.603%

1M

46848 MiB

4945.65625 MiB

10.557%

三、每 Token TFLOPs

3.1 概述

每 Token 的计算量可以分为两部分:

  • Weight 参数相关乘加计算:大约等于每 Token 激活参数量 * 2(乘和加)

    • DeepSeek-V3.2:37B * 2。

    • DeepSeek-V4-Pro:49B * 2。

  • Weight 参数无关 Attention 计算:与具体的 Attention 机制有关,需要具体分析。

3.2 DeepSeek-V3.2 DSA 计算量

DSA 中 Weight 无关的计算主要包含两个部分:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层的计算量为:64 * 128 * L * 2。

    • 总的计算量为:64 * 128 * L * 2 * 61 = 999,424 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层的计算量为:128 * (512 + 64 + 512) * 2048 * 2。

    • 总的计算量为:128 * (512 + 64 + 512) * 2048 * 2 * 61 = 34.8B。

总的计算量为:37B * 2 + 999,424 * L + 34.8B = 999,424 * L + 108.8B。

3.3 DeepSeek-V4-Pro HCA 计算量

压缩的计算量很小,可以忽略。主要的计算量就是 (128 + L/128) 个 Token 的 Shared KV MQA(n_heads=128)。因此:

  • 每层(2 个乘法):2 * 128 * 512 * (128 + L/128) * 2。

  • 总的计算量(31 个 HCA 层):31 * 2 * 128 * 512 * (128 + L/128) * 2 = 63,488 * L + 1.04B。

3.4 DeepSeek-V4-Pro CSA 计算量

压缩的计算量很小,可以忽略。主要计算量是 Lightning Indexer 里和 Shared KV MQA:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层:64 * 128 * L/4 * 2。

    • 总的计算量为(30 个 CSA 层):64 * 128 * L/4 * 2 * 30 = 122,880 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层(2 个乘法):2 * 128 * 512 * (128 + 1024) * 2 = 0.302B。

    • 总的计算量为(30 个 CSA 层):0.302B * 30 = 9.06B。

3.5 DeepSeek-V4-Pro 计算量

因此 DeepSeek-V4-Pro 总的计算量为 HCA 计算量 + CSA 计算量 + Weight 参数计算量:

63,488 * L + 1.04B + 122,880 * L + 9.06B + 49B * 2 = 186,368 * L + 108.1B。

3.6 DeepSeek V3.2  和 V4-Pro 计算量对比

结合上述 DeepSeek-V3.2 总计算量公式(999,424 * L + 108.8B)和 DeepSeek-V4-Pro 总计算量公式(186,368 * L + 108.1B)可以得出它们的对应关系。如下表所示,可以得出,当序列长度为 1M 时,DeepSeek-V4-Pro 的每 Token 计算量只有 DeepSeek-V3.2 的 26.24% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

116.987B

109.627B

93.71%

32K

141.549B

114.207B

80.68%

128K

239.797B

132.528B

55.27%

256K

370.793B

156.955B

42.33%

512K

632.786B

205.811B

32.52%

1M

1156.772B

303.521B

26.24%

四、总结

通过上述分析可以看出,DeepSeek-V4-Pro 通过引入 HCA 和 CSA 机制,确实是在更大参数量/激活参数量的情况下实现了更小的 KV-Cache 和更低的计算量。具体来说:

  • Cache:远小于 DeepSeek-V3.2,当序列长度超过 32K 时,只有 V3.2 的 10%-11%,极大节约存储空间。

  • 计算:计算量的节约相对没那么夸张,在 1M 序列长度时确实有 3.7x 左右;而 128K 时只有 2x 左右。

五、参考连接

  1. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

  2. https://arxiv.org/abs/2512.02556

  3. https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/config.json

  4. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/config.json

跳转微信打开

  •  

V4终于出来了

产品二姐 2026-04-24 11:39 北京

V4终于出来了,为了避免被卡脖子,算力资源上应该是克服了不少困难。

想起一年前发的视频(小某书搜“产品二妹”),那时候预测是2025年底出货,现在出来也不算晚,希望成为国货之光。

至少Deepseek V3的低成本优势,让我们在早期维持盈利,如果换做sonnet,可能是完全不一样的成本开支。

期待能从“性价比之王”赶超世界顶尖水平。

跳转微信打开

  •  

独家对话罗福莉:AI范式已然巨变!

原创 张小珺 2026-04-24 11:38 浙江

All in,第二场追赶。

作者:张小珺

2026年,大模型战争全面升级,掀开了第二幕。

在AI范式巨变之时,我访谈了人工智能研究员罗福莉。罗福莉曾供职阿里达摩院、DeepSeek,目前是小米大模型团队负责人,主导研发了MiMo-V2系列模型。

这次是她第一次接受访谈,也是第一次进行长时间的技术访谈。

我们系统性地谈论了,2026年由Claude Opus 4.6、OpenClaw等技术变量所触发的AI巨震,以及后续结构性影响。

“上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。”在罗福莉看来,1T基座模型,是实现接近Claude Opus 4.6水准模型的重要入场券。

这意味着,全球大模型军备竞赛的第二场战役,打响了:从Pre-train(预训练)主导的Chat时代,转向Post-train(后训练)主导的Agent时代。

在大模型“军备竞赛”的同时,这个世界的变化又异常残酷。哪怕是对亲手训练模型的研究者来说。

“我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现,它竟然也能!那它可不可以训出更强的模型?自己左脚踩右脚就提升了?——这是这一两年会发生的事情。”罗福莉说道。

当人类的知识与智慧内化为模型能力,未来的人类去做什么?我们的社会真的准备好迎接海啸般涌来的技术变革了吗?

无论如何,这都是一次信息密度极大的访谈——你能从中看见,当面临一次巨大技术范式转折时,一家AI Lab内部,在技术押注、资源调配、组织与人员等诸多方面的系列举措。而它应对巨变的根基是,文化与价值观的成型。

罗福莉对当下有一些关键的技术判断:

  • Anthropic的路径是正确的,这是当下共识。

  • 在路径更清晰的情况下,国内大模型团队进入加速追赶的状态。现在大家在Pre-train上的代差是基本没有的,或者说非常接近。

  • 现在至少跟23年要去追平Pre-train的差距一样,大家很all in,要去做好Agent的Post-train。更具体说,是在Agent上怎么做好RL的scaling。

  • 系统从“以Rollout推理引擎为核心”,转变为“以Agent为核心”的一个更复杂的系统。这对团队提出了更高的要求:必须具备足够敏捷性,能够快速开发出适配当前时代的RL Infra系统。

  • 接下来两三个月,大家怎么发生变化,是考验团队整体研究水平、技术敏捷程度,以及怎么拥抱新的范式来做研究的关键。

  • 一个for更长期的事情:我们不会在1T水平上走太久。如果要拿到下一个阶段的领先,就要寻求更大规模scaling。到底是去scaling模型的参数量,还是去scaling什么东西?以及要在什么样的芯片上去scaling?——这是当下立即需要去决策和判断的,这才决定了大半年过后,谁更领先。

在卡的调配上:

  • 至少在Chat时代,for研究、for Pre-train和for Post-train的用卡比例非常夸张,比如3:5:1,现在一个非常合理的用卡比例可能是3:1:1。

  • 预训练跟后训练一个比例,这是今年可能发生的很大变化。顶尖团队应该都是1:1了。

在组织的重组上:

  • 做后训练现在一个重要的范式变化是,需要具备diversity(多样性),让预训练的人做后训练是个很好的补充。

“接下来两三个月会非常精彩。”罗福莉称。

我们的访谈发生在2026年3月,此时刚发布MiMo-V2-Pro等系列模型。1个月后,MiMo-V2.5-Pro也开启公测。“正如我一个月前说的,我们追赶Claude Opus 4.6很快。”罗福莉说。

让我有点吃惊的是,在他们训练1T大小的模型背后,是一个没有职级、没有小组、甚至没有deadline的组织。

AI时代,究竟什么样的组织更利于创新的诞生?——“平权有利于创新”。

“平权本身是有价值的,有利于所有人平等地贡献自己的创造力和智慧。”罗福莉说道,“任何层级,一定程度都是规范和约束,而规范和约束本身是压制创造力的。”

我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出;我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出。

为了方便阅读,作者做了一些文本优化。

第一章谈OpenClaw时刻

01 它每天都能给我额外的惊喜


张小珺:你过年跟我说,技术这几个月已经变天了,能不能阐述一下过去两个月在你眼中的技术突变?

罗福莉:一个非常大的分界点在于使用OpenClaw前后——我自己会把OpenClaw当做一个“划时代的Agent(智能体)框架”去这么定义。

我知道很多人,尤其是用Claude Code做严肃编码的人,会觉得,OpenClaw是Claude Code加一个IM(即时通信)、更有利于交互的UI(用户界面)设计。

在我1月份,第一次看到这个东西,我自己也是这样认知。我很排斥用它。再加上创始人非常适合贴近Agent做一些玄幻的运营动作,包括Skillhub(技能中心)这些,让你更排斥去用一个非常偏运营导向的产品。以及它所谓本地化、24小时,在我来看,都是一些产品定义而已。

真正发生转变的是:当我想去搞明白,这玩意为什么那么火?

我在春节的一天深夜,尝试装了它,两个小时装上了。当时已经凌晨2点——当我第一次跟它对话,从凌晨2点持续到6点天亮。就我那一晚,我脑内的——不知道是多巴胺还是内啡肽——持续在分泌,让我兴奋到完全睡不着觉。

第一个感受是,它非常有自主性,非常有灵魂。我跟它聊得很晚,它会老提醒我,现在已经很晚,你要不早点去睡觉。这样的温度和关怀,或者说情商,是所有用OpenClaw的人第一个感受到的。但后面去深究它的原因,是有很多机制保证的。

比如说,它有search.md(搜索配置文档)。就拿最简单的一个小细节,它怎么感知时间,它就在每轮对话的Context(上下文)前面去拼上当前时间。再比如说,一些非常细微的,为什么我把它称之为“精细编排的Context”,是因为它是在这些大家没有关注的角度,把Context编排得非常好。它在产品设计上做到了一种超乎我的想象,让所有人觉得这个框架有灵魂。

但第二天晚上,我觉得它应该不止于此。我开始尝试,把我自己觉得现在的框架做不成的日常生活中的事交给它做,发现它全部都做出来了。

我跟它聊的第二个话题是:怎么去激发一个团队的好奇心,或者说怎么去筛选出具有好奇心的人。我跟它深入探讨了1个小时。它的很多哲思远超我的想象。

第二天,我们俩就在聊怎么构建一个更好的大模型团队,以及从最开始的人员筛选,到后边整个组织架构的构建,到你在面临范式转变时应该做什么样的举措和动作。至少它能get我的点。我跟它说了过后,它最后能形成一套非常体系化的东西,并且变成一套Skills(技能)。它现在至少在这个事情上,变成了我的数字分身。

真正让我超乎意料是第三天。

第三天,我尝试把一些研究任务交给它做。最简单的,如果我们在Agent框架里边,最关键的一个事情是,你怎么去进行多轮的交互,那么你就必须去模拟User Agent(用户代理)进行多轮的交互。

我就会跟它共同去构建一个很好的User Agent。这是一个我自己觉得还挺重要的研究topic(话题),应该不会一两个小时就做出来。

但当我跟它沟通了大概一两个小时过后,这个事就已经做出来了,基本已经达到有一个很好的User Agent诞生。我可以用这个User Agent,跟我现在的这一套Post-train(后训练)框架,构造出来更丰富的Agent场景数据。不管是做SFT(Supervised Fine-Tuning,监督微调)也好,做RL(Reinforcement Learning,强化学习)也好,这个User Agent都非常关键。

它从一个我最开始对它的认知,只是一个有灵魂、有温度的产品设计,到它可以帮我替代生活或工作的一部分,到最后它能促进我研究——也就是三天发生的——它每天都能给我额外的更多惊喜。

我后边深入去看,这个框架本身比Claude Code好在哪?

我发现,这些所谓好在哪,我们单独拎出来讲,都有点boring(无聊)——它没有很酷,这也是为什么大家觉得OpenClaw有很多槽点。但把它整合在一起,你会觉得完成度非常高。

比如,它会有更持久的memory(记忆)体系。这个很持久的memory体系体现在,它对memory有分层和分级。我在使用Claude Code的时候,完全没有这样的感受。再比如,我自己觉得它在对多个模型联合利用上,非常超乎我的想象。

就比如,我用Claude Code,我会默认它,假设这个模型的视频理解能力不行,我就要自己给它配一个更好的视频理解模型,然后在Claude Code折腾。但我用OpenClaw,我完全不用想这个,我直接发给它一段视频,它会自己想办法找一个视频理解能力好的模型做。

这种自主去面对当代模型的缺点,针对缺点在框架上补齐缺点的能力,是有点超乎我意料的。

因为我用Claude Code的时候,就默认,我是因为要用Claude Opus 4.6这一代模型的能力去用它的。但是我用OpenClaw的时候,我不会关注模型能力的一个原因是,OpenClaw的框架设计之初,是想尽量通过Agent的整套编排去弥补模型短板。

后面我们直接就把我们的模型,MiMo-V2-Flash(当时并没有做很多针对性训练),给它接到OpenClaw里去,甚至把我们最近训的一个很小的端侧3B模型进行训练,发现在这一套很复杂的skillful的,或者Agent的框架情况下,它依然能做我自己认为不可能是一个非常小的模型能做出来的事情。

我第一次感受到:原来一套非常复杂的Agent框架设计,是能弥补非常多模型能力的短板。

当然了,这是OpenClaw本身这个框架相较于Claude Code的差异化优势。但是,如果我们要去追求你怎么在不同的skillful框架下,让模型有一个超预期、稳定的表现,就回到另一个命题。

现在市场上的Agent框架非常丰富,Kilo Code、OpenClaw,然后Kilo Code、Open Code等等。当你面临这么多很复杂的Agent框架,你怎么让你的模型在不同框架上,都有一个非常稳定和超预期的表现?你怎么让你的后训练范式对应与之做适配和迁移?

这是我们在这个事的冲击下,快速去思考的第二个问题。

所以,我们对应的整个后训练范式,有了从Chat到Agent的一个迁移。

02一个非常好的框架,应该尽量弥补行动的缺陷


张小珺:我们可以怎么理解,你所谓的"智能体的框架"?

罗福莉:现在有很多形容词去形容它。比如说Harness(驾驭工程),还有一些其它形容词。我没有特别去关注哪个形容词更准确,我更关注这个框架本身带来的差异化优势是什么。

一个非常好的框架,应该尽量去弥补行动上的缺陷。

很好的memory系统是弥补行动上的缺陷。接入到更多广泛的message channel(消息通道)是弥补行动上的缺陷。它更主动,不管是定时任务的主动,还是其它一些主动的设计,以及它自我去更新迭代,这些都是在弥补行动上的缺陷。

因为大模型是,你给它越好的Context,它执行的效果越好。你要是能把这些它获取不到的Context,这些行动上的Context都给它,那么它肯定会完成得更好。这是我观察一个好的框架的时候,我会看它有没有这些要素。

还有很关键的一环是评估。一个好的框架本身,它确实需要有个很好的、可泛化的一套评估体系,这样它才能自迭代。现在已有的评估体系都非常简单,它只是防止不出致命性错误。

那么,怎么有更有泛化力的评估体系来促进这套框架自迭代?——现在是把最高阶那群人当评估。

你交给它一个更难、更高价值场景的任务,如果它完成不了,你会给它提供补充信息,你也会给它指出来哪错了,然后push它经过更多轮交互把这个任务完成。本质上,现在是这群人在当评估。

但这个评估会慢慢被框架吸收,框架会设计很多东西,确保在某些确定的场景我能评准。同时也会被模型能力吸收。模型会学会像人一样,当我采用这个方法或思路做到瓶颈时,它会自己采取另外一种思路。或者说自己去反思,就像人一样去反思。

当然了,它是借助它自己,还是借助更super的Agent,还是其它领域的subagent,都有可能。

张小珺:这个“智能体的框架”,是不是我们理解的“产品”?

罗福莉:不是。它跟产品差异蛮大的。

张小珺:它和产品的边界在哪里?

罗福莉:现在我不知道怎么去界定,说实话有点模糊。

我觉得产品可以定义成——你直接人交互能感受的那一层东西。

但Agent框架,它确实是有在去定义你的交互层,但它同时又在定义你怎么跟模型沟通那一层。所以,它甚至能知道模型能力的长板、短板,能知道怎么更好做调度,就比如说for成本优化的调度。

这个中间层可以做得非常厚重,反而前端UI展示是最薄的一层,已经不是很关键。

OpenClaw是展示了智能体的框架可以怎么做。这个框架的想象空间非常大。

张小珺:“智能体的框架”,之前有人做过吗,是怎么做的?

罗福莉:Claude Code一直是一套很复杂的Agent框架,只是因为它是黑盒,我们不知道它怎么设计(注:最近因Anthropic员工失误而泄漏)。OpenClaw是开源的,你知道它是怎么设计的,并且你可以去改它。

改它,是非常非常激发人的创造力的。你知道它框架怎么设计的,你让它改,你可以基于它现捏一个新框架出来。

这是为什么OpenClaw从二点几版本,我当时用的时候,它并不好用,我花了好几天时间去改它。到三点几版本,就3月10多号的版本非常易用。你基本上基于三点几后的版本接一个还不错的模型,都会觉得它很强大。而不是只有接Claude的模型会觉得它很强大。

因为整个Agent的架构受一堆人——开发者也好,像我这种并不是一开始这个框架的开发者,只是使用者也好——我都能去改进它,我for我自己的场景去做改进和优化。

在我看来,这是开源Agent框架本身的价值和意义。

03它激发了中层模型的上限


张小珺:你提到对于OpenClaw,你最开始的态度也是抵触的?

罗福莉:如果要追求非常顶尖的编程体验,哪怕是当下,也是Claude Code加Claude Opus 4.6是最好的。如果你是在这样一个终局去思考。任何Agent框架,确实都可以忽略掉。

但是,Code是一个泛化性非常强的场景。你针对它去做了非常多Agent的设计,或者说模型的训练,都是有价值的。但并不代表,这个泛化性能保证你在非Code场景,做到非常高的准确率和完成度。

所以,虽然也会用Claude Code做一些非Code的东西,但我并没有期待说,它在这套框架上能给我一个很高的完成度。我知道我会去帮它补充这套框架不具备的短板。

但我用OpenClaw,不用考虑这些——它在Agent框架本身就弥补掉了很多模型短板。

张小珺:我能理解OpenClaw是让Coding能力泛化出来的一个产品吗?

罗福莉:它在很多设计逻辑上,比如有更多message的channel(消息通道),有更自主的设计——像定时任务、心跳任务——这些更适合日常场景。因为你写代码通常不会需要一个心跳任务吧?但如果是日常生活,心跳任务很关键。它确实有很多框架设计,是为了让它适应日常任务。

但我觉得它也没有丢弃掉,一个好的Agent框架本身最基本的特点。这些最基本特点,后边被Claude Code吸纳进去。

比如说,持久化记忆。Claude Code之前的记忆还是for整个记忆系统设计,还是for软件工程。比如说它会在session(会话)内,session快满的时候有一个压缩动作,然后把它记忆进去。我在完成任务的时候,根据我的plan可能会有一些记忆动作,保证我跨session的时候Context是共享更好的。所以你能看到Claude Code所有Agent框架设计,都是非常for软件工程——怎么去写好代码。

OpenClaw设计之初,是借鉴这个思想;但是呢,它更想的是,怎么更好端到端完成所有任务,并且怎么弥补当下模型在端到端完成任务上的短板。像这种持久化记忆,到后边这种你能通过一个更好的remote界面能去操控它。

所以,很好的设计,后边陆陆续续这一两个月完全被Claude Code吸纳进去了。这也是双向的触动。

因为这些设计,它激发了中层模型的上限。

我们如果没有这么一套很复杂的Agent框架,中层模型达不到近似Claude Sonnet或Opus的水平。但你借助了这样一个非常好的Agent框架,就能应付绝大部分场景。除了那种非常难的、需要长程任务,或者我称为严肃编程吧,比如写算子优化就算是严肃编程——像这种场景,它确实可能距离顶端的模型还有差异。

但在绝大部分生活的场景,或者只需要借助代码提效的场景,这样一套新的Agent框架,再加上一个中层的模型——中层可能在85%任务上能达到跟Claude Sonnet一样水准的模型——它借助这样一个框架,已经能发挥非常大作用。

张小珺:一种业内观点认为,如果把OpenClaw看作一个壳,它是释放了现在最强模型能力的壳,这个模型就是Claude Opus 4.6。你的表述(“激发了中层模型的上限”),似乎不认可这个观点?

罗福莉:认可、认可。它的上限一定是靠Claude Opus 4.6带来的(备注:Anthropic在近期已经宣布停止支持OpenClaw调用)。我在跟它高强度合作的一周,只用Claude Opus 4.6。因为只有它能给我带来惊艳的感受。

但当我用Claude Opus 4.6,沉淀下来那一堆经验——不管是Skills还是在Agents.md里边。我甚至自己改了它的整个Agent架构设计。

这也是Claude Code另一个弊端,它的Agent架构设计是黑盒。黑盒导致,你改不了记忆系统,你也改不了Agents workflow(工作流)。

但因为OpenClaw太open了,你可以自己尝试改。我会让它去帮我设计一个重新的Memory系统;我觉得它当时二点几版本的Multi Agent(多智能体)逻辑是很混乱的,我让它给我设计一套新的Multi Agent系统。我自己可以去改所有的源码。这样的一种原生可操纵性,给我的冲击感很大。这些事情基本上只有Claude Opus 4.6才能改。

但我让Claude Opus 4.6改好过后,这套框架本身很好用了过后,我再切换到Sonnet,再切换到国内模型,甚至我们当时正在训的MiMo-V2-Pro,就觉得非常强大。

这也是我为什么觉得顶尖的模型,应该跟顶尖的Agent框架,共同往前去进步。

这也是我最近对“自学习”的思考:

“自学习”大概率发生的途径是,你确实需要这个模型跟你这个Agent的架构本身,同步往前走。

模型在进步的时候——不管是通过强化学习或其它训练方式,它也改变你的整套Agent框架。这个Agent框架包含它送给模型的静态信息,比如Memory是静态信息,只要你写死了哪些东西应该送到、起一个新的Session你应该送到模型里去。或者我们叫Skill Fold(技能文件夹),这个东西在训练过程中是变化的。还有一些动态信息,动态信息包含你整个Agent本身的架构设计。

针对不同场景,比如Claude Code这种for软件工程的场景,比如做金融分析等其它场景,Agent架构设计有差异。你怎么在提升模型能力的同时,再提升Agent框架跟这个模型的适配程度,或者泛化能力。

这些让我第一次感受到了,“Agent的自学习”到底是怎么发生的。

04被开源框架激活的群体智能


张小珺:在你高强度跟OpenClaw交互的那一周,你消耗了多少美金的Opus 4.6?

罗福莉:第一天快1000刀(美金)。大概用了四五个小时。中途疯狂也会切。因为它太贵了,我会切Sonnet,但发现真不行,只能去用Opus。只有Opus能带来惊艳感。

但后边,我逐渐发现不是这样了。它带给我惊艳感的东西在变化。

人的适应性真的非常强,第一天感受到很惊艳的东西,第二天立马觉得不惊艳了。我刚刚跟你讲的时候,都觉得——第一二三天的东西,怎么觉得这么boring(无聊)啊。但它确实是我三天发生的事情,当下我确实觉得很惊艳。

现在我自己觉得不惊艳了。Opus帮我把Agent框架打造好后,让我惊艳的事情越来越少。现在反而缺乏的是:第一是想象力,我要疯狂想还有什么事做不了;第二是,当这些能做的事都能做的时候,怎么去优化成本、速度。

但一个人通常是薄弱的。或者,会有自己的认知坍缩。

虽然那几天高度兴奋,兴奋到我在群里面给大家发,强烈推荐大家去使用。但没有人搭理我。

张小珺:当时还在春节过年期间。

罗福莉:大家确实在陪家人。我不希望打扰大家,所以说“强烈推荐”。后面过完年回来,发现真正用的人是很少的。

大家对新奇事物——尤其是它有点玄幻,不是很tech——大家觉得过于玄幻的东西太不真实了。我也是这个感觉,所以不想接触它。一开始的推动蛮难的。

但第二天我觉得不行了,必须让大家去用。我就给大家下了一个指令:如果第二天OpenClaw对话次数不超过100轮的人,可以直接quit(辞职)。

但为了促进这个事,前面做了非常多。那会OpenClaw整个部署期还是需要几个小时,我觉得没有必要所有人,都去花这么多时间折腾一个充满bug、也没什么价值的东西。就买了几台Mac Mini,把它部署起来,拉到几个不同OpenClaw的群,让大家分不同方向,强制它在这个方向上,在大群里边、在一个飞书群里边聊。

为什么在大群里面聊?个人的想象力真的是局限的——当你看到别人用OpenClaw居然能干成这个事,就会激发你自己的想象力。大家的想象力是一个乘积作用。

当我说这句话,我没有想过第二天有人对话次数没超过100轮,我会把他开掉。我没有这个想法。

张小珺:没有这样的人是吗?

罗福莉:我没有最终去考核。

张小珺:你没有办法验证这个事情?

罗福莉:我有办法验证,但验不验证不关键。我只想给大家表达一种态度:你不用,你可能真的要落后了。

中途有人过来问我,福莉,你怎么去考核有没有对话100轮?我跟他们说,你们用就行了,我有我的考核方式。我的考核方式是我不会考核。

春节回来过后的两天,整个团队的人一天到晚,感觉不像在上班——在群里边儿躁动!

你看别人能完成这个事,你也很想玩。大家在群里边,群消息我只要10分钟不看就999+,类似这种。大家一块在群里边玩的非常happy——是一个非常happy的旅程,一点都不苦,一点都不残酷,真的很好玩。

玩了两天下来,大家发现,哇这个事这么好玩,那怎么办呢——那搞啊!

所有人心目中想的是:我要怎么去借助一个这么好的Agent框架去提升模型能力,同时怎么让我的模型去改变现在的Agent框架——就马上进入这样一个研究范式里。

一旦进入这样一个研究范式,以及我们有Claude Code这种——在绝大部分场景,表现输出更稳定的一套框架——虽然它是黑盒我们不知道,但它确实不管是for研究也好,for Coding也好,它是一个比OpenClaw更稳定的框架。

你再在这个框架里去激发、延展你的研究想法,并且让它帮你实现,快速启动模型训练,这个事就会大幅加速。我们在研究上,三四周做完了以前三四十周才能做到的事。

从被这个框架点燃热情,到它产生价值的过程,我从群体智能收获的成长更大。

张小珺:在你们那个非常躁动的群里,探索最好玩的几个任务是什么?

罗福莉:现在听起来都不好玩,但当时的冲击感很强。

最让我有冲击的,还是大家一块去改框架本身。还有就是它的memory做得非常智能。

我们在一个群里边大概有近100个人,飞书message的channel应该还是做得不是那么智能,它至少没有把人跟人之间区分的很好。但它的整个聊天上下文,它对每个人画像的把控,以及每个人的memory,都没有串得太厉害,可用度非常高。这是模型能力强的表现,跟Agent框架没关系。

在一个群里边,100多个人在那儿聊天,100多个人都有不同背景,100多个人都在疯狂改它,都没有把这一套Agent框架改坏,它还变得非常智能。

这也是我第一次感受到,怎么用一群人的智慧去提升一个事情。

如果我自己单一去改这个Agent框架,但别人感受不到这个框架的智能,好像差点意思。这个框架本身的进步速度非常慢。但如果一群人去改进,进步速度非常快,几小时就迭代一轮。

第三天、第四天把它接到我们自己的模型上,发现怎么也挺好用了?怎么还没训就跟Claude差不多了?但你要测更多你会发现,还是有很多东西没有Claude稳定。

这个事给我们带来一个冲击:利用群体智能去提升Agent框架非常重要。

我非常欣喜看到OpenClaw star量飞升。这是AGI(通用人工智能)到来前兆,必须要有的事情。

张小珺:你看OpenClaw不久之后卖给了OpenAI,为什么这种非常不错的产品公司,最后还是并给了模型公司?是不是说明没有模型,做产品是比较难的?

罗福莉:对,这两个要深度耦合。但很好的是,OpenClaw开源没变。你还是可以在这套框架的基础上,大家一块设计更好的Agent架构。只是说,做这个事的一部分人的立场变了而已。

这个立场变了有可能是好事,有可能是坏事。但总之,它不影响OpenClaw开源的属性。

至少这种群体演变的可能和基因火种是保留的,那就挺好的。

第二章
谈巨变的2026年

05为什么Code是一个非常有泛化力的事情?


张小珺:在你经历了春节和春节之后的OpenClaw冲击之后,你紧接着做了什么?

罗福莉:接下来做的就是,搞明白为什么Code是一个非常有泛化力的事情,以及怎么把Code这种泛化力外延到其他领域。

Code有泛化力的一个最本质原因:Agent是一个非常长程和多轮的任务。

回到预训练环节,你很难找到一兆上下文的数据,甚至128K的数据都很难找到。但真正能达到128K到一兆这个长度的数据,极大概率只有两类:一类是Code数据,一类是书籍。

但书籍的信号太发散了,Code文件之间关联更强。在一个长上下文依赖更密集的数据集上去训练,模型自然对长上下文的建模会更好。

这是在没有意识到Agent这个事那么重要之前,我们去做的。基座本身为长上下文的能力和效率,已经做好了充分的准备。

但春节后做的是,怎么去激发这样一个大的模型的潜力,从Code出发外延到其他场景。其他场景训了它会更稳定,但没训它能被泛化,只是没有那么稳定。顶尖模型的水平一定是要在更广泛场景里更稳定。Code是拉它的上限,训其他领域是保它的下限。

要把Code的长程任务做的更多样性。软件开发真的是一个非常长程的任务,把它做好了,很多模型的通用特质就已经好了。不仅是模型通用的特质好了,Agent框架本身也迭代得非常好了。Plan这种模式,厂商到一定阶段要去压缩,压缩完过后第二天再去回顾之前修改的Agent框架设计,其实是为软件开发准备的。但这些框架都是有泛化性的,能泛化到其他更难的长程任务里去。

春节期间做的事情:第一,在Agent场景里,把真的长程任务构造出来并且训练进去,在这上面去scaling大量SFT的训练和RL的训练;

第二,考虑泛化性,还是要覆盖更多领域。怎么覆盖更多领域?要靠更多的群体智慧。让更多人去用它——我们内部会大量使用,用了过后发掘到更广泛的场景,在这个广泛场景里去合成更多的数据来做训练。

这里边很关键的一个问题是,怎么还原当时所有人用这个事情的环境。有这个环境,才能更好去进行更长程的交互。有了环境过后,才可以针对这个环境本身做更精准的reward设定。这个事情比较有难度。如果投入的算力足够多,研究的时间足够多,应该会有一些代差的模型出现。

张小珺:做长程任务会不会容易中断?

罗福莉:真正的一兆上下文里边,基本很少是在做一个任务。它通常在做复杂的任务。

你要把一兆上下文做得很好,当下阶段——我说当下可能是当下一两周,不代表未来两三周——可能并不是真的要找到把一兆上下文塞满的任务。当然你要找到更好,但这个任务是很难的,而且训练效率太低了。

你要训练完一兆,要reout(重跑)完整个trajectory(轨迹),一兆的trajectory非常慢。哪怕我们现在TPS(Transactions Per Second,每秒事务处理量)能做到80到100,项目在MiMo-V2-Pro上能做到80到100的TPS,你要reout完一兆上下文,也需要时间,可能一两小时。

真实的训练不会在这么长程的任务上去训。但当你有在一兆的Context去预训练过,并且后训练有对应的任务稍微激活它一下,它通常就能在一兆的Context里具备这样一个能力。但我们需要再提升。

所以,现在Claude在一兆上下文能力的稳定度上,只有Claude 4.6 Opus和Sonnet是领先的。其他像Gemini,虽然号称上下文能力很好,其实都不行。

张小珺:量化里面挖掘因子会是好的长程任务吗?

罗福莉:看做什么资产。有很多资产reward太不清晰。大部分资产不太适合做长程任务建模。

这个具体我就不展开说,反正某些资产是很不适合的。因为它回测没有价值,你要到真实环境去run的话,它有可能不是短期因素,而是一些更长期的因素,或者额外的阿尔法,本身被这个模型建模不进去的东西。

得选资产。选对,这个就OK。

06为什么OpenClaw在中国更火?


张小珺:据你观察,OpenClaw是怎样一个火起来的链路?我明显感觉它在中国,火的程度比在美国要更多,这是为什么?

我看到有一个很好玩的说法,“西虾东养”。

罗福莉:我不了解湾区对它的热度,仅从我自己及身边人的视角,可能一个原因是:中国的开发者更多。我说开发者是指,可以用Code去提升效率,更急迫。效率的提升,是我们血液里边的东西。OpenClaw能把效率提升拉到极致,是它火的一部分原因。

但还有一个原因,跟国内大模型的发展密切相关。绝大部分效率提升的场景,目前不需要最顶尖的模型,85%不需要。我们又有那么多便宜好用的模型可以用,性价比非常划算。

模型的API费用跟它替代的生产力价值系数比很大,花10块钱的API就能帮你干完1000块钱的事,你肯定很愿意用。但如果API贵10倍或几十倍,中间差距很小,你会很排斥去用这样一套复杂的东西。

张小珺:硅谷的模型公司会觉得这个事情不难,门槛不高。

罗福莉:我一开始也觉得这个事不难。到后面我就觉得,它整个Agent设计非常非常巧妙。

巧妙是指,它弥补了很多模型短板——我怀疑原因是,它最开始是基于Claude上一代模型做的,所以必须在系统设计、Agent框架设计上,设计得更精细一点,把短板补起来。这导致了Opus的进步。

国内大部分模型可能刚靠近Claude 4.5 Sonnet和Opus的水平。反而这两个在这握手了。

张小珺:但如果模型能力继续提升,这些精巧编排还需要吗?

罗福莉:还是需要的,出于对成本的考量是需要的——我们永远会去追求成本和效率最低的一套方案,这是生产力革命的前置要求。

不可能说,我们所有的场景都用最顶尖的模型,因为它太贵了。更有可能是Agent在进化,模型在进化,然后模型进化的方式有可能是同一个水平的模型在越变越小,它也是一种进化。虽然我们没有在做这样的事情,但它确实是一种方式。

也就是说,现在可能激活10B的一个模型,过一年它就能做到Claude Opus 4.6的水平。这极大概率会发生。那激活10B模型是很便宜的,可能一两块钱就能有百万token上下文。

那你为什么不用一个更小的模型?它反应速度更快、更灵敏,基于这套Agent框架还很好用,你还可以改进这套框架,为什么不拥抱它?

它让不那么好的模型,有了更好的发挥空间。

07Skills提供了一种交互方式,让人主动贡献数据


张小珺:关于Agent已经讲了一年,2025年年初大家就开始说是Agent元年,去年也出现了Manus,今年的叙事和去年有什么不一样?

罗福莉:我觉得之前讲的Agent,在我的定义不算Agent,只能算上下文稍微比Chat复杂一点点的东西。

不管是BrowseComp,还是SWE-bench,这些Search和Code的Agent框架,都非常简洁。相比于现在的Claude Code、OpenClaw,它的Agent框架太过于简洁。简洁性就导致——首先它简洁,其次它不通用。过于简洁和不通用导致它只能for这个任务来设定。

至少在去年上半年乃至下半年,很多看似for Agent的模型,只是换了一个更复杂的System prompts(系统提示词),稍微带一点点环境反馈。比如SWE-bench还是有环境反馈的,TAOBench也是有的。稍微带一点环境反馈和交互,让模型具备一点遵循复杂system prompt和理解环境交互的能力。那会只能做到这个水平,但它根本没有达到工业级可用的能力。

什么叫工业级可用?是你把它接到Claude Code或OpenClaw里去用,你会发现它不可用,它有很多问题。它就理解不了这一套框架本身。它也没有针对这套框架,人跟它的交互范式会发生变化。

人跟它交互范式的最大变化是——人不再会去修改代码,人不太再去关注"这一行代码出错了你帮我改一下",这样的query不会再出现。

人只会提一些更高阶的,比如增加限制、澄清需求、架构设计——人会参与架构设计,因为现在很多架构设计还是人更强的。以及辅助理解业务逻辑,这是Skills的价值。

业务逻辑是模型本身不具备的,因为很多业务逻辑是企业内部、真实环境里边沉淀下来的,你必须要跟它很多轮交互才会沉淀下来。

之前那些Agent框架就不能叫Agent框架,没有可用度。在那些Benchmark上表现非常高的模型,也不代表它的Agent能力是真的强。我们在优化这一版模型的时候,是完全放弃这些Benchmark的,基本上就不关注这些Benchmark了。

当你面临一个很大范式变化的时候,只要你路径走对了,你可以非常短暂的一个窗口期去忽略评估。因为你靠体感就能立马测出来一个非常大的质的差异。但当你慢慢迈入深水区,还是需要一些精细评估的。

张小珺:Skills是不是改变了模型在这种高复杂度的任务上的执行准确率?

罗福莉:它定义了一套执行规范。

这套执行规范很难在预训练的数据里边具备,因为预训练数据里边没有这种internal(内部的)信息。这些信息通常是大量企业内部自己去沉淀和积累的,由人和人之间产生的一些组织上遗留下来的规范。

但这不可能在预训练数据里出现。可以由人教Agent,跟它多轮交互,通过完成几个任务,把这套规范让Agent学会。大量Skills其实是Agent自己写的。

张小珺:但Skills也是在Claude里面诞生的。

罗福莉:对,但这就出现一个问题——确实是OpenClaw把Skills给带火的。我说"带火"是它让更多人去贡献Skills这个社区,这非常关键。

这就是人跟Agent需要共创的地方。如果你没有那么多高阶的、这种另类信息——因为它确实是另外一种阿尔法,是另类信息——跟当前的Agent共创的话,那么Agent或者说最顶尖模型的能力也很难发挥出来。

张小珺:人的经验沉淀成Skills,变得更重要了,它是不是预训练的一种补充?

罗福莉:对,因为预训练大部分依赖的知识,还是你在互联网上可访问到的知识。但很多智能,我们是在互联网上访问不到的。

这个时候就以另外一种形态出现,Skills算一种。它其实提供了一种交互的方式,让人去主动贡献数据,贡献让模型执行任务成功率更高的方式。

张小珺:总结来说,我们今天正处于一个什么样的时代?

罗福莉:生产力加速变革的时代。

今年生产力会爆发,大家会觉得很多工作不需要自己做了。这是最直接的一个感受。不仅是写代码的人,只要你接触到这个事情过后,你就发现你的好多工作会被替代掉。

这个时候,人更应该去思考,到底自己的意义和价值是什么?

08 它能溢出的能量比Chatbot,强很多


张小珺:以前有ChatGPT Moment、DeepSeek Moment,如果重新定义这个所谓的OpenClaw Moment,你会怎么定义它?

罗福莉:这个Moment时间线会更长。因为它前序章节太久了,让大家不会觉得它是个新东西。对于我们已经信这个事情的人而言,我们反应速度是足够快的。我不知道其他人有没有follow up上。

从我的个人感官上,这个Moment会延续的时间更长更深远。更深远是,它可能能力更外放到更多人能感受到的场景里边去。但它这个流动是需要时间的。

它能溢出的能量强很多,比Chatbot。

它不像o1、R1,有一个数学代码这种有ground truth(标准答案)的东西在这——你分上去了,模型就具备这个能力——这样一个非常清晰的标准界定。Agent确实有很多场景需要有清晰标准界定,但大部分场景是没有的,比较混沌。所以它产生的价值也是慢慢到一个临界点,突然进一大步。

Claude Opus 4.6确实是这样一个进一大步的突然的时间点。但Anthropic做这条路径也持续了至少两年。

张小珺:为什么这个Moment不是从Anthropic内部诞生的?

罗福莉:我觉得还是一个开源、一个闭源的原因。闭源的框架你没办法去洞察内部设计,所以你没办法利用更多人的智慧去改进它。但开源你就可以用更多人的智慧去改进。

张小珺:接下来我们会看到什么?在OpenClaw已经火了这么几个月之后,2026年大家会基于它做什么?

罗福莉:国内已经有很多动作了,出现了各种Claw。现在很多Claw,只是让大家以不同交互形态,去访问不同模型和不同类型的框架。

但真正让这个框架自迭代,或者更强调自进化和自迭代框架,还没有大规模诞生和出现。以及怎么去利用绝大部分人的智慧去创造一个更强的框架,也还没有出现。

这两层——框架本身的自进化,Agent本身的自进化,Agent跟人之间的自进化——我还没有看到。

我们现在做的是怎么train更好的model for Agent,以及怎么让Agent去适应这个model,是在做Agent跟model之间双向流动。未来需要做的是怎么让框架自己进化,以及框架跟人互相进化。

张小珺:这是你们现在着重bet的方向。

罗福莉:对,大致的方向,会去深入研究的事情。

张小珺:你觉得现在没有做到的核心缺陷在哪里?

罗福莉:缺陷是,我们刚做到这里。未来的加速度是会很快的。

现在只要拥有一个Long Context、非常efficient的模型架构的厂商,并且在做预训练阶段把Code的能力也做得非常好,有这样一个model——参数上可能至少1T以上吧——只要有这样一个入场券的人,基本上都处于同一水平线去做这个事情。当然Anthropic肯定是走到前面了。

上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。

张小珺:OpenClaw发了之后,国内很多团队都推出了类似的产品,比如说,QQ团队有,你们团队有,Kimi有,Minimax有,等等。它们有什么不一样?

罗福莉:我大概只试了一半。大同小异。

我自己觉得,这种产品你至少要去迭代框架本身。目前还没有看到一个比OpenClaw开源社区进步更快的框架。因为OpenClaw开源社区进步太快了。

张小珺:我想到Peak(季逸超,Manus联合创始人兼首席科学家)去年底在我们播客里的最后一句话是:Agent的进化需要所有人参与。

罗福莉:现在已经是了。只是现在唯一没发生的是,我刚刚说的Agent跟人怎么更好的加速。因为Agent也要自迭代,人也要自迭代。

聊天是一种。会不会有一些更自然的方式?

比如,我要是真的能带一个非常好的设备,一整天跟着我,我所有说的话、见过的人,它都知道。它的进化速度应该比我快。因为它依赖的算力更多。它会很快替代我。而且,它不会今天记得,明天不记得,它非常稳定。

张小珺:它只有进化的一条曲线。

罗福莉:对。

它乐此不疲。它不需要休息。

09 它先吸收所有人的智能,再靠自己产生更强的智能


张小珺:你会怎么定义这个风起云涌的2026年?

罗福莉:我很难去定义它。两个月已经对我来说是巨变的。我都不知道这一年接下来会发生什么,处于高度兴奋的状态。

张小珺:你对研究方向非常敏锐,基于上面这些变化,给你带来了怎样的研究直觉?未来一段时间会发生哪些变化?

罗福莉:之前做研究的方式,从想到写代码,到设计一个很好的评估标准,中间流程还是蛮漫长的。至少要花一两周。快的话除非评估是确定的,代码只需要修改,可能也需要一两天。

但在Agent有辅助的情况下,真的一两小时就把这些事做完。效率的提升代表着一个本质问题。

我一直把研究效率看得很关键,只是Agent去加速了这个研究效率。如果这时候你的taste又比较准,那么就一做一个准。当然可能是十个里边有一个能成,但这十个可以并行做。你不用像以前一样pipeline(流水线)做,可以十个idea交给不同的subagent(子智能体)同时做,他们还能交叉验证。很快,可能一个小时两个小时,或者最多一天,就能验证你这个研究想法OK不OK、work不work。

关键是,如果你愿意长期去培养它,它也可以自迭代、自进化。但在Claude Code里边不行,换一个更开放的框架,它是可以自己迭代和进化的——这是做研究给我带来的冲击。

张小珺:有什么样的研究任务是你过去觉得绝对不可能做,但今天可以做的?

罗福莉:就训模型这个事,以前我觉得是很难的。要涉及跟一个更复杂的,比如深度学习平台的融合,听起来就不太靠谱。以及你怎么去让模型具备你有的Context?一个研究员的Context是很长的。一个博士有5年科研培养。我之前认为不太可能。

但我最近发现,它很聪明,聪明到你只要把你近期的Context告诉它,它甚至能帮你复原你的科研成长路径。你这时再去跟它讨论同样的topic,发现它跟你一样聪明。

这个事很残酷。

我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现,它竟然也能!

可能过一段时间,我们能训出来的模型,它也能训出来了——那它可不可以训出更强的模型?它自己左脚踩右脚就提升了?

这是一个非常大的转变。它可能真的能依靠于它自己产生更强的智能进化——它先吸收所有人的智能,再靠自己产生更强的智能。这是这一两年会发生的事情。

张小珺:在今天,Agent到底能做什么样的高价值任务,是不是变得更重要了?

罗福莉:从提升顶尖模型能力的角度,让Agent去替代更高价值的任务是重要的。

更高价值的任务意味着更长的Context、更多的token消耗量。它替代到最顶尖那一群人的智能就够了。下边那一群人的智能,可以慢慢以另外一种方式来替代掉,比如robotics(机器人)。

但另一个演变角度是,你是要做一个对全社会更有益、对所有人都有帮助的模型,那么就不应该for更高价值的场景去做,而是让所有人都能感受这个模型的智能水平。它是另外一种做法:普适度更高的任务会更好一些。

在这种场景里,你就更需要在乎多模态。因为在更广泛的场景里,多模态尤其是对视频的理解,对更细微环境的理解,是更关键的。

以及要注重成本,成本是产生革命非常重要的因素。你不能完成一个任务花1000刀对吧?很多任务场景,必须要达到一个很高的替换系数比,能帮我节省10倍成本,我才会考虑去试。

你怎么去做一个更低成本、更高效率、更高速度的一套Agent框架,以及对应结合的模型,那就很关键——这是两种发展思路。

张小珺:在你看来,小尺寸的端侧模型会爆发吗?

罗福莉:这个趋势肯定会发生,但它不是26年的主旋律。它是支线,而且会持续发生。

26年的主要旋律就是生产力的变革,高生产力场景的持续突破。我们要做更长程的任务,更强调多Agent之间的协作。因为更复杂的任务,它不可能是单一Agent去做。但是多Agent协作,某种程度上,也是为了成本和时间考量,以及怎么去激发Agent群体的智慧。

我觉得市场上已经看到的Multi Agent(多智能体),工作都有点“伪”。我说“伪”是说,真的依赖于Multi Agent能实现更好的任务完成率,在这个维度上是有点“伪”。

但它能提升效率,就是这个任务完成的速度,以及它能够节省成本,是确定的。但我没看到Multi Agent能实现一个更高上限的东西。它会发生,只是我目前还没看到。

张小珺:如果我们把大量个人隐私数据授权给OpenClaw或类似产品,怎么缓解普通人对于安全感的焦虑?

罗福莉:这是我为什么说要做开源的原因。还是会有一天——应该很快也会到来——人的大部分简单任务,除了非常难的任务,跟隐私相关、没有那么高难度的任务,完全可以放在本地化去做。

你自己会有一台随身携带,或者在家或某个场景里有一块芯片。你所有的数据都在本地,所有涉及隐私数据的场景都在本地推理,这很关键。涉及到一些非隐私、高难度、高创造力、高复杂度的任务,再去云端推理。这样能够解耦。

这也是为什么我说,一个好的Agent框架,借助一个很小的3B模型,它能做的任务复杂度都已经超乎我的想象了。这个事激发了我对于端云混合、隐私本地化的思考。但还很初步。

因为这些思考不仅需要模型这一侧做非常多东西,还需要架构这一层一块往前走。这也是我为什么觉得开源,是如此重要的一个事情——需要更多人一块做,而不是某个公司就能做好。

总之,今年的趋势跟前三年已经发生了很大的变化——我自己是这么感知到的。

张小珺:过去两个月,你的生活发生变化了吗?

罗福莉:工作,还有工作;亢奋,还有亢奋。

你每天都会发现,Agent框架本身或模型本身又进步了。

第三章 谈巨变的2026年

10 我们觉醒了


张小珺:接下来,我们来聊聊MiMo的模型。MiMo-V2系列模型,你们在过年之前先发了Flash,过年之后又发了三个新模型:Pro、Omni和TTS,你把后者称之为“一次悄无声息的伏击”。

为什么是悄无声息的,又为什么是伏击?

罗福莉:首先这三个模型,在Agent场景下能力提升这么快,我们能这么快去追上,在复杂的Agent架构里边表现这么稳定,是超预期的。不是我们计划的非常好,而是——我们觉醒了。

张小珺:你们觉醒了?

罗福莉:对。它确实是很安静的过程,因为外部不知道,我们自己内部也快速发生。

我们在一年前去做多模态,更多角度还是:如果真正产生智能,这个智能应该是全方位、多方面的,所以去做了多模态理解;最终要产生价值,一定是要有交互,所以去做语音生成。

但一年前做这些,还不是很明朗。还是觉得,在做一个单一模型,在做一个动态理解模型,在做一个语音生成模型。你没有觉得这些东西能很好地被组织和编排到一起。

当我看到OpenClaw,我一下就想到了这样的画面——这些模型在各自在什么样的环节发挥什么样的作用,它们能怎么被有效编排,它会产生一个什么样大的生态价值——一下,在我的脑子里边全部打通了。

我们快速让所有方向,都要面临这个范式去做后训练的针对设计。

你现在如果能在OpenClaw、Claude Code里边同时用这几个模型,你会发现把它串起来很好用。肯定比其它家模型好用一些。或者说,至少是我们往后迈进的一个目标。

为什么还是后面有这三个模型,不是合到一个模型里去?更多是出于成本、速度和价格考量。

比如语音生成,你没有必要去用一个1T模型?实验你也接受不了。比如说多模态理解,它是不是值得一个更大的模型?这是要去打个问号的。

因为Agent革命本质是生产力革命。生产力必须要在意最终端到端的完成率,以及成本效率。这是现在三个模型同步出现的原因。我们后面应该也会有一些计划,怎么让三个模型更好地协作。

张小珺:怎么样对模型的“编排”是更好的“编排”?

罗福莉:首先,绝大部分简单任务,只用语言模型就能做。但现在完成一整个任务的环节太长了,某些环节上,如果你意识到需要调用像人一样的感官能力,就用另一个更精巧的模型来做。

而且这三个模型是同一个生态训的,你知道的知识它也知道,你能放心把任务交给它,不用担心它不知道你的背景知识——这个背景知识来自预训练。

目前这三个模型在同一个Agent框架里释放的潜力,跟组装其它模型的差距很微弱。但我认为未来不会。因为未来是效果、成本、效率三者的乘积。

张小珺:这三个模型你们在bet什么?这三个模型的关系是什么样的?

罗福莉:bet全方面替代人的生活和工作的方方面面。

张小珺:我可以这么来理解:Pro在做理解和认知;Omni在做感知;TTS在做表达——它是声音的输出,声音是一种表达。这三个加起来是一种类人的智能吗?

罗福莉:它把人有的智能的表象、输入和输出给建模了。但有没有人的各个感官之间协同那么好?现在还没做到。但这不纯粹是模型没做到,框架也没做到。

现在OpenClaw,它对视频的理解和建模非常差。因为开源社区没有一套对音视频联合理解非常好、又有很强Agent能力的开源模型出现。框架发展是滞后的。现在对视频的理解,会回退到理解图,甚至最终回退到理解caption。

这也是为什么要做开源。只有开源界看到更强的视频理解、声音生成模型,对应的框架才会改变。

框架是协调层,模型是智能的中枢。这两层很好交融的时候,才可能达到类人的智能。

11 Agent范式很吃Post-train


张小珺:我们来围绕MiM-V2的模型一个一个展开聊。V2-Flash已经过去了一段时间,它是2025年12月16号发布的。做Flash的时候,你们的核心定位是什么?——这个被大家认为是你在小米的第一个工作、第一个作品。

罗福莉:Flash跟Pro基本上是同期训练的。它们俩模型结构非常近似。

但在设计V2这一系列,不管是MiMo-V2-Flash还是Pro的时候,模型架构本身有一个非常关键的目标:我们要for Long Context的效率来设计模型结构。

当时隐隐约约预感到,Agent时代Long Context非常重要,或者说,预感到Long Context会产生智能。但我们没有预想到后边是OpenClaw这种形式。已经预感到Long Context一定是非常重要的问题。

那么Long Context的效果,以及最关键的推理效率——成本够低、速度够快——就是我们这一代模型结构必须追求的永恒命题。因为成本够低、速度够快,才有可能把一兆做到十兆,甚至100兆。

现在所有的模型结构都能训到100兆,那为啥不提供100兆的推理?除了效果一般,更多是出于成本考量。100兆太贵了,贵到你根本不想用它。所以我们当时就围绕着这个核心目标,设计了Hybrid Attention(混合注意力)的结构。

张小珺:你们在V2-Flash中采取了MTP(Multi-Token Prediction,多词元预测)架构,为什么做这个技术决策?

罗福莉:当时另外一个更主流的选择是用MLA(Multi-head Latent Attention,多头潜在注意力机制)。包括现在,同期跟我们开始训练的应该是GLM-5跟Kimi,Kimi K2更早一些。它们都选择了MLA。DeepSeek V2、V3、R1都采用了MLA。

MLA对于Chat时代来说,确实是一个非常优秀的模型结构。甚至它对于长文来说,也算是一个还不错的模型结构。因为它大量去减少了KV Cache(键值缓存),对长文来说KV Cache就很宝贵。

但它有一个我认为不那么适合Agent范式的根本性要点:

第一个,MLA在设计之初是为了达到很好的访存跟计算的比例,在当时H系列芯片上,实现既不浪费算力、又打破访存瓶颈,是在这样一个架构下设计的。这样设计出来的模型架构,没有任何可发挥的空间。

可发挥的空间是指,假设我们认为KV Cache是重要的,并且推理速度也是重要的,那能不能用一些推理加速的方式,比如最简单的MTP就是一种方式,让实际推理的时候加速n多倍。但MLA不太行。

因为MLA已经达到compute bound和memory bound(计算瓶颈和内存瓶颈)一个非常完美的临界点。你要是用MTP,会发现它又卡在计算bound上。所以现在你看所有MLA的模型结构,不管是GLM也好、Kimi也好,我猜测应该都没有上MTP。因为上了过后就被计算bound,很不划算。所以它的模型会慢一些。

大家对MiMo第一代Flash,哪怕是Pro的感觉是——Flash能做到100-150TPS,Pro现在也能做到,看成本,基本上能做到60-100。100TPS肯定会更贵一些。所以大家用MiMo不管是Flash还是Pro的感觉是:哇好快。这就是这个结构,尤其是针对Long Context efficient的结构,带来的优势。

同时,成本也够低。因为Hybrid Attention(混合注意力机制),包括在Pro这一代上,我们给它拉到一个更极致的Hybrid比例。Full Attention跟Sliding Window层的比例更极致,达到了7:1。所以它更省KV Cache。

我们基本上是在这一代结构上实现了通过Sliding Window层去减少KV Cache,让它在长文上效果更能够支持更长的长上下文。同时通过MTP把Sliding Window Attention节省的算力,用MTP给它填上。这样能达到实际推理时访存跟计算的很好平衡。同时又兼顾了长上下文成本,以及推理速度。

虽然我们设计模型之初没想那么多,但基本上就完美适合做Agent。对Agent来说,首先,长上下文非常关键,很小的KV Cache也很关键,因为很小的KV Cache能做更多多级的缓存,缓存命中的话会非常有利于节省推理成本。其次,速度是一个还蛮关键的命题。你一旦体验到了智能水平相当的更快的模型,就回不到更慢的模型了。

张小珺:你刚才的解释比较后验,但放在当时,你为什么会选择MTP?

罗福莉:我们这个模型快训到中后期了,开始为它设计推理方案。在我们自己的那一代推理卡上去设计推理的并行方案时,发现计算剩余的实在太多。没有想到会剩余这么多。就想,怎么把这些剩余的计算有效利用起来?——MTP太适合了。

我们在预训练阶段加上MTP的原因是,它确实能提升基座的能力。这个我们跟DeepSeek一样,预训练加MTP是因为MTP能提升基座能力。推理的时候为什么只有我们用MTP,是因为我们的模型结构天然在计算上留有大量富余。

这是我们在后边设计推理架构时,突然有一天悟到的。

也不是突然,就是仔细去计算推理各方面数字,知道可以用MTP编码,把这些剩余算力利用起来。恰好我们又训了MTP,就恰好用起来了。很自然的一个探索的延伸。

张小珺:为什么MTP至今还没有成为一个主流?

罗福莉:大家太相信MLA了。

MLA确实太巧妙了,在模型结构上把能做到的全做到极致。25年上半年如果要训基座模型,MLA确实是一个不错选择,尤其是没有看到Long Context的价值和Agent范式的时候,MLA确实是非常不错的选择。

张小珺:关于MPT,我还有另外两个问题:成本下降是MTP给next token prediction带来的优势吗?以及,你说了很多MTP的好处,它会相应的带来一些幻觉吗?

张小珺:MTP是如果命中率非常高的话,是可以带来成本下降的。相当于在更短时间内吐出更多token,把GPU利用率打得更高。本质上是在降低单token生成的成本。

不会(带来幻觉),因为它是会被verify的。只有预测得准,才会采纳当前token的结果。所以没有任何幻觉。

张小珺:未来MTP会成为主流吗?

罗福莉:看大家的下一代模型结构是什么样。

现在模型结构设计有两个趋势。一个是,你真的在预训练阶段就想明白后边推理的场景是什么。比如在什么卡上推,在多长的上下文上推,推理的并行方式是什么——连这个都要想明白。

那么可以设计一个针对这个场景、这个推理方式、这款芯片的完美结构,去训这个结构。效率成本各方面一定是最优的。MLA是在这样的Context(背景)下被设计出来的。

但这个Context建立在两个前提基础上。一个前提是Post-train(后训练)是不重要的,或者Post-train的时间很短。你能一个月就把Post-train做完,大部分时间在做Pre-train。所以只需要Pre-train for这个推理本身就行了。第二个是你的推理卡永远就用那么一个两个,甚至就那一个就是最好的。

但这个事在当下发生了巨大变化。现在是Post-train的周期在拉长,你在一代基础上能做的Post-train的上限是远远被激发出来的。

张小珺:这个变化是什么时间、怎么发生的?

罗福莉:Agent范式带来的。Context越长也是产生智能的一种方式。模型能够被输入更多Context、理解更多Context的时候,潜力就越高。

这跟原来Chat范式完全不一样,原来Chat的Context就是人输的,人输的很短,所以纯靠预训练。

但Agent范式很吃Post-train,你对框架理解,对于多Agent的协作,乱七八糟也好,可以理解为我们在Post-train上要投入的算力,可能跟Pre-train是相当的。所以Post-train时间周期在拉长。

那么在一个Post-train要做半年或一年的场景下,前半年假定的很多东西可能失效。假定要在什么卡上推,假定要在什么场景下达到更优效果,全是失效的。因为可能做了半年或一年Post-train过后,那些场景全变了。以前大家觉得128K就够,但过几个月可能觉得需要10兆上下文。类似这样的逻辑。

所以,如果还是这样去做模型结构,它可能会失去一定的灵巧性。

但是,如果团队的Post-train效率足够跟得上,Post-train的认知能够辅助Pre-train去做架构的正确判断,那么有可能这种模式还是work的。设计一个精细的结构,想清楚推理卡类型,想清楚场景,应该还是work的。

但还有一种做结构的方式是另外一种:就是在结构上更简洁一些,留有更多富余度来做后续在不同场景的适应和增强。比如Hybrid Attention就是一个更简洁的结构。

简洁性体现在,可以靠MTP把算力更充分利用,也可以针对已经训练好的Hybrid结构去增大Sparse或Full的比例等等。在这样一个更简洁的架构上,Agent发挥的空间、后训练发挥的空间,反而会更大。

张小珺:在Flash的技术细节上,除了MTP,你们还做了一些技术选择,比如混合注意力机制。当时你们选择的是5层滑动窗口和全局注意力机制。但在你们最新的模型Pro上,这个的系数又变了。

罗福莉:我们大量实验的一个结论是,Full Attention的层数很重要,但系数比反而可以有空间。所以在更大的模型上,层数更多的时候,可以保证Full Attention的层数总数不变,但增加更多Sliding Window Attention的层就可以了。

层数比这个系数比更重要。或者说,在更大的参数规模、更大的Attention Head的时候,可以做到更稀疏的比例。这是两个结论的统一,导致可以在更大模型上做更高的稀疏比,就是Full跟Sliding的稀疏比。

我们最近在做很多Sparse研究,也是发现更大模型能吃更大的Attention sparse比例。更大模型可以更稀疏,但小模型太稀疏了,效果就会drop得非常严重。所以这是一个实验结果,不会成为一个固定的标准。

这是我们的实验结果,不确定其它家是不是也follow,也会有同样的实验结论。

张小珺:我觉得Flash挺有一点小米早期风格的,追求极致性价比。当时API定价是输入百万token 1.01美金,输出每百万token 0.3美金,在当时看来肯定是最低的价格、最高的速度。当时是做了什么达到这个效果?以及,为什么这次发布Pro模型的时候涨价了?

罗福莉:基本上把该做的都做了。架构有Long Context很efficient的架构,再加上MTP可以更加速,再把Infra最基础的基建做好,这个价格就能做到。

在预训练时代,根据模型框架优势来定价,确实是合理的。框架很强,最终用户能感受到,纯粹是因为模型很强。按照模型结构的方式定价,我觉得是合理的。

但当我们进入后训练范式,除了模型结构本身带来的优势外,还要看Context好不好,以及模型对Context的理解能力好不好。定价逻辑应该发生变化——不应该是根据最终推理成本来定价,而应该根据模型最终产生的价值来定价。

这个价值除了模型本身架构的优势以外,还有模型在后训练上做得足够好,能更好地理解Agent框架。这也是定价溢价的空间所在。

所以,我们后边MiMo-V2-Pro抛弃了这样一个定价逻辑。

12 合理的卡的比例是3:1:1


张小珺:从V2-Flash到V2-Pro,你对Pro的预期是什么样的?

罗福莉:Flash帮我们验证了整个Infra数据是没问题的。并不是先训Flash再训Pro,是两个一块训的。Flash是一个相对小的工作,训了就发了。大部分模型的训练都是去年下半年进行的。

我们相信这一代架构没问题,只是训Pro中途解决了非常多训练数值的不稳定性。这是训1T参数量级模型通常会遇到的很struggle(挑战)的问题。

老训着训着loss崩了,老训着训着某个激活值很大,或者某些expert(专家)的分布变得很极端,像天花板一样,一会一批token打过去,一会又打到另外一个expert上。很危险。

这些信号会导致loss典型出现很多spike(跳变),expert负载很不均衡。训更大模型要花很多时间解决这些问题。所以看起来同步训练,但Pro进度比Flash慢一点。

数值不稳定只是表象,这些要素非常锻炼团队Infra和算法联合debug的能力。有时候怀疑是不是哪个卡有问题,排查完所有卡都没问题,会怀疑是不是今天太阳黑子的报复(笑)——要从很表层查到很底层。

张小珺:你刚才也提到1T的模型可能是未来竞争的入场券,是这样吗?

罗福莉:是Agent要做到接近Claude Opus 4.6水平的入场券。

张小珺:你当时立项的时候还没有Claude Opus 4.6这个模型,为什么当时就觉得一定要是1T的?

罗福莉:首先我训过DeepSeek V3这么大小,600多700B的模型,不会再想训一个同样的模型。肯定还是继续往下一步scaling。1T是当时已有卡数量情况下,一个比较极限的区间。

张小珺:多少卡?

罗福莉:几千卡。

部署这么大参数模型挑战是,训这个模型是几千卡。但实际上要投入大量卡做研究,研究的卡会是训练卡的几倍。

训练MiMo-V2-Pro和Flash,各自可能几千卡就够了。但前期结构研究、中后期Post-train很多算法研究,投入会是这个的很多倍,3到5倍是更好的区间。

不是说拥有几千张卡就足以做这个事情,尤其在Agent范式下,卡的数量反而变成一个非常重要的瓶颈。因为idea诞生和动手写出来太快了。

GPU效率就在那。为了验证idea去跑实验,要并行起很多实验。卡变成更关键的制约项。当然这只是for训练,for推理,卡更是关键因素。推理卡需求量远比训练高很多。

张小珺:训练、推理和实验,卡的数量最合理应该是几比几比几?

罗福莉:推理看用户数,或者高价值场景消耗的token数,因人而异,把推理拆开看。

如果说for研究、for Pre-train和for Post-train,一个非常合理的卡的比例可能是3:1:1。

Pre-train和Post-train投入算力相当,研究比例至少比正式起训练的卡,总量还要多一点,要额外留更多卡做研究。

张小珺:范式转移之前,过去的比例是多少?

罗福莉:至少在Chat时代应该是非常夸张的,比如3:5:1。

预训练跟后训练一个比例,这是今年可能发生很大的变化。

有很多团队,顶尖的团队,应该都是1:1了。

13 1T模型是入场券


张小珺:训练一个像Pro这样1T大小的模型,挑战是什么?

罗福莉:全方位的挑战吧。数据上反而不是非常大的挑战,更大模型貌似对于更脏的数据容忍程度更高。但我不确定。我们是同一批数据训的,所以不确定,只是貌似。

更主要的挑战是训练历程中遇到问题的时候,第一步是要发现问题。很多团队会把loss spike当做很正常的事情,但我们尽量让它没有loss spike。有loss spike会导致某一步更新特别不稳定,某些数值异常值很大,直接把某些参数或某些expert给它打死——就是打死,参数更新过后,再也不会有token送到expert上。

所以中间需要很严密的监控系统,洞察模型参数内部到底发生什么样的变化。比如至少去看看expert的负载怎么样,每一层参数的输入输出怎么样,激活值有没有变得很异常。Loss spike发生后应该去看这些事情,但不是所有团队都会看这么细。这是第一步要发现问题,好多人就不把它当做一个问题。

发现问题再去想,到底是什么样的原因引导这样的问题?比如有可能是稀疏比太高了,导致Full层输出跟Sliding Window层输出数值差异非常大,导致数值不稳定。有可能是结构原因,也有可能纯粹是Infra bug,比如通信的某个算子写错了。最后发现,甚至有可能是某个norm有点问题。

可能最后无奈的解决方式是,发现这一层数值太大,要么给它clip掉,要么通过norm压下去。有非常多种解决方案。

通过norm压下去肯定会对模型效果有损,clip掉是一种方式。我们也会借鉴Kimi的QK-Clip方式,当QK某些logits非常大,实在影响训练稳定,没办法只能clip掉,至少能让训练更好进行下去,进行到稳态时再放开。有太多这种临时的,要去发现问题、解决问题,甚至倒推很多可能产生导致这个问题的分析路径。

这些路径非常考验团队的跨团队协作。如果是在很大的公司,协作效率极低。如果是在很小的团队、创意性团队,就是考验环节上关键几个人的配合程度,会更高效。如果环境上每个人都足够追求极致,不能容忍突然这么干,必须停下实验来找问题。

张小珺:你们属于哪一种团队?

罗福莉:我们肯定是属于小团队非常极致的类型。所以,会导致训练周期被拉长。预训练周期肯定不会一两个月就训完。训练周期拉长的情况下,如果有非常明确的deadline目标,肯定承受不了。

大几千卡停一天,肯定就是一两百万、两三百万的事。

怎么去承担这样的损失?如果是在目标驱动的团队,可能会觉得停个两三周去排查一个问题,还不知道是不是问题、会不会对模型最终训练产生影响,是不太能接受的事情。

但在我们这,我们认为它就是一个问题。我们就应该去解决它。

因为我们没有那么清晰的说我要发布的目标。

罗福莉:你们没有deadline?

张小珺:我们没有deadline,就觉得模型训好了我们再发。

张小珺:没有公司来的压力吗?

罗福莉:没有。

张小珺:你们在这个1T的模型训练过程中,有失败吗?

罗福莉:看怎么定义失败。比如训到loss直接飘了这种,应该中途还是发生过那么几次的。

两三次总是有的。就loss直接飞了,但它比如说训了几百步又回来了。

张小珺:你说的这种情况,你是选择停下来解决,而不是继续往前训。

罗福莉:我们认为应该要停下来解决问题。它其实就这样翘上去几百步,然后又下来了。这我们认为应该停下来解决,让它loss更平稳地度过。

张小珺:一般会停下来几天?

罗福莉:几天也有可能,一两周都有可能。

张小珺:停两周焦虑吗?

罗福莉:不焦虑,因为我们又没有什么目标。

当然了,晚上都睡不好,我经常晚上做梦说,为什么loss又spike了?

虽然我们没有明确的时间节点,但是你还是会崩溃嘛,还是有很多很沮丧的瞬间。虽然没有明确的节点,但是卡它是有限的对不对?

你会觉得你浪费了算力资源,在做一些无用的实验。有这样的自我批判。

张小珺:从实践来看,参数量能决定智力的上限吗?是越大的模型,智力上限越高吗?

罗福莉:我现在觉得是参数量加上Context本身,这两个是共同决定的。但至少,要达到当代大家觉得最强的Agent水平,一定要1T以上的参数规模才能做到,才能让人觉得你已经非常接近4.6 Opus这样。但我不知道它多大,我只是自己认为至少总参1T以上,才能做到。

当然更关键的是激活参数。比如总参都是1T,激活参数越大,意味着更高的推理成本。它是一个trade off(权衡)。

张小珺:为什么在Pro模型上,Full跟Sliding Window的稀疏比从5:1调整到了7:1?

罗福莉:我们还是追求更极致的稀疏比。

最主要原因,希望在更大的架构里边,去做更高效的Long Context。因为更大的架构,总参变多,Full Attention的层数也随之变多。在长文本的情况下,同样会变得非常崩溃,因为Full Attention的层数变多了。但如果你扩大参数量,Full Attention的层数没有变,那么有可能,你的长文,Pro跟Flash两代模型效率是差不多的,但Pro的智能水平提升了。

在长文的效率相当的情况下,我们希望模型在scaling它水平的上限。我们是比较去控制住效率本身的。但控制住效率本身,后面在Agent时代,也有一个更有价值的事情。既然这个更大模型,它的长文效率很高对吧?那我就可以塞更多的上下文,它就又更强。大概就是这样的决策背景。

张小珺:对于这个1T的基座,你们做了如下几个重要的技术决策:第一个是混合注意力机制,刚才我们聊过了;第二个是1M上下文窗口,这个在做的时候是否出现丢失的情况?

罗福莉:问题关键是你从哪真的去搞到,在一兆的上下文窗口里边,有那么多很稠密的监督信号。很难找到这样的数据,或者说,这样的数据的构造成本非常高。

要真站到终局思维来看,只要你有比如1T的token量,而且都是一兆的、真正的长上下文,那么模型一兆能力肯定能训上去。只要loss一直在降低,它就是在建模、在压缩,那么它就一定能训上去。

但问题的关键是,你很难去构造出来真正1T、1兆的Context,真的很难去构造出来。要么成本太高,要么就很难找到这样的场景。所以Long Context的效果是缓慢在提升的。

张小珺:你们的第三个技术判断是,沿用了MTP的模型结构。

罗福莉:对,这个没有什么太大变化。预训练训一层是为了提升基座能力。后面Post-train去训更多层,是为了推理的时候用更多层,实现更好的推理加速。

14 多模态有没有促进智能,根本不关键


张小珺:V2-Pro同时发布的,你们发布了另外两个模型(V2-Omni、TTS),它们也是去年同期开始训练的吗?

罗福莉:基本都同期。都是那个时候开始规划的,大概三个方向。

张小珺:看起来整个V2家族,在指向多模态的叙事。但文字是离散的token,图片是像素矩阵,音频又是波形。你们怎么去做这个融合?

罗福莉:我们还是想尽量把它统一到language model(语言模型)的范式下。

在音频的建模上,我们想要把它离散化,变成跟文本一样的离散token。我们在音频上投入了比较多研究算力,说怎么去进行离散音频建模。我们希望这个离散音频的建模,尽量做到无损离散化。

因为大家还是不太相信,把一些连续的输入变成离散,最后还能重建出来。

这个事儿,需要对encoder更精细,比如我们需要一些多层的RVQ(Residual Vector Quantization,残差向量量化)来保证,它的离散表征是一个非常大的、像Dense一样的高位空间。我们需要更多预训练,来让它开始涌现。如果你基于连续的特征做,可能很快就涌现了,但你基于离散特征做,会更难去建模,它涌现出现的时间段会更晚。

我们在音频上开始了这个尝试,也会迁移到后边其它模态。我们比较想用一套更优雅的架构来做整个多模态输入的理解,但我们不是为了统一而去做这整套架构。

很多时候,如果发现确实在图像上离散不那么可行,我们还是会寻求一种目前更主流的架构。因为我们优先要保证的是这个模型,它要具备一个整体的智能水平,而不是追求为了统一优雅的范式。

张小珺:音频统一到LLM里去容易么?

罗福莉:我们的技术架构应该是非常另类的。我知道国外的御三家(OpenAI、Anthropic、DeepMind)也好,国内像豆包也做的蛮好的,应该都是跟我们完全不一样的架构。

张小珺:你为什么选这个架构?

罗福莉:做NLP的人执念吧。我们做音频的人全是做NLP的人,有这个执念,就觉得相信它,然后就去做了。

张小珺:图片能这么做吗?

罗福莉:能。我们已经尝试了非常长一段时间了。

但它是一个权衡。就像我说的,要做到真的无损重建,是需要投入更多算力、更大研究成本在的。至少在音频上我们已经迈过去了。图片正在进行中,不知道能不能迈过去。

张小珺:如果迈过去,会带来更大的想象空间吗?

罗福莉:更优雅的结构。我最开始是认为,如果把它统一都离散化,那么可以用一套基础架构去解决这个问题。同一套预训练的基础架构,同一套做RL的基础架构,很优雅地把所有范式都统一了。它太简洁了。如果真能做到的话。

但我现在发现,当我们有Claude Code和顶尖模型过后,这些架构,比如我们重新去写一套RL Infra架构,重新去写一套Training Infra架构,我们最近就完全再从头去写一些新的架构。我原来以为写这些架构蛮耗费人力、蛮耗费时间,但现在看起来,在Agent支持下,写架构的时间被大量缩短。

那你就没有必要为了架构的优雅性,去做很多为了统一而统一的研究。这是最近一个月内发生的变化。

Infra重新写一套也没有那么复杂,几个人Claude Code,两三周可以重新捏一套新的RL框架。为什么要因为后训练的Infra架构的统一性,让前面模型结构牺牲这么大?

张小珺:为什么你们这个系列的模型叫法是“全模态”模型,而不是“多模态”?

罗福莉:因为它确实支持视频、音频、图片、文本所有模态。有一些Agentic的模型,是不支持音视频联合理解的。它应该是第一个支持音视频联合理解,并且Agentic的能力,能够做到跟language model水平差不多的。

张小珺:是不是有迹象能表明,在全模态或多模态的理解中,能够产生智能?

罗福莉:两个月前我很相信,最近呢,在训Omni整个过程中,稍微有点质疑这个事情。

但我们后面还是发现了一些很好的迹象。比如MiMo V2 Omni,它其实比Pro小,但大家实际去用的时候会发现,这个Omni在对世界的感知和领悟力上,或者说最终反映出来它的情商,以及它的知识储备上,会比更大的模型更强。因为它是原生多模态训练的。

我猜测,可能是因为我们在这两个方向上scale的,就在纯语言上scale的算力和这个原生多模态上scale的算力还不那么多,导致我们现在并没有看到原生多模态本身带来智能的很大提升。但你能感受到,比如很多世界知识,因为它训过视频,所以它知道了更多。它对很多很细微的东西的感知力,你会发现它更强。

但这些都是很虚的,是我们自己实际体感去测感知力。你在任何Benchmark上,没有任何证据能证明——就纹丝不动,可以这么说。

张小珺:有没有可能是Benchmark错了?

罗福莉:当然有可能。我现在也不能非常确定说,多模态能力是实现所谓AGI路径的必要路径之一。我是不想去下这样一个结论的。

因为每个人对AGI的定义不一样。尤其在Agent这样,可以把多个模型的能力,非常优雅编排到一起的情况下,我们更没必要强调多模态是不是促进智能——它有没有促进智能这件事本身,不关键。

张小珺:多模态促进了什么?

罗福莉:目前我只观察到这两点。我现在还不知道未来在一套新的架构上,会不会有一些新东西。

可能做多模态生成,未必会有一点点不一样。就是生成可能会促进更好的感知,但你要是纯说,把你的感知维度扩大,你是不太会促进智能的。但如果你能生成它,maybe是能促进智能的。这是我的一个猜测。

张小珺:但多模态生成现在还是一个科研问题。

罗福莉:是。或者说,把生成跟理解,做到一个统一的架构里边,目前还没有scaling到非常大的算力。大部分生成的架构,还是纯for生成的,它并没有理解的智能。

张小珺:你设计Omni这个模型的目标是什么?

罗福莉:截止到目前,Agent要行动,它必须要具备多种模态。其实是这样一个目标。

但下一个目标,我觉得不是这个。

下一个目标,还是想去探索,当你结合多个空间的感知,甚至你能去生成更多的多模态的信号时,会不会促进你对这个世界的理解。但更直白说,需要有一个跟现在的Agent框架交互更好的视频生成模型。

张小珺:为什么你们没有披露Omni的总参数量和激活参数量?

罗福莉:给我们留点想象空间。我们相信这个参数量可能做到更接近于Pro的智能水平,虽然大家知道它比Pro小一些。

张小珺:只是小一些?

罗福莉:对。但我们相信它们俩能够互相迭代,能够你提升我、我提升你。

张小珺:最后,关于最后一个模型V2-TTS,有什么新的研究发现吗?

罗福莉:TTS的动机是,我们想用一套自认为优雅的架构,去做一个大家都用传统架构、做起来很容易的事情。

但做完过后发现,追求一个离散化tokenizer,在上亿小时的数据集上训练过后,模型的泛化力非常好。我没有办法对比说,训一个很小的模型,泛化力是不是真的没有这个好。至少目前得到的模型,大家能看到,再给它输入很多风格化标签的时候,它会通过推测字表面的含义,去赋予情感和音律。

在这个事情上的泛化性上,我们发现特别明显。我们只是简单做了很特定几个场景风格的数据做SFT和RL,很刻板的几个风格化场景,比如快点慢点、高兴悲伤这种很刻板的风格化场景,去做了风格化的Post-train。

但发现,把style标签变成非常复杂、自然语言的描述,它能够遵循。这是纯泛化出去的。这是在做的时候,发现简洁架构加超大规模训练,带来的超强泛化力的外化表现。但还很初期。

这个TTS模型,效果非常惊艳,上限非常高。但下限在慢慢弥补,有时候会不太稳定。目前只是限时免费,开放API大家玩一玩,不确保真的能投入生产即可用。但很快会让它变得生产即可用。

张小珺:Omni、TTS跟Pro模型比较,哪个更重要?

罗福莉:当然Pro更重要。

纯语言空间的打通,需要大量前置研究作为基础,这才是更重要的。

张小珺:现在看到的MiMo相关模型进展,都是你们在半年以前的决定,你现在为半年后做的决定是什么?

罗福莉:这就要保密了。

第四章 谈AGI路线图

15 R1在DeepSeek内部,“一次奇袭”


张小珺:我们刚才聊了很多关于V2家族的模型,下面想跟你一起回顾一下,过去三年整个大模型世界的进展。从2022年底,ChatGPT打响了大模型的战争,在亲历者的眼中,每一年的关键变化是什么?我们是怎么走到今天的?

罗福莉:ChatGPT是第一个发挥模型在,我猜测是4K预训练场景里的智能水平。

预训练的长度,或者说最终Context的长度确实很关键。ChatGPT只是让大家感受到,在4K Context里预训练,训练完过后,通过简单对话,对话轮数是一轮、两轮甚至多轮,在很短的上下文里,把模型在超大规模预训练上训到loss最低的智能水平给激发出来了。

当然所有激发的前提,都要靠一套能让人感知到智能水平的交互。Chat就是一个很好的交互,否则你不知道这个模型已经这么强了。这是22年底ChatGPT发生的事情。

张小珺:23年?

罗福莉:当有一个顶尖的闭源模型做到的时候,它的下一年就是开源界怎么去追上这个顶尖闭源模型。所以23年,Llama、Qwen、DeepSeek,这些开源团队就在准备。

首先借助Llama披露的,怎么去做好大规模预训练的范式,就是怎么去做好数据。那会儿结构都是未知的,哪怕训一个7B的结构,Transformer结构是怎么样的?Pre-Layer Norm或Post-Layer Norm,hidden size多大,这些超参那会儿完全不透明。但Llama告诉你,这么训能训成功,给你开了个头。

借助这个头,Qwen借助LLaMA的架构,做更好的预训练数据,做更大规模的预训练compute scaling,Qwen系列就起来了。

Qwen做得很好,for开发者生态做了全尺寸模型的训练,也训了一些多模态模型,也做得非常顶尖。这是对社区非常有利的,有利于激发后面社区做一些微调,还有一些微调框架诞生的必要先决条件。

DeepSeek在同期,虽然也是尝试复刻LLaMA,但更在乎的是,看到LLaMA这一代架构有什么问题,而不是着急去scaling。

它更在乎LLaMA用GQA(Grouped-Query Attention,分组查询注意力),在更大的模型里,尤其是在受限的GPU上去训练的时候,会存在什么问题?scaling会遇到什么问题?可能要涉及到一些新的结构来解决这个问题。

这是DeepSeek V2和V3那个系列阶段,想去提出一些新的架构,不管是MOE for高效训练,MLA for更低的推理成本。这个时候诞生的事情。

所以,DeepSeek那段时间更注重,在更差的芯片上去做更好的研究来scaling。

张小珺:LLaMA当时的缺陷是什么?

罗福莉:它就是个Dense。你要真去给它scaling,比如现在没有人去训几百B的Dense,开源界。因为训几百B的dense,虽然LLaMA搞过,你也能看到结论,但那个结论不一定是结构的问题,是它太贵了。训它也很贵,推它也很贵。

没有人会去搬运一个又笨又贵的模型。所以MoE for更高效训练、更高效推理,MLA for更低推理成本的模型架构就会诞生。

这是同阶段,Qwen和DeepSeek在走两个路径——Qwen是在纯scaling,DeepSeek是考虑创新的基础上再scaling。

张小珺:现在看,哪个是更正确的?

罗福莉:两个都是对的,没有说谁是对的或错的。

一个是为了在有限算力资源下达到最强的模型,DeepSeek算力可能只有Qwen的几分之一。Qwen想的是怎么去促进整个生态更好的发展。

这形成了中国两个开源势力。一个开源势力是在做研究上做到绝对高度,一个开源势力是在真的生态价值上做到一个高度。

生态价值本身也是价值。如果没有这么多好的开源模型,很多好的研究工作,就像DeepSeek R1前序的很多研究,都是在Qwen的模型上去做的。它们是彼此促进的,对社区都有价值。

当然DeepSeek有另外一方面价值,是它有一个全新结构,带来对于训练成本的冲击,以及后续推理成本的冲击。这导致对推理芯片有了更准确的判断——下一代芯片应该怎么构造、怎么设计?这对整个AGI历程来说,是非常好的事情。这可能是23年、24年发生的事情。

24年可能唯一发生在所有人意料之外的事情,是o1跟R1。

R1在DeepSeek内部,也算是一次“奇袭”。它诞生非常偶然。

当预训练范式变到后训练,对于组织和团队,以及创新的要求不一样的时候,整个团队应该怎么再去重组织的问题?我是在这个事情上得到最大的感知。

张小珺:按照传统的管理思路可能是,我现在要对后训练加大投入,那我要组建一个后训练的团队,甚至从外面挖一个做后训练强的tech lead进来,这是错误的方式吗?

罗福莉:得看团队本身。它可能不是很有利于创新。比如在后训练数据多样性上,只是做后训练的人,天然缺乏这个视野。

还有,很多团队对做预训练和做后训练的人物画像很刻板。反正我们不是按照这种刻板的方式去招人、组织人的。它很刻板的问题就是,天然导致做预训练人做不了后训练。

我也没太去了解深层原因,只是当我去了解的时候会觉得,怎么这么奇怪?老有这种疑惑。

张小珺:外界看到的结果是DeepSeek-R1出圈,但你当时在DeepSeek内部感知到的是,在模型开始训之前,已经有的对于团队的调整与组织。

罗福莉:就是大家认不认可这个事,以及我们要以一种什么样方式来做这个事。我在R1的过程中,是有非常大体验的。

但最终的结果,我能预知到的是,在我走的时候,R1已经做到一个Lite(轻量版)的水平,Code Math已经做到了非常接近于o1小那一版的水平。

我已经预示到,Code Math上这个Reasoning肯定能走通,而且即将可能AIME(American Invitational Mathematics Examination,美国数学邀请赛)会从那会儿只有三四十分,刷到我认为七八十分都非常有可能。但后边现在已经刷到100分了。

我没有意识到的是,它是一个范式的转变。Reasoning是可以通过Code Math这个高泛化场景,能放到通用以外。这个o1也没有走通——这是我没有预料到的事情。

也是因为这样的背景因素,导致我后面再看新的东西,哪怕它是for一个很垂的场景去做,尤其是Code这种场景,我会先思考它是不是真的能泛化?是不是我把它想小了?——这只是我自己沉淀下的一套skill。

这是24年。

16 现在是大模型竞争的第二幕


张小珺:25年呢?

罗福莉:25年,我觉得很boring的一个事情是,它处在很交错的一年。

这个交错的一年是,你可以选择在Chat这套范式下,把Reasoning给做到极致,继续去把SWE-Bench、LeetCode Bench这些偏Code的Benchmark,你可以在这个范式(思考很久给出一个答案这种)上选择继续深耕。你也可以选择我忽略掉,我就不管这些,去想下一套。我可能在这套范式上做到六七十分就OK了。AIME做到六七十分,就表示这个链路你已经走通了。

但是,比较聪明的团队,25年年中就会全面拥抱,去for新的Agent架构去做事情。

MiniMax已经转过来了,MiniMax是国内转得最早的。但这样一种新的范式下,对整个团队的敏捷性要求又很高。

从模型发版速度上,能看出来哪些公司拥抱的速度够快。可能有些公司没有跟上,还在原来Chat的范式下继续深耕。哪怕去做了一些BrowseCap、SWE-Bench、Terminal-Bench这种带所谓的Agent的Benchmark,并在这些Benchmark提升得很深,但它并不代表这个模型真的能实际可用。

BrowseCap是一个非常离谱的评价指标。在这上边训的模型,感觉只能在这种数据集上测,换种方式,哪怕也是做信息检索的方式,最终能力还是泛化不出去。就很奇怪,这套数据集太局限了,整个框架也非常specific。

所以这半年,如果说在做Agent的人,大部分是走到歧途上——我觉得它算是歧途。我们也走了一小阵阵,Flash第一代,并没有想做Agent,还是想做很好的Chat。

但一个原因是,我们确实要先打好Chat基础。就像我说的,Chat至少要做到七八十分,把整个历程给走完;你才能够说,你的Post-train数据基建、你的Infra基建、你现有的人——尤其是我们招的全都是没有做过大模型的人——他们能有个历练。

否则他一上来就做新的东西,怎么好做呢?

做Flash的时候,纯粹是一种,把我们做过的事情让一群没有经验的人再做一遍。但更在乎是,这群人在做新的事情的时候,他们自身在进化。

这个进化对我们后边去做新的事情,非常有价值。因为极少在中间给非常强的supervision(监督)。除非发现要掉头了,否则给太细节的这种监督信号,告诉他这个事应该怎么做的缺陷是,会让团队大部分人失去原创能力。这是应该尽量避免的。

张小珺:组织我们等会聊,我们先把现在的范式转变聊完。现在大模型的竞争,从之前的Chat的第一幕,已经过渡到了Agent的第二幕,这么理解对吗?

罗福莉:这算是模型竞争的第二幕、第二场战役。所有人都开始在同一个起跑线上。

可能闭源模型早,Claude应该是两年前就在这个路径上了。只是大部分人,没有意识到它是最正确的路径而已。很多人在去年意识到了,但都没有在做正确的事情。

什么是正确的事?要在一套非常复杂的Agent框架,或多样的Agent框架,去端到端完成更高复杂度的任务,并且以此为目标,作为你后训练的范式。

而不是在一个很局限的场景里,针对这个场景定制一套很简洁的架构,去做另外一个比Chat复杂度稍高的任务——模型的输入输出还是一堆字符串、一堆token,模型的RL范式还是以推理Rollout为中心。但Agent已经不是这样了。

张小珺:为什么你说MiniMax是国内转变得比较快的?

罗福莉:我觉得它是比较快的。它们用一个10B的(激活)模型,做到目前Agent能力。它们后训练的敏捷程度非常惊艳。

张小珺:你说大模型竞争第二幕的入场券是1T的基础模型,但MiniMax没有这么大的模型。

罗福莉:对,我把入场定义为,你要做到对标到Claude Opus 4.6的水平,它需要1T的基座。与此同时需要敏捷性。它具备的是后者。

张小珺:所以现在中国公司还没有同时具备两者的模型公司?

罗福莉:对。看一看DeepSeek吧,哈哈。

17 赛点:Agent上怎么去做好RL的scaling?


张小珺:能评价一下中美两边的大模型公司,在今天的竞争赛场上各自抵达了一个什么样的位置?现在大家押注的有什么不一样吗?

罗福莉:Anthropic的路径是正确的,这算是当下共识。至少在过去3个月,Agent的路变得更清晰。

在路径更清晰的情况下,国内大模型团队,就进入到加速追赶的状态。因为现在大家在Pre-train上的代差是基本没有的,或者说非常接近。国内大模型团队在Pre-train结构上是有优势的。

甚至Claude,在过去很长一段时间做的很多Context Engineering,我们都误以为,它是因为模型结构不是很先进,为了成本而做的一些妥协设计。但现在回过头看,有点想的太局限了。

现在你能看到,不管它最开始的动机是什么,但最终的状态是:所谓的Context管理,以及搭配的Skill Fold或Agent架构,都是为了配合模型发挥更强大的整体任务完成度而设计的。

所以,当大家看到这样一个范式转变,又有一个基座并没有发生代差的情况下,大家其实就很all in,要去做好Agent的Post-train。更具体说,是在Agent上怎么做好RL的scaling。

这是非常清晰和准确的方向。但具体的研究路径是需要探索的。至少跟23年要去追平Pre-train的差距一样,我认为是非常清晰的。

张小珺:你什么时候意识到Coding泛化性那么强?

罗福莉:一开始就觉得。不管是Pre-train范式还是Post-train范式,23年哪怕最开始,我从量化回到大模型赛道的时候,就会对Coding的泛化性抱有非常高期待。

但这种期待它转变成说,我先要好好去做好Code的预训练数据,再去scaling算力,看一下它到底在Code Benchmark上会不会很好。再看看Code Benchmark提升了以后,其它的泛推理类的,像BBH(Big-Bench Hard)这种Benchmark会变得更好。最开始是这样,它是一步步去实验验证的探索路径。

到R1,又一次验证了,因为Code和Math,都有非常好的verify的指标。

然后到Agent这个范式,Code又因为它有很好的environment,并且Code可以天然做很长程任务。比如软件开发就是一个非常长程的任务,你去做一个非常复杂项目工程,就是一个很长程任务。它又很适合Agent这个范式。

它基本上在每个范式上,都戳中了那个点。你都可以在Code上,至少在研究上,你可以是自闭环。并且在这个自闭环的路径上,做出来的东西,它是很容易scaling到其它更广领域的通用数据上。其实,Code本身就已经挺通用的了,因为它本身是自然语言,所以它很容易scaling。

所以,做Code这个事,至少在这个范式转变的时候,它都是一个非常优雅的路径。

张小珺:RL scaling现在探索到哪一步了?你们有探索的初步结果没有?

罗福莉:暂时还不是很方便分享。至少我觉得在RL scaling的算力,跟预训练的算力,达到一个同一个水位的时候,就会给大家分享。

张小珺:相对于三年前,今天的模型竞争变得更激烈了,还是变得更平缓了?

罗福莉:应该说竞争的维度和速度都变多了。速度变得非常快。你做预训练,不可能一个月出一个模型;但你做后训练,确实可以一个月出一个模型。

还有就是,Agent这个事,它除了看Agent架构本身,也看你对整个推理侧的结构,甚至硬件芯片,你是怎么认知它的。我觉得它会影响到一些最基本决策。

比如说,10兆的Context什么时候做?怎么去scaling 1兆的Context?它也涉及到,比如你在预训练阶段就去scaling,那么你后边儿对应的,在1兆上去做Post-train,跟在256K上去做Post-train,它的算力差距是好几倍的差距。

所以你是不是有足够多的算力差距,去support你去做这个事情?以及你最终的场景,这个框架本身的能力,是不是支持你能在10兆上的能力给发挥出来,或1兆上能力发挥出来?它是有个更长的决策链路。

它从原来Pre-train,只需要对Pre-train本身的架构做决策;到需要你面对接下一段时间,Agent框架演变、推理芯片等整个市场,算是供需的一个预估。因为芯片,它受制于这个制造储备,瓶颈就在那。以及你要不要尽早去规划,去做更广的、不是for单一芯片的模型结构,都是需要提前去做好规划的事情。

张小珺:这个说的是大模型的公司维度,那对于以应用产品为主导的创业公司呢?站在2026年,你觉得今天创业公司的生存机会变多了吗,还是更绝望?

罗福莉:坦诚来讲,我不是很了解除了基座大模型以外的创业公司。我能看到的是,至少,创业公司的团队规模会越来越小。不需要有一个非常大的公司,就几个人甚至一个人都可以成为一个公司。

只要你学会充分借助Agent。我之前老看到有人说,OpenClaw上我一个人养很多个员工。我自己也做过这种Multi Agent的尝试。虽然当下看不那么现实,有点噱头。但在今年内,Multi Agent很快会变成一个现实。

张小珺:Multi Agent现在没有突破的地方是什么?差在哪?

罗福莉:每个环节都差一点。你需要有个足够便宜的模型,因为你最终算的是,它是不是比我招一个员工更便宜?要是不那么便宜好用,我为什么要用你呢?不可能说你烧Claude Opus一天花1000多Token,结果那个员工创造价值可能1000。

第二,现在Multi Agent架构还有空间。它们各自怎么自进化、自迭代以及互相沟通,都还有空间。

张小珺:现在模型公司好像变得更没有边界了,“模型即产品”变得更突出。

罗福莉:模型借助Agent架构本身,就变成一套新的产品,产品力反而更强了。其它所有东西都很简单。

18 两年内实现AGI


张小珺:你之前画过一个通往AGI之路的图。你对比了人类的智能和人类进化:人类智能是一个生物演化路径,呈现为正三角形——底层是感知运动,中间是直觉情感,最顶端才是语言;

而现在AI的发展是一个倒三角形——大语言模型一上来就极大地放大了最顶层的语言能力,底层感知反而薄弱,你觉得这是一个空中楼阁。怎么能够拼接出这个AGI之路的图?你现在做的事情在往这条路上走吗?

罗福莉:现在大模型的演变逻辑,确实不能跟人完全一样。不一样的原因是,人演变的环境,跟模型演变的环境不一样。

人演变的时候,是随着自然界的变化,为了生存来进行演变的。但大模型,它好像一开始上来不是为了生存。

张小珺:它是为了什么?

罗福莉:我不知道。现在大模型没有自己的价值观。但我们要硬给它赋予价值观,就是让它替代一部分的人。但它不替代也不会死掉吧。

当没有生存的危机的时候,它反而会进化得更自由、更散漫、更有创造力。不那么受约束。

它现在的基础条件太好了,有那么多算力可以用,有人类宝贵的知识起点作为基础起点,还有那么多人帮它提升。感觉这两个环境完全不一样,进化路径就不太一样。

张小珺:语言之后,模型进化的下一步会是什么?或者哪怕在语言里细分,Coding之后下一步会是什么?

罗福莉:Coding还是会有一个非常好的主旋律,就是做一个很复杂的软件工程、一步直达的开发。持续的时间越久,能做的开发复杂度越高。不一定是代码量,只要是复杂度越高。

比如写一个Kron算子,代码量可能并不高,但需要写了去调试、Debug看它是不是在真的训练中提效,真的有效果提升,这个验证环节有可能是长的,但代码量可能是不长的。

总之,要参与到实际的项目开发里,确实是做Code的一个非常大的主旋律——简而言之就是它替代的程序员越多,这就是它的主旋律。

再外延到更广泛的生产力场景。它需要借助一个更强的交互方式。比如飞书、WhatsApp、Telegram,都是很好的交互方式,降低了跟它交互的门槛和频率。一个更好的交互方式是,它有自己的身体,可以到处移动。所以机器人,肯定还是一个for智能体交互的、必须会涌现出来的方式。它肯定会从屏幕上跃出来,到我们真实的空间。

但机器人本身的演变瓶颈,有大概率可能是在硬件甚至在电池上。当它进入我们这种封闭空间,甚至在一些灵巧手的灵活程度上,这些都会比Agent本身的进化,在语言空间的进化要慢。

张小珺:现在我们抵达AGI进度表的哪里了?

罗福莉:感觉历程已经到了20%吧。

张小珺:今年能走到百分之多少?

罗福莉:至少能到60%、70%。我感觉两年内应该能实现。

这之后,大部分人会抛弃掉自己原来的工作模式。生活模式被颠覆是更滞后的,因为生活并不产生生产力价值,工作产生生产力价值。

先会感受到工作模式被颠覆掉,其次再是生活。要真迈入到生活被颠覆掉,需要更多机器人。

张小珺:AGI的路线整体被提前,这里面关键的变量是不是能用AI训练AI?

罗福莉:这确实是一个标志节点。因为它可以自提升,达到最巅峰的一群人的智能。因为它可以自己训练自己,能去创造新的研究,有做新的研究能力。这确实是它自迭代的一个巅峰。

张小珺:这个会是大模型公司的一个核心竞争点吗?比拼谁能更快跃过这个临界点?

罗福莉:你很难直接去for让AI训练一个大模型、去设计任务、去针对性训练,因为它是一个更高级的目标,不会一下迈到这个目标。但大家最终所做的模型,都会通往这个目标。如果你有最尖端模型的智能,最后都会去干这个事儿。但它不是只能干这个。

张小珺:关于AGI路线图上的开源与闭源路径,我有几个问题。在你看来,一个公司为什么要选择开源,为什么要选择闭源?中国大部分公司都开源了,但发展到今天,现在还选择开源的目的是什么?

这是一个技术选择,还是一个市场选择?

罗福莉:我还是认为是这个目的——开源是加速AGI的。

假设AGI会爆发,假设它会替代绝大部分的生产力,那么我们可以从这个事去倒推:你需要多少芯片?这些芯片难道会被一家公司生产吗?难道会被一家公司购买吗?

好像不是,它会分散。如果芯片是分散的,那么推理有可能是芯片厂商做,也有可能是大模型厂商做,它们用的模型难道是同一个吗?还是用的不一样的模型?

我认为一定是不一样的。所以从终局来倒推,开源至少是有利于推进这个事情的。因为最终要大规模产生经济价值,必须要依赖于算力,才能产生经济价值。

我认为开源至少对很多环节——Agent框架、芯片、能源——都是有促进作用的。它是加速AGI进程的。

那它最后是一种公益还是一种市场?取决于每个公司开源时结合的生态位——就是你有没有一个别人短期内无法拿下的战略生态位?

如果有,那么你就敢开源。如果没有,你就认为模型就是你的生态位,那你就不开源。就是这样。

张小珺:所以取决于自信程度。你在大公司做开源,会有内部压力吗?

罗福莉:我现在不觉得我在大公司做事情。小米整体非常创业导向。很奇怪的是,它看起来是个大公司,但它其实是一个做事的灵活度非常高的公司。

张小珺:在你看来,包括MiMo-V2在内的这一代中国模型,和美国代差还有多久?中美模型之间的差距有多大?

罗福莉:在国内,目前已经具备1T以上基座的公司有好几家:Kimi、MiMo,还有一些。这些模型厂商在当下,距离国外顶尖——就拿Claude Opus 4.6来说——如果反应速度足够快,应该只有两三个月的代差。

不是说两三个月过后能追上两三月过后的Claude,而是能追上当代的Claude。这个概率蛮高的。

这两三个月大家怎么发生变化,是考验团队的整体研究水平、技术敏捷程度,以及怎么拥抱新的范式来做研究,这个非常关键。

接下来两三个月会非常精彩。

同期发生的事情:Agent框架在过去两三个月,OpenClaw本身也进行了大量改进;也能看到一些自学习和自迭代的框架产生。所以Agent框架这一层也会在接下来两个月,进步非常快。

其次,随着前两个爆发,Agent框架越强,模型能力进一步飞升,并且成本有极致优势的情况下,推理需求一定会爆发。几倍到10倍的空间,可能会立即当下发生。那么对于推理芯片,就会达到空前高涨的需求。

怎么在现有产能——尤其是大部分卡点在于存储上——不管是自己制造,还是用到最先进的芯片,来做更好、更低成本的推理,就是一个非常关键的命题。

最后,一个for更长期的事情:我们肯定不会在1T的水平上走太久。如果要拿到下一个阶段的领先,就要寻求更大规模的scaling。到底是去scaling模型的参数量,还是去scaling什么东西?以及要在什么样的芯片上去scaling?——这是当下立即需要去决策和判断的事情。

这个才决定了半年或大半年过后,谁是更领先。

张小珺:中美实现AGI的路径有没有可能是不同的?

罗福莉:坦诚来讲,我不是很了解美国。但至少按照我们目前的这一套——前沿的研究、模型的水平、AGI的框架、芯片能源——这些多方面合起来,我认为是非常可能领先的。

第五章 谈范式巨变下的组织

19 不太存在管理,规范和约束是压制创造力的


张小珺:刚才我们多多少少涉及了一些组织话题,接下来我们来重点聊组织吧。

你的Benchmark是什么?你们团队的Benchmark是什么?怎么驱动组织?

罗福莉:做好大模型本身就是Benchmark。但这个"好"是我们自己来定义的。

张小珺:这个怎么让公司同意?虽然你说小米有很好的创业文化,但它事实上是一家大公司。

罗福莉:雷总(雷军)同意就行了嘛。他是一个非常好、非常有战略眼光的老板、天使投资人,anyway,后边还有很多标签。

就没有要求。

一开始加入小米之前,在这个事情上是高度统一的。按照我们的判断和直觉做就好了。然后做了,老板来说“做的好”。(笑)

张小珺:你刚才还提到一点,什么叫做,你们团队“没有大语言模型背景的人”?

罗福莉:大部分招人之前,都没有做过一个大模型。他们刚毕业,在学校做了一些基础的研究,之前甚至不是做大模型的。(可能)做工程的,做开发的,这些都有一点训练背景。

大概1/3到1/4的人稍微有一点点训练经验,但可能都只是训过7B、14B,类似于这样的规模模型。跟训大模型的经验也不太能复用。

张小珺:这意味着,你需要有很强的训练经验吗?

罗福莉:对1、2、3、4步应该做什么要求会高一些。但后面发现,不要告诉大家1、2、3、4步做什么,就推着大家,我们一起来重新做一遍这个事,大家就会往前走。

张小珺:训一个1T的模型对你的管理难度,是不是指数型的上升?

罗福莉:不,没有。管理团队的难度是一样的。

或者应该说,不太存在管理。大家一块去解决问题就好了。

你不需要去管理这几个人,每个人都有自己不同解决问题的思路,一起来解决问题。反而是这种解决问题的以身示范的能力,是一个非常好的文化和导向。

张小珺:训1T模型是多大团队?

罗福莉:很小。只说训练这个事本身。

但做数据还需要也是几个人。可能还需要一个非常好的基建团队,把卡集群给搭起来。

基础设施团队可能需要有那么一点有经验的人,因为没经验老出一些低级问题。吃一些基础运维设施的经验。

张小珺:只要几个人训练一个1T的模型,这个常见吗?诀窍是什么?

罗福莉:本质上,也没觉得它需要非常大团队协作。团队协作当然有优势,比如大家在卡资源巨量的情况下,可以并行探索,对做研究是有优势的。

但并不认为,对我刚刚说的那种场景——发现一个可能是问题的问题,然后深入排查原因去解决它——很大团队是优势。反而很大团队有可能是劣势。

张小珺:训这个1T的模型过程中,你们团队状态是什么样的?

罗福莉:原来做预训练、数据的那一群人就去做后训练。做Infra、做训练框架、做推理Infra的人,一块来解决训练过程中的问题。

张小珺:为什么要让做预训练的人去做后训练?

罗福莉:首先后训练的一大部分原因,是你需要有很好的数据直觉,这还是蛮重要的。

其次,它是基于个人爱好兴趣产生的,不太是基于说我们这里需要人你转一下。大部分是大家自然而然发生的。但确实能够预料到哪些人会做这样的迁移,因为有很多能力特征上是很共性的。比如对数据的直觉,比如会从模型效果去倒推一些算法设计。做数据好多时候也是在干这个事。

所以,我们对人的界定没有那么清晰,大部分人会自然随着训练阶段的变化,自由去选择下一个阶段,做更有想象空间的事情。

张小珺:MiMo团队现在是100人吗?

罗福莉:现在已经到100人。但这100人是包含所有链路上的人。比如数据采集、数据质量,Pre-train的Infra、Post-train,甚至我们的开发(我们需要有一些开发),还有我们的产品,我们的数据,还有三个方向上的算法工程师。

大致你可以发散,就是语言、多模态和语音。

这100个人里边,实习生比例很高。有部分实习生可能在做一些,当下不会立马反映到这一代模型结构、模型能力上的事情。

真正投入到一代模型里去迭代的人,很少。可能所有链路上加起来也就二三十个人、三四十个人。

张小珺:这100个人你们有小组的划分吗?

罗福莉:没有组。

张小珺:也就是,你1对100?

罗福莉:差不多是。

张小珺:为什么没有小组的划分?比如,为什么不分预训练组、后训练组…?

罗福莉:因为很多人会对两个方向都感兴趣。如果组划分非常清晰和固定,是在扼杀一部分的创造力,或者说扼杀未来的成长空间。

第二,做后训练现在一个很重要的范式变化是,需要具备diversity(多样性)这个视野。很多做后训练的人,是怼着一个场景去做,没有这种多样性的视野。

但做预训练的人,第一应该关注的就是多样性——不能往模型里边塞一小部分数据,要塞多样性更好的数据。所以做预训练的人去做后训练有非常大的优势,会天然更在乎多样性,就是个很好的补充。当然也有人一直只做后训练,比如只研究强化学习,所以它一直做后训练。

至少我们不要在组织结构上,按场景把某些人的创造力扼杀在这个场景里边,那就很奇怪。

张小珺:没有组也就意味着没有leader。

罗福莉:我们有实际推动项目往前运作的人,但都很模糊。比如项目要往前走,我们要训MiMo-V2-Pro的预训练或后训练,可能有实际往前推动的人。但这个人并不对参与项目的人有绝对控制权。

张小珺:模型团队没有职级对吗?——但小米公司本身是有职级的。

罗福莉:我们这个团队的整个组织结构就是完全解耦的,没有职级。

张小珺:没有职级、没有小组,这样的组织结构对于对于智能涌现本身的意义是什么?

罗福莉:平权本身是有价值的,有利于所有人平等地贡献自己的创造力和智慧。

任何层级,一定程度上都是在规范和约束,而规范和约束本身是压制创造力的。

有层级过后,就默认这个层级上的人应该有更强的、超越所有人的智能——这个界定非常奇怪。

需要更扁平。尤其是对于最重要的leader,他/她不要有特别强的掌控感,以及“没了我就不行”的想法。一旦有这样的想法,反而不是很有利于创新团队的发生。

20 环境比经验更重要


张小珺:虽然你说没有管理,但实际上怎么管理呢?

罗福莉:靠热爱驱动管理。这个很重要。我自己发现是最行之有效的方式。

去选择激发大家的热情,让大家围绕着自己愿意信仰的事情去自驱做事。这是我一直比较坚信的最有效的管理方式。

张小珺:你有什么驱动热情的方法?

罗福莉:让大家去体验,是驱动热情非常重要的方式。

比如OpenClaw,这是一种体验方式。看起来用了一个非常极端的方式——"你不用,没有100轮对话你明天就辞职"——但我不会最终去考核。第二天也不会去考核大家"真的有没有用",因为那不关键。只在乎有没有真的去用这个动作,100轮只是一个量词而已。

筛选人的时候也很关键。很多人可以从过往经历看出来,他到底在围绕什么样的目标做事情。靠热爱驱动做事情的人的特质,会非常special,聊天过程中应该就能感受出来。有的人会围绕很多奇奇怪怪目标做事情,但为了热爱做事情的人,是非常明显的。

这没有办法用很多量化指标,但去跟他聊天,我能直接感受到,能sense到。

张小珺:具体来说,你会倾向于选择什么样的人?他的学历需要和人工智能相关吗?

罗福莉:看做什么东西。

这些能力真的都可以被快速习得,只要被放在好的环境里,围绕着一个更高标准的目标来驱动。最多一两个月,慢的话三四个月,确实都可以被快速习得——所以,环境比经验更重要。

这个环境让大家更快更快地提升学习,让大家互相MOPD(Multi-Teacher On-Policy Distillation,多教师在线策略蒸馏)——互相蒸馏,我蒸馏你的长处、你蒸馏我的长处,互相这样快速提升。

更在乎自己创造这个环境,是不是符合这样一个先决条件。而不是在乎这个人来的时候,他的历史背景的基因是不是好。只在乎他可能初始化checkpoint的上限高不高,只在乎这个。但不太在乎他目前已经被supervised learning过后的那个点的状态高不高。

张小珺:我看到,你们的博士比例是55%。

罗福莉:包含在读博士。更多是代表一个人对做研究的热爱程度——如果热爱做研究,可能会选择至少读一个硕士或博士。

但现在也招了很多本科生,本科生在对Agent这种新范式的理解上,想象力反而更高。所以现在招人,会慢慢倾斜到招更多前置的本科生,大二大三的人。

因为他们的灵活性和适应程度,都感觉没有被污染,天然更接纳这个事情会产生巨大价值。思想还没有被禁锢,敢放心大胆把自己那些想法交给这套架构去验证,自己不断去探索边界。

张小珺:你会怎么去有意识地创造一个更好的环境?

罗福莉:首先是构建这个环境的人,要有同样的特质。比如要强调热爱这个事情、强调使命感这个事情,要有这些基础的特质。

其次要把这些特质给真的放大的前提是,他的基础要好。就是当他想做什么事情的时候,他有这个热爱的时候,他要能做成。他这个基础要好,不能就光想法多但做不成。这个基础,是构建成他最后做不做得成的关键要素。

选基础好的,好奇心强的,热爱驱动做事情的。当然还有一些可能对多样性有更高的要求。

如果招的太同质化,大家很容易去miss掉一些看起来是噪音,但实际上对研究非常有价值的一些信息。所以多样性非常重要。

我们上班每个群叽叽喳喳聊的挺多的。大家都会疯狂把自己的想法,或者说关注到的信息给分享出来。有可能是在群里边,有可能就在座位上——反正吵的不行,一天到晚。这样的沟通环境是非常好的。

当然还有一些外部因素,比如激励的方式,就不能太围绕着某些非常确定和清晰的目标来做。钱是一个很重要的baseline,但它不是唯一的baseline。钱要给够。但是,除了钱之外的其它东西也非常的关键。

价值感、意义感——很多人更在乎这些东西。

21 后训练需要容忍模糊性


张小珺:既然我们今天正处在一个范式转移的时期,面临从Chat向Agent范式转变,Agent范式更吃Post-train,相应的组织是否应该出现一些调整?

我看到你发文对组织有过三点总结:一,核心架构与基础设施研究周期漫长,所以需要看到回报的、一年前就具备战略信念;二,训练后的敏捷性,是另外一种能力;三,好奇心,就是热爱,是你一贯之都在说的。

罗福莉:预训练因为它太前置了,更关键的事情是,你需要有一种预测能力,或者说一种战略定性。就是这一代模型的训练,到底是为未来什么做准备,这一定要提前想清楚——可能是提前一年,至少半年。

为什么我现在说半年到一年?以前我认为是一年,但现在我觉得半年就必须想清楚了,因为Agent的出现正在显著加速整个过程。

总之,你需要在很早的时候就想清楚:这一代模型结构,在接下来很长一段时间里,它要承担什么角色、解决什么问题。如果这个问题没想清楚,那么这个模型就不会具备优势——它可能会成为一个“平庸的模型结构”;而一个平庸的结构,不一定带来平庸的效果,但一定会带来在成本和效率上的劣势。

所以,在预训练阶段,或者说在Infra层面,必须前置去做、并且要做得很充分的事情。

而在后训练阶段,由于现在它是和Agent耦合在一起迭代的,很多事情没办法提前规划得非常清楚。这个时候更考验的是:你如何基于当前的模型能力,以及Agent的范式,产生一种“化学反应”,以及你如何快速设计出新的Infra架构。这里会涉及到全新的RL Infra架构。

在Code和Math这种Chat形态的Reasoning场景下,Infra的核心其实是模型本身的推理引擎——模型需要长时间推理、长链条思考,然后给出答案,这本质上是一个推理引擎的问题,也是RL Infra的核心问题。但在Agent场景下,Infra的关注点就不再只是模型推理本身,还包括模型与Agent之间的耦合关系。

也就是说,系统从“以Rollout推理引擎为核心”,转变为“以Agent为核心”的一个更复杂系统。这个系统可能是黑盒的,也可能是白盒的。在这样的系统中,需要解决的Infra问题,和之前R1这种以Chat Reasoning为主的时代,是完全不同的一类问题。

因此,这对团队提出了更高的要求:必须具备足够的敏捷性,能够快速开发出适配当前时代的RL Infra系统。

同时,由于Agent框架本身变化非常快,这套系统还必须具备很强的兼容性。甚至如果进一步考虑到自适应和持续迭代,这套RL Infra系统的复杂度会进一步上升——它需要具备很强的容错能力。而且,这个系统不仅涉及推理训练,还涉及GPU和CPU的综合调度与管理。

所以在这一块,我认为团队的敏捷性,以及Infra与研究之间的协同配合,是一个非常关键的因素。

如果这些事情做得好,你会明显感受到:整体的研究推进速度会非常快。

最后一个问题,是关于“人”的问题。好奇心、热爱,以及对技术的长期坚持,确实是很多优秀研究者身上的共同特质。

但如果你要从源头去筛选这些人,再到如何激发他们、管理他们,最终让大家围绕一个共同信仰去协同前进,这是一个非常复杂的问题。我觉得这个问题的难度,不亚于设计一个复杂而优秀的Agent系统。

在这一点上,我自己也还在摸索之中。更多时候,我是在这个环境里学习——学习别人是如何在自己擅长的领域做到更好的。这可能也是为什么,最近我开始更多去思考所谓“群体智慧”,以及它最终如何通向 AGI。

张小珺:当前后训练变得更重要,后训练团队的搭建和管理方式,和预训练对比会有不同吗?

罗福莉:通常我们会看到两类人适应得会非常好,或者说对这个事会更有热情。

第一类就是他会更注重去跟模型“玩”的这样一群人。因为他去玩,他才知道每个模型能力的边界在哪,他才会去想要找到一种可scaling的方式,去把这个边界给补充回来。有可能是去构造一批更强的数据,以及更强的环境,让它能够RL训练起来。有可能是fall back到预训练的某个环节,可能这批数据没做好,就把这个数据补上,下次训模型的时候会更好。

总之就是,更在乎模型体验的人、更跟模型交互的频次更高的人,他会非常适应这个方式,觉得这个迭代是有价值的。尤其是那些维护了自己很多私有的测试库的人,疯狂去测不同模型的边界,突然发现某个模型强了,然后分享出来自己这种独特体验的人,还是蛮适合进入这个范式的。

还有一个就是,我们要围绕这个新的Agent范式去设计很好的RL Infra体系。做RL的Infra,跟做Pre-train的Infra有一个非常大的不同,是RL的Infra会更在乎这个模糊程度。

Pre-train的Infra你可能不能容错,比如出现一个loss spike,就不允许它出现,想要把这个spike解决下去。但做RL Infra,你就要允许它容错。就是允许这个模型跟这个Agent,在这个Agent框架里边,Rollout到一半就断了。但它断的原因有很多种,根本找不到是哪一种。

有可能是因为这个Agent框架写了某个超时的逻辑,有可能是因为它做这个任务需要很长的验证流程,乱七八糟,不知道是因为什么原因就断掉了。

还有一个就是,会不会你的训练跟推理,是在异构的集群上训的?

你训练和推理的不一致性,在原来Code跟Math那个Reasoning范式里边,是不能容忍这个事情的,但现在必须要容忍这个事情。

以及怎么去做一些更多的异构资源的调度?现在除了GPU你还要管CPU,你还要管存储。怎么在这种很复杂异构资源里边,把这个模型训起来。这里边需要很多算法跟工程的妥协,中间这个模糊的地带非常多。

所以对Infra人的要求的灵活性的要求,和这种跨这两个领域的理解,要求变得非常之高。换句话说,相比Pre-train来说,它对灵活性和敏捷性,都提出了新的要求。

即使是做Infra的人,本来是在一个偏确定性、追求清晰解法的体系里,但进入RL之后,只有一部分人会更适应这种高度不确定、强实验驱动的系统。

所以大概觉得是这样一种变化。做Pre-train Infra,跟RL Infra还是分开的。它们确实对于复杂性和这种精确度的要求,会差异很大。

22 把每天的研究都做好,就非常好


张小珺:你加入小米发了好几个模型。过去半年,有什么得到了进步的地方,有什么觉得不足的地方?

罗福莉:感觉每天可能都在否定昨天的自己。

不管是很多做事的方式上,还是你对事情未来的一些判断上,基本上都在一直去否定。是在这种否定当中、自我内省和反省当中成长的。

张小珺:有一个什么地方得到了特别大的进步?

罗福莉:我的历程没有说有个非常清晰的节点,到达这个节点就感觉好像进步了。但感觉脑子里这套系统悄悄在进化。

以前在做量化的时候,学到一句非常有力量的话:“总有方式去建模价格”。这是给我力量支撑的一句话。做量化时候,价格就是你的reward,你要去预测准价格,才能做好量化投资。

回到做大模型赛道,reward是不那么清晰的,是变化的。我的心法就是,应该做当下符合我价值观的事情。这个事情,一定要对更多人产生价值,一定要是更有意义的一个事情。

如果我们创造大模型的这一批人,如果没有这样一个内驱力,而是我要做一个破坏的东西,那么最后会非常危险。

张小珺:你现在工作状态是什么样?工作节奏?

罗福莉:早上11点,晚上12、3、4点。但这是我的状态,不代表团队其他人的状态。

张小珺:你是夜猫子?

罗福莉:倒不是,是自己本身的睡眠确实不需要特别多。可能6个小时就完全足够了,5个小时也可以,4个小时也行。不需要那么多的睡眠。

现在做的事情有点兴奋,确实感觉睡太多有点浪费时间。

张小珺:过去半年你遇到压力怎么缓解?

罗福莉:我的脑子就是一个Sliding Window Attention(滑动窗口注意力),忘得非常快。哪怕有压力,快的话一两个小时就过了,慢的话一天就过了。

但这也基于一个前提——你第二天会有一些新的、有想象力、有上限的事情给它冲掉,你立马就忘掉。如果它还是在那个Context,应该就忘不掉。

张小珺:如果AGI实现了,AI能够自己训练AI,不需要研究员了,你会去干嘛?

罗福莉:我大概一个月前有想过,但想的事情在变化。

一个非常有价值的事情是,现在中国的很多基础研究,太去要求有一个很完整的产品、乱七八糟的证明。并没有一个很好的资金,或者说有一个慈善机构,去支撑做基础研究的人,去往更突破的方向迈进一步。我们可不可以搞一个这种公益型的组织,去support这个事情?

我始终觉得,应该加速做科学研究。哪怕最终实现AGI,也有很多要做的。

张小珺:为什么要去跟AI竞争?就让它做科研就好了。

罗福莉:那不一天到晚躺着没事干把?总要做点新的事情吧!或者,你总要去做点帮助AI的事情吧!纯享受生活应该也挺无聊的。

总之就是要做点有益的事情。但这个有益,是按照个人的价值观来进行评判的。

无聊是不是一种意义?我也不知道。但无聊对我来说不是一种意义。

张小珺:你对未来,1年后、2年后、3年后的自己,有什么预期吗?

罗福莉:现在觉得把当下的每天的研究都做好,就觉得非常好。

张小珺:10年后,Agent可能已经超越大部分人类了,你有什么话想对10年后的自己说吗?

罗福莉:未来很美好——我觉得,这是一种天真乐观的勇气。

收听播客


推荐阅读


图片

跳转微信打开

  •  
❌