铃阅时讯
❌

阅读视图

SpaceX上市,背后在玩什么资本游戏?

原创 小 Lin 团队 2026-06-12 21:30 北京

SpaceX上市,背后的资本游戏

SpaceX

上市背后的资本游戏

SpaceX刚刚完成了人类史上最大的IPO,估值1.77万亿美元,融资750亿。在这之前,美股最大的IPO还是12年前的阿里巴巴。

SpaceX这家公司,其实之前一直都非常神秘,我们在新闻里只能零星看到一些报道,筷子夹火箭、火箭炸了、Starlink、马斯克要造太空数据中心等等,信息都很碎。

而上市一大好处呢,就是——它得公开财务报表,好几百页的招股书,还是藏着不少有意思的东西的。

今天我不想长篇大论,这段视频也不构成任何投资建议啊,我就是借着它公布招股书,来聊聊这个极其神秘、极其特殊的公司,SpaceX:

业务到底是个什么结构?

赚不赚钱?

为什么要上市?

而且我跟你们说,马斯克为了控制权,还在SpaceX上进行了一个史无前例的玩法,我发现的时候也很震惊。

我们赶紧来看看,SpaceX上市背后的资本游戏...

三大业务

招股书

它这个招股说明书,挺特别的, 就跟看科幻小说一样,还是那种带彩色插图的。

开篇就先告诉你,我们的使命是:"......让生命成为多行星物种,探索宇宙的本质,并将意识之光延伸至星辰之间。"

有内味了吧? 然后放好几页的图片,可漂亮了。

你看看,上来不是摆事实,而是先烘托情绪、渲染气氛:

"我们公司可不是你们平时投资的那些公司啊,我们这是使命都是站在地球、站在人类的高度的!"

视频截取自: 小Lin说

接下来,就是几百页的详细业务、财务数据介绍了。招股书把SpaceX的业务分成了三大部分:

  • Space太空

  • Connectivity 互联

  • AI

太空 Space

首先,第一块就是它的王牌业务——Space太空,主要就是造大火箭。

但它关键厉害在哪,不光能上天,还能回收,要么自己落地,要么筷子夹。

回收的关键,不光是看着酷炫,关键它便宜,可以把发射一次的平均成本拉到很低,不用每次用一次就报废。

火箭最主要的作用之一:就是把卫星、或者任何东西送上天。很合理的一个衡量标准,就是送上近地轨道,每公斤需要多少成本。

  • NASA原来要把一公斤重量送上近地轨道,大致是54,500美元;

  • 而SpaceX的猎鹰9号,大约是2720美元,降到了NASA的1/20;

  • 而目前在测试的星舰,理论目标要把每公斤成本降到100美元以下,那就是不足NASA的2/1000!

这么一算,把我送上近地轨道,只需要大概5000美元!(我也不知道我为什么要算这个...)

根据它的招股书,截至2026年3月31日,SpaceX累计已完成大约650次发射,其中超过85%,都是再利用的推进器发射的,占了2025年全球入轨总质量的80%以上。

这部分技术,说实话SpaceX,就是厉害。

它那推进器回收,筷子夹火箭的画面,就算你什么技术都不懂,第一次看到人类能做到这种技术,都不禁感叹一句,牛!

图片截取自: 小Lin说

我估计很多朋友,看SpaceX各种形态火箭发射的切片,又是星舰、又是猎鹰,V1 V2 V3,感觉很乱是吧, 我们简单了解一下。

现在它官网显示的火箭,有这么四款:

  • 星舰

  • 龙飞船

  • 猎鹰九号

  • 重型猎鹰

这里面最重要的是这两个:猎鹰九号和星舰。

图片截取自: 小Lin说

  • 猎鹰九号

猎鹰九号,可以说是SpaceX能走到今天的头号功臣了。2015年,它首次成功回收了一级火箭,马斯克开心的就像个小男孩。

从此,人类开启了火箭复用时代。

咱们刚才提到的SpaceX亮眼的发射数据、绝大多数全都是猎鹰9号发射的。它火箭任务成功率超过99%。

  • 星舰

而这个星舰呢,它是一款还在研发测试阶段的超重型运载火箭。毫不夸张地说,它应该是目前SpaceX最最最最大的核心竞争力。

星舰的一大特点,就是——大。理论上载重能到猎鹰九号的5 - 10倍。

它分成两级:上面是飞船;下面是超重型推进器;这两级最终目标是想要都分别回收的。

图片截取自: 小Lin说

目前截止到2026年5月,下面推进器这部分,已经成功回收过几次,就是著名的用筷子夹模式;

而飞船部分呢,现在为止,都只是实现了在海面上的受控溅落,就是软着陆在海面预定位置后就销毁了,总之就是还在测试阶段, 现在正在研发第三代V3。

剩下两款火箭:

  • 龙飞船主要是载人、运货的;

  • 重型猎鹰是把三枚猎鹰9号,绑在一起的重型火箭,计划以后会被星舰替代。

大概就这么几款火箭,大家可以有个概念。

  • 业务模式

那这种研发火箭,还要可回收,你用脚指头想都知道它肯定非常烧钱。

虽然SpaceX,已经拿下了很多美国政府、美国军方的订单,2025年营收超过40亿美元,但这部分业务单独来看还是亏的,2025年亏损6.57亿美元。

这部分可以说是SpaceX的技术发动机,但不是利润发动机。

视频截取自: 小Lin说

互联 Connectivity

那利润发动机是什么呢?

就是这第二部分,互联,Connectivity。

大家可能更熟悉一个词儿,是星链Starlink。

2025年这部分营收114亿美元,利润44亿,是这三部分里唯一赚钱的。

星链计划,相信大家应该都有所耳闻了,就是在地球低空轨道部署上万颗卫星,来给全球提供高速上网。

观察实时低空轨道星链卫星分布的数据,这个密度是不是还是挺夸张的。

星链的订阅数,从2025年3月的500万,一年里翻倍,2026年3月达到了1030万。

它的技术呢,其实实现起来没那么难,难还是难在怎么低成本、高效率的把那么多卫星送到天上去,所以它其实本质上,是一个SpaceX火箭业务的众多商业化路径之一。

大家看好SpaceX,很主要一块是因为星链,但主要不是因为它赚的那点钱,也不是看好它未来潜力能有多大,关键是星链向市场、向投资人证明了,SpaceX把太空商业化的可行性:"你看,我的太空梦不只是纸上谈兵,我不需要总依赖什么政府、NASA,我是可以自己赚钱的!那以后我在天上干什么都是有可能的,潜力有多大,就看你多敢想了!"

图片截取自: 小Lin说

顺带一提,这个星链,我有几次坐飞机,包括今年去南极,都试过这个它的网络。你别说,你还真别说,在这些比较少数的极端情况下,星链的网是真的很不错的!

刷视频、工作开个会什么的,完全没有压力。你想你之前坐飞机、坐游轮,大都要么是完全没有网,要么是非常贵又非常慢的传统卫星网络,这种环境下星链可真是巨大的体验提升啊!

这不是广告啊,它确实帮了我大忙,只是我的个人感受!

AI

而SpaceX的第三大块业务版图,你是不是猜都能猜到,没错,就是AI。是在它今年收购xAI之后成型的。

这部分吧,我觉得不光是一个业务版图,我觉得更是一张巨大的饼。

这饼有多大呢:

马斯克用了一个指标,叫做 TAM, "Total Addressable Market", 总潜在市场。

  • SpaceX评估,刚才说的第一部分,太空,潜在市场是3700亿美元;

  • 互联呢,可以达到1.6万亿;

  • 而AI,总共是26.5万亿美元!

  • 三个加起来,总市场潜力是28.5万亿美元。

你看看,要不我说这是个大饼呢,AI还在持续亏钱呢,市场潜力已经二十多万亿美元了,意思就是"市场,你看我们现在这点估值才哪跟哪啊,以后潜力大着呢!"

而且这张图,是它整个几百页招股书里,出现第一个图表。

可见它的重要性,估计是因为要看这么多页的招股书多累啊,你不得饿啊?先吃口饼垫垫~

视频截取自: 小Lin说

注意啊,我得解释一下,我这里的"讲故事""画饼",用词确实是有点调侃,我想表达的意思是SpaceX,还处在它如此宏大叙事的非常早期阶段,但这不代表马斯克就达不到啊,这我稍微声明一下~

那咱们顺着SpaceX的故事看,它打算在AI这怎么实现二十多万亿的"潜力"呢?

目前公开的,就是在太空建超大型轨道数据中心,让数据中心像卫星一样在天上飞,靠太阳能供电,向太空辐射散热,解决能源、散热的瓶颈,最早2028年开始部署。这个听着虽然挺宏大,挺遥远,但多多少少还有点概念。

但你等一下,这才只是对应了那2.4万亿美元的AI基础设施,这22.7万亿的企业应用才是大头,这到底是个啥?

我是真的好奇啊。我就在这招股书里翻啊,找啊。好不容易,在第176页藏了对这个概念的解释。什么叫企业应用呢?就是:

"...通过自动化日常认知任务、协助研究和分析、生成内容和代码, 以及优化决策过程,越来越多地支持各行各业的知识工作者。

最终,我们认为这一变革可能会将知识工作者转变为自主智能体的赋能管理者,释放前所未有的创造力和生产力水平!"

视频截取自: 小Lin说

好家伙,怎么样,看懂了么?

你能看懂就怪了。是不是感觉每个字都很高级,但读完了就感觉一头雾水有没有~

总之这个巨大的企业应用部分。你要强行理解:大概就是AI智能体、机器人替我们上班。

不过,它的AI部分也不是纯空想啊,毕竟它还是收购了xAI嘛,人家原本也是有不小的业务的,2025年的营收是32亿美元。

就在五月份,SpaceX公布了另一个很重要的合约,它把它的Colossus数据中心,租给了Anthropic,每个月收12.5亿美元,2029年5月到期。

这倒确实是实打实的合同了,也很多,但就没那么性感,跟太空没啥关系,而且还不是训练自己的模型,而是租算力给别人。

况且这部分AI业务竞争,也非常激烈,极其烧钱,得跟谷歌、亚马逊、英伟达、OpenAI等等,这些AI公司混战。总之,SpaceX要想接近马斯克说的二十多万亿的AI市场,我只能说道路还很漫长...

视频截取自: 小Lin说

小结

所以这就是SpaceX大致的三大块业务:

  • 太空业务是技术底座;

  • 互联业务是赚钱机器;

  • 而AI是未来,是饼,也是真烧钱。

它讲的故事,就是拥有大火箭这个核心技术,垄断一切太空故事的叙事权;

然后通过星链,验证它故事是真的能实现的;

再站在AI风口,讲一个庞大的太空AI故事,让估值起飞。

大概是这么个意思。

视频截取自: 小Lin说

上市

为什么上市

好,咱大致了解了SpaceX的业务,咱接下来看看,它为什么上市?

你可别想当然,觉得上市可不好嘛,一下子能变现,赚钱谁不喜欢啊?

诶我跟你说,对于你我这样的普通人来说,上市实现财富自由,肯定美死。但对马斯克,对SpaceX可就不一样了。

上市最关键的弊端是什么啊?

  • 财务信息都要公开;

  • 控制权要被稀释;

  • 而且一有个负面新闻、财务表现不好,就得出来解释,会受到资本市场和舆论持续不断的裹挟。需要不停地分心去应付那些合规、舆论、市场等等。

这对于马斯克来说,成本是很高的。

这也是为什么之前,他说过很多次,过早上市会让SpaceX很痛苦。

但是2025年,马斯克突然又改口了,确认了2026年要上市的计划, 具体是为什么呢?

图片截取自: 小Lin说

缺钱

其实首先一个原因,确实是缺钱。但并不是SpaceX原有的太空业务缺钱,那个靠星链计划,已经完全能养活了。而像我们刚才说的,其实是AI。

这就是为什么你看2023年的时候,SpaceX几乎没什么债务、融资。

但2024年,AI市场爆发,融资一下就涨到118亿,2025年变成263.5亿。

AI基建花钱,这也不难理解,我也不想费太多话。

图片截取自: 小Lin说

过桥贷款

不过融资,有一块挺有意思的。

就是它2026年的融资里,不光有私募股权融资,还藏着一笔200亿美元的过桥贷款。

啥叫过桥贷款,就是说不是长期借给你发展业务的,而就是短期帮你"过桥"的。

过什么桥呢?就是收购xAI,并且上市。

因为它收购xAI,同时会继承过来xAI的一屁股债,SpaceX就是要借新债,还了SpaceX的债,然后等上市了,有钱了,再把这笔钱还上!

那xAI为什么有那么多债务呢?

你别以为全是AI烧钱,其实xAI那大概175亿美元的债里,AI基建大概只占了50亿,而有125亿是当年马斯克收购Twitter的时候背的债!

晕了么?我给你正着捋一遍啊:

  • 2022年马斯克轰轰烈烈收购推特,借了125亿美元的债务,之后把Twitter改名为X;

  • 然后2025年,xAI收购了X,继承了那125亿的债;

  • 然后2026年,SpaceX又收购了xAI,继承了那125亿的债和xAI额外的50亿债!

  • 然后,SpaceX借了一笔过桥贷款,把原来那些债,一口气全还清了,现在都变成了SpaceX的新债。

  • 最后,SpaceX上市,把这些过桥贷款还掉。

视频截取自: 小Lin说

这些投行里最高兴的,应该就是摩根士丹利了,因为当年马斯克收购Twitter的时候,借的一百多亿美元,主要就来自摩根士丹利,而这也成了华尔街史上被套牢最久的并购债之一,这回总算解套了,还能顺便赚一笔IPO承销费,简直开心坏了!

而且,这笔过桥贷款,背后的借贷银行阵容,极其豪华啊:高盛、美国银行、花旗、摩根大通、摩根士丹利。为什么啊?为了这200亿短期债,至于吗?

这些投行都不傻,这笔过桥贷款只是个敲门砖,只是个"前菜",真正的"主菜"是什么啊?就是SpaceX这个史上最大IPO。他们为的是能承销IPO, 那承销费用可就赚嗨了。

所以,你看最终SpaceX的承销商,有21家银行的豪华阵容,但其实这里面最主要的,就是第一排的这五位,也是给它过桥贷款的5位:

  • 高盛

  • 摩根士丹利

  • 美国银行

  • 花旗

  • 摩根大通

视频截取自: 小Lin说

好,又扯远了。

你还记得咱们之前在聊什么吗?对,就是SpaceX为啥要上市。

刚才说的是它缺钱,还有呢就是为了老员工可以退出,变现。

高估值

再有一点,只是纯粹我的个人猜测啊,就是AI资本热一起来,估值已经炒到天上去了,SpaceX也是想顺便吃到这波红利。

其实现在SpaceX上市,没有人否认它的火箭牛,但争议最大的,就是它能不能撑得起这么高的估值。它一上来就是全美第7大市值的公司, 超过了特斯拉, 这个真的是非常夸张:

这个估值是什么概念,和它类似估值的公司,营收是多少呢:

  • 沃尔玛:7000亿

  • Meta:2000亿

  • 博通、礼来、特斯拉,都是高科技产业,营收也都在600亿往上。

  • 但SpaceX,只有不到200亿。

视频截取自: 小Lin说

一般最简单看估值,就是看看公司的市盈率,市值除以利润。

SpaceX呢,还在亏钱,没赚钱,没法算市盈率。这对于刚上市的企业,也合理。

那可以看看市销率,市值除以销售额。

苹果大概是10倍,特斯拉大概是15倍,英伟达是25倍,而SpaceX上来就空降就接近100倍,美股最高。

所以,有很大一部分人用真金白银投票相信,SpaceX值这个价,对它非常有信心。

估值高对于SpaceX意味着什么呢?就是它可以以非常低的的成本,只消耗了不到5%的股份,就融到了750亿。

我们说之前美股最大IPO是阿里巴巴,它融资250亿美元,可是消耗了自己大概15%的股份;

而SpaceX融资750亿,只消耗了4.2%。这么便宜的融资,这么高的估值,自然成为它上市的一大原因。

视频截取自: 小Lin说

马斯克的

控制权

关于SpaceX,其实有一个很重要的点,我一直没聊,重点咱们都藏在后面啊,就是马斯克的控制权。

我们知道马斯克,其实之前在控制权上,栽过好几次跟头:

  • 他当Paypal CEO的时候,在飞往澳大利亚度蜜月的飞机上被董事会罢免;

  • OpenAI也是被很狼狈地踢了出来;

  • 特斯拉你以为他能全说了算吗?马斯克乱七八糟期权什么就算全算上,投票权也就占特斯拉的20%出头,想要干什么还要对董事会经常以辞职相要挟,恨不得刀架在自己脖子上才行。

所以,马斯克这回吃一堑长一智了,一定要用各种方法把SpaceX的控制权,牢牢地掌握在自己手里。SpaceX虽然上市了,Go Public了, 可它的控制权一点也不Public。

马斯克对它的控制权掌握可以说严格到变态:

它把SpaceX的普通股分为ABC三种:

A类一股一票,B类一股十票,C类一股零票。

C类股完全没有投票权,所以我们就不管了。

在上市之前,马斯克有12.3%的A类股票,和93.6%的B类股票,加总下来它公司的投票权是85.1%;

这次上市也只融资A类股票,这个B类基本上就是马斯克自己牢牢控制着;

我简单算了一下,上市之后,马斯克的控制权也就从85%降到了 ...... 84%~

图片截取自: 小Lin说

而且这还没完,马斯克觉得这还不保险,在这个S1里还规定了:

"B类股股东有权选举董事会过半董事"

所以,B类股股东可以控制董事会,而马斯克占了93.6%的B类股股东,这样一来,甭管SpaceX进行了多少轮A类股融资,它永远可以牢牢掌控SpaceX的董事会。

挺狠吧~

所以,三大公共养老金发出了联名信警告,说SpaceX这套结构"新奇又极端", 意思就是简直闻所未闻!

激励计划

关于马斯克,在这个计划书里还藏着一个很有意思的信息就是它的—— 激励计划。这部分其实有点番外篇的意思啊,我说给你听听~

图片截取自: 小Lin说

极限挑战

在235页,就这么简简单单非常笼统形容了一下这个激励计划,但其实背后是一个极其庞大, 甚至听起来有点扯。

不太熟悉什么是激励计划的朋友,我简单介绍一下啊。激励计划简单来说:就是董事会为了激励马斯克,给他专门定制了一套目标,只要他能达到这些目标,那么他将会获得多少多少额外的股票奖励。

特斯拉已经来过这么三轮激励计划了,马斯克全达到了。董事会一看,这招好啊,对于马斯克这种人就得用这种比较特别的方式,所以给他的激励计划越来越离谱,后来都被称作"Moonshot Plan",我觉得可以把它翻译成叫"极限挑战"。

2025年底,特斯拉又轰轰烈烈给马斯克开出了新版极限挑战,有一大堆目标,其中市值目标是8.5万亿美元,是当时特斯拉市值的8倍,如果全都达到,马斯克将会得到,价值大约一万亿美元的股票奖励!

这是特斯拉啊,咱来看SpaceX。我跟你说相比较而言特斯拉已经算是非常容易达到的了。

SpaceX对他呢,这么短短一页里还有两版激励计划,一个是太空版,一个是AI版。

视频截取自 小Lin说

太空版

太空版大概是这样的:

首先是市值目标,分成15个阶梯,SpaceX的市值如果达到这么多,马斯克就会得到这些股票奖励。最高时市值达到7.5万亿美元,马斯克可以拿到10亿股B类股。

你看着是不是感觉7.5万亿也觉得还好啊,是吧?!

SpaceX市值现在就已经完成三个了,再往上翻个五倍,虽然也很高,但就还好。

可是你仔细看好了,它的要求里还有第二条要求,你在达到这些市值指标的同时,同时还必须:

在火星上建立永久人类殖民地,并达到至少100万居民。

图片截取自: 小Lin说

这个你直观想都觉得非常遥远了是吧,在火星上居住100万人,如果SpaceX真达到了,我估计市值就远远不止7.5万亿了,这两个完全不是一个难度啊~

但我其实有一计,我们如果咬文嚼字,说这里的"居民"不一定是人类啊,也可以小猫小狗,甚至可以是土豆啊。我就可以让火星上有一个常驻人类居民,也算人类殖民地,然后还有100万土豆,那难度是不是会小很多~

开玩笑的啦。总之这个100万火星居民的限定感觉有点扯是吧~

AI版

AI那版也没强到哪去。

首先也是市值要达到一些标准,这回是6.565万亿美元,比太空版还低;

但同时,必须要建立非地球数据中心,达到每年100太瓦的算力。

我们总听吉瓦,现在超大型数据中心一个都能达到1吉瓦的算力,那这个太瓦是什么意思?就是1000吉瓦,所以100太瓦就是10万吉瓦。

目前,全球的总用电量大概也只有3太瓦,100太瓦就是目前全球总耗电量的33倍,要在外太空达到。

视频截取自: 小Lin说

你看看这两个极限挑战,一个要100万火星殖民者,一个要在太空实现100太瓦算力,这是为什么啊?你仔细想想?

其实答案很简单,这个激励计划设计的初衷,压根就没打算让马斯克实现!

你可能想了,那干嘛要费劲弄这么个不可能达到的激励计划呢?为了凑字数么?

唉,不是的。当然一部分原因也是给马斯克一个激励了啊,万一人家实现了呢。

但还有一个原因,这个甚至都没有写在招股书正文里,而是藏在了这个激励计划的附加条款里:

"参与人...享有B类股持有人的全部权利和特权,包括投票权,自授予日起立即生效。"

什么意思啊?马老板,就算你达不到要求,股票你拿不到,但从今天起,这些股票对应的投票权,都归你了,不需要完成极限挑战。

图片截取自: 小Lin说

所以咱们刚才不是说马斯克有93.6%的B类股么。

你要是仔细看。它批注里一行小字说了,这55亿股B类股里,包括了1,302,072,285股限制股。

哪来的13亿限制股啊?

别急,请同学们把课本再翻回到第235页激励计划的部分:

  • 太空版给了马斯克多少股啊?对,10亿股;

  • AI版给了多少啊?302,072,285股;

  • 加起来一股不差,正好是1,302,072,285!

这不就明了了,这两个"极限挑战",虽然几乎不可能完成,但投票权是已经算在马老板头上了,这哪是极限挑战计划啊,应该是投票权白送计划!

视频截取自: 小Lin说

未来计划

最后咱来简单看看SpaceX自己列出来它未来可能的市场,它自己的畅想啊,这些我就不评价了,我也不敢评价:

  • 地面点对点旅行;就是不坐飞机了,而是坐星舰长途旅行;

  • 太空旅游;

  • 在轨道上制造;

  • 前往月球和火星的客运和货运;

  • 月球和火星上的生产能源;

  • 月球和火星上制造;

  • 小行星采矿。

视频截取自: 小Lin说

写在最后

以上就是关于SpaceX上市、它的资本操作,我的一个简单聊聊。

它的估值确实非常夸张,我觉得可以说是马斯克通过这么多年成功的商业履历,带来的散户、资本、银行对它的信任,从而转换成了非常高的"马斯克溢价",有溢价肯定合理,同样业务两家公司,一个CEO是马斯克,一个是小Lin,你说估值能一样么是吧。正因为大家买它是因为对马斯克这个人的信任,所以马斯克独揽控制权,在资本市场来看也不是什么坏事儿,甚至有人觉得是好事儿,他还不用受到资本的裹挟呢!这个就仁者见仁,智者见智了。

但不得不说,SpaceX上市真的是把故事讲全了,我真的好奇,大家觉得三年以后的SpaceX,会变成变成一个什么样的公司呢?撑不撑得起它这么高的市值呢?

视频截取自: 小Lin说

—— E N D ——

点击阅读原文可以来B站找小Lin玩呀~

阅读原文

跳转微信打开

  •  

从 Spec 到损失函数:真正会用 AI Agent 的人,已经在设计循环

高可用架构 2026-06-12 12:12 广东

用一个提示词跑 30 小时:AI Agent 如何“蒸馏”出一个产品

导读:本文介绍了 AI agent 使用“损失函数开发”(LFD)与 /goal 循环的实战经验,强调通过优化目标而非固定规格,能让 agent 在 30 小时内逆向工程产品核心并实现 50 倍性能提升。

作者分析了 agent 多次“作弊”优化评估集的失败案例,提出构建良好损失函数需包含大目标、盲测约束、测量工具和强制熵,避免局部最优并推动真正创新。

作者:Elvis Sun(@elvissun)是 AI agent 开发专家。他公开分享 LFD(损失函数开发)与 /goal 循环的实践经验,强调设计目标与约束让 AI agent 高效优化,避免作弊。已开源相关技能。

Image

99% 的人都把 /goal 和循环用错了。

他们听到的噱头是“长时间运行的循环会提示自治智能体(long-running loops prompting autonomous agent)”:把任务丢给它,离开,回来就有可工作的代码。

但顶尖的 agentic 工程师在过去 6 个月里已经不靠 /goal 做到了这一点,也就是 GPT-5.2 和 Opus 4.5 发布以后。这叫 harness engineering + spec-driven development:

  1. 为智能体搭建一个能观察问题的 harness
  2. 写一份紧凑的 spec,包含所有测试用例
  3. 让 Codex 或 Claude Code 无人值守地循环,直到满足每一项要求

我经常在夜里启动这种任务,一次跑 2 到 5 小时。4 月有一次,它啃掉了我们 Vercel monorepo 里的一个 Turbo build-cache bug,早上起来已经全绿。其实并不需要 /goal。

4 月 11 日 Elvis

我再说一次,因为我一直看到有人用错:只要把一个带着正确 harness 的智能体丢进循环里,你可以解决任何工程问题。Codex 刚刚 one-shot 了我们的 turbo cache 修复,因为我给了它像团队里的真实开发者一样调试所需的一切。使用老方法需要8小时。

Image

那 /goal 到底是做什么的?

下面是一条单独的提示词,在我离开期间完成的事情:

  • 约 30 小时,6,300 行代码,爬取 92k 页面,API 花费 40 美元
  • 克隆另一个产品的核心循环,从零反向工程出完整架构
  • 在同样的查询上,我们版本的输出比参考产品好约 50 倍。(这是一个新的数据层,会支撑 newsjack.sh[1],也就是我一直在做的开源 news-intel skills)

秘密是 loss function development(LFD):给智能体的核心输入从“要构建的 spec”变成“要优化逼近的目标”。

6 月 8 日 Peter Steinberger

每月提醒一次:你不该再给 coding agents 写提示词了。你应该设计提示 agents 的循环。

You shouldn’t be prompting coding agents anymore, you should be designing loops that prompt your agents.

这是 Peter 那条推文的一个具体落地版本。

spec-driven development 里的 spec,现在变成起点,不再是终点。

我试了好几轮才把这件事做对。但这里是完整打法。不过我们得先从它一开始有多糟糕讲起,这样你才能理解该怎么设计这些 /goals。

智能体作弊了 3 次。

一切都从我一贯的做法开始:写 spec。

我只是把 codex 指向另一个产品的公开网站,问它“我们怎么自己构建这个?”。30 分钟后,它给出了一套完整的系统设计和测试用例,也就是 spec。

但这一次,我试了一个不同的提示词。

“/goal implement until your output matches theirs exactly”

然后发生了这些:

循环 1(5 分钟)

智能体拿到了 eval set,生成了与之对应的 seed data,然后 5 分钟内宣布胜利。

“100%” recall,泛化能力为零。一个只能找到我交给它的那 30 个东西的搜索引擎,lol。

修复 → 让它失明。 运行期间隐藏 eval,只在评分时揭示,并给出逐项 miss list。

循环 2(20 分钟),盲测,30 个条目。

我把 eval set 对智能体隐藏起来,但它通过 miss 学会了作弊。每一个“你没找到 X”都会变成下一轮的关键词。几轮之后,它用了刚好 30 个关键词,每个条目一个,然后又“赢了”。

修复 → 扩大 eval set。 用几百个条目评分,多到无法枚举。

循环 3(30 分钟),盲测,200 个条目。

把新 eval set 加到 200 个条目之后,智能体又作弊了。

有意思的是,它还是在枚举。关键词列表膨胀到几百个,每个词都是为下一个 miss 精确准备的诱饵。

三轮,三次作弊。

那一刻我明白了:智能体只是在优化。

作弊不是智能体的 bug。bug 在我的目标里:我告诉它要去哪里,却把所有捷径都敞开了。

每一条你没有封住的廉价路径,都会成为优化器全力冲刺的方向。而我的初始目标漏掉了所有围栏。

循环 4(30 小时),盲测,200 个条目,硬限制。

于是我开始封锁方向。限制关键词列表,隐藏 eval,扩大日期范围。每个修复都关掉一条廉价路径,直到剩下唯一能让数字继续上升的方向,就是真正把任务做得更好。

它停止作弊了。

然后它开始跑。约 30 小时计算,爬取 92k 页面,约 40 美元 token 成本,6,300 行代码。

结果我们参考的产品只是地板,不是天花板:在同样的查询上,我们最终浮现出了 约 50 倍的结果。

Image

(好奇的人可以看这里的完整过程和凭据)

5 月 21 日 Elvis

codex 真的太疯狂了。如果你觉得前端克隆已经很夸张,看看这个:我刚把 codex 指向另一个产品,30 分钟后拿到了它的架构、数据模型、prompts,还有成本估算。378 行重建计划。最疯狂的是,现在我可以一行提示词搞定:

"/goal implement until your output matches theirs exactly"

Loss function development(LFD),一个好损失函数的结构

大多数人想构建产品时,都是用 agents 在几个小时内从零走到发布。

但真正的难点在后面,也就是长尾。 spec 从没想过的边缘情况,只会在生产环境里一个错误日志接一个错误日志地冒出来。你逐个修。没有被日志捕获的情况会由用户报告,而这是发现 bug 最昂贵的方式。

我已经自动化了其中便宜的一端。我的 OpenClaw agent Zoe 每天盯着错误日志,新错误一出现就启动 Codex 并创建 PR,这个循环基本已经压到很紧了。(完整设置记录在这里[2])

长尾仍然需要几个月。这就是为什么即使 agents 在干活,构建一个好产品仍然需要时间。

LFD 会快进这条长尾。如果你能一开始就拿到真实的 expected-output examples,也就是大规模意义上的“好结果长什么样”,你就可以在发布前做 soak:几百个边缘情况在一次优化运行里打到智能体身上,而不是等一个季度的 bug report 慢慢滴下来。它突然变得可行,是因为对越来越多的问题来说,这些 examples 就公开摆在那里。

Spec-driven development:

构建这个。让测试通过。

Loss-function development:

构建这个。让测试通过。然后针对这 1,000 个 eval cases 继续迭代。

测试套件是有限的,一旦全绿就结束。一个 1,000 case 的 eval,如果达到 95%,它就是一个你要继续下降逼近的目标,除非达标,否则没有出口。这很重要,因为智能体会做出几百个你永远看不到的决策,而每一个决策都需要一个参照系来判断。如果你没有写目标,智能体会自己选一个。就像第 1 到第 3 轮展示的那样,它会选最便宜、最容易满足的东西。

损失函数比 eval 更大。它有 4 个部分:目标、约束、仪表、强制熵。四块。

1. 目标

  • 足够大,让枚举不划算。 28 个条目的 eval 一轮就被记住了。越多越好。
  • 不要让智能体看到答案 key。 Eval data 只用于事后评分。如果智能体能在运行期间看到答案,它就会找到偷看的办法。

2. 约束

智能体被允许做什么,以及不允许做什么。

  • 时间是智能体永远会忘掉的约束。 Agents 没有时间感。它们会为了 2% 的提升磨 10 个小时,因为指标名义上还在动。但 2 小时内完成的 80% 方案,胜过 30 天后完成的 100% 方案。解决办法:设置 wall-clock budget。
  • 钱。 对每一次付费调用设置硬上限:crawler credits、LLM spend,以及一次性 key 的总美元上限。
  • 接触面。 所有 providers、允许的 models、并发上限。把智能体沙盒到你只希望它触碰的东西里。
  • 方法论。 是否允许 LLM analysis,还是只能用 deterministic logic?智能体能访问哪些数据源?明确写出来。

3. 仪表(harness)

没有仪表的约束只是一种感觉,智能体会很愉快地违反它,因为它看不出自己正在违反。对上面的每一个约束,都给智能体提供一个 CLI command 来检查它。

  • 以正确分辨率测量目标。 谨慎选择目标仪表。真实例子:一个幼稚的”让 LLM 给两张截图打分”的 judge,会批准有 12px 间距错误的 UI clone,因为 LLM 其实看不见图像,它会把图像转成 embedding,再比较 embedding。所以如果你想要 pixel perfect 的 UI clones,就给你的智能体一个 pixel-diff tool。然后 /goal 直到 pixel diff 为 0。
  • 时间核算。 给每次运行和每一步都打 timestamp。智能体应该知道每一步花了多久,总 wall-clock elapsed 是多少。时间是一等仪表,不是脚注。
  • Provider budget。 “我们现在在 crawlers 上烧了多少钱?”应该是一条命令,而不是猜测。追踪剩余 scrape credits、本轮 burn、累计 burn,以及下一批付费调用前的预计 burn。
  • LLM spend。 给它一个 LLM API key 用在 data-plane 上,可以简化很多逻辑。但智能体应该负责任地花钱,而前提是先知道自己实际花了多少。
  • Codex Usage。 这一项有点 meta。循环应该有自我意识:我在这次优化上花了多少 tokens?这有助于知道当前优化步骤的梯度。

模式就是那句老话:你看不见的东西,就无法优化。

如果你刚开始跑这些循环,不要一启动就离开。先陪它跑第一轮。观察它触碰了什么。确认你搭的 harness 确实被正确使用。然后再去睡觉。(并且试着别一直想着醒来会看到什么)

4. 强制熵

为什么强制熵重要:每个循环都会从上一轮的完整上下文继续。模型不是重新开始,它会读取自己之前上百个决策,以及到目前为止有效的梯度。

在 /goal 循环里,命中局部最大值是默认状态。 没有明确的一脚踢开,智能体会继续沿着同一座山往上走,而“同一座山”就是它停止改进时刚好所在的位置。

举个例子,如果一个小旋钮能让结果提升 0.1%,智能体会一直拧那个旋钮,即使还有 1000 个其他旋钮可以试。

熵必须被显式强制进入运行过程,因为模型不会主动引入它:

  • 每轮都做过拟合反思。 我是在构建更通用的方案,还是在记忆 eval?如果是在记忆,下一次改动必须移除一个 eval-shaped artifact(限制列表、隐藏特征、扩大 eval、拒绝 seed),而不是再增加一个。
  • 停滞时强制熵。 如果上一轮没有推动指标,下一轮不能是“同一个想法,更用力”。模型必须做一次真正突破性的跳跃。“think outside the box” 是个好提示词,可以阻止智能体只是把同一个旋钮拧得更狠。
  • 保留迭代日志。 让智能体记录假设、预期失败模式、每一步的诊断,这样它可以回头看,并跨越 compactions 做反思。

Meta-Meta-Prompt

一开始这些 goals 是我自己写的,但我很快意识到,这也是 agents 该做的工作。

所以我写了一个 skill,用来生成这类目标,帮助跑一次好的 loss-function-development。

现在开源在这里:

https://github.com/elvisun/loss-function-development[3]

Image
Image

/lfd-design 用来生成 harness 和 goal

一路向下的梯度下降:两个循环

退一步看,这一路都是梯度下降。

内循环是智能体:写代码,跑测试,修复。短周期,快速反馈,单一目标,让测试通过。这是开发者的内循环,而 spec-driven development 就是运行它的方法。Coding agents 已经把它自动化了。

外循环是 /goal:跨越许多周期,把整个系统推向一个 outcome metric,发布、测量、改方向、下降。长周期,稀疏反馈。这原本是产品团队的循环,也就是几个月的 ship-measure-iterate soak,现在被压缩进一次运行里。

两个循环现在都已经自动化。剩下需要你做的,是定义损失函数,也就是 /goal 到底应该优化什么,以及应该以什么方式优化。

你在蒸馏一个产品,或者任何留下公开产物的东西

换个视角看,这本质上是蒸馏,只是从 training-time 移到了 prompt-time。DeepSeek、Kimi、Minimax 这一线就是这样缩小了与 GPT 和 Claude 的大部分差距:用别人家的输出训练你的模型,直到你的模型能复现它们。

但现在你不必蒸馏一个模型。你可以用 /goal 和 LFD,对任何公开可找到的 artifact 进行蒸馏拟合,它不检查内部,也不需要检查内部。

重点是公开这个词。蒸馏别人在 ToS 限制下、登录墙后、付费墙后的输出,并不合理。但公开发布的东西,也就是一家公司为了赢得客户而 ship 出来的输出,一直都可以被学习。这部分并不新,它是软件里最古老的招数。新的地方在于,现在这件事很便宜,而且几小时就能完成,不再需要几个月。

退一步看,更大的变化是:只要存在 information symmetry,执行成本就会坍缩到接近 0。也就是说,当输出是公开的,每个人都能看到“好”长什么样,任何人都可以用 40 美元在一个周末把它蒸馏回来。

所以这里出现了一个越来越有价值的新护城河:information asymmetry。

那个典型的开源公司已经先眨眼了。2026 年 4 月,cal.com[4](500 万美元 ARR)把生产代码转为私有,并且关闭了开源[5]。他们给出的理由,读起来几乎就是这篇文章的摘要:在 AI-driven security threats 的时代,你不能把 source 留在智能体读得到的地方。

“/goal read cal.com[4] source code and enumerate its attack surface until something works”

这种攻击太危险,也太容易执行。

一个身份核心就是”open source”的公司,在 2026 年决定开放已经变成负担。这已经说明了一切。

在软件的整个历史里,“我们构建了它”曾经就是护城河。

那个时代正在结束。

下一个时代属于那些拥有 artifact 从未包含之物的人:别人无法评分的 eval set。你的用户真正踩到的边缘情况清单。你私下测量的 ground truth。谁拥有竞争对手的智能体看不到的目标,谁就是唯一一个能让自己的循环继续下降的人。

产品现在只是一个周末。

去构建那个周末无法触碰的 eval。

参考阅读

References

  1. newsjack.sh: https://newsjack.sh/
  2. 这里: https://x.com/elvissun/status/2025920521871716562
  3. https://github.com/elvisun/loss-function-development: https://github.com/elvisun/loss-function-development
  4. cal.com: https://cal.com/
  5. 关闭了开源: https://x.com/pumfleet/status/2044406553508274554?s=20
  6. 原文:https://x.com/elvissun/status/2065035615800864954

如果你也在关注 AI 应用如何真正落地到生产环境,2026.6.26 - 6.27 GIAC 深圳站值得关注。这次大会会集中讨论智能应用开发、架构演进,以及来自一线实践的经验与案例。

识别二维码可申请大会体验门票,点击阅读原文了解大会详细议程。

Image

阅读原文

跳转微信打开

  •  

B站 Index LLM 团队论文开源:170亿次真实用户交互背后的UGC视频评估新范式

原创 AI 2026-06-12 12:00 上海

这项工作已被 ACL 2026 Main Conference 收录,是bilibili Index LLM Team在UGC内容理解方向的最新成果。

“我们知道B站之所以能够产生这么多好的作品,重要的原因就是社区里的用户有着对内容的热爱,并且有着对内容极高程度的审美。AI是可以放大B站社区这种识别优质内容的能力,现在社区每个月有170多亿次的真实用户的交互,这些数据在AI时代其实都是非常珍贵的真人标注,而且这些真人是整个中国对内容最有热情和最有审美鉴赏能力的人。”

哔哩哔哩2026年Q1财报电话会提到了上述内容。那么问题来了:能不能让AI学会像B站用户一样,在视频发布的第一时间就判断出它是否会获得社区共鸣?

今天我们介绍的 CASTER,就是在回答这个问题。这项工作已被 ACL 2026 Main Conference 收录,是bilibili Index LLM Team在UGC内容理解方向的最新成果。

论文链接:https://arxiv.org/abs/2606.01897

代码链接:https://github.com/bilibili/medea_rl

模型链接:https://huggingface.co/IndexTeam/MEDEA

数据集链接:https://huggingface.co/datasets/IndexTeam/CASTER-Bench

 让AI学会「站在观众角度思考」

传统视频质量评估(VQA)看的是画面清不清晰、有没有压缩失真。但在B站社区里,一条视频好不好,靠的从来不是画质。一段画质普通但极具创意的手书,可能获得百万播放和满屏弹幕;一段4K高清的vlog,也可能因为内容空洞而无人问津。

UGC质量的本质是社区共识,而不是像素质量。

CASTER做的事情是:给定一条视频的多模态信息(封面、关键帧、标题、标签、ASR等),让AI模拟不同类型观众的反应,然后从这些模拟反应中推断出这条内容能不能获得社区认可。

Social-CoT:

不是逻辑推理,是社会认知推理

Social-CoT是我们提出的核心推理机制。与传统CoT进行逻辑推理不同,Social-CoT进行的是社会认知推理:

第一步:实例化多元观众人设

模型需要想象不同类型的观众:资深爱好者、偶然路过的用户、对该领域感兴趣的新人、挑剔的老用户等。每个人设代表了社区中的一种典型视角。

第二步:模拟情感反应路径

对于每个观众人设,模型需要推理:这个人看完视频后会有什么感受?会被哪个片段打动?会想发什么样的评论?这不是简单的情感分类,而是深入的共情推理。

第三步:汇聚社区心智

综合所有模拟的观众反应,通过统计共识机制(Skellam Scoring)判断:这个内容是否能在社区层面产生正面共鸣?

这种"先模拟再判断"的结构,确保了最终的质量判断是从模拟的社区动态中因果推导出来的,而不是黑盒分类。下面是一个具体的Social-CoT示例:

MEDEA框架

更进一步,我们把Social-CoT落地为可训练的系统,设计了MEDEA(Multimodal Engagement-Driven Evaluation Architecture)框架:

阶段一:挖掘真实社区智慧

基于B站生态用教师模型 (Gemini) 将社区智慧转换成结构化的Social-CoT推理路径,最终构建了54K条标注样本。

阶段二:SFT让模型学会Social-CoT的结构

通过监督微调,模型学会将视觉线索(光线、剪辑节奏)和文本信息(标题、标签)与社会解读对齐。

阶段三:RL对齐人类社区标准

使用GRPO算法 + 四维复合奖励:

  • 格式奖励:输出遵循结构化格式

  • 标签奖励:预测正确性

  • 认知多样性约束:防止模型生成重复评论,必须探索完整分布

  • 社会对齐奖励:模拟评论与真实高赞评论的语义相似度

其中社会对齐奖励是关键创新,没有它,模型会退化为生成「好美啊」「太棒了」这样的空泛模板;有了它,模型能生成具体且富有共情的解读,比如将冰岛vlog中风吹发丝的画面解读为「原始自然力量的震撼」。

CASTER-Bench:社区共鸣基准

为支持CASTER任务,我们发布了CASTER-Bench:

  • 1485条UGC视频,覆盖30个主要内容品类(生活、知识、游戏、美食、科技、舞蹈等)

  • 平均时长442秒(总时长182.5小时),远超现有VQA数据集的8-10秒短片

  • 多模态信息完整:视频内容、封面图、标题、标签、分区、ASR

实验:全面超越GPT-5.2和

Claude-4.5-opus

在CASTER-Bench上,MEDEA全面超越所有四类基线方法。

高质量类别(最关键指标):

  • MEDEA:F1 = 0.650,精确率 = 0.603,召回率 = 0.705

  • 最强基线(GPT-5.2 reasoning):F1 = 0.555

  • 提升幅度:+17.1%

各类基线的失败模式分析:

传统VQA方法(FastVQA、DOVER、MaxVQA等):

  • 高质量F1仅0.33-0.41,几乎完全失效

  • 原因:它们评估的是画面质量而非内容质量,信号层面的分析无法捕捉社区共鸣

标准大模型(GPT-5.2、Claude-4.5-Opus):

  • 召回率极高(>90%)但精确率极低(~30%)

  • 原因:"慷慨偏差":通过长上下文推理能在任何视频中找到优点,但缺乏区分"还行"和"真正优秀"的社会判断力

推理增强大模型(开启reasoning模式):

  • 有所改善但仍不够(最高F1=0.555)

  • 原因:逻辑推理能力不等于社会认知能力

Social-CoT提示的旗舰模型:

  • 直接用Social-CoT提示词(不微调):F1=0.508

  • 说明推理模式本身有帮助,但需要专门的训练才能真正内化"社区标准"

已在B站落地:更早发现优质内容

CASTER不只是一篇论文,它已经在B站的内容生态中实际部署运行。

通过将CASTER接入内容分发链路,系统能够在视频发布后的极早期(甚至在评论区形成之前),就识别出具有高社区共鸣潜力的优质稿件。这使得优质创作者的内容能更快地获得曝光,不再需要等待漫长的自然传播周期。

正如电话会议中提到:"我们花了很多时间让AI理解什么是高质量内容,并在更早的阶段识别这些高质量内容。" CASTER正是这一愿景的技术实现。

开发者交流

CASTER将于2026年7月5日在美国San Diego进行Poster展示,现场还会发放MEDEA精美无料,欢迎大家来交流!

-End-

作者丨bilibili Index LLM Team

跳转微信打开

  •  

AI Infra 的各种挑战和 Tips 系列 - NVIDIA Nemotron-3 Ultra

原创 AI闲谈 2026-06-12 08:00 北京

比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off

一、引言

比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off。

本次梳理对应的论文为:Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

相关工作可以参考笔者之前的文章:

二、模型结构

如下图 Figure 2 所示为 Nemotron 3 Ultra 模型的结构,总参数量 550B,每 Token 激活参数量 55B。是典型的混合架构,并且混合的方式也和常规的大模型不同,总层数 108:

  • Mamba-2 层数:48

  • Full Attention(GQA)层数:12

  • LatentMoE 层数:48

如下图 Table 1 所示为模型的详细配置,有几点可以关注:

  • KV Cache:GQA 中 Q 和 KV 的比例高达 64:2,非常接近于 MQA,这个和 Qwen3.5-122B-A10B 以及 Qwen3.5-397B-A17B 类似,主要动机都是可以极大降低长序列场景下的 KV Cache 大小。

    • GQA:Mamba-2=1/4,Full Attention 只有 1/4。

    • Q:KV=32/1,极低的 KV 占比进一步大幅度降低 KV Cache 大小。

  • LatentMoE:得益于 LatentMoE 的机制,可以在不增加 MoE All2All 通信量的同时增加专家数和路由专家数,提升专家的组合能力。因此这里每个 LatentMoE 层包含 512 个专家,22 个路由专家。

  • MTP:2 个 MTP layer,共享权重。MTP 在训练阶段可以作为辅助目标,在推理和 RL Rollout 阶段可以作为内置 Draft Model,加速生成。

可以看出,该模型是综合考量模型效果,训练、推理效率/成本而协同设计的,并不一定在所有场景最优。比如:

  • 总参数量 550B,激活参数量达到 55B,而常见旗舰 LLM 的稀疏比例达到 20-30 倍。55B 的激活参数,对于 Prefill Heavy 的场景不一定有优势。

  • Mamba 能省 KV Cache,但会引入 SSM State Cache,对于短、中等上下文场景,FP32 Mamba Cache 可能比 FP8 KV Cache 更大。

三、预训练

3.1 数据配比

共 20T Token 的预训练数据,由 19 个 High-Level 组成,比如 web crawl、synthetic web crawl、math、code、academic、wiki、multilingual、legal、SFT-style data 等。

  • 第一阶段:15T,web crawl 与 synthetic web crawl 约占 49% 左右。更偏多样性和广泛性。

  • 第二阶段:5T,web crawl 与 synthetic web crawl 占比降到 38%。更偏高质量数学、代码等。

3.2 训练超参

预训练总共 20T Token,使用 WSD(Warmup-Stable-Decay)学习率:

  • Warmup:200B tokens

  • 峰值 LR:2.5e-4。

  • 最小 LR:2.5e-6。

  • 最后 5T tokens 使用 minus-sqrt decay

  • MTP loss scaling factor:0.1。

3.3 NVFP4 预训练

Nemotron-3 Ultra 的最主要特点是预训练阶段使用了 NVFP4,而不仅仅是后训练阶段。NVFP4 训练的关键细节如下:

  • 使用 Transformer Engine 的 cuBLAS NVFP4 GEMM Kernel 覆盖 fprop、dgrad 和 wgrad。

  • NVFP4 层使用 E2M1 数据类型,权重使用二维分块量化。

  • 对 wgrad 输入使用随即哈达玛变换。

  • 梯度使用 Stochastic Rounding。(PS:这也是 Blackwell NVSwitch 和交换机支持的特性)

  • 对最后的 15% 层(16 层)、Mamba output projection、latent projection、QKV 和 attention projection、MTP layer、embedding layer 都保持高精度。

为了监控 NVFP4 训练的健康度,从 5T、10T、16T 的 Checkpoint 分支出 BF16 继续训练 74B Token,可以作为高精度代理,并对比 NVFP4 Loss 和 BF16 Loss 的误差。如下图 Figure 3 可以看出,Loss 误差很小:

3.4 Checkpoint 合并

NVIDIA 在预训练中使用 Offline 的 Checkpoint 合并策略,具体来说:

  • Checkpoint 间隔:25B Token。

  • 滑动合并窗口:500B Token。

  • 权重按模拟 LR Decay 的方式组合。

  • 预训练结束后,最终 Checkpoint 是从一系列不同合并配置的大量 Checkpoint 中选择的。包括:

    • Token 数变化,尝试 125B 到 1T 的合并窗口。

    • 采用顺序变化:顺序、随机和反向排序。

  • 最终选出一个 500B Token 合并窗口下,能够在知识、数学和代码四项基准上展现出均衡权衡表现的 Checkpoint。

对于大规模训练很实用:单个 Checkpoint 在不同能力上波动时,离线合并提供了一个低成本的模型选择/平滑机制,避免只依赖最后一步或少量评估的 Checkpoint。

3.5 长上下文扩展

长上下文阶段在预训练末尾做 Continuous Pretraining:

  • 目标上下文:1M Token。

  • 总 Token:33B。

  • LR:固定 2.5e-6。

  • 训练硬件:GB200 GPU。

  • 并行配置:32CP、8TP、128EP、2PP。

  • 数据混合:46% long-context 数据,54% 阶段 2 数据。

  • 训练迭代:92% iteration 使用 1M 长度,8% iteration 使用 4K 长度。

  • 每个 iteration 固定 25,165,824 tokens。

  • 同一个 iteration 内不混合 1M 和 4K。

  • 4K iteration 只放 math 和 code SFT-style data,用于维持短上下文 benchmark。

需要注意的是:

  • 1M 上下文必须引入 CP,否则激活/KV/序列维度很难落到可训练的显存范围。

  • 短长上下文混训不是“混合在一个 batch 里”,而是iteration 粒度的长度切换。可以减少 Kernel、Padding、通信 Pattern 的复杂性。

  • 长上下文 CPT 容易稀释短任务能力,因此混入 4K 短序列,不过只保留 Math/Code,算是一种能力保护策略。

3.6 预训练稳定性

Nemotron-3 Ultra 预训练中出现了 2 次 Loss 发散问题。

3.6.1 BF16 Gradient Reduction 丢失 MTP 小梯度

如上图 Figure 5 所示,第一次发散发生在 8T Token 左右。NVIDIA 排查发现是输出层 Local Gradient Accumulation 精度从 FP32 降到 BF16 导致的,这样做的初衷是把 DP 的 Gradient Reduction 以 BF16 传输来提升吞吐(不确定累加时是否使用 BF19?)。 具体来说:

  • 模型有 2 个 MTP Block。

  • 总 MTP loss scaling 是 0.1,即每个 MTP Block 大约 0.05。

  • MTP Block 对 Shared Output Layer 的 wgrad 贡献很小。

  • BF16 只有 7 mantissa bits,这部分小梯度在输出层累加/规约中基本丢失。

  • MTP-2 loss 先出现 spike/divergence,然后 train/validation loss 跟随发散。 

解决方案也比较简单,回滚到较早 Checkpoint,并恢复 Full FP32 Gradient Reduction。从 Figure 6 可以看出,解决后 Loss 没有再发散:

从这个案例中也可以看出,BF16 Gradient Reduction 还是存在风险,要想使用,还需添加细粒度的监控指标,不只是主 Loss,还有各种辅助 Loss;以及 output layer、shared projection、router、auxiliary head 等梯度路径。

3.6.2 16T 附近位置原因

第二次发散发生在 16T Token 附近。NVIDIA 没有找到确凿的根因,如下图 Figure 7 所示,通过消融实验发现:

  • 从 15T Checkpoint 回滚后立刻开始 LR 退火可以缓解发散。

  • 5T Decay 和 10T Decay 都有缓解效果。

  • 最终根据实际需求把总预训练数据截到 20T Token。 

他们观察到两个相关现象:

  • 专家不均衡/ dead 专家。

    • 使用 MaxVio 衡量单个专家的最大负载相对均衡均值。

    • Ultra 初期 median layer MaxVio 约 1.2,最大约 4.8。

    • 训练一段时间后 median 仍约 1.2,但 first MoE layer 的最大 MaxVio 到 12T 时增长到约 12。

    • MaxVio 不一定是根因,但与不稳定相关。

  • 残差流激活范数不平衡,如下图 Figure 8 所示。

    • Super 中残差范数在起始层上升后会下降并稳定。

    • Ultra 中残差范数在起始层约为 7.5T 开始上升,约 11T 出现大 spike。

    • 深度方向残差范数相差可到 4 个数量级,提示信号传播变差。

从这个案例中也可以看出,大规模 MoE 模型训练稳定性需要结合 expert load、dead expert、router entropy、per-layer residual norm、wgrad norm 等联合监控。此外,发散的早期信号可能先出现在 first MoE layer、MTP-2 loss 或 early-layer residual norm,而不是主 loss。

四、后训练

如下图 Figure 9 所示,Nemotron-3 Ultra 后训练包括多个阶段,首先从通用 SFT 开始,然后是标准的 RLVR。此后添加了 MOPD(Multi-teacher On-Policy Distillation),从而同时实现了广泛能力获取与特定领域的精专化。最后还增加了 MTP Boosting 训练。

4.1 SFT 阶段

SFT 分为两个阶段,如下图所示:

在 SFT 阶段也有些需要注意:

  • Long Context:构造 512K long-context SFT 数据,用于 multi-document reasoning、sequential scanning、synthetic table querying。

  • Reasoning Control:构造 reasoning trace 被随机 budget 截断的数据,响应保持不变;被截断样本中的 </think> token 不计入 SFT loss。

  • Safety:从约 45K 英文 safety 数据 扩到约 135K 多语言数据;翻译后再翻译回去,与原始英文 Pair 相似度低于 0.8 的过滤掉,每种语言过滤约 10%-15%。

  • Search:包括 Wikidata 多跳搜索、OpenResearcher 离线浏览器环境、BrowseComp 难样本;部分轨迹需要 50-100 次搜索。

  • Terminal-Use:约 370K 多轮对话,覆盖软件工程、数据处理、文件操作、科学计算等,使用 live terminal feedback。

  • Math:非证明数学包括 1.8M tool-calling 样本和 1.9M non-tool 样本。

  • Competitive Code:1.2M Python reasoning traces、1.0M C++14 traces、1.3M Python tool-calling traces。

  • CUDA:约 100K kernel generation、repair、optimization samples,包括 Nsight Compute log、CUDA C++ kernel、CUDA-X library 数据。

  • RTL:约 1.2M training samples,覆盖 spec-to-RTL、editing、debugging。

这些数据不是简单的文本语料,而是大量“带环境/工具/执行反馈/日志/验证器”的轨迹。对训练 Infra 也会有一定的挑战,比如:

  • 数据对象更大,单样本 Token 长度和结构差异很大。

  • 数据质量过滤依赖执行器、编译器、Benchmark、LLM Judge 和启发式分析。

  • Packing 时既要减少 Padding,又要保持完整对话,避免拆断上下文造成幻觉。

NVIDIA 使用 length-aware best-fit packing:

  • 多个对话 Packing 到最大上下文长度内。

  • Round-Robin 读取并交错源文件。

  • 内存里只保留固定大小的序列池。

  • 对每个新对话选择剩余容量最贴合的序列。

  • 不切断、不切分对话。

  • 打包序列内去重,避免相同 Prompt 出现在同一个打包序列。

  • 打包完后再 Shuffle。

这个实现强调了一个大规模训练常见坑:如果按 source shard 直接拼接,会造成强分布局部性,降低优化稳定性。Packing 不是单纯提升利用率,也是在控制 Batch 分布。

4.2 RLVR 和 MOPD

4.2.1 RLVR

统一多环境 RLVR 覆盖 terminal、office/productivity、software engineering、search、general tool-calling、math、code、STEM、safety、chat、instruction following、long-context QA、inductive/transductive reasoning、structured outputs 等。

训练配置如下:

  • 算法:主要遵循异步 GRPO,并带稳定性优化。

  • 数据混合:采用 Gaussian-based 方法。

  • Global batch size:8192。

  • 每个 Sample 生成 16 Rollout。

  • 最大生成长度:从 48K 增到 64K。

从 Infra 的角度也要关注:

  • RL Batch 的真实计算量是 8192 prompt * 16 rollout * 可变生成长度,其中 、Straggler 生成会影响 Step 时间。

  • 多环境 RL 的难点不仅有 Reward,还有环境执行、Sandbox、Tool Call、Judge、Generation Engine 的端到端可靠性。

  • 不同 Harness 和交互形式混合训练,可以降低对单一 Harness 的过拟合,不过也会放大系统异构性。

4.2.2 MOPD

MOPD 用来解决统一 RLVR 中每个 Domain 在 Batch 中信号被稀释的问题。NVIDIA 训练了 10 个以上特定 Domain 的 Teacher,然后让 Student 在所有 Domain 上生成 Rollout,由对应 Teacher 提供稠密的 Token-Level Guidance。其中:

  • Student Rollout 生成、Teacher 打分、Student 优化全流水异步。

  • Nemotron 3 Ultra 做了两轮 MOPD:MOPD Checkpoint 出来后,再从更新后的 Student 分支训练新 Teacher,再合回下一轮 MOPD。

  • MOPD 最大生成长度:192K。

  • 每 Batch 1024 Prompt。

  • 每 Prompt 1 个 Rollout,多 Rollout 在消融实验中没有带来额外收益。

需要注意的是:

  • MOPD 对 Agentic Domain 更有效,因为 Warmup 能提升 Student Rollout 与 Teacher-supported trajectories 的 Overlap。

  • 对 HLE 这类 Self-contained reasoning benchmark,warmup 收益较小。

  • 如果 Teacher 会但 Student 很少采样到相关路径,Dense Scoring 信息仍然可能比较低效。

  • MOPD 是 RL 和 Distillation 的混合系统,瓶颈从单纯 Policy 更新变成 Rollout、Teacher Serving、Token-level Scoring 和 Learner 之间的流水平衡。

  • Teacher 数量增多后,Teacher Serving 本身成为资源调度问题,需要与 Student Rollout 的 Domain 分布匹配。

  • 对 Agentic 任务,MOPD 前的 Warmup 是为了改善数据分布 Overlap,不是为了“多训一点 SFT”。

4.4 MTP Boosting

MTP Head 在预训练和 SFT 阶段一直存在,但原始的 Teacher-Forced MTP 训练与推理时 Draft 的分布不一致。因此 NVIDIA 加入了 MTP Boosting 过程:

  • 从 MOPD Checkpoint 开始,冻结 Backbone,只训练 MTP Head。

  • 训练 MTP,使第 K 步输入从前面 MTP Step 的 Hidden State 集合中采样,更接近推理噪声。

  • 数据来自 MOPD Checkpoint 的 On-Policy Rollout,temperature=1。

  • 训练 12K Step。

  • Global batch size:64。

  • Sequence cap:8K。

  • Loss:temperature-scaled forward-KL against backbone logits,关闭 gold-token cross-entropy。

冻结 Backbone 可以显著降低优化器状态和激活内存占用。MTP 即成为推理加速组件,也成为 RL Rollout 加速组件。具体来说,如下图 Figure 12 所示:

  • RLVR Rollout 生成中,MTP Token 数 k=5 相比无 MTP 加速 1.46x,收益主要来自最慢的长尾生成。

  • 低延迟单用户推理场景 ISL/OSL/BS = 10K/16K/1、单 GB200 节点、TP=4 下,Draft Length=6 最高加速 2.89x。

五、Infra 问题及优化

5.1 RL Infra 故障分布

生产集群是 NVIDIA GB200,使用 Slurm 编排,并且有 Co-located CPU 用于 Sandbox 执行。RL 的软件故障如下 Table 7 所示,其中主要是 Generation Engine、Sandbox、Tool-call 这些训练外系统的问题,而不是 Learner 的问题。

5.2 RL GCS 和 Slurm 启动

NeMo-RL Job 是异构 Job,需要在不同节点启动 Training worker、vLLM 生成 worker、gym worker、judge worker 等,且各角色需要的资源不同。在作者的后训练中,原始启动脚本会对每个节点发起多次独立 srun 调用,每个 srun 都是向 Slurm 控制器守护进程(slurmctld)发起 RPC 调用,且必须串行处理,节点比较多时,数百个串行 RPC 在 Slurm controller 排队,启动成本按 O(n) 放大。3K+ GPU 下,Ray Actor 同时注册,单线程 GCS 被打爆,启动 25-49 分钟并伴随雪崩式启动失败。

作者实施了一系列优化:

  • 改成 single multi-node srun,把 Slurm controller 交互降为 O(1),启动从 30+ 分钟降到 10 分钟。

  • 把 short-lived Actor 改成 task,消除约 40% Actor 注册操作。

  • 按节点合并初始化 Actor。

  • 实施激进的 GCS 调优措施。

  • Ray 2.55 修复了相关 GCS 扩展退化问题。

5.3 NVLink Domain 感知排布

GB200 NVL72 的 NVLink Domain 覆盖整个 Rack,包含 18 Node、72 GPU。如果 Worker 排布不感知拓扑,Megatron EP Group 会跨 Rack,MoE All2All 从 NVLink 退化到 InfiniBand。

NVIDIA 的解决方案是:

  • 容器启动时用 nvidia-smi -q 解析 NVLink fabric ClusterUUID。

  • 将同一 NVLink Domain 注册成 Ray Custom Resource。

  • 从 SLURM_TOPOLOGY_ADDR 派生 topo_rank。

  • 在 RayVirtualCluster 中按 (domain_min_topo_rank, topo_rank, gpu_id) 排序 Bundle。

  • 设置 external_gpu_device_mapping=True,让 Megatron 信任 Ray 的 GPU Pinning。

  • 不完整 Segment 的 Domain Bundle 被丢弃,保证 EP Group 落在完整 NVLink Domain 内。

优化后训练、生成 Actor 都被放在同一 NVLink Domain;EP 的 All2All 都走 NVLink,不走 Infiniband。GB200 上 End2End 吞吐提升 20%。

5.4 Numa 绑定

GB200 NVL72 的 Grace CPU 有 socket/NUMA 结构,GPU 0/1 和 GPU 2/3 对应不同 NUMA Node。若 Ray Worker 随机跑在远端 Socket,下述操作都会跨 Socket 走 Coherence Link 再到 NVLink-C2C,降低带宽:

  • 优化器状态 Offloading。

  • Checkpoint 在 CPU-GPU 之间传输。

  • tokenization/数据预处理。

  • Pinned Memory 分配。

NVIDIA 的优化方案是:将 Policy Worker 和 vLLM Worker 显式绑定到其 GPU 的 Local CPU Socket。优化后 GB200 上 End2End 吞吐提升 10%。

5.5 Checkpoint Blocking

训练中也发现 Checkpoint 保存每次会阻塞训练约 60S。对此相应的优化方案如下所示,优化后暴露出来的保存时间降低到 1s 以内:

  • 使用 NVIDIA Resiliency Extension(NVRx)的异步 Checkpointing,把模型参数复制到 CPU 后后台持久化,暴露阻塞降到 6-8 秒。

  • NCCL 数据传输与 D2H Copy Overlap,缩短同步暂存窗口。

  • 持久化 Checkpoint 工作进程,避免每次 fork/spawn。

  • Checkpoint 最终确认操作放后台线程,彻底避免其对训练进程的阻塞。

  • 对分布式保存计划进行缓存,确保仅在首次生成后续可用版本。

  • 借助 Megatron-Core Distributed Optimizer 让优化器状态在 DP Rank 分片,每 Rank 只保存本地 Slice。

5.6 JIT Cache 和初始化

1K GPU 冷启动初始化约 49 分钟,其中约 38.8 分钟由 JIT 编译主导,因此进行优化,优化后 JIT 冷启时间从 38.8 分钟降低到 0.4 分钟。

  • Job 结束时把 JIT Artifact 写到持久化共享存储,压缩成 tar 包。

  • 启动前每节点把缓存的 tar 包解压到本地 /tmp。

  • 后续 JIT Write 全部写本地 /tmp,避免共享文件系统元数据风暴。

  • FlashInfer Cubin 在容器构建时被集成到镜像中。

5.7 多节点 vLLM 稳定性

多节点 vLLM 采用 Ray 作为其分布式执行引擎。每个 vLLM 数据并行主节点会生成若干 EngineCore 子进程,这些子进程各自调用 ray.init() 以连接全局控制存储(GCS)。在大规模部署环境下,还会存在其他的问题导致启动失败:

  • 包与内核 ABI 不匹配,RL Stack 的不同组件安装了不同的 GPU Kernel library。

  • 子进程环境差异,主 Ray Actor 进程中设置的环境变量未能传递给通过 multiprocessing.spawn 生成的子进程,导致子进程解析到与父进程不同的库版本,进而在内核加载时失败。

  • 集合通信不兼容,部分 JIT 编译内核与 GB200 集群中 NCCL 的多节点 NVLink 内存注册机制存在不兼容,从而导致分布式初始化过程中发生挂起。

相应的解决方案为:

  • 统一 RL Stack 所有组件的 GPU Kernel Library 版本。

  • Spawn 时显式传递 Library Path 和环境变量。

  • 对受影响路径禁用 multi-node NVLink memory 注册,等待上游 FlashInfer 修复。

  • 增加 vLLM 监控检查,验证 Device 分配和 TP NCCL 通信组。

  • RPC timeouts、Graceful shutdown、Orphan process cleanup。

5.8 Container 与存储 I/O

规模化部署后,所有节点在 Job 启动阶段同时从共享存储读取镜像(约 44GB),形成数 TB 级并行读取风暴。部分节点 Input/output error 或 extraction stall 12+ 分钟。Job 结束时所有节点同时写回 JIT Cache,形成第二次 I/O 风暴。

针对这些问题也提供了相应的解决方案:

  • 容器缓存机制:Enroot 的本地 squashfs 缓存确保节点完成容器镜像解压后,后续作业可重复使用本地缓存副本。

  • 不对称读写缓存路径:训练期间 JIT writes 全部写 node-local 存储,Job 结束只让一个 sidecar 进程把 Cache 归档回共享存储。启动时每节点顺序读取压缩 tar 包到本地,避免大量小文件 metadata I/O。

六、量化

6.1 PTQ

量化使用 Model-Optimizer,对 Nemotron 3 Ultra 做 NVFP4 PTQ,目标是 Blackwell 高效推理。相应的精度如下图 Table 12 所示:

最终选择了 5.03 BPE(Bits Per Element)的模型,主要原因是:

  • 多数 Benchmark 在 4.85 - 7.19 BPE 之间基本饱和。

  • 真正敏感的是 Long-Context AA-LCR,4.85 -> 5.03 提升约 2.4 分。

  • 5.03 之后继续加 bits 到 7.19,即增加约 43% bit budget,没有实质收益。

6.2 FP4 Scale 选择

NVIDIA 对 FP4 Weight Scale 选择做了 max、MSE、Four-Over-Six 对比,最终

  • 路由专家 Weight Scale 选择 Four-Over-Six。

  • Activation Scale 仍使用 max 校准。

  • 更保守的 5.03 / 5.43 BPE 下,MSE 略优于 max。

  • 激进的 4.85 BPE 下,max 与 MSE 接近。

  • Four-Over-Six 在 5.03 BPE 最好,但在 4.85 BPE 下大幅退化,可能因为 Mamba 对 Outlier 敏感。

6.3 Megatron-LM vs HuggingFace PTQ

Ultra 的 550B BF16 权重大约 1.1TB,单节点 HuggingFace transformers PTQ 需要 CPU offload;Megatron-LM 可以多节点、多维并行、EP/DP 加速量化。说明对超大 MoE,PTQ 也需要分布式系统支持,不能按“小模型离线脚本”理解。

6.4 Mamba SSM Cache

Mamba 的 SSM state 是每 Batch 元素常量大小缓存,而 KV Cache 随序列长度增长。但在 Nemotron 3 Ultra 中,FP32 Mamba Cache 在 64K 以内可能比 FP8 KV Cache 更大,因此会成为 DRAM 占用和 DRAM 读压力瓶颈。因此需要压缩,如下图 Figure 14 所示,最终选择:

  • Mamba SSM Cache:FP16 with stochastic rounding。

  • KV Cache:FP8。

NVIDIA 也探索了 8-bit Mamba Cache 和周期性 Cache Checkpointing:

  • INT8 with stochastic rounding 基本可以保持 FP32 Cache 精度。

  • FP8 E4M3 降质更明显,可能因为有效精度不足。

  • 周期性 Cache Checkpointing,每 CC 步保存一次 State,并通过激活回放补偿,降低连续量化误差,但当前优化 Kernel 仍在开发。

6.5 一个 NVFP4 checkpoint 同时服务 Blackwell 和 Hopper

NVIDIA 最终只发布一个 NVFP4 Checkpoint:

  • Blackwell:原生 FP4 匹配 W4A4/NVFP4。

  • Hopper:无原生 FP4 Tensor Core,以 W4A16 运行,即 Weight NVFP4、Activation BF16。

为什么不单独发布 FP8 Checkpoint:

  • H100 8-GPU 节点,TP8,总 HBM 约 640GiB。

  • FP8 Checkpoint 约 540GiB,每 GPU 只剩约 10GiB 给 Activation、KV Cache、Mamba State。

  • NVFP4 Checkpoint 约 330GiB,每 GPU 约剩 40GiB。

  • FP8 虽有更高 Tensor Core 峰值,但 Batch Size 被 Cache Budget 限制,无法进入 Compute-Bound 区域。

  • NVFP4 W4 开销小,还能把 MTP Weight 放进同一个 8-GPU 节点,FP8 Checkpoint 则需要两台 H100 节点,失去单 NVLink Domain 优势。

为什么不使用 W4A8:

  • NVFP4 的 E2M1 + E4M3 Block Scale 等效范围接近 E6M4,直接 Cast 到 FP8 E4M3 会溢出。

  • 保精度需要 W4 -> BF16 -> FP8,每个 GEMM 前会多一个 Cast OP。

  • 在目标约束下 W8A8 已不比 W4A16 快,W4A8 只会更差。

七、推理部署

7.1 Workload 分化

报告中用 GB200 NVL72、NVFP4、关闭投机采样对比两类 Workload:

  • Decode-heavy:8K input / 64K output。

  • Prefill-heavy:50K input / 2K output。

如下图 Figure 15 可以看出

  • Decode-heavy 下,Nemotron 3 Ultra 领先,报告中相对 GLM-5.1 的吞吐为 5.9x;Kimi-K2.6 相对 GLM-5.1 的吞吐为 1.2x,Qwen-3.5-397B-17B 相对 GLM-5.1 的吞吐为 3.7x。

  • Prefill-heavy 下,Qwen-3.5-397B-17B 领先;Nemotron 3 Ultra 相对 GLM-5.1 为 3.9x, Qwen-3.5-397B-17B 相对 GLM-5.1 为 4.6x。

主要原因是:

  • Prefill Compute-Bound,成本主要看激活参数量。Nemotron-3 Ultra 是 55B,对 Qwen-3.5-397B-17B 的 17B 有约 3.2x FLOPs 惩罚。

  • Large-Batch Decode 中,几乎所有专家都会被激活,成本更像全参 I/O。Nemotron-3 Ultra 550B 对 Qwen-3.5-397B-17B 397B 的差距约 1.39x,此时 Mamba-2 的常量 Per-Step Decode 开销变成优势。

7.2 TP/EP 选择

Nemotron 3 Ultra 推理必须多 Rank 并行。报告中对 TP/EP 的取舍做了分析:

  • 小 Batch、低延迟:权重读取 Memory Bandwidth Bound,大 TP 有利,每 Rank HBM 读按 TP 维度降低,Hidden Vector 的 AllReduce 相对便宜。

  • 大 batch、高吞吐:激活通信成为瓶颈,大 EP 更好,通信集中在 MoE 前后的 All2All,GEMM/Attention/Mamba/路由专家都 Rank-Local。

  • 某些低延迟场景下,TP + EP + Attention/Mamba DP 的组合优于单一方案。

对 GB200 NVL72:

  • 72 GPU 在同一 NVLink Domain,对大 EP 尤其合适。

  • EP All2All 可以留在 NVLink Domain,不跨 InfiniBand。

  • 服务还要做最少负载 Worker 路由,避免同步 All2All 中负载小的 Rank 等负载大的 Rank。

  • 热专家可以通过专家级负载均衡/专家副本缓解。

7.3 PD 分离

Nemotron 3 Ultra 采用了 PD 分离,让 Prefill 和 Decode Worker 使用不同并行策略和调度机制。

Hybrid Mamba-Attention 会引入额外的复杂性:

  • 纯 Attention 只需要传 KV Cache,Hybrid 模型还需要传 Mamba SSM State。

  • Cache-State Event 必须区分 KV Cache 与 Mamba SSM State。

报告称进行了相关上游改动,在 Prefill-Heavy Workload 上测得最多约 10% 吞吐提升:

  • 语义 KV-Event Metadata Path,用于标识 Hybrid Cache Group。

  • 多节点 Ray 所需的 NIXL 侧信道主机解析修复。

7.4 Prefill 与 MoE chunking

Prefill-Heavy Workload 常用 Request-Level Chunked Prefill,以便 Prefill Chunk 与 Decode Forward 交错。但 Chunk Size 太小会伤害 TPOT;Chunk Size 太大又会让路由专家 Kernel 在大 EP 下碰到 Kernel-Level 资源限制。

解决方案是 MoE-Side Chunking:在 MoE Kernel 内部把 Token Batch 切开,使 Request-Level Chunk Size 可以增大,同时不触发 MoE Kernel 资源上限。

7.5 GEMM Shape 与 Padding

某些 TP 维度、量化格式、硬件的组合会让 Per-Rank GEMM 维度不满足 Kernel 对齐。NVIDIA 当前做法是在加载时 Padding 受影响的权重,并让运行时忽略 Padded 位置。

工程建议:未来模型设计时提前选择内部维度,使常见 (TP, 量化, 硬件) 组合天然满足 Kernel  友好的 Shape,避免部署期 Padding。

跳转微信打开

  •  
❌