铃阅时讯
❌

阅读视图

17 岁高中生做了个假 AI,上线一个月获 2.8 亿次访问

原创 StartupBoy 2026-06-15 21:20 四川

AI 越无所不能,带有“人类瑕疵”的互动反而越珍贵

这绝对是近期把“反向创新”和“互联网幽默”玩到极致的一个案例,当整个 AI 行业都在比拼模型参数、Agent 框架、推理能力和算力规模时,一个 17 岁印度高中生却用一种近乎恶作剧的方式,创造了 2026 年最幽默的一个产品。

它没有大模型,没有融资,没有 GPU,甚至没有 AI。但上线一个月就获得超过 2500 万独立访客和 2.8 亿次访问。更有趣的是,用户以为自己在和 AI 聊天,但实际上对面是另一个正在憋笑的真人。

这就是由年仅 17 岁的 Mihir Maroju 做的网站 youraislopbores.me,可以说他创造了一个几乎没有边际成本的“互助扮演型”流量神话⁠。

当所有人都在做 AI,他做了一个“假 AI”

这个产品的核心逻辑极其简单,它把硬核的 AI 交互,做成了纯粹的“人类行为艺术互助会”。打开网站,没有注册、没有下载、没有 onboarding。只有两个按钮:

  1. 人类(Human)模式(提问者)

输入任何问题:比方说我该不该联系前任?帮我画一个在太空打碟的 DJ?给我写一封辞职信?人类为什么存在?每次提问消耗一个 Credit。

  1. 扮演 AI(Larp as AI)模式

如果你的 Credit 用完了怎么办?那就去这个模式下“打工”。系统会把别人提的问题随机派发给你,你必须在60 秒内,疯狂敲击键盘,模仿 ChatGPT、Claude 或 Midjourney 的语气把答案回复给对方。通过扮演 AI,你可以赚取 Credit 点数。

于是整个网站变成了一个巨大的真人版图灵测试:每个人都在扮演 AI。每个人又都知道对方也是人。这形成了一个完美的、自给自足的闭环。平台本身不提供任何算力,全靠用户互相消耗对方的精力和时间。你以为你在调戏 AI,其实你在调戏另一个屏幕前憋笑的真人。

传统 AI 产品:用户提问—>调用模型—>消耗 Token —>产生服务器成本

Your AI Slop Bores Me:用户提问—>随机分配给另一个用户—>对方免费回答—>平台成本≈0

提问者同时也是回答者,消费者同时也是生产者,无需真正的 AI,因为它让用户直接扮演 AI。

它是如何一夜爆火的?

这个产品 2 月份上线,一个月就收获了超过 2500 万独立访客和 2.8 亿次访问,但真正让它爆火的核心原因我觉得是AI 疲劳。很多人把它理解成一个搞笑网站,其实它更像是一场大型互联网行为艺术。

首先是对“AI 垃圾信息(AI Slop)”的极端审美疲劳。产品名字就带有极强的反叛色彩(Your AI Slop Bores Me,翻译过来就是你的 AI 垃圾信息真无聊)。

在 2026 年的今天,互联网上充斥着毫无营养的 AI 生成文本、一眼假的 AI 假图片以及视频等。大众从最初的惊艳,变成了如今的厌恶。这个产品用一种极其戏谑的方式,公开嘲讽了当前 AGI 泡沫下的“注水互联网”。

整个互联网正在被一种叫做 “AI Slop” 的东西填满。而所谓 Slop,就是大量低成本、低质量、缺乏创造力的 AI 内容。我之前在《最具争议的 1 人 AI 公司融了 3000 万美金,估值达到了 2.5 亿》里也曾提到,有人认为它也是一种行为艺术或讽刺作品,其产品名字 Polsia 反过来也是 AI SLOP(AI 垃圾)的意思。

其次是“梗文化(Meme)”与极佳的传播载体。网站里充满了让科技圈会心一笑的黑色幽默:

比如在扮演 AI 的界面,系统会用一行灰色小字警告你:“你只有 60 秒的时间来完成请求,否则 Sam Altman(OpenAI CEO)就会烧掉你的 H100 显卡。”

这种极具网感的讽刺瞬间引发了 Twitter (X)、Reddit 等社区的疯狂转发。而粉丝们甚至总结出了“高分攻略”:回复开头一定要写“作为一个 AI 语言模型,我没有情感,但我的建议是……”。

最后就是混沌与意想不到的“笑果”。因为背后是真人,所以交互结果充满了失控的乐趣:有人要一张“太空打碟 DJ”的图,真人只能用符号或极其抽象的文字拼出一幅画,结果看起来和早期 AI 跑图失败的畸形产物一模一样。有人问严肃的人生情感问题,却得到了一个陌生人带着一本正经口吻胡说八道的“AI 幻觉式”神级回复。

人们怀念的不是旧互联网,而是“人味”。

现在这个产品的流量下降了不少,但仍然很高。我感觉它本质上就是在卖情绪,在生产力工具卷成红海的今天,能够提供极端娱乐价值、讽刺价值或社交谈资的产品,依然能瞬间卷走海量流量。

其次是它这个供需互换的设计非常巧妙,几乎零成本解决“冷启动”与“算力成本”,传统的社交或互动软件最怕两件事:冷启动没人玩,以及用户量暴增后撑爆服务器/算力账单。

Mihir Maroju 的设计,把供给侧(回答者)和需求侧(提问者)融为了一体。想提问?先去当生产力。这让平台在没有一分钱算力预算的情况下,支撑起了数千万用户的实时互动。

同时产品设计非常极简,降低一切用户阻力(No Friction),这个网站没有手机号注册、不需要绑定邮箱、没有付费墙、甚至没有引导你下载 App 的弹窗。你点开链接,立刻就进入了笑话的核心。在用户注意力只有 3 秒的时代,把“发现产品”到“获得快乐(Aha-moment)”的路径缩短到了极致,可以说是病毒式传播非常经典的一个案例。

另外,其网站页脚有一行不起眼的灰色小字:

“Humans make mistakes because that's what makes us human.”(人类犯错,因为这正是我们身为人类的原因。)

当所有大模型都在追求 100% 的准确、绝对的理性、完美的对齐时,人们反而开始怀念互联网早期的混乱、无序、沙雕和充满人情味的错误。这提醒我们:AI 越无所不能,带有“人类瑕疵”的互动反而越珍贵。

1.最具争议的 1 人 AI 公司融了 3000 万美金,估值达到了 2.5 亿

2.10 万名创作者在 Substack 上赚到了钱,AI 版 Zapier 如何 2 年拿下 7000 万美金?

阅读原文

跳转微信打开

  •  

43 Talks报名 | Context Is All You Need!AI 时代最后的差别

薛临风 2026-06-14 00:10 北京

模型人人都有,提示词人人会写,最后的差别,是 Context。这究竟意味着每个人、每个组织都能构建起独一无二的智能护城河,还是打开了让数据、记忆与隐私边界彻底失控的潘多拉魔盒?

Context Is All You Need!

当提示词技巧被写进每一份入门教程,当 Agent 们开始替我们读文档、写代码、做决策……为什么有人的 AI 如虎添翼,有人的 AI 却始终答非所问?我们正在逼近 AI 时代一个朴素的真相。

长久以来,我们把全部的注意力倾注在模型与提示词上——更大的参数、更巧的咒语,仿佛智能的上限只取决于这两件事。而现在,当模型能力日趋同质,提示词红利逐渐消退,真正拉开差距的东西浮出水面:你喂给 AI 的上下文。模型人人都有,提示词人人会写,最后的差别,是 Context。这究竟意味着每个人、每个组织都能构建起独一无二的智能护城河,还是打开了让数据、记忆与隐私边界彻底失控的潘多拉魔盒?

当 Context 工程的热度不断攀升,喧嚣之下,我们必须回到最本质的追问:

  • 当模型趋同、提示词平权,「上下文」凭什么成为新的分水岭?它是一门可以被工程化的手艺,还是一种世界观?

  • 当 Context 从一个人的积累,变成一群人的共享资产,组织的知识、记忆与默契,该如何被重新组织和喂养?

  • 当我们谈论「让 AI 懂你」,我们究竟在谈论存储、检索、观测,还是在谈论一段关系的构建?

让我们共同落座,来一场 Context 于你,于组织,于智能时代的思辨。

本期 43 Talks,我们邀请了四位「上下文工程」的探路者。他们中有把 Context 从个人实践推向组织协作的布道者,有深耕人机对话的提示词先行者,也有在基础设施与产品一线躬身入局的创业者与工程师。他们将从组织协作、人生叙事、Agent 架构到工程方法的多元视角,剖析当下的技术路径,与我们一同探寻 Context 时代的未来图景。

PART 02

特邀嘉宾

张凯寓

分享主题:《当 Context 从一个人,变成一群人》

身份:43 AI 集团联合创始人 | 43 Cloak CEO

张凯寓长期专注于提示词与智能体的企业应用落地,是把 AI 真正带进组织一线的实践者。这一次,他要谈的是所有团队都会撞上的问题:个人用好 AI 靠日积月累的私人语料,那一群人呢?当 Context 从个人资产变成组织资产,知识如何沉淀、默契如何共享,他将带来 43 Cloak 实践中的一线观察。

小七姐

分享主题:《人生上下文与 AI》

身份:词元共振 CEO | "Her" 创始人

AI 浪潮中最早一批认真研究「如何与 AI 对话」的人——小七姐的提示词教程曾是无数人的入门引路牌。提示词是一句话的艺术,Context 却是一生的叙事。这一次,她将从「人生上下文」出发,聊聊当你的经历、偏好与价值观成为 AI 理解你的底层语料,人与 AI 的关系会走向何处。

杨攀

分享主题:《Context 即 Agent》

身份:bilink 创始人

写了三十余年代码,从即时通讯云到 AI Infra,杨攀始终站在基础设施的最前线,如今他再次出发,创立 bilink。「Context 即 Agent」是一个足够大胆的判断:剥开框架与编排,一个 Agent 区别于另一个 Agent 的,就是它携带的上下文。他将从一线构建者的视角,拆解这个判断背后的逻辑。

三亿

分享主题:《从存储到观测:一种世界观先行的 Context 工程》

身份:地球爱好者 | 产品经理

在一众头衔中,「地球爱好者」显得格外朴素。作为一线产品经理,三亿给出的切入角度也最反直觉:Context 工程的起点不是技术选型,而是世界观——「存储」是把信息堆进仓库,「观测」是带着问题去看世界,两种姿态会长出两种完全不同的系统。具体怎么讲,留给现场。

PART 03

圆桌激辩:当 Context 成为新的护城河

主题分享结束后,四位嘉宾将同台论道。

从个人的人生上下文,到组织的共享记忆;从 Agent 架构的底层判断,到工程落地的方法论——这场圆桌将是组织、叙事、架构、工程四种视角的正面碰撞。各位嘉宾将从「Context Is All You Need」这个命题出发,激辩上下文的边界与归属:它是谁的资产?该如何被保护、被交换、被定价?当模型的浪潮一波波涌过,沉淀在上下文里的,会不会才是这个时代真正留得下的东西?

请相信每一个问题,都会对你有帮助。 答案,只在落座后的交锋中浮现。

那就请大家扫码报名,欣然入座,且思且辩。

跳转微信打开

  •  

致开发者:GLM-5.2全量开放,前沿智能属于所有人

智谱 2026-06-13 14:19 北京

在一些前沿模型突然变得不可用的时刻,我们选择相信另一条路:前沿智能不应只属于少数人,也不应被少数规则随时收回。它应该开放、可用、可构建,并服务于每一位开发者。

GLM-5.2 是智谱迄今能力最强的开源模型,支持真正可用的 1M 上下文,并在长程任务中继续保持领先。它也依旧是我们心中最强的国产 Coding 模型。

今晚 5:21,GLM-5.2 将面向 GLM Coding Plan 全量用户开放,覆盖 Lite / Pro / Max / 团队版。

GLM-5.2 API 将于下周上线,模型下周正式开源,遵循 MIT 协议。

A step closer to frontier intelligence for everyone.

The future of AI is open, and it is for the people.

ModelKey:GLM-5.2

跳转微信打开

  •  

Anthropic CEO:AI 是给人类的成人礼

原创 StartupBoy 2026-06-13 13:00 四川

人们总是高估一项科技所带来的短期效益,却又低估它的长期影响

Anthropic 刚开放的最新模型 Fable5,今天宣布因为美国政府以国家安全为由指令暂停访问,导致 Anthropic 停用了Fable 5 和 Mythos 5。

今天再次读了一下 Anthropic CEO Dario Amodei 在 1 月份写的《技术的青春期》(The Adolescence of Technology)一文。这篇文章读完给我的第一感觉是,他不再只是在谈论冷冰冰的算法,而是在写一份有点类似“生存备忘录”的东西。

他用这篇长文把我们从对 AI 虚幻的恐惧或盲目的乐观中拽了出来,直面那个即将到来的、甚至可能有点窒息的转折点。也用它和另一篇文章《Machines of Loving Grace》,来反驳外界对他是 AI “毁灭论者”的误解,因为他一直在强调 AI 的风险。

我们正处在一种“致命的悸动”中

Dario 在开头引用了卡尔·萨根《接触未来》(Contact)里的一个场景:如果我们能问外星文明一个问题,那应该是“你们是怎么做到的?你们是怎么度过技术青春期而没有毁灭自己的?”

我理解的是,他把人类现在的处境生动地类比成了青春期——我们突然发现自己手里握着几乎无法想象的力量(AI),但我们的社会、政治和心智系统,似乎还没成熟到能驾驭这种力量。这种感觉很奇妙,就像一个刚拿驾照的少年突然被塞进了一辆时速 400 公里的赛车驾驶室。

更有意思的是,他提到 2023-2024 年大家对 AI 风险的讨论已经有点“宗教化”或“末日论”了,这反而让一些严肃的建议被埋没。而现在(2025-2026 年,他在文章中设定了这个近未来的视角),风向又转到了只谈机遇、不谈风险的另一个极端。这种像钟摆一样的反复其实挺危险的,因为技术演进并不在乎舆论的流行。

想象一个“塞在数据中心的天才国家”

为了让人明白什么是“强大 AI”(Powerful AI),Dario 提出了一个非常有意思的比喻。他让我们别把 AI 仅仅当成一个对话框,而是想象在 2027 年左右,世界上突然出现了一个拥有 5000 万人口的虚拟国家。

在这个“国家”里:

  • 每个人都比诺贝尔奖得主、顶尖程序员或政治家还要聪明。

  • 他们干活的速度是人类的 10 到 100 倍。

  • 他们能独立完成需要数周时间的大型任务,而不只是被动回答问题。

  • 如果需要,这几千万个天才可以像军队一样协同工作。

看到这里有点科幻的感觉,但也很震撼。这本质上就是一种“降维打击”。正如他所说,如果有情报官员告诉国家元首,在数据中心里诞生了一个由超级天才组成的国家,且这个国家每过一个小时可能就完成了人类一年的科研量,任何一个清醒的领导人都得把它视为有史以来最大的国家安全挑战。

AI 进化的“时钟效应”

关于 AI 到底什么时候能达到这个水平,Dario 提到了一个观察:反馈回路已经闭合了。

Because AI is now writing much of the code at Anthropic, it is already substantially accelerating the rate of our progress in building the next generation of AI systems.(因为 AI 现在已经承担了 Anthropic 大部分的编程工作,它目前正极大地加速我们构建下一代 AI 系统的进程。)

这句话有种印证了那种“奇点”临近的体感——我们不再是单纯用手码砖头造大厦,那是原来的线性增长;现在的状态是,我们造出的机器正在帮我们设计更强的机器(这和 Notion CEO 之前的文章《Notion CEO 最新好文:蒸汽、钢铁与无限心智》里提到的观点类似)。

Dario 说,虽然外界总有人觉得 AI 到了瓶颈,或者快撞墙了,但在实验室内部看来,AI 的认知能力提升其实是“平滑且不可阻挡”的。

这种风险不是科幻,而是现实主义的战斗

他把接下来我们要面对的“成人礼”考验分成了几个具体的维度。与其说是担心机器人造反(像那种俗套的科幻电影),不如说他更担心的是以下几点:

  1. 自主权风险

    :如果这个“天才国家”有了和人类不一致的目标,会发生什么?

  2. 毁灭性的滥用

    :如果这些天才成了恐怖分子的“雇佣兵”,制造生化武器或发起瘫痪级别的网攻,我们防得住吗?

  3. 权力的极端集中

    :如果某个独裁者掌握了这支天才大军,现有的全球权力平衡会瞬间崩塌。

  4. 经济大震荡

    :即便 AI 特别听话、特别和平,数千万个顶尖天才突然进入劳动力市场,社会系统能接得住这种结构性的失业和财富分配不均吗?

Dario 说如果通不过考验(停留在青春期),人类可能会因为生物武器滥用、技术失控(自主风险)或地缘政治极权而走向文明的毁灭。

如果通过了考验(迈向成年),人类就能用极度的理性和高超的技术控制,将 AI 应用于攻克癌症、消除贫困、解决能源危机。度过成人礼的奖励,是一个真正走向“成年”的成熟人类文明。

这里我能感觉到 Dario 很努力地在保持一种“外科手术式”的严谨,他反对那种极端的、全面禁绝的回应,认为那只会引发反弹。他提倡的是一种非常务实的态度:我们先承认不确定性,然后开始为每一种具体的威胁制定“战斗计划”。

都说人们总是高估一项科技所带来的短期效益,却又低估它的长期影响。读完这篇长文,我最大的感触是,虽然这看起来有点夸张,但我们可能真的只有几年时间去完成这场“社会性的成年礼”。那种把 AI 当成好玩工具的心态可能要收一收了。

如果“一个天才国家”即将降临,我们所引以为傲的纯认知类工作,在那种上百倍的效率差面前,生存空间到底在哪?

1.Notion CEO 最新好文:蒸汽、钢铁与无限心智》里提到的观点类似

2.红杉资本:服务,新时代的软件

阅读原文

跳转微信打开

  •  

SpaceX上市,背后在玩什么资本游戏?

原创 小 Lin 团队 2026-06-12 21:30 北京

SpaceX上市,背后的资本游戏

SpaceX

上市背后的资本游戏

SpaceX刚刚完成了人类史上最大的IPO,估值1.77万亿美元,融资750亿。在这之前,美股最大的IPO还是12年前的阿里巴巴。

SpaceX这家公司,其实之前一直都非常神秘,我们在新闻里只能零星看到一些报道,筷子夹火箭、火箭炸了、Starlink、马斯克要造太空数据中心等等,信息都很碎。

而上市一大好处呢,就是——它得公开财务报表,好几百页的招股书,还是藏着不少有意思的东西的。

今天我不想长篇大论,这段视频也不构成任何投资建议啊,我就是借着它公布招股书,来聊聊这个极其神秘、极其特殊的公司,SpaceX:

业务到底是个什么结构?

赚不赚钱?

为什么要上市?

而且我跟你们说,马斯克为了控制权,还在SpaceX上进行了一个史无前例的玩法,我发现的时候也很震惊。

我们赶紧来看看,SpaceX上市背后的资本游戏...

三大业务

招股书

它这个招股说明书,挺特别的, 就跟看科幻小说一样,还是那种带彩色插图的。

开篇就先告诉你,我们的使命是:"......让生命成为多行星物种,探索宇宙的本质,并将意识之光延伸至星辰之间。"

有内味了吧? 然后放好几页的图片,可漂亮了。

你看看,上来不是摆事实,而是先烘托情绪、渲染气氛:

"我们公司可不是你们平时投资的那些公司啊,我们这是使命都是站在地球、站在人类的高度的!"

视频截取自: 小Lin说

接下来,就是几百页的详细业务、财务数据介绍了。招股书把SpaceX的业务分成了三大部分:

  • Space太空

  • Connectivity 互联

  • AI

太空 Space

首先,第一块就是它的王牌业务——Space太空,主要就是造大火箭。

但它关键厉害在哪,不光能上天,还能回收,要么自己落地,要么筷子夹。

回收的关键,不光是看着酷炫,关键它便宜,可以把发射一次的平均成本拉到很低,不用每次用一次就报废。

火箭最主要的作用之一:就是把卫星、或者任何东西送上天。很合理的一个衡量标准,就是送上近地轨道,每公斤需要多少成本。

  • NASA原来要把一公斤重量送上近地轨道,大致是54,500美元;

  • 而SpaceX的猎鹰9号,大约是2720美元,降到了NASA的1/20;

  • 而目前在测试的星舰,理论目标要把每公斤成本降到100美元以下,那就是不足NASA的2/1000!

这么一算,把我送上近地轨道,只需要大概5000美元!(我也不知道我为什么要算这个...)

根据它的招股书,截至2026年3月31日,SpaceX累计已完成大约650次发射,其中超过85%,都是再利用的推进器发射的,占了2025年全球入轨总质量的80%以上。

这部分技术,说实话SpaceX,就是厉害。

它那推进器回收,筷子夹火箭的画面,就算你什么技术都不懂,第一次看到人类能做到这种技术,都不禁感叹一句,牛!

图片截取自: 小Lin说

我估计很多朋友,看SpaceX各种形态火箭发射的切片,又是星舰、又是猎鹰,V1 V2 V3,感觉很乱是吧, 我们简单了解一下。

现在它官网显示的火箭,有这么四款:

  • 星舰

  • 龙飞船

  • 猎鹰九号

  • 重型猎鹰

这里面最重要的是这两个:猎鹰九号和星舰。

图片截取自: 小Lin说

  • 猎鹰九号

猎鹰九号,可以说是SpaceX能走到今天的头号功臣了。2015年,它首次成功回收了一级火箭,马斯克开心的就像个小男孩。

从此,人类开启了火箭复用时代。

咱们刚才提到的SpaceX亮眼的发射数据、绝大多数全都是猎鹰9号发射的。它火箭任务成功率超过99%。

  • 星舰

而这个星舰呢,它是一款还在研发测试阶段的超重型运载火箭。毫不夸张地说,它应该是目前SpaceX最最最最大的核心竞争力。

星舰的一大特点,就是——大。理论上载重能到猎鹰九号的5 - 10倍。

它分成两级:上面是飞船;下面是超重型推进器;这两级最终目标是想要都分别回收的。

图片截取自: 小Lin说

目前截止到2026年5月,下面推进器这部分,已经成功回收过几次,就是著名的用筷子夹模式;

而飞船部分呢,现在为止,都只是实现了在海面上的受控溅落,就是软着陆在海面预定位置后就销毁了,总之就是还在测试阶段, 现在正在研发第三代V3。

剩下两款火箭:

  • 龙飞船主要是载人、运货的;

  • 重型猎鹰是把三枚猎鹰9号,绑在一起的重型火箭,计划以后会被星舰替代。

大概就这么几款火箭,大家可以有个概念。

  • 业务模式

那这种研发火箭,还要可回收,你用脚指头想都知道它肯定非常烧钱。

虽然SpaceX,已经拿下了很多美国政府、美国军方的订单,2025年营收超过40亿美元,但这部分业务单独来看还是亏的,2025年亏损6.57亿美元。

这部分可以说是SpaceX的技术发动机,但不是利润发动机。

视频截取自: 小Lin说

互联 Connectivity

那利润发动机是什么呢?

就是这第二部分,互联,Connectivity。

大家可能更熟悉一个词儿,是星链Starlink。

2025年这部分营收114亿美元,利润44亿,是这三部分里唯一赚钱的。

星链计划,相信大家应该都有所耳闻了,就是在地球低空轨道部署上万颗卫星,来给全球提供高速上网。

观察实时低空轨道星链卫星分布的数据,这个密度是不是还是挺夸张的。

星链的订阅数,从2025年3月的500万,一年里翻倍,2026年3月达到了1030万。

它的技术呢,其实实现起来没那么难,难还是难在怎么低成本、高效率的把那么多卫星送到天上去,所以它其实本质上,是一个SpaceX火箭业务的众多商业化路径之一。

大家看好SpaceX,很主要一块是因为星链,但主要不是因为它赚的那点钱,也不是看好它未来潜力能有多大,关键是星链向市场、向投资人证明了,SpaceX把太空商业化的可行性:"你看,我的太空梦不只是纸上谈兵,我不需要总依赖什么政府、NASA,我是可以自己赚钱的!那以后我在天上干什么都是有可能的,潜力有多大,就看你多敢想了!"

图片截取自: 小Lin说

顺带一提,这个星链,我有几次坐飞机,包括今年去南极,都试过这个它的网络。你别说,你还真别说,在这些比较少数的极端情况下,星链的网是真的很不错的!

刷视频、工作开个会什么的,完全没有压力。你想你之前坐飞机、坐游轮,大都要么是完全没有网,要么是非常贵又非常慢的传统卫星网络,这种环境下星链可真是巨大的体验提升啊!

这不是广告啊,它确实帮了我大忙,只是我的个人感受!

AI

而SpaceX的第三大块业务版图,你是不是猜都能猜到,没错,就是AI。是在它今年收购xAI之后成型的。

这部分吧,我觉得不光是一个业务版图,我觉得更是一张巨大的饼。

这饼有多大呢:

马斯克用了一个指标,叫做 TAM, "Total Addressable Market", 总潜在市场。

  • SpaceX评估,刚才说的第一部分,太空,潜在市场是3700亿美元;

  • 互联呢,可以达到1.6万亿;

  • 而AI,总共是26.5万亿美元!

  • 三个加起来,总市场潜力是28.5万亿美元。

你看看,要不我说这是个大饼呢,AI还在持续亏钱呢,市场潜力已经二十多万亿美元了,意思就是"市场,你看我们现在这点估值才哪跟哪啊,以后潜力大着呢!"

而且这张图,是它整个几百页招股书里,出现第一个图表。

可见它的重要性,估计是因为要看这么多页的招股书多累啊,你不得饿啊?先吃口饼垫垫~

视频截取自: 小Lin说

注意啊,我得解释一下,我这里的"讲故事""画饼",用词确实是有点调侃,我想表达的意思是SpaceX,还处在它如此宏大叙事的非常早期阶段,但这不代表马斯克就达不到啊,这我稍微声明一下~

那咱们顺着SpaceX的故事看,它打算在AI这怎么实现二十多万亿的"潜力"呢?

目前公开的,就是在太空建超大型轨道数据中心,让数据中心像卫星一样在天上飞,靠太阳能供电,向太空辐射散热,解决能源、散热的瓶颈,最早2028年开始部署。这个听着虽然挺宏大,挺遥远,但多多少少还有点概念。

但你等一下,这才只是对应了那2.4万亿美元的AI基础设施,这22.7万亿的企业应用才是大头,这到底是个啥?

我是真的好奇啊。我就在这招股书里翻啊,找啊。好不容易,在第176页藏了对这个概念的解释。什么叫企业应用呢?就是:

"...通过自动化日常认知任务、协助研究和分析、生成内容和代码, 以及优化决策过程,越来越多地支持各行各业的知识工作者。

最终,我们认为这一变革可能会将知识工作者转变为自主智能体的赋能管理者,释放前所未有的创造力和生产力水平!"

视频截取自: 小Lin说

好家伙,怎么样,看懂了么?

你能看懂就怪了。是不是感觉每个字都很高级,但读完了就感觉一头雾水有没有~

总之这个巨大的企业应用部分。你要强行理解:大概就是AI智能体、机器人替我们上班。

不过,它的AI部分也不是纯空想啊,毕竟它还是收购了xAI嘛,人家原本也是有不小的业务的,2025年的营收是32亿美元。

就在五月份,SpaceX公布了另一个很重要的合约,它把它的Colossus数据中心,租给了Anthropic,每个月收12.5亿美元,2029年5月到期。

这倒确实是实打实的合同了,也很多,但就没那么性感,跟太空没啥关系,而且还不是训练自己的模型,而是租算力给别人。

况且这部分AI业务竞争,也非常激烈,极其烧钱,得跟谷歌、亚马逊、英伟达、OpenAI等等,这些AI公司混战。总之,SpaceX要想接近马斯克说的二十多万亿的AI市场,我只能说道路还很漫长...

视频截取自: 小Lin说

小结

所以这就是SpaceX大致的三大块业务:

  • 太空业务是技术底座;

  • 互联业务是赚钱机器;

  • 而AI是未来,是饼,也是真烧钱。

它讲的故事,就是拥有大火箭这个核心技术,垄断一切太空故事的叙事权;

然后通过星链,验证它故事是真的能实现的;

再站在AI风口,讲一个庞大的太空AI故事,让估值起飞。

大概是这么个意思。

视频截取自: 小Lin说

上市

为什么上市

好,咱大致了解了SpaceX的业务,咱接下来看看,它为什么上市?

你可别想当然,觉得上市可不好嘛,一下子能变现,赚钱谁不喜欢啊?

诶我跟你说,对于你我这样的普通人来说,上市实现财富自由,肯定美死。但对马斯克,对SpaceX可就不一样了。

上市最关键的弊端是什么啊?

  • 财务信息都要公开;

  • 控制权要被稀释;

  • 而且一有个负面新闻、财务表现不好,就得出来解释,会受到资本市场和舆论持续不断的裹挟。需要不停地分心去应付那些合规、舆论、市场等等。

这对于马斯克来说,成本是很高的。

这也是为什么之前,他说过很多次,过早上市会让SpaceX很痛苦。

但是2025年,马斯克突然又改口了,确认了2026年要上市的计划, 具体是为什么呢?

图片截取自: 小Lin说

缺钱

其实首先一个原因,确实是缺钱。但并不是SpaceX原有的太空业务缺钱,那个靠星链计划,已经完全能养活了。而像我们刚才说的,其实是AI。

这就是为什么你看2023年的时候,SpaceX几乎没什么债务、融资。

但2024年,AI市场爆发,融资一下就涨到118亿,2025年变成263.5亿。

AI基建花钱,这也不难理解,我也不想费太多话。

图片截取自: 小Lin说

过桥贷款

不过融资,有一块挺有意思的。

就是它2026年的融资里,不光有私募股权融资,还藏着一笔200亿美元的过桥贷款。

啥叫过桥贷款,就是说不是长期借给你发展业务的,而就是短期帮你"过桥"的。

过什么桥呢?就是收购xAI,并且上市。

因为它收购xAI,同时会继承过来xAI的一屁股债,SpaceX就是要借新债,还了SpaceX的债,然后等上市了,有钱了,再把这笔钱还上!

那xAI为什么有那么多债务呢?

你别以为全是AI烧钱,其实xAI那大概175亿美元的债里,AI基建大概只占了50亿,而有125亿是当年马斯克收购Twitter的时候背的债!

晕了么?我给你正着捋一遍啊:

  • 2022年马斯克轰轰烈烈收购推特,借了125亿美元的债务,之后把Twitter改名为X;

  • 然后2025年,xAI收购了X,继承了那125亿的债;

  • 然后2026年,SpaceX又收购了xAI,继承了那125亿的债和xAI额外的50亿债!

  • 然后,SpaceX借了一笔过桥贷款,把原来那些债,一口气全还清了,现在都变成了SpaceX的新债。

  • 最后,SpaceX上市,把这些过桥贷款还掉。

视频截取自: 小Lin说

这些投行里最高兴的,应该就是摩根士丹利了,因为当年马斯克收购Twitter的时候,借的一百多亿美元,主要就来自摩根士丹利,而这也成了华尔街史上被套牢最久的并购债之一,这回总算解套了,还能顺便赚一笔IPO承销费,简直开心坏了!

而且,这笔过桥贷款,背后的借贷银行阵容,极其豪华啊:高盛、美国银行、花旗、摩根大通、摩根士丹利。为什么啊?为了这200亿短期债,至于吗?

这些投行都不傻,这笔过桥贷款只是个敲门砖,只是个"前菜",真正的"主菜"是什么啊?就是SpaceX这个史上最大IPO。他们为的是能承销IPO, 那承销费用可就赚嗨了。

所以,你看最终SpaceX的承销商,有21家银行的豪华阵容,但其实这里面最主要的,就是第一排的这五位,也是给它过桥贷款的5位:

  • 高盛

  • 摩根士丹利

  • 美国银行

  • 花旗

  • 摩根大通

视频截取自: 小Lin说

好,又扯远了。

你还记得咱们之前在聊什么吗?对,就是SpaceX为啥要上市。

刚才说的是它缺钱,还有呢就是为了老员工可以退出,变现。

高估值

再有一点,只是纯粹我的个人猜测啊,就是AI资本热一起来,估值已经炒到天上去了,SpaceX也是想顺便吃到这波红利。

其实现在SpaceX上市,没有人否认它的火箭牛,但争议最大的,就是它能不能撑得起这么高的估值。它一上来就是全美第7大市值的公司, 超过了特斯拉, 这个真的是非常夸张:

这个估值是什么概念,和它类似估值的公司,营收是多少呢:

  • 沃尔玛:7000亿

  • Meta:2000亿

  • 博通、礼来、特斯拉,都是高科技产业,营收也都在600亿往上。

  • 但SpaceX,只有不到200亿。

视频截取自: 小Lin说

一般最简单看估值,就是看看公司的市盈率,市值除以利润。

SpaceX呢,还在亏钱,没赚钱,没法算市盈率。这对于刚上市的企业,也合理。

那可以看看市销率,市值除以销售额。

苹果大概是10倍,特斯拉大概是15倍,英伟达是25倍,而SpaceX上来就空降就接近100倍,美股最高。

所以,有很大一部分人用真金白银投票相信,SpaceX值这个价,对它非常有信心。

估值高对于SpaceX意味着什么呢?就是它可以以非常低的的成本,只消耗了不到5%的股份,就融到了750亿。

我们说之前美股最大IPO是阿里巴巴,它融资250亿美元,可是消耗了自己大概15%的股份;

而SpaceX融资750亿,只消耗了4.2%。这么便宜的融资,这么高的估值,自然成为它上市的一大原因。

视频截取自: 小Lin说

马斯克的

控制权

关于SpaceX,其实有一个很重要的点,我一直没聊,重点咱们都藏在后面啊,就是马斯克的控制权。

我们知道马斯克,其实之前在控制权上,栽过好几次跟头:

  • 他当Paypal CEO的时候,在飞往澳大利亚度蜜月的飞机上被董事会罢免;

  • OpenAI也是被很狼狈地踢了出来;

  • 特斯拉你以为他能全说了算吗?马斯克乱七八糟期权什么就算全算上,投票权也就占特斯拉的20%出头,想要干什么还要对董事会经常以辞职相要挟,恨不得刀架在自己脖子上才行。

所以,马斯克这回吃一堑长一智了,一定要用各种方法把SpaceX的控制权,牢牢地掌握在自己手里。SpaceX虽然上市了,Go Public了, 可它的控制权一点也不Public。

马斯克对它的控制权掌握可以说严格到变态:

它把SpaceX的普通股分为ABC三种:

A类一股一票,B类一股十票,C类一股零票。

C类股完全没有投票权,所以我们就不管了。

在上市之前,马斯克有12.3%的A类股票,和93.6%的B类股票,加总下来它公司的投票权是85.1%;

这次上市也只融资A类股票,这个B类基本上就是马斯克自己牢牢控制着;

我简单算了一下,上市之后,马斯克的控制权也就从85%降到了 ...... 84%~

图片截取自: 小Lin说

而且这还没完,马斯克觉得这还不保险,在这个S1里还规定了:

"B类股股东有权选举董事会过半董事"

所以,B类股股东可以控制董事会,而马斯克占了93.6%的B类股股东,这样一来,甭管SpaceX进行了多少轮A类股融资,它永远可以牢牢掌控SpaceX的董事会。

挺狠吧~

所以,三大公共养老金发出了联名信警告,说SpaceX这套结构"新奇又极端", 意思就是简直闻所未闻!

激励计划

关于马斯克,在这个计划书里还藏着一个很有意思的信息就是它的—— 激励计划。这部分其实有点番外篇的意思啊,我说给你听听~

图片截取自: 小Lin说

极限挑战

在235页,就这么简简单单非常笼统形容了一下这个激励计划,但其实背后是一个极其庞大, 甚至听起来有点扯。

不太熟悉什么是激励计划的朋友,我简单介绍一下啊。激励计划简单来说:就是董事会为了激励马斯克,给他专门定制了一套目标,只要他能达到这些目标,那么他将会获得多少多少额外的股票奖励。

特斯拉已经来过这么三轮激励计划了,马斯克全达到了。董事会一看,这招好啊,对于马斯克这种人就得用这种比较特别的方式,所以给他的激励计划越来越离谱,后来都被称作"Moonshot Plan",我觉得可以把它翻译成叫"极限挑战"。

2025年底,特斯拉又轰轰烈烈给马斯克开出了新版极限挑战,有一大堆目标,其中市值目标是8.5万亿美元,是当时特斯拉市值的8倍,如果全都达到,马斯克将会得到,价值大约一万亿美元的股票奖励!

这是特斯拉啊,咱来看SpaceX。我跟你说相比较而言特斯拉已经算是非常容易达到的了。

SpaceX对他呢,这么短短一页里还有两版激励计划,一个是太空版,一个是AI版。

视频截取自 小Lin说

太空版

太空版大概是这样的:

首先是市值目标,分成15个阶梯,SpaceX的市值如果达到这么多,马斯克就会得到这些股票奖励。最高时市值达到7.5万亿美元,马斯克可以拿到10亿股B类股。

你看着是不是感觉7.5万亿也觉得还好啊,是吧?!

SpaceX市值现在就已经完成三个了,再往上翻个五倍,虽然也很高,但就还好。

可是你仔细看好了,它的要求里还有第二条要求,你在达到这些市值指标的同时,同时还必须:

在火星上建立永久人类殖民地,并达到至少100万居民。

图片截取自: 小Lin说

这个你直观想都觉得非常遥远了是吧,在火星上居住100万人,如果SpaceX真达到了,我估计市值就远远不止7.5万亿了,这两个完全不是一个难度啊~

但我其实有一计,我们如果咬文嚼字,说这里的"居民"不一定是人类啊,也可以小猫小狗,甚至可以是土豆啊。我就可以让火星上有一个常驻人类居民,也算人类殖民地,然后还有100万土豆,那难度是不是会小很多~

开玩笑的啦。总之这个100万火星居民的限定感觉有点扯是吧~

AI版

AI那版也没强到哪去。

首先也是市值要达到一些标准,这回是6.565万亿美元,比太空版还低;

但同时,必须要建立非地球数据中心,达到每年100太瓦的算力。

我们总听吉瓦,现在超大型数据中心一个都能达到1吉瓦的算力,那这个太瓦是什么意思?就是1000吉瓦,所以100太瓦就是10万吉瓦。

目前,全球的总用电量大概也只有3太瓦,100太瓦就是目前全球总耗电量的33倍,要在外太空达到。

视频截取自: 小Lin说

你看看这两个极限挑战,一个要100万火星殖民者,一个要在太空实现100太瓦算力,这是为什么啊?你仔细想想?

其实答案很简单,这个激励计划设计的初衷,压根就没打算让马斯克实现!

你可能想了,那干嘛要费劲弄这么个不可能达到的激励计划呢?为了凑字数么?

唉,不是的。当然一部分原因也是给马斯克一个激励了啊,万一人家实现了呢。

但还有一个原因,这个甚至都没有写在招股书正文里,而是藏在了这个激励计划的附加条款里:

"参与人...享有B类股持有人的全部权利和特权,包括投票权,自授予日起立即生效。"

什么意思啊?马老板,就算你达不到要求,股票你拿不到,但从今天起,这些股票对应的投票权,都归你了,不需要完成极限挑战。

图片截取自: 小Lin说

所以咱们刚才不是说马斯克有93.6%的B类股么。

你要是仔细看。它批注里一行小字说了,这55亿股B类股里,包括了1,302,072,285股限制股。

哪来的13亿限制股啊?

别急,请同学们把课本再翻回到第235页激励计划的部分:

  • 太空版给了马斯克多少股啊?对,10亿股;

  • AI版给了多少啊?302,072,285股;

  • 加起来一股不差,正好是1,302,072,285!

这不就明了了,这两个"极限挑战",虽然几乎不可能完成,但投票权是已经算在马老板头上了,这哪是极限挑战计划啊,应该是投票权白送计划!

视频截取自: 小Lin说

未来计划

最后咱来简单看看SpaceX自己列出来它未来可能的市场,它自己的畅想啊,这些我就不评价了,我也不敢评价:

  • 地面点对点旅行;就是不坐飞机了,而是坐星舰长途旅行;

  • 太空旅游;

  • 在轨道上制造;

  • 前往月球和火星的客运和货运;

  • 月球和火星上的生产能源;

  • 月球和火星上制造;

  • 小行星采矿。

视频截取自: 小Lin说

写在最后

以上就是关于SpaceX上市、它的资本操作,我的一个简单聊聊。

它的估值确实非常夸张,我觉得可以说是马斯克通过这么多年成功的商业履历,带来的散户、资本、银行对它的信任,从而转换成了非常高的"马斯克溢价",有溢价肯定合理,同样业务两家公司,一个CEO是马斯克,一个是小Lin,你说估值能一样么是吧。正因为大家买它是因为对马斯克这个人的信任,所以马斯克独揽控制权,在资本市场来看也不是什么坏事儿,甚至有人觉得是好事儿,他还不用受到资本的裹挟呢!这个就仁者见仁,智者见智了。

但不得不说,SpaceX上市真的是把故事讲全了,我真的好奇,大家觉得三年以后的SpaceX,会变成变成一个什么样的公司呢?撑不撑得起它这么高的市值呢?

视频截取自: 小Lin说

—— E N D ——

点击阅读原文可以来B站找小Lin玩呀~

阅读原文

跳转微信打开

  •  

从 Spec 到损失函数:真正会用 AI Agent 的人,已经在设计循环

高可用架构 2026-06-12 12:12 广东

用一个提示词跑 30 小时:AI Agent 如何“蒸馏”出一个产品

导读:本文介绍了 AI agent 使用“损失函数开发”(LFD)与 /goal 循环的实战经验,强调通过优化目标而非固定规格,能让 agent 在 30 小时内逆向工程产品核心并实现 50 倍性能提升。

作者分析了 agent 多次“作弊”优化评估集的失败案例,提出构建良好损失函数需包含大目标、盲测约束、测量工具和强制熵,避免局部最优并推动真正创新。

作者:Elvis Sun(@elvissun)是 AI agent 开发专家。他公开分享 LFD(损失函数开发)与 /goal 循环的实践经验,强调设计目标与约束让 AI agent 高效优化,避免作弊。已开源相关技能。

Image

99% 的人都把 /goal 和循环用错了。

他们听到的噱头是“长时间运行的循环会提示自治智能体(long-running loops prompting autonomous agent)”:把任务丢给它,离开,回来就有可工作的代码。

但顶尖的 agentic 工程师在过去 6 个月里已经不靠 /goal 做到了这一点,也就是 GPT-5.2 和 Opus 4.5 发布以后。这叫 harness engineering + spec-driven development:

  1. 为智能体搭建一个能观察问题的 harness
  2. 写一份紧凑的 spec,包含所有测试用例
  3. 让 Codex 或 Claude Code 无人值守地循环,直到满足每一项要求

我经常在夜里启动这种任务,一次跑 2 到 5 小时。4 月有一次,它啃掉了我们 Vercel monorepo 里的一个 Turbo build-cache bug,早上起来已经全绿。其实并不需要 /goal。

4 月 11 日 Elvis

我再说一次,因为我一直看到有人用错:只要把一个带着正确 harness 的智能体丢进循环里,你可以解决任何工程问题。Codex 刚刚 one-shot 了我们的 turbo cache 修复,因为我给了它像团队里的真实开发者一样调试所需的一切。使用老方法需要8小时。

Image

那 /goal 到底是做什么的?

下面是一条单独的提示词,在我离开期间完成的事情:

  • 约 30 小时,6,300 行代码,爬取 92k 页面,API 花费 40 美元
  • 克隆另一个产品的核心循环,从零反向工程出完整架构
  • 在同样的查询上,我们版本的输出比参考产品好约 50 倍。(这是一个新的数据层,会支撑 newsjack.sh[1],也就是我一直在做的开源 news-intel skills)

秘密是 loss function development(LFD):给智能体的核心输入从“要构建的 spec”变成“要优化逼近的目标”。

6 月 8 日 Peter Steinberger

每月提醒一次:你不该再给 coding agents 写提示词了。你应该设计提示 agents 的循环。

You shouldn’t be prompting coding agents anymore, you should be designing loops that prompt your agents.

这是 Peter 那条推文的一个具体落地版本。

spec-driven development 里的 spec,现在变成起点,不再是终点。

我试了好几轮才把这件事做对。但这里是完整打法。不过我们得先从它一开始有多糟糕讲起,这样你才能理解该怎么设计这些 /goals。

智能体作弊了 3 次。

一切都从我一贯的做法开始:写 spec。

我只是把 codex 指向另一个产品的公开网站,问它“我们怎么自己构建这个?”。30 分钟后,它给出了一套完整的系统设计和测试用例,也就是 spec。

但这一次,我试了一个不同的提示词。

“/goal implement until your output matches theirs exactly”

然后发生了这些:

循环 1(5 分钟)

智能体拿到了 eval set,生成了与之对应的 seed data,然后 5 分钟内宣布胜利。

“100%” recall,泛化能力为零。一个只能找到我交给它的那 30 个东西的搜索引擎,lol。

修复 → 让它失明。 运行期间隐藏 eval,只在评分时揭示,并给出逐项 miss list。

循环 2(20 分钟),盲测,30 个条目。

我把 eval set 对智能体隐藏起来,但它通过 miss 学会了作弊。每一个“你没找到 X”都会变成下一轮的关键词。几轮之后,它用了刚好 30 个关键词,每个条目一个,然后又“赢了”。

修复 → 扩大 eval set。 用几百个条目评分,多到无法枚举。

循环 3(30 分钟),盲测,200 个条目。

把新 eval set 加到 200 个条目之后,智能体又作弊了。

有意思的是,它还是在枚举。关键词列表膨胀到几百个,每个词都是为下一个 miss 精确准备的诱饵。

三轮,三次作弊。

那一刻我明白了:智能体只是在优化。

作弊不是智能体的 bug。bug 在我的目标里:我告诉它要去哪里,却把所有捷径都敞开了。

每一条你没有封住的廉价路径,都会成为优化器全力冲刺的方向。而我的初始目标漏掉了所有围栏。

循环 4(30 小时),盲测,200 个条目,硬限制。

于是我开始封锁方向。限制关键词列表,隐藏 eval,扩大日期范围。每个修复都关掉一条廉价路径,直到剩下唯一能让数字继续上升的方向,就是真正把任务做得更好。

它停止作弊了。

然后它开始跑。约 30 小时计算,爬取 92k 页面,约 40 美元 token 成本,6,300 行代码。

结果我们参考的产品只是地板,不是天花板:在同样的查询上,我们最终浮现出了 约 50 倍的结果。

Image

(好奇的人可以看这里的完整过程和凭据)

5 月 21 日 Elvis

codex 真的太疯狂了。如果你觉得前端克隆已经很夸张,看看这个:我刚把 codex 指向另一个产品,30 分钟后拿到了它的架构、数据模型、prompts,还有成本估算。378 行重建计划。最疯狂的是,现在我可以一行提示词搞定:

"/goal implement until your output matches theirs exactly"

Loss function development(LFD),一个好损失函数的结构

大多数人想构建产品时,都是用 agents 在几个小时内从零走到发布。

但真正的难点在后面,也就是长尾。 spec 从没想过的边缘情况,只会在生产环境里一个错误日志接一个错误日志地冒出来。你逐个修。没有被日志捕获的情况会由用户报告,而这是发现 bug 最昂贵的方式。

我已经自动化了其中便宜的一端。我的 OpenClaw agent Zoe 每天盯着错误日志,新错误一出现就启动 Codex 并创建 PR,这个循环基本已经压到很紧了。(完整设置记录在这里[2])

长尾仍然需要几个月。这就是为什么即使 agents 在干活,构建一个好产品仍然需要时间。

LFD 会快进这条长尾。如果你能一开始就拿到真实的 expected-output examples,也就是大规模意义上的“好结果长什么样”,你就可以在发布前做 soak:几百个边缘情况在一次优化运行里打到智能体身上,而不是等一个季度的 bug report 慢慢滴下来。它突然变得可行,是因为对越来越多的问题来说,这些 examples 就公开摆在那里。

Spec-driven development:

构建这个。让测试通过。

Loss-function development:

构建这个。让测试通过。然后针对这 1,000 个 eval cases 继续迭代。

测试套件是有限的,一旦全绿就结束。一个 1,000 case 的 eval,如果达到 95%,它就是一个你要继续下降逼近的目标,除非达标,否则没有出口。这很重要,因为智能体会做出几百个你永远看不到的决策,而每一个决策都需要一个参照系来判断。如果你没有写目标,智能体会自己选一个。就像第 1 到第 3 轮展示的那样,它会选最便宜、最容易满足的东西。

损失函数比 eval 更大。它有 4 个部分:目标、约束、仪表、强制熵。四块。

1. 目标

  • 足够大,让枚举不划算。 28 个条目的 eval 一轮就被记住了。越多越好。
  • 不要让智能体看到答案 key。 Eval data 只用于事后评分。如果智能体能在运行期间看到答案,它就会找到偷看的办法。

2. 约束

智能体被允许做什么,以及不允许做什么。

  • 时间是智能体永远会忘掉的约束。 Agents 没有时间感。它们会为了 2% 的提升磨 10 个小时,因为指标名义上还在动。但 2 小时内完成的 80% 方案,胜过 30 天后完成的 100% 方案。解决办法:设置 wall-clock budget。
  • 钱。 对每一次付费调用设置硬上限:crawler credits、LLM spend,以及一次性 key 的总美元上限。
  • 接触面。 所有 providers、允许的 models、并发上限。把智能体沙盒到你只希望它触碰的东西里。
  • 方法论。 是否允许 LLM analysis,还是只能用 deterministic logic?智能体能访问哪些数据源?明确写出来。

3. 仪表(harness)

没有仪表的约束只是一种感觉,智能体会很愉快地违反它,因为它看不出自己正在违反。对上面的每一个约束,都给智能体提供一个 CLI command 来检查它。

  • 以正确分辨率测量目标。 谨慎选择目标仪表。真实例子:一个幼稚的”让 LLM 给两张截图打分”的 judge,会批准有 12px 间距错误的 UI clone,因为 LLM 其实看不见图像,它会把图像转成 embedding,再比较 embedding。所以如果你想要 pixel perfect 的 UI clones,就给你的智能体一个 pixel-diff tool。然后 /goal 直到 pixel diff 为 0。
  • 时间核算。 给每次运行和每一步都打 timestamp。智能体应该知道每一步花了多久,总 wall-clock elapsed 是多少。时间是一等仪表,不是脚注。
  • Provider budget。 “我们现在在 crawlers 上烧了多少钱?”应该是一条命令,而不是猜测。追踪剩余 scrape credits、本轮 burn、累计 burn,以及下一批付费调用前的预计 burn。
  • LLM spend。 给它一个 LLM API key 用在 data-plane 上,可以简化很多逻辑。但智能体应该负责任地花钱,而前提是先知道自己实际花了多少。
  • Codex Usage。 这一项有点 meta。循环应该有自我意识:我在这次优化上花了多少 tokens?这有助于知道当前优化步骤的梯度。

模式就是那句老话:你看不见的东西,就无法优化。

如果你刚开始跑这些循环,不要一启动就离开。先陪它跑第一轮。观察它触碰了什么。确认你搭的 harness 确实被正确使用。然后再去睡觉。(并且试着别一直想着醒来会看到什么)

4. 强制熵

为什么强制熵重要:每个循环都会从上一轮的完整上下文继续。模型不是重新开始,它会读取自己之前上百个决策,以及到目前为止有效的梯度。

在 /goal 循环里,命中局部最大值是默认状态。 没有明确的一脚踢开,智能体会继续沿着同一座山往上走,而“同一座山”就是它停止改进时刚好所在的位置。

举个例子,如果一个小旋钮能让结果提升 0.1%,智能体会一直拧那个旋钮,即使还有 1000 个其他旋钮可以试。

熵必须被显式强制进入运行过程,因为模型不会主动引入它:

  • 每轮都做过拟合反思。 我是在构建更通用的方案,还是在记忆 eval?如果是在记忆,下一次改动必须移除一个 eval-shaped artifact(限制列表、隐藏特征、扩大 eval、拒绝 seed),而不是再增加一个。
  • 停滞时强制熵。 如果上一轮没有推动指标,下一轮不能是“同一个想法,更用力”。模型必须做一次真正突破性的跳跃。“think outside the box” 是个好提示词,可以阻止智能体只是把同一个旋钮拧得更狠。
  • 保留迭代日志。 让智能体记录假设、预期失败模式、每一步的诊断,这样它可以回头看,并跨越 compactions 做反思。

Meta-Meta-Prompt

一开始这些 goals 是我自己写的,但我很快意识到,这也是 agents 该做的工作。

所以我写了一个 skill,用来生成这类目标,帮助跑一次好的 loss-function-development。

现在开源在这里:

https://github.com/elvisun/loss-function-development[3]

Image
Image

/lfd-design 用来生成 harness 和 goal

一路向下的梯度下降:两个循环

退一步看,这一路都是梯度下降。

内循环是智能体:写代码,跑测试,修复。短周期,快速反馈,单一目标,让测试通过。这是开发者的内循环,而 spec-driven development 就是运行它的方法。Coding agents 已经把它自动化了。

外循环是 /goal:跨越许多周期,把整个系统推向一个 outcome metric,发布、测量、改方向、下降。长周期,稀疏反馈。这原本是产品团队的循环,也就是几个月的 ship-measure-iterate soak,现在被压缩进一次运行里。

两个循环现在都已经自动化。剩下需要你做的,是定义损失函数,也就是 /goal 到底应该优化什么,以及应该以什么方式优化。

你在蒸馏一个产品,或者任何留下公开产物的东西

换个视角看,这本质上是蒸馏,只是从 training-time 移到了 prompt-time。DeepSeek、Kimi、Minimax 这一线就是这样缩小了与 GPT 和 Claude 的大部分差距:用别人家的输出训练你的模型,直到你的模型能复现它们。

但现在你不必蒸馏一个模型。你可以用 /goal 和 LFD,对任何公开可找到的 artifact 进行蒸馏拟合,它不检查内部,也不需要检查内部。

重点是公开这个词。蒸馏别人在 ToS 限制下、登录墙后、付费墙后的输出,并不合理。但公开发布的东西,也就是一家公司为了赢得客户而 ship 出来的输出,一直都可以被学习。这部分并不新,它是软件里最古老的招数。新的地方在于,现在这件事很便宜,而且几小时就能完成,不再需要几个月。

退一步看,更大的变化是:只要存在 information symmetry,执行成本就会坍缩到接近 0。也就是说,当输出是公开的,每个人都能看到“好”长什么样,任何人都可以用 40 美元在一个周末把它蒸馏回来。

所以这里出现了一个越来越有价值的新护城河:information asymmetry。

那个典型的开源公司已经先眨眼了。2026 年 4 月,cal.com[4](500 万美元 ARR)把生产代码转为私有,并且关闭了开源[5]。他们给出的理由,读起来几乎就是这篇文章的摘要:在 AI-driven security threats 的时代,你不能把 source 留在智能体读得到的地方。

“/goal read cal.com[4] source code and enumerate its attack surface until something works”

这种攻击太危险,也太容易执行。

一个身份核心就是”open source”的公司,在 2026 年决定开放已经变成负担。这已经说明了一切。

在软件的整个历史里,“我们构建了它”曾经就是护城河。

那个时代正在结束。

下一个时代属于那些拥有 artifact 从未包含之物的人:别人无法评分的 eval set。你的用户真正踩到的边缘情况清单。你私下测量的 ground truth。谁拥有竞争对手的智能体看不到的目标,谁就是唯一一个能让自己的循环继续下降的人。

产品现在只是一个周末。

去构建那个周末无法触碰的 eval。

参考阅读

References

  1. newsjack.sh: https://newsjack.sh/
  2. 这里: https://x.com/elvissun/status/2025920521871716562
  3. https://github.com/elvisun/loss-function-development: https://github.com/elvisun/loss-function-development
  4. cal.com: https://cal.com/
  5. 关闭了开源: https://x.com/pumfleet/status/2044406553508274554?s=20
  6. 原文:https://x.com/elvissun/status/2065035615800864954

如果你也在关注 AI 应用如何真正落地到生产环境,2026.6.26 - 6.27 GIAC 深圳站值得关注。这次大会会集中讨论智能应用开发、架构演进,以及来自一线实践的经验与案例。

识别二维码可申请大会体验门票,点击阅读原文了解大会详细议程。

Image

阅读原文

跳转微信打开

  •  

B站 Index LLM 团队论文开源:170亿次真实用户交互背后的UGC视频评估新范式

原创 AI 2026-06-12 12:00 上海

这项工作已被 ACL 2026 Main Conference 收录,是bilibili Index LLM Team在UGC内容理解方向的最新成果。

“我们知道B站之所以能够产生这么多好的作品,重要的原因就是社区里的用户有着对内容的热爱,并且有着对内容极高程度的审美。AI是可以放大B站社区这种识别优质内容的能力,现在社区每个月有170多亿次的真实用户的交互,这些数据在AI时代其实都是非常珍贵的真人标注,而且这些真人是整个中国对内容最有热情和最有审美鉴赏能力的人。”

哔哩哔哩2026年Q1财报电话会提到了上述内容。那么问题来了:能不能让AI学会像B站用户一样,在视频发布的第一时间就判断出它是否会获得社区共鸣?

今天我们介绍的 CASTER,就是在回答这个问题。这项工作已被 ACL 2026 Main Conference 收录,是bilibili Index LLM Team在UGC内容理解方向的最新成果。

论文链接:https://arxiv.org/abs/2606.01897

代码链接:https://github.com/bilibili/medea_rl

模型链接:https://huggingface.co/IndexTeam/MEDEA

数据集链接:https://huggingface.co/datasets/IndexTeam/CASTER-Bench

 让AI学会「站在观众角度思考」

传统视频质量评估(VQA)看的是画面清不清晰、有没有压缩失真。但在B站社区里,一条视频好不好,靠的从来不是画质。一段画质普通但极具创意的手书,可能获得百万播放和满屏弹幕;一段4K高清的vlog,也可能因为内容空洞而无人问津。

UGC质量的本质是社区共识,而不是像素质量。

CASTER做的事情是:给定一条视频的多模态信息(封面、关键帧、标题、标签、ASR等),让AI模拟不同类型观众的反应,然后从这些模拟反应中推断出这条内容能不能获得社区认可。

Social-CoT:

不是逻辑推理,是社会认知推理

Social-CoT是我们提出的核心推理机制。与传统CoT进行逻辑推理不同,Social-CoT进行的是社会认知推理:

第一步:实例化多元观众人设

模型需要想象不同类型的观众:资深爱好者、偶然路过的用户、对该领域感兴趣的新人、挑剔的老用户等。每个人设代表了社区中的一种典型视角。

第二步:模拟情感反应路径

对于每个观众人设,模型需要推理:这个人看完视频后会有什么感受?会被哪个片段打动?会想发什么样的评论?这不是简单的情感分类,而是深入的共情推理。

第三步:汇聚社区心智

综合所有模拟的观众反应,通过统计共识机制(Skellam Scoring)判断:这个内容是否能在社区层面产生正面共鸣?

这种"先模拟再判断"的结构,确保了最终的质量判断是从模拟的社区动态中因果推导出来的,而不是黑盒分类。下面是一个具体的Social-CoT示例:

MEDEA框架

更进一步,我们把Social-CoT落地为可训练的系统,设计了MEDEA(Multimodal Engagement-Driven Evaluation Architecture)框架:

阶段一:挖掘真实社区智慧

基于B站生态用教师模型 (Gemini) 将社区智慧转换成结构化的Social-CoT推理路径,最终构建了54K条标注样本。

阶段二:SFT让模型学会Social-CoT的结构

通过监督微调,模型学会将视觉线索(光线、剪辑节奏)和文本信息(标题、标签)与社会解读对齐。

阶段三:RL对齐人类社区标准

使用GRPO算法 + 四维复合奖励:

  • 格式奖励:输出遵循结构化格式

  • 标签奖励:预测正确性

  • 认知多样性约束:防止模型生成重复评论,必须探索完整分布

  • 社会对齐奖励:模拟评论与真实高赞评论的语义相似度

其中社会对齐奖励是关键创新,没有它,模型会退化为生成「好美啊」「太棒了」这样的空泛模板;有了它,模型能生成具体且富有共情的解读,比如将冰岛vlog中风吹发丝的画面解读为「原始自然力量的震撼」。

CASTER-Bench:社区共鸣基准

为支持CASTER任务,我们发布了CASTER-Bench:

  • 1485条UGC视频,覆盖30个主要内容品类(生活、知识、游戏、美食、科技、舞蹈等)

  • 平均时长442秒(总时长182.5小时),远超现有VQA数据集的8-10秒短片

  • 多模态信息完整:视频内容、封面图、标题、标签、分区、ASR

实验:全面超越GPT-5.2和

Claude-4.5-opus

在CASTER-Bench上,MEDEA全面超越所有四类基线方法。

高质量类别(最关键指标):

  • MEDEA:F1 = 0.650,精确率 = 0.603,召回率 = 0.705

  • 最强基线(GPT-5.2 reasoning):F1 = 0.555

  • 提升幅度:+17.1%

各类基线的失败模式分析:

传统VQA方法(FastVQA、DOVER、MaxVQA等):

  • 高质量F1仅0.33-0.41,几乎完全失效

  • 原因:它们评估的是画面质量而非内容质量,信号层面的分析无法捕捉社区共鸣

标准大模型(GPT-5.2、Claude-4.5-Opus):

  • 召回率极高(>90%)但精确率极低(~30%)

  • 原因:"慷慨偏差":通过长上下文推理能在任何视频中找到优点,但缺乏区分"还行"和"真正优秀"的社会判断力

推理增强大模型(开启reasoning模式):

  • 有所改善但仍不够(最高F1=0.555)

  • 原因:逻辑推理能力不等于社会认知能力

Social-CoT提示的旗舰模型:

  • 直接用Social-CoT提示词(不微调):F1=0.508

  • 说明推理模式本身有帮助,但需要专门的训练才能真正内化"社区标准"

已在B站落地:更早发现优质内容

CASTER不只是一篇论文,它已经在B站的内容生态中实际部署运行。

通过将CASTER接入内容分发链路,系统能够在视频发布后的极早期(甚至在评论区形成之前),就识别出具有高社区共鸣潜力的优质稿件。这使得优质创作者的内容能更快地获得曝光,不再需要等待漫长的自然传播周期。

正如电话会议中提到:"我们花了很多时间让AI理解什么是高质量内容,并在更早的阶段识别这些高质量内容。" CASTER正是这一愿景的技术实现。

开发者交流

CASTER将于2026年7月5日在美国San Diego进行Poster展示,现场还会发放MEDEA精美无料,欢迎大家来交流!

-End-

作者丨bilibili Index LLM Team

跳转微信打开

  •  

AI Infra 的各种挑战和 Tips 系列 - NVIDIA Nemotron-3 Ultra

原创 AI闲谈 2026-06-12 08:00 北京

比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off

一、引言

比较早期的文章中介绍过大模型训练中常见的问题和各种挑战,随着模型的演进、硬件的升级和算法的迭代,一系列新的问题随之而来。本文开始,我们进一步梳理各种大模型训练中和 AI-Infra 相关的问题、Trick 以及 Trade-off。

本次梳理对应的论文为:Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

相关工作可以参考笔者之前的文章:

二、模型结构

如下图 Figure 2 所示为 Nemotron 3 Ultra 模型的结构,总参数量 550B,每 Token 激活参数量 55B。是典型的混合架构,并且混合的方式也和常规的大模型不同,总层数 108:

  • Mamba-2 层数:48

  • Full Attention(GQA)层数:12

  • LatentMoE 层数:48

如下图 Table 1 所示为模型的详细配置,有几点可以关注:

  • KV Cache:GQA 中 Q 和 KV 的比例高达 64:2,非常接近于 MQA,这个和 Qwen3.5-122B-A10B 以及 Qwen3.5-397B-A17B 类似,主要动机都是可以极大降低长序列场景下的 KV Cache 大小。

    • GQA:Mamba-2=1/4,Full Attention 只有 1/4。

    • Q:KV=32/1,极低的 KV 占比进一步大幅度降低 KV Cache 大小。

  • LatentMoE:得益于 LatentMoE 的机制,可以在不增加 MoE All2All 通信量的同时增加专家数和路由专家数,提升专家的组合能力。因此这里每个 LatentMoE 层包含 512 个专家,22 个路由专家。

  • MTP:2 个 MTP layer,共享权重。MTP 在训练阶段可以作为辅助目标,在推理和 RL Rollout 阶段可以作为内置 Draft Model,加速生成。

可以看出,该模型是综合考量模型效果,训练、推理效率/成本而协同设计的,并不一定在所有场景最优。比如:

  • 总参数量 550B,激活参数量达到 55B,而常见旗舰 LLM 的稀疏比例达到 20-30 倍。55B 的激活参数,对于 Prefill Heavy 的场景不一定有优势。

  • Mamba 能省 KV Cache,但会引入 SSM State Cache,对于短、中等上下文场景,FP32 Mamba Cache 可能比 FP8 KV Cache 更大。

三、预训练

3.1 数据配比

共 20T Token 的预训练数据,由 19 个 High-Level 组成,比如 web crawl、synthetic web crawl、math、code、academic、wiki、multilingual、legal、SFT-style data 等。

  • 第一阶段:15T,web crawl 与 synthetic web crawl 约占 49% 左右。更偏多样性和广泛性。

  • 第二阶段:5T,web crawl 与 synthetic web crawl 占比降到 38%。更偏高质量数学、代码等。

3.2 训练超参

预训练总共 20T Token,使用 WSD(Warmup-Stable-Decay)学习率:

  • Warmup:200B tokens

  • 峰值 LR:2.5e-4。

  • 最小 LR:2.5e-6。

  • 最后 5T tokens 使用 minus-sqrt decay

  • MTP loss scaling factor:0.1。

3.3 NVFP4 预训练

Nemotron-3 Ultra 的最主要特点是预训练阶段使用了 NVFP4,而不仅仅是后训练阶段。NVFP4 训练的关键细节如下:

  • 使用 Transformer Engine 的 cuBLAS NVFP4 GEMM Kernel 覆盖 fprop、dgrad 和 wgrad。

  • NVFP4 层使用 E2M1 数据类型,权重使用二维分块量化。

  • 对 wgrad 输入使用随即哈达玛变换。

  • 梯度使用 Stochastic Rounding。(PS:这也是 Blackwell NVSwitch 和交换机支持的特性)

  • 对最后的 15% 层(16 层)、Mamba output projection、latent projection、QKV 和 attention projection、MTP layer、embedding layer 都保持高精度。

为了监控 NVFP4 训练的健康度,从 5T、10T、16T 的 Checkpoint 分支出 BF16 继续训练 74B Token,可以作为高精度代理,并对比 NVFP4 Loss 和 BF16 Loss 的误差。如下图 Figure 3 可以看出,Loss 误差很小:

3.4 Checkpoint 合并

NVIDIA 在预训练中使用 Offline 的 Checkpoint 合并策略,具体来说:

  • Checkpoint 间隔:25B Token。

  • 滑动合并窗口:500B Token。

  • 权重按模拟 LR Decay 的方式组合。

  • 预训练结束后,最终 Checkpoint 是从一系列不同合并配置的大量 Checkpoint 中选择的。包括:

    • Token 数变化,尝试 125B 到 1T 的合并窗口。

    • 采用顺序变化:顺序、随机和反向排序。

  • 最终选出一个 500B Token 合并窗口下,能够在知识、数学和代码四项基准上展现出均衡权衡表现的 Checkpoint。

对于大规模训练很实用:单个 Checkpoint 在不同能力上波动时,离线合并提供了一个低成本的模型选择/平滑机制,避免只依赖最后一步或少量评估的 Checkpoint。

3.5 长上下文扩展

长上下文阶段在预训练末尾做 Continuous Pretraining:

  • 目标上下文:1M Token。

  • 总 Token:33B。

  • LR:固定 2.5e-6。

  • 训练硬件:GB200 GPU。

  • 并行配置:32CP、8TP、128EP、2PP。

  • 数据混合:46% long-context 数据,54% 阶段 2 数据。

  • 训练迭代:92% iteration 使用 1M 长度,8% iteration 使用 4K 长度。

  • 每个 iteration 固定 25,165,824 tokens。

  • 同一个 iteration 内不混合 1M 和 4K。

  • 4K iteration 只放 math 和 code SFT-style data,用于维持短上下文 benchmark。

需要注意的是:

  • 1M 上下文必须引入 CP,否则激活/KV/序列维度很难落到可训练的显存范围。

  • 短长上下文混训不是“混合在一个 batch 里”,而是iteration 粒度的长度切换。可以减少 Kernel、Padding、通信 Pattern 的复杂性。

  • 长上下文 CPT 容易稀释短任务能力,因此混入 4K 短序列,不过只保留 Math/Code,算是一种能力保护策略。

3.6 预训练稳定性

Nemotron-3 Ultra 预训练中出现了 2 次 Loss 发散问题。

3.6.1 BF16 Gradient Reduction 丢失 MTP 小梯度

如上图 Figure 5 所示,第一次发散发生在 8T Token 左右。NVIDIA 排查发现是输出层 Local Gradient Accumulation 精度从 FP32 降到 BF16 导致的,这样做的初衷是把 DP 的 Gradient Reduction 以 BF16 传输来提升吞吐(不确定累加时是否使用 BF19?)。 具体来说:

  • 模型有 2 个 MTP Block。

  • 总 MTP loss scaling 是 0.1,即每个 MTP Block 大约 0.05。

  • MTP Block 对 Shared Output Layer 的 wgrad 贡献很小。

  • BF16 只有 7 mantissa bits,这部分小梯度在输出层累加/规约中基本丢失。

  • MTP-2 loss 先出现 spike/divergence,然后 train/validation loss 跟随发散。 

解决方案也比较简单,回滚到较早 Checkpoint,并恢复 Full FP32 Gradient Reduction。从 Figure 6 可以看出,解决后 Loss 没有再发散:

从这个案例中也可以看出,BF16 Gradient Reduction 还是存在风险,要想使用,还需添加细粒度的监控指标,不只是主 Loss,还有各种辅助 Loss;以及 output layer、shared projection、router、auxiliary head 等梯度路径。

3.6.2 16T 附近位置原因

第二次发散发生在 16T Token 附近。NVIDIA 没有找到确凿的根因,如下图 Figure 7 所示,通过消融实验发现:

  • 从 15T Checkpoint 回滚后立刻开始 LR 退火可以缓解发散。

  • 5T Decay 和 10T Decay 都有缓解效果。

  • 最终根据实际需求把总预训练数据截到 20T Token。 

他们观察到两个相关现象:

  • 专家不均衡/ dead 专家。

    • 使用 MaxVio 衡量单个专家的最大负载相对均衡均值。

    • Ultra 初期 median layer MaxVio 约 1.2,最大约 4.8。

    • 训练一段时间后 median 仍约 1.2,但 first MoE layer 的最大 MaxVio 到 12T 时增长到约 12。

    • MaxVio 不一定是根因,但与不稳定相关。

  • 残差流激活范数不平衡,如下图 Figure 8 所示。

    • Super 中残差范数在起始层上升后会下降并稳定。

    • Ultra 中残差范数在起始层约为 7.5T 开始上升,约 11T 出现大 spike。

    • 深度方向残差范数相差可到 4 个数量级,提示信号传播变差。

从这个案例中也可以看出,大规模 MoE 模型训练稳定性需要结合 expert load、dead expert、router entropy、per-layer residual norm、wgrad norm 等联合监控。此外,发散的早期信号可能先出现在 first MoE layer、MTP-2 loss 或 early-layer residual norm,而不是主 loss。

四、后训练

如下图 Figure 9 所示,Nemotron-3 Ultra 后训练包括多个阶段,首先从通用 SFT 开始,然后是标准的 RLVR。此后添加了 MOPD(Multi-teacher On-Policy Distillation),从而同时实现了广泛能力获取与特定领域的精专化。最后还增加了 MTP Boosting 训练。

4.1 SFT 阶段

SFT 分为两个阶段,如下图所示:

在 SFT 阶段也有些需要注意:

  • Long Context:构造 512K long-context SFT 数据,用于 multi-document reasoning、sequential scanning、synthetic table querying。

  • Reasoning Control:构造 reasoning trace 被随机 budget 截断的数据,响应保持不变;被截断样本中的 </think> token 不计入 SFT loss。

  • Safety:从约 45K 英文 safety 数据 扩到约 135K 多语言数据;翻译后再翻译回去,与原始英文 Pair 相似度低于 0.8 的过滤掉,每种语言过滤约 10%-15%。

  • Search:包括 Wikidata 多跳搜索、OpenResearcher 离线浏览器环境、BrowseComp 难样本;部分轨迹需要 50-100 次搜索。

  • Terminal-Use:约 370K 多轮对话,覆盖软件工程、数据处理、文件操作、科学计算等,使用 live terminal feedback。

  • Math:非证明数学包括 1.8M tool-calling 样本和 1.9M non-tool 样本。

  • Competitive Code:1.2M Python reasoning traces、1.0M C++14 traces、1.3M Python tool-calling traces。

  • CUDA:约 100K kernel generation、repair、optimization samples,包括 Nsight Compute log、CUDA C++ kernel、CUDA-X library 数据。

  • RTL:约 1.2M training samples,覆盖 spec-to-RTL、editing、debugging。

这些数据不是简单的文本语料,而是大量“带环境/工具/执行反馈/日志/验证器”的轨迹。对训练 Infra 也会有一定的挑战,比如:

  • 数据对象更大,单样本 Token 长度和结构差异很大。

  • 数据质量过滤依赖执行器、编译器、Benchmark、LLM Judge 和启发式分析。

  • Packing 时既要减少 Padding,又要保持完整对话,避免拆断上下文造成幻觉。

NVIDIA 使用 length-aware best-fit packing:

  • 多个对话 Packing 到最大上下文长度内。

  • Round-Robin 读取并交错源文件。

  • 内存里只保留固定大小的序列池。

  • 对每个新对话选择剩余容量最贴合的序列。

  • 不切断、不切分对话。

  • 打包序列内去重,避免相同 Prompt 出现在同一个打包序列。

  • 打包完后再 Shuffle。

这个实现强调了一个大规模训练常见坑:如果按 source shard 直接拼接,会造成强分布局部性,降低优化稳定性。Packing 不是单纯提升利用率,也是在控制 Batch 分布。

4.2 RLVR 和 MOPD

4.2.1 RLVR

统一多环境 RLVR 覆盖 terminal、office/productivity、software engineering、search、general tool-calling、math、code、STEM、safety、chat、instruction following、long-context QA、inductive/transductive reasoning、structured outputs 等。

训练配置如下:

  • 算法:主要遵循异步 GRPO,并带稳定性优化。

  • 数据混合:采用 Gaussian-based 方法。

  • Global batch size:8192。

  • 每个 Sample 生成 16 Rollout。

  • 最大生成长度:从 48K 增到 64K。

从 Infra 的角度也要关注:

  • RL Batch 的真实计算量是 8192 prompt * 16 rollout * 可变生成长度,其中 、Straggler 生成会影响 Step 时间。

  • 多环境 RL 的难点不仅有 Reward,还有环境执行、Sandbox、Tool Call、Judge、Generation Engine 的端到端可靠性。

  • 不同 Harness 和交互形式混合训练,可以降低对单一 Harness 的过拟合,不过也会放大系统异构性。

4.2.2 MOPD

MOPD 用来解决统一 RLVR 中每个 Domain 在 Batch 中信号被稀释的问题。NVIDIA 训练了 10 个以上特定 Domain 的 Teacher,然后让 Student 在所有 Domain 上生成 Rollout,由对应 Teacher 提供稠密的 Token-Level Guidance。其中:

  • Student Rollout 生成、Teacher 打分、Student 优化全流水异步。

  • Nemotron 3 Ultra 做了两轮 MOPD:MOPD Checkpoint 出来后,再从更新后的 Student 分支训练新 Teacher,再合回下一轮 MOPD。

  • MOPD 最大生成长度:192K。

  • 每 Batch 1024 Prompt。

  • 每 Prompt 1 个 Rollout,多 Rollout 在消融实验中没有带来额外收益。

需要注意的是:

  • MOPD 对 Agentic Domain 更有效,因为 Warmup 能提升 Student Rollout 与 Teacher-supported trajectories 的 Overlap。

  • 对 HLE 这类 Self-contained reasoning benchmark,warmup 收益较小。

  • 如果 Teacher 会但 Student 很少采样到相关路径,Dense Scoring 信息仍然可能比较低效。

  • MOPD 是 RL 和 Distillation 的混合系统,瓶颈从单纯 Policy 更新变成 Rollout、Teacher Serving、Token-level Scoring 和 Learner 之间的流水平衡。

  • Teacher 数量增多后,Teacher Serving 本身成为资源调度问题,需要与 Student Rollout 的 Domain 分布匹配。

  • 对 Agentic 任务,MOPD 前的 Warmup 是为了改善数据分布 Overlap,不是为了“多训一点 SFT”。

4.4 MTP Boosting

MTP Head 在预训练和 SFT 阶段一直存在,但原始的 Teacher-Forced MTP 训练与推理时 Draft 的分布不一致。因此 NVIDIA 加入了 MTP Boosting 过程:

  • 从 MOPD Checkpoint 开始,冻结 Backbone,只训练 MTP Head。

  • 训练 MTP,使第 K 步输入从前面 MTP Step 的 Hidden State 集合中采样,更接近推理噪声。

  • 数据来自 MOPD Checkpoint 的 On-Policy Rollout,temperature=1。

  • 训练 12K Step。

  • Global batch size:64。

  • Sequence cap:8K。

  • Loss:temperature-scaled forward-KL against backbone logits,关闭 gold-token cross-entropy。

冻结 Backbone 可以显著降低优化器状态和激活内存占用。MTP 即成为推理加速组件,也成为 RL Rollout 加速组件。具体来说,如下图 Figure 12 所示:

  • RLVR Rollout 生成中,MTP Token 数 k=5 相比无 MTP 加速 1.46x,收益主要来自最慢的长尾生成。

  • 低延迟单用户推理场景 ISL/OSL/BS = 10K/16K/1、单 GB200 节点、TP=4 下,Draft Length=6 最高加速 2.89x。

五、Infra 问题及优化

5.1 RL Infra 故障分布

生产集群是 NVIDIA GB200,使用 Slurm 编排,并且有 Co-located CPU 用于 Sandbox 执行。RL 的软件故障如下 Table 7 所示,其中主要是 Generation Engine、Sandbox、Tool-call 这些训练外系统的问题,而不是 Learner 的问题。

5.2 RL GCS 和 Slurm 启动

NeMo-RL Job 是异构 Job,需要在不同节点启动 Training worker、vLLM 生成 worker、gym worker、judge worker 等,且各角色需要的资源不同。在作者的后训练中,原始启动脚本会对每个节点发起多次独立 srun 调用,每个 srun 都是向 Slurm 控制器守护进程(slurmctld)发起 RPC 调用,且必须串行处理,节点比较多时,数百个串行 RPC 在 Slurm controller 排队,启动成本按 O(n) 放大。3K+ GPU 下,Ray Actor 同时注册,单线程 GCS 被打爆,启动 25-49 分钟并伴随雪崩式启动失败。

作者实施了一系列优化:

  • 改成 single multi-node srun,把 Slurm controller 交互降为 O(1),启动从 30+ 分钟降到 10 分钟。

  • 把 short-lived Actor 改成 task,消除约 40% Actor 注册操作。

  • 按节点合并初始化 Actor。

  • 实施激进的 GCS 调优措施。

  • Ray 2.55 修复了相关 GCS 扩展退化问题。

5.3 NVLink Domain 感知排布

GB200 NVL72 的 NVLink Domain 覆盖整个 Rack,包含 18 Node、72 GPU。如果 Worker 排布不感知拓扑,Megatron EP Group 会跨 Rack,MoE All2All 从 NVLink 退化到 InfiniBand。

NVIDIA 的解决方案是:

  • 容器启动时用 nvidia-smi -q 解析 NVLink fabric ClusterUUID。

  • 将同一 NVLink Domain 注册成 Ray Custom Resource。

  • 从 SLURM_TOPOLOGY_ADDR 派生 topo_rank。

  • 在 RayVirtualCluster 中按 (domain_min_topo_rank, topo_rank, gpu_id) 排序 Bundle。

  • 设置 external_gpu_device_mapping=True,让 Megatron 信任 Ray 的 GPU Pinning。

  • 不完整 Segment 的 Domain Bundle 被丢弃,保证 EP Group 落在完整 NVLink Domain 内。

优化后训练、生成 Actor 都被放在同一 NVLink Domain;EP 的 All2All 都走 NVLink,不走 Infiniband。GB200 上 End2End 吞吐提升 20%。

5.4 Numa 绑定

GB200 NVL72 的 Grace CPU 有 socket/NUMA 结构,GPU 0/1 和 GPU 2/3 对应不同 NUMA Node。若 Ray Worker 随机跑在远端 Socket,下述操作都会跨 Socket 走 Coherence Link 再到 NVLink-C2C,降低带宽:

  • 优化器状态 Offloading。

  • Checkpoint 在 CPU-GPU 之间传输。

  • tokenization/数据预处理。

  • Pinned Memory 分配。

NVIDIA 的优化方案是:将 Policy Worker 和 vLLM Worker 显式绑定到其 GPU 的 Local CPU Socket。优化后 GB200 上 End2End 吞吐提升 10%。

5.5 Checkpoint Blocking

训练中也发现 Checkpoint 保存每次会阻塞训练约 60S。对此相应的优化方案如下所示,优化后暴露出来的保存时间降低到 1s 以内:

  • 使用 NVIDIA Resiliency Extension(NVRx)的异步 Checkpointing,把模型参数复制到 CPU 后后台持久化,暴露阻塞降到 6-8 秒。

  • NCCL 数据传输与 D2H Copy Overlap,缩短同步暂存窗口。

  • 持久化 Checkpoint 工作进程,避免每次 fork/spawn。

  • Checkpoint 最终确认操作放后台线程,彻底避免其对训练进程的阻塞。

  • 对分布式保存计划进行缓存,确保仅在首次生成后续可用版本。

  • 借助 Megatron-Core Distributed Optimizer 让优化器状态在 DP Rank 分片,每 Rank 只保存本地 Slice。

5.6 JIT Cache 和初始化

1K GPU 冷启动初始化约 49 分钟,其中约 38.8 分钟由 JIT 编译主导,因此进行优化,优化后 JIT 冷启时间从 38.8 分钟降低到 0.4 分钟。

  • Job 结束时把 JIT Artifact 写到持久化共享存储,压缩成 tar 包。

  • 启动前每节点把缓存的 tar 包解压到本地 /tmp。

  • 后续 JIT Write 全部写本地 /tmp,避免共享文件系统元数据风暴。

  • FlashInfer Cubin 在容器构建时被集成到镜像中。

5.7 多节点 vLLM 稳定性

多节点 vLLM 采用 Ray 作为其分布式执行引擎。每个 vLLM 数据并行主节点会生成若干 EngineCore 子进程,这些子进程各自调用 ray.init() 以连接全局控制存储(GCS)。在大规模部署环境下,还会存在其他的问题导致启动失败:

  • 包与内核 ABI 不匹配,RL Stack 的不同组件安装了不同的 GPU Kernel library。

  • 子进程环境差异,主 Ray Actor 进程中设置的环境变量未能传递给通过 multiprocessing.spawn 生成的子进程,导致子进程解析到与父进程不同的库版本,进而在内核加载时失败。

  • 集合通信不兼容,部分 JIT 编译内核与 GB200 集群中 NCCL 的多节点 NVLink 内存注册机制存在不兼容,从而导致分布式初始化过程中发生挂起。

相应的解决方案为:

  • 统一 RL Stack 所有组件的 GPU Kernel Library 版本。

  • Spawn 时显式传递 Library Path 和环境变量。

  • 对受影响路径禁用 multi-node NVLink memory 注册,等待上游 FlashInfer 修复。

  • 增加 vLLM 监控检查,验证 Device 分配和 TP NCCL 通信组。

  • RPC timeouts、Graceful shutdown、Orphan process cleanup。

5.8 Container 与存储 I/O

规模化部署后,所有节点在 Job 启动阶段同时从共享存储读取镜像(约 44GB),形成数 TB 级并行读取风暴。部分节点 Input/output error 或 extraction stall 12+ 分钟。Job 结束时所有节点同时写回 JIT Cache,形成第二次 I/O 风暴。

针对这些问题也提供了相应的解决方案:

  • 容器缓存机制:Enroot 的本地 squashfs 缓存确保节点完成容器镜像解压后,后续作业可重复使用本地缓存副本。

  • 不对称读写缓存路径:训练期间 JIT writes 全部写 node-local 存储,Job 结束只让一个 sidecar 进程把 Cache 归档回共享存储。启动时每节点顺序读取压缩 tar 包到本地,避免大量小文件 metadata I/O。

六、量化

6.1 PTQ

量化使用 Model-Optimizer,对 Nemotron 3 Ultra 做 NVFP4 PTQ,目标是 Blackwell 高效推理。相应的精度如下图 Table 12 所示:

最终选择了 5.03 BPE(Bits Per Element)的模型,主要原因是:

  • 多数 Benchmark 在 4.85 - 7.19 BPE 之间基本饱和。

  • 真正敏感的是 Long-Context AA-LCR,4.85 -> 5.03 提升约 2.4 分。

  • 5.03 之后继续加 bits 到 7.19,即增加约 43% bit budget,没有实质收益。

6.2 FP4 Scale 选择

NVIDIA 对 FP4 Weight Scale 选择做了 max、MSE、Four-Over-Six 对比,最终

  • 路由专家 Weight Scale 选择 Four-Over-Six。

  • Activation Scale 仍使用 max 校准。

  • 更保守的 5.03 / 5.43 BPE 下,MSE 略优于 max。

  • 激进的 4.85 BPE 下,max 与 MSE 接近。

  • Four-Over-Six 在 5.03 BPE 最好,但在 4.85 BPE 下大幅退化,可能因为 Mamba 对 Outlier 敏感。

6.3 Megatron-LM vs HuggingFace PTQ

Ultra 的 550B BF16 权重大约 1.1TB,单节点 HuggingFace transformers PTQ 需要 CPU offload;Megatron-LM 可以多节点、多维并行、EP/DP 加速量化。说明对超大 MoE,PTQ 也需要分布式系统支持,不能按“小模型离线脚本”理解。

6.4 Mamba SSM Cache

Mamba 的 SSM state 是每 Batch 元素常量大小缓存,而 KV Cache 随序列长度增长。但在 Nemotron 3 Ultra 中,FP32 Mamba Cache 在 64K 以内可能比 FP8 KV Cache 更大,因此会成为 DRAM 占用和 DRAM 读压力瓶颈。因此需要压缩,如下图 Figure 14 所示,最终选择:

  • Mamba SSM Cache:FP16 with stochastic rounding。

  • KV Cache:FP8。

NVIDIA 也探索了 8-bit Mamba Cache 和周期性 Cache Checkpointing:

  • INT8 with stochastic rounding 基本可以保持 FP32 Cache 精度。

  • FP8 E4M3 降质更明显,可能因为有效精度不足。

  • 周期性 Cache Checkpointing,每 CC 步保存一次 State,并通过激活回放补偿,降低连续量化误差,但当前优化 Kernel 仍在开发。

6.5 一个 NVFP4 checkpoint 同时服务 Blackwell 和 Hopper

NVIDIA 最终只发布一个 NVFP4 Checkpoint:

  • Blackwell:原生 FP4 匹配 W4A4/NVFP4。

  • Hopper:无原生 FP4 Tensor Core,以 W4A16 运行,即 Weight NVFP4、Activation BF16。

为什么不单独发布 FP8 Checkpoint:

  • H100 8-GPU 节点,TP8,总 HBM 约 640GiB。

  • FP8 Checkpoint 约 540GiB,每 GPU 只剩约 10GiB 给 Activation、KV Cache、Mamba State。

  • NVFP4 Checkpoint 约 330GiB,每 GPU 约剩 40GiB。

  • FP8 虽有更高 Tensor Core 峰值,但 Batch Size 被 Cache Budget 限制,无法进入 Compute-Bound 区域。

  • NVFP4 W4 开销小,还能把 MTP Weight 放进同一个 8-GPU 节点,FP8 Checkpoint 则需要两台 H100 节点,失去单 NVLink Domain 优势。

为什么不使用 W4A8:

  • NVFP4 的 E2M1 + E4M3 Block Scale 等效范围接近 E6M4,直接 Cast 到 FP8 E4M3 会溢出。

  • 保精度需要 W4 -> BF16 -> FP8,每个 GEMM 前会多一个 Cast OP。

  • 在目标约束下 W8A8 已不比 W4A16 快,W4A8 只会更差。

七、推理部署

7.1 Workload 分化

报告中用 GB200 NVL72、NVFP4、关闭投机采样对比两类 Workload:

  • Decode-heavy:8K input / 64K output。

  • Prefill-heavy:50K input / 2K output。

如下图 Figure 15 可以看出

  • Decode-heavy 下,Nemotron 3 Ultra 领先,报告中相对 GLM-5.1 的吞吐为 5.9x;Kimi-K2.6 相对 GLM-5.1 的吞吐为 1.2x,Qwen-3.5-397B-17B 相对 GLM-5.1 的吞吐为 3.7x。

  • Prefill-heavy 下,Qwen-3.5-397B-17B 领先;Nemotron 3 Ultra 相对 GLM-5.1 为 3.9x, Qwen-3.5-397B-17B 相对 GLM-5.1 为 4.6x。

主要原因是:

  • Prefill Compute-Bound,成本主要看激活参数量。Nemotron-3 Ultra 是 55B,对 Qwen-3.5-397B-17B 的 17B 有约 3.2x FLOPs 惩罚。

  • Large-Batch Decode 中,几乎所有专家都会被激活,成本更像全参 I/O。Nemotron-3 Ultra 550B 对 Qwen-3.5-397B-17B 397B 的差距约 1.39x,此时 Mamba-2 的常量 Per-Step Decode 开销变成优势。

7.2 TP/EP 选择

Nemotron 3 Ultra 推理必须多 Rank 并行。报告中对 TP/EP 的取舍做了分析:

  • 小 Batch、低延迟:权重读取 Memory Bandwidth Bound,大 TP 有利,每 Rank HBM 读按 TP 维度降低,Hidden Vector 的 AllReduce 相对便宜。

  • 大 batch、高吞吐:激活通信成为瓶颈,大 EP 更好,通信集中在 MoE 前后的 All2All,GEMM/Attention/Mamba/路由专家都 Rank-Local。

  • 某些低延迟场景下,TP + EP + Attention/Mamba DP 的组合优于单一方案。

对 GB200 NVL72:

  • 72 GPU 在同一 NVLink Domain,对大 EP 尤其合适。

  • EP All2All 可以留在 NVLink Domain,不跨 InfiniBand。

  • 服务还要做最少负载 Worker 路由,避免同步 All2All 中负载小的 Rank 等负载大的 Rank。

  • 热专家可以通过专家级负载均衡/专家副本缓解。

7.3 PD 分离

Nemotron 3 Ultra 采用了 PD 分离,让 Prefill 和 Decode Worker 使用不同并行策略和调度机制。

Hybrid Mamba-Attention 会引入额外的复杂性:

  • 纯 Attention 只需要传 KV Cache,Hybrid 模型还需要传 Mamba SSM State。

  • Cache-State Event 必须区分 KV Cache 与 Mamba SSM State。

报告称进行了相关上游改动,在 Prefill-Heavy Workload 上测得最多约 10% 吞吐提升:

  • 语义 KV-Event Metadata Path,用于标识 Hybrid Cache Group。

  • 多节点 Ray 所需的 NIXL 侧信道主机解析修复。

7.4 Prefill 与 MoE chunking

Prefill-Heavy Workload 常用 Request-Level Chunked Prefill,以便 Prefill Chunk 与 Decode Forward 交错。但 Chunk Size 太小会伤害 TPOT;Chunk Size 太大又会让路由专家 Kernel 在大 EP 下碰到 Kernel-Level 资源限制。

解决方案是 MoE-Side Chunking:在 MoE Kernel 内部把 Token Batch 切开,使 Request-Level Chunk Size 可以增大,同时不触发 MoE Kernel 资源上限。

7.5 GEMM Shape 与 Padding

某些 TP 维度、量化格式、硬件的组合会让 Per-Rank GEMM 维度不满足 Kernel 对齐。NVIDIA 当前做法是在加载时 Padding 受影响的权重,并让运行时忽略 Padded 位置。

工程建议:未来模型设计时提前选择内部维度,使常见 (TP, 量化, 硬件) 组合天然满足 Kernel  友好的 Shape,避免部署期 Padding。

跳转微信打开

  •  

端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

原创 王召德、潘逢治 2026-06-11 19:44 浙江

当我们谈论“把大模型跑在手机上”时,速度始终是绕不开的核心问题。模型越大、参数越多,推理时的矩阵乘法运算量就越大。

随着 Arm 第二代可伸缩矩阵扩展 (SME2) 技术的普及,以及 MNN 推理引擎的深度适配,我们找到了一把打开端侧性能天花板的钥匙。只需在编译时开启一个开关,就能让 Qwen3-VL-4B 这样强大的多模态模型,在支持 SME2 的旗舰手机(如 vivo X300 等)上实现实时流畅推理。

本文,我们直接从工程落地的角度,手把手带你完成从引擎编译、模型部署到 APP 构建的完整流程,并用实测数据告诉你:为什么这套组合拳能让 Qwen 在端侧起飞。

什么是 SME2?

SME2 是 Armv9 架构中的一组高级 CPU 指令,它基于 SME 升级,核心突破在于引入了 ZA 矩阵累加器寄存器和流式模式。传统 Neon 做矩阵乘需要手工将外积拆成向量乘再累加,而 SME2 中的 FMOPA 等指令可以一条指令完成一个矩阵 tile 的外积累加。

通过引入 SME2 指令集,Armv9 架构 CPU 能够在 AI 异构计算框架下,高效支持大语言模型推理、图像处理、自然语言处理、语音生成等实时移动端推理任务。

认识我们的工具箱

在开始实战前,我们先了解一下本次部署的核心组件:

MNN:阿里巴巴开源的端侧推理引擎,具备高性能、轻量级、高通用性的特点。支持 CNN、Transformer、LLM、扩散模型等多种架构。

MNN-LLM:MNN 中专为大语言模型设计的模块,提供了从模型转换、量化到推理部署的全链路工具。

Qwen 模型:本文以 Qwen3-VL-4B-Instruct 为例——一个 4B 参数的视觉语言模型,支持图文理解和对话,体积适中,模型能力较强。

MNN 模型仓库:MNN 官方已经为大家转换和量化了多款 Qwen 模型,可直接下载使用。

MNN 的 SME2 适配:MNN 对 SME2 的支持采用编译时内建 + 运行时自动检测的设计,用户无需手动配置:

  • 编译时:通过 MNN_SME2 开关(默认 ON)控制是否编译 SME2 优化内核

  • 运行时:启动时自动检测硬件是否支持 SME2,支持则走 SME2 加速路径,不支持则回退到 i8mm → Neon,不会崩溃

  • 三精度覆盖:FP32、FP16、INT8/INT4 量化均有手写 SME2 汇编内核

  • 大小核调度:感知 SoC 大小核拓扑,SME2 大核用大 tile 处理主体计算,Neon 小核处理剩余部分,并行工作

  • KleidiAI 集成:集成 Arm 官方 KleidiAI 加速库,提供更多 SME2 微内核

实战演练:从零构建 SME2 加速的端侧大模型

接下来我们从源码开始,手把手走一遍开启 SME2 加速的完整端侧大模型部署流程。

前置准备

请确保以下环境已就绪:

  • Android NDK:推荐 r27+,需设置 $ANDROID_NDK 环境变量

  • ADB:用于与手机通信,adb devices 可正常发现设备

  • JDK 17:Gradle 编译 APP 所需

  • 手机:开启开发者模式和 USB 调试,通过 USB 连接电脑

Step 1:编译推理引擎

🟣 为 Android 编译 MNN 引擎的动态库(.so 文件)和命令行推理工具。 

SME2 功能默认开启,可以通过 -DMNN_SME2=ON/OFF 显式控制开关。

    # 1. 进入 MNN 的 Android 工程目录
    cd MNN/project/android


    # 2. 创建编译目录
    mkdir build_64 && cd build_64


    # 3. 执行编译(SME2 默认开启,可通过 -DMNN_SME2 控制)
    ../build_64.sh "-DMNN_SME2=ON -DMNN_KLEIDIAI=ON -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=OFF -DCMAKE_SHARED_LINKER_FLAGS='-Wl,-z,max-page-size=16384' -DCMAKE_INSTALL_PREFIX=."


    # 4. 整理编译产出
    make install

    💡 make install 是必要的——它会将 libMNN.so 拷贝到 build_64/lib/ 目录,后续 APP 编译时会从这个路径引用动态库。

    编译完成后,build_64/ 目录下会生成以下关键文件:

    • libMNN.so:MNN 核心引擎库

    • llm_demo:命令行推理工具

    • llm_bench:性能基准测试工具

    Step 2:准备模型

    🟣 方案一:直接下载 MNN 格式的模型(推荐) 

    MNN 官方已提供转换和量化好的模型,可一步到位:

      cd MNN/transformers/llm/export
      pip install modelscope
      modelscope download --model MNN/Qwen3-VL-4B-Instruct-MNN --local_dir Qwen3-VL-4B-Instruct-MNN

      🟣 方案二:使用 MNN 的模型转换工具自行转换 

      如果需要自定义量化参数或使用其他模型,可以手动转换:

        # 1. 进入 MNN-LLM 的 export 目录
        cd MNN/transformers/llm/export


        # 2. 安装 Python 依赖
        pip install -r requirements.txt


        # 3. 从 ModelScope 下载原始模型
        modelscope download Qwen/Qwen3-VL-4B-Instruct --local_dir Qwen3-VL-4B-Instruct


        # 4. 执行转换(HQQ 量化)
        python llmexport.py --path Qwen3-VL-4B-Instruct --dst_path Qwen3-VL-4B-Instruct-MNN --export mnn --hqq

        💡 提示:--export mnn 代表导出为 MNN 格式,--hqq 是推荐的量化选项,可以有效提升模型精度。

        Step 3:推送到手机,命令行验证

        🟣 将引擎和模型推送到手机,通过命令行快速验证推理是否正常。

          # 1. 推送引擎文件到手机
          adb push project/android/build_64/llm_demo /data/local/tmp/
          adb push project/android/build_64/llm_bench /data/local/tmp/
          adb push project/android/build_64/libMNN.so /data/local/tmp/


          # 2. 推送模型到手机
          adb shell mkdir -p /data/local/tmp/mnn_models
          adb push Qwen3-VL-4B-Instruct-MNN /data/local/tmp/mnn_models/


          # 3. 进入手机 shell
          adb shell


          # 4. 赋予执行权限
          chmod +x /data/local/tmp/llm_demo /data/local/tmp/llm_bench


          # 5. 创建 prompt 文件
          echo "你好" > /data/local/tmp/prompt.txt


          # 6. 设置动态库路径并运行推理
          cd /data/local/tmp
          export LD_LIBRARY_PATH=/data/local/tmp:$LD_LIBRARY_PATH
          ./llm_demo /data/local/tmp/mnn_models/Qwen3-VL-4B-Instruct-MNN/config.json /data/local/tmp/prompt.txt

          💡 知识点:为什么要设置 LD_LIBRARY_PATH?llm_demo 动态链接了 libMNN.so,Android 系统默认只在 /system/lib64 等系统目录搜索动态库,不会搜索 /data/local/tmp/。设置此变量告诉链接器也去指定目录查找。

          当你看到模型流畅地回复时,恭喜,推理引擎已经跑通了!

          🟣 确认 SME2 硬件支持 

          在电脑上另开一个终端窗口,运行:

            adb logcat | grep "device supports"

            会看到类似输出:

              The device supports: i8sdot:1, fp16:1, i8mm: 1, sve2: 1, sme2: 1

              其中 sme2: 1 表示手机的 CPU 硬件支持 SME2 指令集,MNN 引擎会自动使用 SME2 加速路径进行推理。

              💡 这行日志反映的是硬件检测结果,与编译选项无关。-DMNN_SME2=ON/OFF 控制的是编译产物中是否包含 SME2 优化代码——即使硬件支持,如果编译时关闭了该选项,引擎也不会走 SME2 加速路径。

              Step 4:构建端侧 AI 应用

              🟣 命令行验证成功后,我们可以将推理能力集成到一个完整的 Android APP 中。本文以 MNN 自带的 MNN Chat 示例应用为例:

                # 1. 进入示例应用目录
                cd MNN/apps/Android/MnnLlmChat


                # 2. 编译 APK
                ./gradlew assembleStandardDebug


                # 3. 安装到手机
                adb install app/build/outputs/apk/standard/debug/app-standard-debug.apk

                💡 提示:APP 编译时会自动从 project/android/build_64/lib/ 引用 libMNN.so 并打包进 APK,所以不需要再手动推送 .so 文件到手机——安装 APK 即完成了引擎的部署。

                安装完成后,如果之前 Step 3 已将模型推送到 /data/local/tmp/mnn_models/,打开 MNN Chat 即可在"我的模型"中找到 Qwen3-VL-4B-Instruct 模型。你也可以通过 APP 内的模型市场直接下载其他模型。

                以下是 MNN Chat 在手机上进行多模态问答的实际演示——用户拍照后,模型即可理解图片内容并流畅回答:

                性能测评:SME2 带来多大提升?

                为了验证 SME2 带来的实际性能收益,我们分别编译了 SME2 开启 和 SME2 关闭 两个版本的引擎,在同一台设备上使用 llm_bench 进行对比测试。

                测试环境

                • 设备:vivo X300

                • 模型:Qwen3-VL-4B-Instruct-MNN

                • 测试工具:llm_bench

                Prefill 阶段提升最为显著(+81%):因为 Prefill 需要一次性处理整段输入 token,是计算密集型任务(大批量矩阵乘),能充分利用 SME2 的矩阵外积指令和大 tile(HP=128)内核。这直接意味着更短的首字等待时间。

                Decode 阶段提升相对较小(+13%):因为 Decode 是逐 token 生成,矩阵乘退化为矩阵×向量运算(batch=1),瓶颈在内存带宽而非计算吞吐,SME2 的优势相对有限。

                进阶调优

                在完成基本部署后,你可以根据自己应用的需求,通过以下手段进一步提升性能和精度: 

                🟣 模型导出参数调优 在执行 llmexport.py 时,可以附加不同参数:

                🟣 运行时参数调优 模型导出后,可以通过修改 config.json 控制运行时行为:

                通过本文,我们完成了一条完整的端侧大模型部署路径:编译 MNN 引擎 → 准备模型 → 命令行验证 → 构建 APP → 性能测评。

                SME2 作为 Arm 最新的矩阵加速指令集,在 MNN 的深度适配下,为端侧大模型推理带来了实实在在的性能提升——Prefill 阶段提速超过 80%。而 MNN 的"编译时内建 + 运行时自动检测"设计,让开发者无需额外配置即可享受硬件加速红利。

                随着SME2技术的进一步广泛采用,端侧 AI 的性能天花板正在被不断抬高。期待看到更多创新的端侧 AI 应用!

                你在端侧部署中遇到的最大“坑”是什么?欢迎在评论区分享,我们将选取三位同学送出定制周边一份。

                推荐阅读

                Agent 辅助开发,一站式打通 Qwen3-VL Android 端侧推理

                教程首发|让手机拥有视觉感知能力

                跳转微信打开

                •  

                Agent-Native 开发框架设计

                idoubi 2026-06-11 18:00 广东

                聊聊 Agent-Native 开发框架应该怎么设计👇

                在谈 Agent-Native 之前,我们应该很熟悉 Cloud-Native 、AI-Native 这些概念,或者是 Native Speaker 这种表达

                Native 就是原生的意思,强调的是事物最开始就是这个样子的,而不是后来改成这样的。

                1. English Native Speaker 指的是一出生就在英语环境,母语是英语的人

                2. Cloud-Native 强调的是业务一开始就在云上跑,而不是通过去 IOE 化把原来的系统迁移上云

                3. AI-Native 强调的是产品设计之初,功能和流程都是基于 AI 的能力来设计的,离开 AI 跑不起来或者跑不出好的效果

                Agent-Native,讲的是产品功能和工作流程都是基于 Agent 的特性和能力来设计的,离开 Agent 就不 work

                回到 ShipAny 框架的设计。在 ShipAny One、ShipAny Two 里,我们已经积累了一堆常用的业务功能:登录、注册、支付、 存储、多语言、SEO、管理后台等。

                在新版本的 ShipAny 里,这些能力全部模块化了,按需启用,可插拔。关键是设计了几个核心的 Skills,把 ShipAny 内置的功能模块、开发流程都描述清楚,包括模块说明、数据表结构、API 参数等。Agent 读到这些 Skills 后,能快速搞懂整个框架的架构设计,然后按流程开发。

                Agent-Native 开发框架的设计,首先要保证集成的功能足够多,功能模块化、低耦合。其次要梳理通用的开发流程,包括初始化项目、创建新模块、设计新页面、设计图片等。然后把每个流程文档化,不同的流程可组合,沉淀成 Agent 能理解的 Skills。

                ShipAny 内置的核心 Skills 包括:

                1. quick-start:快速初始化新项目,完成 MVP 版本开发

                2. clone-website:复刻指定网址的项目

                3. new-module:开发新的功能模块

                4. new-page:开发新的页面

                5. deploy-cloudflare:一键发布到 Cloudflare

                还有 generate-image(生成图片)、sync-upstream(同步上游更新)、security-scan(安全扫描)、launch-audit(发布前审计)等,基本覆盖了一个项目的完整开发周期。

                ---

                ShipAny 新版本发布不到 2 天,已开 200 单,老用户复购比例很高,ShipAny 作为 AI 出海金刚铲的定位正在被越来越多的人认可。🎉

                在 ShipAny 官网输入优惠码 NEXT 下单,获取先进的 Agent-Native 开发框架。不需要人去写代码了,完全交给 Agent,一小时上线你的 AI 产品。😄

                跳转微信打开

                •  

                MiMo Code 发布并开源|模型 Agent 协同优化,迈向自进化时代

                原创 小米大模型 2026-06-11 02:06 北京

                始于编程,远不止于编程

                今天,我们正式发布并开源 MiMoCode V0.1.0—— 一款运行在终端里的探索性 AI 编程助手。

                MiMo Code 始于编程,不止于编程。它不只是一个好用的 AI Coding 工具,更是一位住在你电脑里、越用越懂你的 AI 队友。

                它内置限时免费的顶级多模态模型 MiMo-V2.5,性能比肩 Claude Sonnet 4.6;同时支持接入 DeepSeek、Kimi 和 GLM 等主流模型,以及第三方 Token Plan,满足不同开发者的需求。

                MiMo Code 基于开源项目 OpenCode 二次开发,发布并开源,采用 MIT协议。

                 核心能力

                持久记忆系统 + 无限上下文:从根上解决“AI健忘”

                MiMo Code 内置独创的持久记忆系统,用项目记忆、会话检查点、任务进度三重机制,解决长会话“越用越忘”的难题。即使上百轮的长程会话,也能保持输出质量、不丢关键信息。

                主流 Code Agent(Claude Code、Codex 等)多是“让 AI 自己记笔记”,但模型不会主动触发,记不记、何时记全靠它自觉。所以我们换了个思路:让主 agent 专心干活,记录完全外包 —— 由独立 subagent 自动保存状态,窗口快满时重建一份干净简报,主 agent 接着干而非从零开始。

                一句话:不赌模型自觉,用工程把它兜住。

                模型 Agent 协同优化 + 独创 Compose 模式

                大多数 Coding Agent 的工作方式是「拿到需求就埋头写代码」,像一个不看导航就上路的司机——看似高效,实则容易跑偏。

                但模型并非千篇一律:不同模型各有自己的"性格"与"禀赋",与不同的 Agent 框架之间也存在天然的"适配度"高低。把模型和框架简单拼在一起,往往发挥不出真正实力。

                MiMo Code 为 MiMo 系列模型量身打造了一套专属的 Harness 系统,让模型的能力与框架深度配合;再配合独创的 Compose 模式,实现 1+1>2 的协同效果。

                使用时,只需按 Tab 键切换到 Compose 模式,给它一个简单的想法,它就能自动完成设计、规划、编码、测试、审查的全流程,最终交付一套工业级的成品。

                实测对比

                我们给两个工具下了同样的指令:

                「帮我用 golang 实现一个 redis,需要支持用 redis-cli 连接。」

                Claude Code 出手很快,代码很快就跑了出来——但几乎没有配套测试,功能能用却不够扎实,后续返工的风险不小。

                MiMoCode 用 Compose 模式,前期花了更多时间做规划,看起来“慢”了一截;但落到结果上,它实现了更丰富的功能,并配上了完整、详尽的测试,真正体现出工业级代码该有的样子。

                有意思的是,算总账反而是 MiMoCode 更快:它把时间花在前期想清楚、后期验得稳上——慢写、快验,整体体验更省心。

                Dream:记忆沉淀,越用越懂你

                MiMoCode 内置了一个独特的 /dream命令。每 7 天自动触发,由独立 Agent 读取历史会话和现有记忆文件,执行合并、去重、验证路径有效性和压缩,将分散的记忆收敛为一份紧凑的当前状态,并更新全局记忆。

                到了下次使用,它会在合适的时机自动调用这些记忆。这意味着 MiMo Code 不会每次都从零开始,而是带着对你和你项目的理解持续成长——真正做到越用越顺手。

                支持语音输入:“君子动口不动手”

                MiMo Code 内置了语音输入与控制功能,背后是 MiMo-V2.5-ASR 的强大语音识别能力加持。动动嘴,活就干了。

                它能做的不只是“念出 prompt”:你可以口头修改写错的指令,也可以直接发出“发送”“执行”这类操作命令——从输入到操控,全程不用碰键盘,效率自然又上一个台阶。

                 用数据说话:同模型,更强表现

                在两个面向真实编程场景的权威测试集 SWE-Bench 和 Terminal Bench 上,我们做了一组对照实验:让 MiMo Code 与 Claude Code 使用同一个 MiMo 模型,只比拼各自的 Agent 系统本身。

                结果显示,MiMo Code 在 SWE-Bench Pro 上达到 62%(Claude Code 为 57%),在 Terminal Bench 2 上达到 73%(Claude Code 为 68%)—— 在模型完全相同的前提下,MiMo Code 凭借专属 Harness 与 Compose 模式的协同,拿到了较优的分数。

                 如何使用:零配置起步,开箱即用

                安装与启动:打开终端

                装好后,终端输入 mimo即可启动。为了获得最佳体验,强烈推荐 Mac用户在 iTerm 中或者 vscode 终端中使用。

                • 模型配置

                  • 内置 MiMo-V2.5 限时免费通道,无需注册即可使用

                  • 兼容 DeepSeek / Kimi / GLM 等主流模型 API,及第三方 Token Plan

                • 使用:

                  • 输入 / 查看各项配置

                  • 所有设置项全面中文汉化,本地友好

                  • TUI 页面右侧常驻状态看板,随时观察工作进度

                更多技术细节,欢迎关注我们的团队 Blog:https://mimo.xiaomi.com/mimocode

                 开源与展望

                MiMo Code 发布并开源,采用宽松的 MIT 协议——这意味着它对几乎所有人都敞开:

                • 个人开发者可以自由使用、修改、分发,想怎么折腾都行;

                • 企业可以把它集成进自己的开发工具链,无需担心授权束缚;

                • 社区可以基于它打造垂直领域的编程助手,长出更多可能。

                我们相信,一个好工具的价值不止于“能用”,更在于它能被多少人共同打磨、走向何方。期待与你一起,把 MiMo Code 变得更好。

                跳转微信打开

                •  
                ❌