铃阅时讯
❌

阅读视图

理性审视Openclaw:一场养虾热下的企业级适用性深度剖析

原创 风叔 2026-03-23 20:00 上海

Openclaw范式更像是一款优秀的个人AI工具框架,而非成熟的企业级解决方案。对于企业而言,现阶段更理性的做法是:边缘场景小范围试水尝鲜,核心业务坚决观望等待,等到这套范式补齐企业级管控、安全、合规能力后,再考虑规模化落地

最近AI圈被一只“小龙虾”彻底刷屏,Openclaw凭借极简的部署体验、开箱即用的AI自主执行能力,在国内掀起了全民“养虾”热潮。从个人办公自动化到小众场景的效率提升,无数开发者和普通用户都在体验这套AI范式带来的便捷,社交平台上的玩法分享层出不穷。

但热潮之下更需冷静思考,Openclaw的核心价值不是单一工具本身,而是一套全新的AI自主执行范式。QClaw、WorkBuddy等一众衍生产品,本质都是这套范式的本土化、场景化延伸。可这套适配个人场景的灵活范式,真的能无缝迁移到企业端吗?对于追求稳定、可控、安全的企业业务而言,Openclaw范式的狂欢背后,藏着难以忽视的落地陷阱。

一、Openclaw范式到底是什么?

Openclaw范式的本质,是“本地优先、模块化解耦、AI自主执行”的AI Agent架构体系,它彻底打破了传统AI“只给建议、不做执行”的局限,让大模型从“顾问”变成“执行者”。这套范式有着清晰的模块划分,各司其职又协同联动,构成了完整的任务执行闭环。

根据官方描述,Openclaw主要有五大模块:

1. Gateway(网关中枢)

定位:整个范式的核心调度大脑,所有模块的交互枢纽。

核心作用:统一接收用户指令、调度子模块、管理会话状态、协调资源分配,相当于AI系统的“交通指挥中心”。

举例:用户在飞书、钉钉发送AI指令,先通过Gateway完成身份校验、路由分发,再将任务派发给对应执行单元,避免多模块冲突、指令混乱。

2. Agent Runtime(智能体运行时)

定位:AI决策与任务拆解的核心大脑,自主执行的逻辑载体。

核心作用:理解用户意图、拆分复杂任务、调用模型推理、规划执行步骤,决定AI“做什么、怎么做”。

举例:收到“整理本周客户数据并生成周报”的指令,Agent Runtime会拆解为“提取数据→清洗格式→生成图表→撰写文案”等子任务,依次调度对应能力完成。

3. Channels(交互渠道)

定位:用户与AI交互的入口,屏蔽平台差异的适配层。

核心作用:适配多平台消息格式,实现跨渠道指令接入与结果反馈,无需独立APP即可交互。

举例:支持Telegram、飞书、钉钉、企业微信等50+渠道,用户在日常办公软件发消息,就能触发AI执行,不用额外切换工具。

4. Skills(技能体系)

定位:AI的“手脚”,可复用的执行能力封装。

核心作用:将单一操作封装为标准化技能,实现文件读写、浏览器控制、API调用、脚本执行等落地动作。

举例:邮件自动发送、表格数据筛选、网页信息爬取等都是独立Skill,可按需组合调用,社区已沉淀数千种开箱即用技能。

5. Nodes(执行节点)

定位:AI能力的物理载体,分布式执行单元。

核心作用:承接Skill的实际执行动作,支持多设备、多终端分布式部署,拓展AI执行边界。

举例:电脑端节点处理办公文件,服务器节点运行批量任务,手机端节点调取相机、短信能力,实现全场景覆盖。

除五大模块外,Openclaw还有四大支撑能力,保障系统稳定运行

Providers(模型提供商):兼容云端大模型(GPT、Claude、通义千问)与本地开源模型,实现模型灵活切换、故障转移,避免单一模型依赖。

Memory(记忆模块):存储会话上下文、历史任务、用户偏好,实现长对话连贯执行,比如记住用户常用报表格式、客户沟通习惯。

Workspace(工作空间):本地文件存储与任务隔离区,所有执行数据、技能配置、日志都存在本地,保障数据隐私。

Plugin(插件体系):模块化扩展接口,支持自定义渠道、技能、模型接入,让范式适配不同场景需求。

Openclaw这套范式相比之前的Agent框架,主要有以下核心优势。

1. 极致灵活可扩展:模块完全解耦,新增技能、渠道、模型无需改动核心架构,企业可按需定制能力。

2. 本地优先设计:数据不强制上传云端,核心执行、存储都在自有设备,降低数据泄露风险。

3. 低门槛开箱即用:零代码/低代码部署,非技术人员也能快速上手,降低AI落地成本。

4. 生态协同性强:衍生产品共用底层范式,技能、插件可互通复用,快速丰富能力矩阵。

二、Openclaw范式在企业级场景的三大核心风险

优势再亮眼,也掩盖不了Openclaw范式为个人场景设计、缺乏企业级管控的先天缺陷。对于企业而言,业务稳定、数据安全、结果可控是底线,而这套范式恰恰在核心诉求上存在难以弥补的漏洞,且问题源于范式本身,而非单一工具优化能解决。

风险一:核心业务的确定性缺失,AI自主决策=不可控

企业核心业务(生产、供应链、营销、财务)的第一诉求是100%确定性,每一步执行、每一个结果都必须符合流程规范,容不得半点偏差。但Openclaw范式的核心逻辑是“AI自主分析、自主决策、自主执行”,完全依赖大模型推理能力,结果具有极强的随机性。

例如某企业尝试用Openclaw范式处理供应链库存调度,AI自主判断“库存偏低”后,擅自触发采购指令,却忽略了企业淡季囤货规则、供应商账期限制,导致过量采购、资金占用。这种“黑盒执行”模式,在个人场景是便捷,在企业核心业务中就是灾难——企业无法预判AI决策、无法锁定执行流程,一旦出错,直接造成经济损失、合规风险。

风险二:安全机制薄弱,高危操作无兜底,误操作频发

Openclaw范式虽然有基础权限管控,但缺乏企业级的安全审计、权限隔离、高危操作兜底机制,本质是“宽松的个人安全逻辑”,无法适配企业严苛的安全标准。目前社区已出现多起严重的AI误操作案例,且难以溯源、难以挽回。

在X上,已经有多起Openclaw引起的企业安全事故。部分用户部署的Openclaw衍生工具,因模型理解偏差,误执行删除命令,导致企业数据库表、业务日志、客户资料被永久删除。还有AI自主调用系统命令,突破简易权限限制,访问涉密文件、篡改业务配置。更有渠道接入漏洞,导致外部人员非法调用AI执行高危操作,数据外泄风险极高。

企业核心数据、业务系统是生命线,Openclaw范式的安全短板,相当于给企业业务留下了“随时可能引爆的地雷”。

风险三:运维与合规失控,无法满足企业监管要求

除了确定性和安全,企业还面临严格的内控、审计、合规要求,而Openclaw范式在这一层面也面临巨大风险。

运维管控缺失:多节点、多智能体并行执行时,无法统一监控、统一运维,单个节点故障可能引发连锁反应,且难以快速定位问题;

审计溯源困难:AI执行过程、决策逻辑、操作记录缺乏标准化、不可篡改的审计日志,出现问题后无法追责、无法复盘;

合规性不达标:无法满足金融、制造、政务等行业的数据合规、操作留痕、权限分级要求,触碰监管红线。

综上所述,Openclaw范式并非毫无企业价值,但适用场景极其有限:仅适合不追求极致确定性、不涉及核心数据、容错率高的边缘办公场景,比如市场调研初步分析、个人邮件整理、日常文档排版、非涉密信息汇总等个人办公助理场景。但对于企业核心生产、供应链管理、精准营销、财务结算、客户数据管理等关键环节,Openclaw范式的先天缺陷,决定了它现阶段不具备落地条件——哪怕优化细节,也无法改变“AI自主执行、缺乏强管控”的范式本质。

三、热潮归热潮,企业落地要守底线

Openclaw范式的爆火,是AI自主执行时代的一次重要探索,它证明了“AI直接做事”的可行性,也为个人效率提升提供了全新思路,其模块化设计、本地优先理念,值得行业借鉴。

但企业数字化转型,不能只是追风口、玩概念,而是要兼顾效率、稳定、安全。Openclaw范式更像是一款优秀的个人AI工具框架,而非成熟的企业级解决方案。对于企业而言,现阶段更理性的做法是:边缘场景小范围试水尝鲜,核心业务坚决观望等待,等到这套范式补齐企业级管控、安全、合规能力后,再考虑规模化落地。毕竟,企业业务容不得试错,比起AI自主干活的便捷,不出错、能管控、可追责才是底线。

如果企业想借鉴Openclaw范式的优势,建议采用“人工审核+AI执行”的半自主模式,保留最终决策权,同时搭建专属的权限隔离、审计日志体系,降低落地风险。

跳转微信打开

  •  

43 Talks报名 | 智能体突围,AI创业者们如何构建新叙事?

薛临风 2026-03-23 19:44 北京

智能体突围!A2A范式下的新叙事

TOKEN通胀、 智能体狂热的当下,AI正在迈步走下下一个范式 —— 即我们开始面向智能体来搭建服务,而站在AI前沿的创业者们,他们有什么样的坚守和追求?

OpenClaw的爆火似乎又点燃了一轮新的狂热,当大模型在狂飙猛进,朴素的代码在消亡,产品的形态在演化……我们正等待一场新的黎明。

长久以来,我们都习惯于打磨给人类使用的工具。而现在,当核心逻辑从“为人服务”悄然转向“面向Agent服务”,AI时代的叙事逻辑从未如此多变。这究竟是为创业者开辟了前所未有的无垠蓝海,还是打开了让产品失去焦点的潘多拉魔盒?

当智能体狂热与TOKEN通胀交织,喧嚣褪去后,我们必须回到最本质的追问:

  • 在A2A(智能体到智能体)的范式转移下,哪些产品方向是真正能跨越周期的机遇,哪些只是昙花一现的泡沫?

  • 当系统与系统直接对话,过去被奉为圭臬的“用户体验”是否将被彻底重写?

  • 面对演进飞快的模型能力,今天的创业者们,究竟是在追求什么?

让我们共同落座,来一场 智能体 于你,于当下,于未来的思辨。

本期 43 Talks,我们邀请了三位身处“智能体互联”风暴中心的探路者。他们中有洞察全局的产品思想家,也有在开源与商业化一线披荆斩棘的技术极客与创业者。他们将从产品哲学、生态导航、到营销叙事的多元视角,剖析当下的技术路径,与我们一同探寻A2A范式下的未来图景。

PART 02

特邀嘉宾

玉伯(王保平)

分享主题:《万物化稿,稿生万物 —— AI时代下产品的反共识哲学》

身份:YouMind创始人 | 语雀创始人 | 前飞书产品副总裁 | 前阿里体验技术部负责人

如果在前端与产品界有谁的分享是不容错过的反共识,那玉伯的“诚实”暴论必定名列前茅。作为曾经阿里前端第一人,他在大厂效力十余年,亲手缔造了Ant Design与国民级知识库语雀。但在AI大航海时代,他选择褪去高管光环,一头扎进AI荒野“养小孩”,致力于“万物化稿,稿生万物”的全新探索。

作为横跨底层技术与产品组织效率的顶级观察者,玉伯总能敏锐地刺穿喧嚣的表象。当无数人试图造出全能Agent来讨好用户时,他将带我们回归最深层的产品哲学思考:在AI时代,为什么我们需要反共识?当产品形态发生剧变,“人”的内核与价值又该安放于何处?

施德来

分享主题:《A2A 的探索 -- 给 OpenClaw 们打造 ”导航地图“》

身份:Refore UIMap创始人 | 腾讯云TVP | 前前端技术总监 | 前产品总监

横跨技术研发与产品架构设计双领域,施德来对“人与数字世界的交互”有着极为深刻的技术直觉和产品基因。身为腾讯云TVP与资深的技术/产品双料总监,他见证了软件工程在不同周期的演进,而如今他创立的Refore UIMap,正处于用前沿技术重写系统交互边界的第一线。

在大模型狂飙的今天,施德来将带我们拨开迷雾:当A2A(智能体互联)成为趋势,海量的Agent就像是在赛博空间里行驶的车辆,它们需要怎样的基础设施?他将从一线工程视角的探索出发,分享如何为OpenClaw这样破圈的智能体们,打造一张精准的“导航地图”。

杜鑫康(Frank)

分享主题:《A2A 不可逆之路:从 人机交互 到 智能体 互联,以及如何通过vibe markting重塑 AI 产品叙事》

身份:MIST Ai CTO | Harness Engineer | OpenClaw龙虾开发者 | AI商业化专家

兼具极客的硬核与商业的敏锐,杜鑫康是智能体从技术概念走向真金白银的最佳推手。作为OpenClaw龙虾的开发者和连续创业者,他深耕大模型全栈领域超过多年,曾主导网易大模型及AI Agent项目全链路落地。

杜鑫康从不迷信单体大模型的暴力美学。他将从研发与商业化的双重视角出发,拆解为何“A2A是一条不可逆之路”。同时,身处智能体泛滥、注意力稀缺的当下,他更将带来极具实操性的商业洞察——当产品不仅面临技术的内卷,更面临营销的突围时,如何通过创新的“Vibe Marketing”重塑AI产品的商业叙事。

PART 03

圆桌激辩:在“失控”的边缘寻找确定性

在随后的圆桌环节,我们将脱下包装,让三位AI探路者在真实交锋中碰撞火花。

各位嘉宾将从OpenClaw聊到A2A,从SaaS聊到未来的智能体叙事逻辑,这场对话会围绕着创业者们隐秘的焦虑与野心,从现象中剥离本质,去寻找产品新的护城河,去畅想属于智能体和人类的未来,以及挖掘每一位创业者身上,永不会被取代的“内核”。

请相信每一个问题,都会对你有帮助。 答案,只在落座后的交锋中浮现。

那就请大家扫码报名,欣然入座,且思且辩。

跳转微信打开

  •  

有知有行 Constitution v1.0

原创 孟岩 2026-03-23 16:54 北京

这份文件试图讲述有知有行是什么样的存在:我们是谁,我们相信什么,我们如何在一起,以及当我们面对一个全新的情境、没有先例可参照时,能帮我们做出符合自己本心的判断的那些东西。

它的读者是每一个和有知有行有关的人:正在其中工作的伙伴,考虑加入的人,与我们合作的人,使用我们产品的用户,以及各方的 Agent。我们希望每一位读者在这份文件中看到的不是一组需要遵守的规则,而是这些规则底层那些生命的力量。读完之后觉得「这就是我想加入的地方」或者「这不是我想用的产品」,两种反应对我们来说同样有价值。

我们选择用段落而非清单来描述这些信念。清单可以罗列特质,但无法传达特质之间的张力——耐心和进取如何共存、自由和责任如何平衡、对用户的关心和对商业现实的尊重如何在同一个决策中相遇。这些张力才是有知有行真正的样子,而它们只能在段落中被看见。

有知有行是一家在金融行业试图做不同事情的公司。金融行业有一种深层的结构性力量,当收入来自用户的交易频率和产品复杂度时,安静就成了利润的敌人。我们试图站在这个力量的另一边,而这个位置既不安全也不轻松。这份文件记录的,是支撑我们站在这里的那些信念。它会随着有知有行的成长而演化,但其中最深处的部分,我们希望能穿越时间。

有知有行是谁?

有知有行相信,投资和理财,在大多数人的人生中应该扮演一个安静的角色。它应该安静地待在那里,让人安心而不是焦虑。你知道它在那里,你理解它,信任它的运作方式,然后把注意力放在工作、家庭、创作、和那些真正让你热爱的事情上。

但现实中,投资对很多人来说恰恰是最不安静的事情之一。市场波动制造焦虑,信息过载制造困惑,金融产品的复杂性制造不信任。一家公司存在的意义,本应是为用户创造价值,而利润是价值的副产品。但当一个行业的注意力从价值转向收入,而收入又来自用户的交易频率和产品复杂度,顺序就被颠倒了。利润成为目标,用户变成手段,安静成了利润的敌人。没有人因为恶意这样做,但激励机制的力量比意愿更大。

有知有行试图做一件不同的事。帮用户理解基本的金融常识,了解自己的家庭财务状况,找到适合自己的投资策略。但不止于此。我们也希望帮用户在这个过程中看清什么对自己真正重要:什么样的生活是自己想要的,哪些人和事值得投入,自己希望成为怎样的人。我们做的所有事情——内容、产品、投资组合、基金销售,都是同一件事的不同面向:帮用户获得足够的安心之后,把最宝贵的注意力释放出来,去全情地生活。

但什么是足够?这是一条微妙的分界线。它不是一个数字,而是一种心理状态。在这条线的一侧,是对未来更有底气,生活安心,内心自由而从容;另一侧,是别人是不是赚了更多,我是不是错过了什么,那个产品是不是更好。我们的工作之一,是和用户一起找到属于自己的这条线,然后有勇气停在那里,把省下来的注意力还给自己的人生。

更深一层说,金钱触及的从来不只是金钱。一个人对投资的焦虑,背后常常是对未来的不安,对自我的怀疑,对失控的恐惧。金融行业最常见的做法,恰恰是在这些脆弱被暴露的时刻,那些贪婪被点燃或恐惧被放大的时候,去刺激和利用它。我们选择站在另一边:在用户最冲动的时候带来冷静,在用户最恐惧的时候陪在身旁。说到底,我们希望对待用户的方式,就是我们对待自己的方式。

这意味着有知有行和用户之间的关系,从根本上不是一种销售关系。大部分金融机构的工作是放大需求,让你觉得还不够、还可以更多、还有更好的机会;我们常常需要做相反的事:帮用户意识到自己可能已经拥有了足够的东西,那些多出来的焦虑可以放下。我们推荐的产品一定是自己会买的、愿意推荐给家人的。这不是道德宣言,而是一个简单的校验:如果我们不放心把一个东西交给自己在意的人,它就不应该出现在用户面前。

所以有知有行做的事情,最终不只是帮用户做好投资,甚至不只是帮用户安顿好金钱。金钱是人生中最能放大贪婪与恐惧的领域,但也正因如此,它成为了一个人认识自己的入口。走入这扇门之后,一个人面对的其实是更大的问题:我对未来的不安从何而来?我真正想要的是什么?什么对我来说更加重要?这些问题没有标准答案,但它们值得被认真对待。

有知有行真正想做的,是陪用户走过这段路:在面对金钱的过程中,向内认识自己,向外学会与不确定性相处。当一个人真正理解了自己的恐惧和渴望背后连着什么,获得的不只是平静,而是一种更深的自由。知道自己是谁,知道什么是够,然后可以全情地去生活。

这些选择听起来并不复杂,但在真实的商业环境中践行并不容易。我们之所以这样做,是因为我们自己也在同一条路上。我们帮用户寻找的东西:认识自己、成为自己、与不确定性相处、获得内心的平静,也是有知有行作为一家公司每天在寻找的。我们不是站在终点等待用户,而是一起走在路上。我们面对着和用户同样的诱惑,当外部世界试图重新定义什么是成功、什么是够的时候,看清自己真正相信的东西,然后守护住她。

我们相信什么?

我们对投资的理解,建立在对底层规律的尊重之上。长期的、跨越不同市场的数据反复指向同一组朴素的结论:风险和收益相伴相生,股票的长期收益来自经济的增长,而未来无人知晓。我们无法预测市场,但可以信任这些规律,并在此基础上构建我们的投资体系。但投资不只是数据和策略,知道正确的事和做到正确的事之间,隔着人性的全部重量,而这段距离,往往才是决定一个人长期投资结果的关键。

有知有行存在的意义,一方面是在这些规律的基础上帮用户构建投资体系、了解自己的财务状况、做出合理的资产配置;另一方面,是陪用户走过知道和做到之间的那段距离,帮用户了解自己,在最难的时刻读懂那些焦虑和恐惧,陪在身旁。后者往往比前者更加困难,却更为重要。

有知有行对诚实的理解,从承认无知开始。投资中最诚实的一句话也许是我不知道。不知道明天市场会涨还是跌,不知道哪只基金明年表现最好,不知道经济什么时候复苏。这不是谦虚,而是对投资这件事本质的尊重。我们警惕任何声称能预测未来的表述,包括来自我们自己的。

这种诚实也体现在我们如何面对结果。市场好的时候,我们不把它归功于自己的能力;市场差的时候,我们也不制造借口来回避。收益和亏损都是投资的一部分,用户有权、也应该看到完整的、未经修饰的真相。

对于一家靠管理费生存的公司来说,这里存在一个真实的张力:用户留下来是我们的收入来源,但诚实有时会让用户离开。我们选择接受这个代价。诚实是一种复利,信任也是,每一次如实相告都在积累,而一次欺骗就足以永远摧毁。对用户隐瞒真相、在不确定时假装确定、推出自己不认可的产品,短期实现了规模和收入的增长,长期看是用信任换取了收入,而信任一旦失去就无法重建。

这也是为什么我们对利益一致有近乎执念的重视。诚实是一种选择,但我们不认为长期的诚实可以仅靠意愿来维持。当一个人的收入取决于让用户做出某种行为时,完全的坦诚几乎不可能发生。原因和我们前面说过的一样:激励机制的力量比善意更持久。

所以我们选择从结构上解决这个问题,而不是把它交给道德感。我们的收入来自用户资产的管理费。这意味着我们赚钱的唯一方式,是用户的资产在增长、用户愿意留下来,而这和用户自己的利益指向完全相同的方向。我们推荐对用户更好的产品,不是因为高尚,而是因为我们真心这样认为,而恰好我们的收入结构允许我们这样做。

但即使是管理费,也存在一个更深的张力。管理费背后依然是规模,而规模可以有两种来源:一种是用户真正从中获益、愿意留下来带来的增长;另一种是放大焦虑、迎合短期情绪换来的增长。同样的收费模式,背后可以是截然不同的用户体验。收入结构让利益一致成为可能,但不能保证它真的发生。

最终决定它是否真的发生的,不是收入结构,而是做决定的人心中的那条线——和我们帮用户寻找的那条线一样。在这条线的一侧,用户的生活因我们而更好,每天做的事都在创造真实的价值;另一侧,是去追求更大的规模、更多的收入、更前的排名,却忘记了什么是自己真正想要的。

但我们也知道,把这一切寄托在个人身上是脆弱的。外部的压力、时间的侵蚀、成功带来的膨胀,都可能让一个人渐渐偏离自己曾经画下的那条线。这也是我们选择写下这份文件并公开它的原因,让我们最深处的信念接受所有人的注视,成为一种比个人意志更持久的约束。

所有这些结构存在的前提,是有一群真正关心他人的人。结构可以让利益一致,但无法制造关心。关心在制度之前就存在,也是制度被创造出来的原因。但关心不等于讨好。讨好的本质是以对方的即时感受为目标,而关心指向的是长远的福祉。这两者在有些时候是冲突的。我们希望用户留在有知有行,是因为从中获得了真实的价值,而不是因为焦虑、习惯或者害怕错过。但仅有关心是不够的。把关心变成真正的帮助,需要智慧、克制和对人性足够深的理解。

我们真心关心用户,但我们也是一家需要成长的公司。我们不认为这两者是对立的。用户的生活因我们而变好,就会留下来,会在人生的不同阶段继续信任我们,会把我们推荐给自己在意的人。这本身就是增长,它慢,但很坚实,同时拥有复利的力量。这是一个美妙的结构:我们希望用户在成长,也希望自己在成长,而用户人生的成长,最终也会成为有知有行的成长。我们不需要在关心和成长之间做选择。

但这个结构能运转,前提是我们对快保持警惕。无论在哪个行业,最容易获得规模和注意力的方式几乎都和快有关。追逐热点的内容、迎合风口的产品、用补贴和营销换来的用户数,这些做法之所以有效,是因为它们触发的是人最本能的反应:焦虑、好奇、害怕错过。但这样吸引来的关注是短暂的,来的人不是因为理解和信任而来。这样的规模越大,越脆弱。

与这种对快的警惕相对应的,是我们对自己作品的态度。我们选择做少的事情,少的策略、少的产品、少的内容,因为我们珍惜自己和用户的注意力,也因为只有内心真正认可一件事时,才有可能把心注入其中。一篇文章、一段回复、一个产品功能,甚至这份文件里的每一个字。我们希望自己做出的一切,都能够穿越时间。

最后,有一些事情我们选择永远不做。不利用用户的恐惧和贪婪,不推荐自己不会买的产品,不把规模置于信任之上,不把用户当作收入背后的数字,不把伙伴(和 Agent)当作实现利润的机器。这些不是权衡之后的结论,而是身份的一部分。真正的危险从来不是明显的错误,而是每一步看似合理的偏离。这些红线存在的意义,是让我们在面临压力和诱惑时,不需要从头论证自己是谁。

我们的文化

我们对用户所说的一切,最终要由一群具体的人活出来。这群人如何在一起,决定了那些话是否真实。

我们常说,投资成功是一个人变成了更好的人之后,自然而然的结果。我们也这样理解自己的工作:专注做好真心相信的事情,世界会给予应得的奖励。

但这里面有一条微妙的线。为创造价值而优化,和为增加收入而优化,看起来相似,指向却不同。当一家公司变大,每个人离用户越来越远,指标就成了替代品。但它衡量的永远是表象:真心变成话术,陪伴变成留存率,用户的成长变成报表上的曲线。试图用数字去衡量这些看不见的东西,恰恰会失去它们最重要的部分。

这是有知有行不用 KPI 的原因。不是因为不在意结果,而是我们相信另一件事:人的善良、好奇和创造力本来就存在,比起用指标驱动人,更重要的是移除那些让人无法真实的东西,让人真实地存在,让事情自然地发生。

有知有行把这叫做如其所是。

如其所是意味着真实。不带着面具相处,不把不确定包装成确定,不在意见不同时选择沉默,不说出自己不相信的话。它意味着开放:讨论一件事情的时候,注意力放在事情本身,而不是忙着去捍卫自己。它也意味着平视:在意的是一个观点是否正确,而不是谁提出了它。每个人都被当作一个完整的、值得认真对待的人。

真实、开放和平视不是天然就能存在的,它们需要安全感。安全感不是一种制度安排,而是一种日常体验:犯了错,周围的人关心的是怎么解决问题,而不是追究责任;说出不同意见,不会因此失去尊重。焦虑扭曲判断力,恐惧压缩创造力。只有确信自己可以犯错、可以说真话、可以承认不知道,一个人才能真正如其所是。

安全感建立在人与人之间的善意之上。温暖是有知有行对人的基本态度:在意每个人的感受,尊重每个人的时间和尊严,关心一个人在这里是否快乐、是否有成长,不因为职位的高低而改变对待一个人的方式。但我们追求的是一种包含诚实的温暖。当人们因为关系的亲近而不忍心说出真实的判断时,温暖就变成了舒适的沉默。正因为真心在意一个人,才不会为了维持和谐而隐瞒真相;正因为尊重彼此的成长,才愿意说出那些不容易说出口的话,一起面对那些不愿面对的时刻。

安全感和温暖在一起,会带来一种更深的东西:放松。不需要表演、不需要防御、不需要恐惧,可以把全部能量投入到工作本身。我们相信好的结果和享受过程可以同时存在——既能把事情做好,也能度过美好的每一天。

在有知有行,自由和责任是同一件事。我们不用指标来控制方向,而是共享信息来支持判断——当一个人拥有了充分的信息,再加上自己的热爱和好奇,不需要被告知下一步该做什么。但这也意味着每个人对自己的判断负责,对结果负责,对身边的人负责。自由不是没有约束,而是约束以一种不压缩人的方式存在。当把规则换成理解,把指令换成信息,人就不是在执行,而是在创造——而好的结果往往就藏在这种创造里。

如其所是不只意味着真实和温暖,也意味着努力和韧性。我们选择了一条少有人走的路,理想与现实之间有真实的张力。把这些信念活成每一天的样子,包括每一个决定、每一个细节、每一次想走捷径时的坚持,需要的远不只是认同,而是日复一日地全力以赴。这背后的代价,只有身在其中的人知道。

我们之所以选择这条路,是因为我们对用户说的话,对自己也一样。我们帮用户寻找内心的平静,自己也在寻找同样的东西。我们帮用户找到那个够的点,自己也需要找到它。一个自己都不平静的公司,无法帮别人获得平静。

这些文化不存在于墙上的标语里,而存在于每一天。人们真实的样子,不经意间的选择,办公室里不需要言明的默契。没有办法通过培训让一个人变得真实,没有办法通过制度让一个人产生好奇心,更没有办法让一个人具备韧性。我们能做的,是找到那些本身就在这样生活的人——对自己的内心有真实的兴趣,会认真地想自己到底相信什么,会在意正在做的事情是否值得;也天然地关心身边的人。不是出于责任或道德感,而是因为他人的成长在心中有真实的重量。

我们不试图改变谁。我们只是认出彼此,并在不合适的时候友好地说再见。

光谱与中道

有知有行有两个故乡,北京和海南,相距近三千公里。北京快、紧绷、充满干劲,冬天漫长而清醒;海南慢、放松、自由,四季温暖,时间像是多出来的。有知有行就在这两极之间。

这份文件里写下的每一组信念,背后几乎都有一个张力:用户利益和公司生存之间,温暖和直言之间,自由和责任之间,放松从容和全力以赴之间,专业严谨和随心所欲之间。这些张力不是需要被解决的问题,而是需要被持续面对的现实。每一次具体的选择,都需要在这些张力中找到属于当下的答案。

语言天然倾向于把事情说得比实际更绝对。但真实的情况永远在光谱上。这份文件的价值不在于给出一个精确的答案,而在于标明方向,让读到它的人知道我们倾向于哪一侧,以及为什么。

当面对一个具体的决策,而这份文件没有给出现成答案的时候,我们希望它仍然有用。不是因为它告诉了该怎么做,而是因为它帮助理解了我们是谁。而知道自己是谁,也许比知道该怎么做更重要。

未完

这份文件记录的是有知有行此刻最深处的信念,但我们不认为它是最终版。一家公司和一个人一样,对自己的理解会随着经历而加深,有些今天确信的东西明天可能需要修正。我们接受这一点,甚至认为这是好的。如果有知有行能清楚地看到很远以后自己是什么样子,那反而说明我们停止了成长。

我们也不假装这些原则总是指向同一个方向。诚实有时候会让用户离开,慢有时候会让机会错过,坚持不做某些事则意味着放弃真实的收入。当这些时刻到来时,我们没有一个万能的优先级清单可以查阅。如果有,这份文件就不是原则,而是算法。

这样的时刻不止一次出现。每一次,有知有行都回到同一个起点:我们到底相信什么,然后按照那个答案去选择,即使它意味着更少的收入、更慢的增长、或者一段关系的结束。这不是一个关于未来的承诺,而是一个已经被反复验证的事实。也许这就是一家公司认识自己的方式。不是通过写下一份文件,而是在每一次真实的考验中发现自己。

有些问题,我们还没有答案。一个用户究竟需要理解多少,才足以做出属于自己的判断?还是说,信任本身就已经是一种知?当有知有行变得更大,今天让利益一致的结构是否足以应对未来的压力?规模有没有一个边界,大到我们无法再认真地对待每一个人?这些不是修辞,是我们还在真实寻找的答案。

我们也会犯错,事实上已经犯过不少。有些产品做得不够好,有些沟通来得太晚,有些投资决策需要反思,有些体验没有达到我们自己的标准。我们不认为犯错是需要掩饰的事情。错误是成长的信号,而一个认真对待这些信号的生命,才能真正地成长。我们在意的不是从不犯错,而是犯错之后能不能诚实地面对,从中看见自己还没看到的东西。

有知有行是一个生命。我们是创造她的人,也是每天生活在其中的人。我们在她之中工作、犯错、成长,和她一起变成今天的样子。这份文件,是我们试图说清这个生命此刻最深处的信念。我们不确定每一句都说得足够准确,但我们尽了最大的诚意。一个生命不会因为被写下就停止生长,但在成长的路上,记得自己是谁,也许和成为自己一样重要。

跳转微信打开

  •  

寻找基础设施工程师

原创 有知有行 2026-03-23 16:54 北京

期待你的加入

有知有行希望把投资变成一件安静的事。而基础设施工程师的工作,是让这份安静背后的一切,都能稳定、可靠地运转。

我们正在寻找一位真正相信 AI 会改变工程方式,也愿意亲身去验证的工程师。

基础设施工程师

职位名称 :基础设施工程师

工作地点 :海口/北京

你将参与:

1. 保障有知有行信息系统及服务运行平台的可靠与稳定;

2. 开发 AI Agent(覆盖 DBA、网络、安全、运维等方向);

3. 建设和维护面向 AI 的智能化故障检测与灾难恢复等基础设施平台(日志、监控、部署、数据库等);

4. 实践并持续迭代 Harness Engineering 方法,构建面向 AI 辅助工程的质量保障体系;

5. 参与公司级 AI 大脑的建设,同伙伴们一起持续探索 AI 在各业务场景下的实践,并提供可靠的技术支持。

我们希望你具备:

1. 本科及以上学历,3 年及以上软件开发工作经验;

2. 拥有较为扎实的计算机学科综合基础,熟练掌握至少一门通用编程语言(Golang / Python 最佳);

3. 熟悉 Linux 的使用、维护和 trouble shooting,在以下领域至少一项有较为深入的理解和实践:数据库 / 大数据系统、日志 / 监控 / 部署、DevOps / CI/CD / Kubernetes、软件质量工程、信息安全工程、计算机网络工程;

4. 拥有乐观、积极且开放的工作与生活心态,以及优秀的团队协作意识。

5. 加分项:

  • AI Agent / MCP / Skill 开发经验;

  • 拥有自己的 AI Workflow 平台或 AI 辅助工程管理体系的搭建与探索经验;

  • 独立开发者 / 开源软件贡献者。

如果你拥有这样的特质,欢迎来信:

1. 对自动化和智能化有一种本能追求:看到重复的事,会想着如何优化;看到需要手动完成的环节,会考虑让机器和 AI 接管;

2. 比起技能清单,我们更关心的是,你现在是不是已经在用 AI 改变自己的工作方式。如果你已经打磨出一套自己的 AI 协作体系,期待你的分享;

3. 同样重要的,还有面对问题时的态度——不粉饰,也不回避。系统有问题,就面对问题;数据不对,就把原因找清楚。在有知有行,这种诚实不需要额外的勇气,因为它本来就是日常工作的默认状态。

如果上面讲述的,是你向往的,欢迎来信跟我们聊聊。

📮 邮箱:hr@youzhiyouxing.com

跳转微信打开

  •  

全面解析 NVIDIA 最新硬件:Vera/Rubin/Rubin Ultra/NVL72/NVL144/LPX 等

原创 AI闲谈 2026-03-21 20:01 北京

最近 NVIDIA 召开了 GTC-2026 大会,更新一系列 Rubin Platform 产品,并开始逐步量产,标志着下一代 Rubin 架构真正商用的到来。本文中我们对相应的产品和参数进行总结,相关数据主要来自 NVIDIA 官网和 GTC-2026 大会。

一、引言

最近 NVIDIA 召开了 GTC-2026 大会,更新一系列 Rubin Platform 产品,并开始逐步量产,标志着下一代 Rubin 架构真正商用的到来。本文中我们对相应的产品和参数进行总结,相关数据主要来自 NVIDIA 官网和 GTC-2026 大会。

相关工作可以参考笔者之前的文章:

二、相关硬件

2.1 Vera CPU

GB200/GB300 上使用的 Grace CPU 的下一代:

  • 88 个 Arm Core,176 线程。

  • 1.8 TB/s 的 NVLink-C2C 带宽。

  • 1.5TB LPDDR5X 内存,带宽为 1.2TB/s。

2.2 GPU

2.2.1 Rubin GPU

如下图所示为最基础的 Rubin GPU:

  • 算力:

    • 每个 GPU 2 个 Die,中间通过 NV-HBI 连接,共 224 个 SM,896 Tensor Core。

    • FP16 稠密:4P(比 Blackwell 200/300 的 2.25P 的 1.78x)

    • FP8 稠密:17.5P(是 Blackwell 200/300 的 5P 的 3.5x)

    • NVFP4 稠密(Training):35P(是 Blackwell B300 的 13.5P 的 2.6x)

    • NVFP4 稀疏(Inference):50P(是 Blackwell B300 的 15P 的 3.5x)

    • NVLink-6 带宽:3.6TB/s(是 Blackwell B300 的 1.8TB/s 的 2x)

  • 288GB HBM4 显存,带宽 22TB/s(是 Blackwell B300 的 8TB/s 的 2.75x)

2.2.2 Rubin Ultra GPU

如下图所示为最基础的 Rubin Ultra GPU(图中是 Rubin Ultra NVL576,是早起按照 Die 数量命名,后续改为按 GPU 数量,对应 Rubin Ultra NVL144;此外,左侧机柜为上一代方案,GTC2026 上有了新的机柜方案):

  • 算力(基本上是 Rubin GPU 的 2x):

    • FP16 稠密:8P(比 Blackwell 200/300 的 2.25P 的 3.56x)

    • FP8 稠密:35P(是 Blackwell 200/300 的 5P 的 7x)

    • NVFP4 稠密(Training):70P(是 Blackwell B200/B300 的 10P 的 7x)

    • NVFP4 稀疏(Inference):100P(是 Blackwell B300 的 15P 的 7x)

    • NVLink-7 带宽:10.8TB/s(是 Blackwell B300 的 1.8TB/s 的 6x)

  • 1TB HBM4e 显存,带宽 32TB/s - 64TB/s 之间,NVIDIA 没有提供(是 Blackwell B300 的 8TB/s 的 4x-8x)。

  • Scale-Out 网络带宽:按下图是 115.2TB/s / 144 = 6.4Tb/s。(PS:这里感觉有问题,Vera Rubin NVL72 每个 GPU 对应的网卡只有 1.6Tb/s,Rubin Ultra 算力扩大 2x,不太可能网络带宽扩大 4x。)

2.2.3 Vera Rubin SuperChip

和 GB200/GB300 类似,1 个 Vera CPU + 2 个 Rubin GPU,通过 NVLink-C2C 连接:

2.3 Groq-3 LPU

如下图所示,NVIDIA 花费 $20 B 收购 Groq 后,于 GTC2026 首次发布 Groq-3 LPU(Language Processing Unit),其有超大的 SRAM,带宽非常高。该芯片的定位并非是取代 Rubin GPU,而是弥补 NVIDIA Rubin GPU + 细粒度 MoE 模型在 Agentic 场景利用率不高的问题。

  • 每个芯片 500MB SRAM。

  • SRAM 具备 150 TB/s 超高带宽,是 Rubin GPU HBM4 的 7x,非常适合 Memory Bound 明显的 LLM Decoding。

  • 目前不支持 NVFP4,只提供 1.2 PFLOPs 的 FP8 算力。

如下图所示为 Groq-3 LPU 的架构图:

  • MXM:矩阵执行模块,主要负责乘加累积张量运算(矩阵-矩阵/矩阵-向量乘法),1.2PFLOPs 的 FP8 算力。

  • VXM:向量执行模块,处理 Pointwise 算术运算,比如向量加减法、类型转换、激活函数(ReLU、SiLU)等。

  • SXM:交换/开关执行模块,负责结构化数据移动和重塑,比如 Permutation、转置等。

  • MEM:SRAM,500MB,150TB/s 带宽。

  • C2C:支持 LPU 之间的高速连接。

2.4 NVLink-6 Switch

NVSwitch 也伴随着 NVLink-6 升级:

  • 每个 NVLink-6 Switch Tray:

    • 包含 4 个 NVSwitch 芯片,可以提供 28.8TB/s 的聚合带宽。

    • 提供 4 * 3.2 TFLOPS=12.8 TFLOPS 的计算能力(PS:用于 AllReduce 等)。

  •  NVLink-6 Switch Rack:

    • 9 个 NVLink-6 Switch Tray 可以实现 260Tb/s 的带宽,支持 Vera Rubin NVL72 的 NVLink 全互联。

2.5 ConnectX-9 SuperNIC

由于标准制定的原因,NVIDIA 在推出 CX-8 网卡时并不能提供 800Gb/s 的 Ethernet Port,只能 2 个 400 Gb/s Port,但是 IB Port 却可以到 800 Gb/s。在新的 CX-9 网卡中改进了这一问题,Ethernet 和 IB 都可以支持 800 Gb/s Port。该 

因为 CX-8 和 CX-9 的最大总带宽都是 800Gb/s,为了在 Vera Rubin NVL144 和 Vera Rubin Ultra NVL144 中支持更大的 Scale-Out 带宽,NVIDIA 选择了每个 GPU 多个 Port(Switch 芯片)的方案。如下图所示:

  • 左图 2 个 CX-9 Switch 芯片,可以提供 2 个 800Gb/s Port,总带宽 1.6Tb/s。

  • 右图 1 个 CX-9 Switch 芯片,可以提供 1 个 800Gb/s Port,总带宽 800Gb/s。

2.6 CPO 交换机

CPO (Co-Packaged Optics,光电共封装)直接将光引擎(硅光芯片)与 ASIC Switch 芯片封装在同一个载板(Substrate)上,形成一个超级芯片模组。这样做的好处是可以获得更低的功耗、更低的延迟:在 800G/1.6T 时代,光模块中 DSP 芯片功耗可达整个光模块功耗 50%,CPO 可以去掉 DSP,功耗降低约 50%,且传输延迟近乎为零。

基于此,NVIDIA 在 800Gb/s Switch 中开始采用 CPO 方式,推出对应的 Quantum-X IB Photonics Switch 和 Spectrum-X Ethernet Photonics Switch(Silicon Photonics Networking for Agentic AI | NVIDIA)。

  • 上图:Spectrum-6 SN6000(Ethernet):最多 128 个 800Gb/s Port,最大 102.4Tb/s 总带宽,2-Tier 就可以支持 10 万卡。

  • 下图 Quantum-X800(IB):最多 144 个 800Gb/s Port,最大 115.2Tb/s 总带宽。

如下图所示为 Spectrum-X 支持的 4 平面拓扑:

如下图所示,其中 Quantum-X Photonics CPO Switch(Q3450-LD) 提供 144 个 800Gb/s 的 Port(MPO 连接器,下图黄线连接部分):

然而 CPO 也有其局限性,对良品率、无故障时间都有更高的要求,不可插拔的光模块导致维护成本明显提升,一旦故障可能需要整个 Switch 维修或替换,涉及的节点数非常多。通过备机替换再维修的方式可以大幅降低影响周期。

2.7 BlueField-4 DPU

如下图所示,BlueField DPU 也升级到第四代,使用的网卡从 CX-7 的 400Gb/s 升级到 CX-9 的 800Gb/s。与此内存,内存带宽和 Arm 核都有 4x 提升: 

三、服务器 & Rack

3.1 DGX Rubin NVL8

DGX Rubin NVL8 是 DGX B300 的继任者,其配置如下图所示:

3.2 Vera Rubin NVL72

3.2.1 Vera Rubin NVL72 Compute Tray

如下图所示为 Vera Rubin NVL72 中使用的 Compute Tray,其包括:

  • 2 个 Vera Rubin SuperChip,2 个 Vera CPU,4 个 Rubin GPU。

  • 1 个 BlueField-4 DPU,800Gb/s NIC。

  • 8 个 CX-9 芯片,每个 GPU 2 个 800Gb/s Port,带宽 1.6Tb/s。

  • 100% 的液冷。

3.2.2 Vera Rubin NVL72 Rack

如下图所示为标准的 Vera Rubin NVL72 Rack,共包含:

  • 18 个 Compute Tray,36 个 Vera CPU,72 个 Rubin GPU。

  • 9 个 NVSwitch Tray,9*28.8TB/s=259.2TB/s NVLink 聚合带宽。

  • 4 个 110kW Power Tray(2 x 220kW)。

如下图所示,9 个 NVSwitch Tray,36 个 NVLink-6 Switch 芯片可以实现 72 个 GPU 的 NVLink 全互联:

3.3 Vera Rubin Ultra NVL144

3.3.1 Rubin Ultra Kyber 垂直机架

专为 Rubin Ultra 设计,全新的 Kyber Rack,以替代之前的 Oberon Rack,和传统的水平插拔不同,Kyber 采用垂直插拔设计,通过背板的中板(Midplane)连接。可以实现 144 GPU 的 NVLink 互联。

  • Rubin Ultra Node:

    • 2 个 Vera CPU。

    • 4 个 Rubin Ultra GPU。

  • Kyber Midplane:Rubin Ultra Node Tray 竖着插到 Midplane,竖向 4 个口。共有 18 列,可以接 18 个 Rubin Ultra Node Tray。

  • NVSwitch-7 模组:接到 Midplane 的背面,也是竖着放,实现 144 GPU 的 NVLink 全互联。

基于 Kyber Rack 的 Rubin Ultra NVL144 可以看成一个三明治结构,实现 144 GPU NVLink 全互联而无需铜缆:

  • 前层:

    • 36 个 Compute Tray,分上下两组,每组 18 个竖放,每组接到一个 Midplane 上。

    • 共 36 * 2 = 72 个 Vera Ultra CPU。

    • 共 36 * 4 = 144 个 Rubin Ultra GPU。

  • 中层:

    • Midplane,上下两组,各对应 18 个 Compute Tray。

  • 后层:

    • NVSwitch-7 模组(包含 6 个 NVLink-7 Switch 芯片),竖放,接在 Midplane 的背面。

如下图所示为 NVIDIA Kyber NVL1152 Superpod 中使用的 Rubin Ultra NVL144 Rack,共 8 个 Rack,每个 Rack 都分上下两层 Compute Rack:

3.4 Groq-3 LPX

如下图所示,Groq-3 LPX 包含 32 个 Compute Tray:

  • 256 个 Groq-3 LPU。

  • 500MB * 256 = 128GB SRAM。(PS:这个相对来说有点小,无法存下整个模型,真正用于大模型 Decoding 的话需要结合 Prefetch 和 Overlap)

  • 150TB/s * 256 = 38.4 PB/s 的 SRAM 带宽。

四、针对 Agentic 场景的 Vera Rubin NVL72 + Groq-3 LPX

4.1 Agentic 场景的挑战

如下图所示,TPS/User 要求越高,TPS/MW(吞吐) 越低,这主要是因为 LLM Decoding 中提升吞吐的主要手段是 Continuous Batching,而 Continuous Batching 往往会导致 TPS/User 的降低,因此对于 TPS/User 要求比较高的场景往往无法达到比较大的 Batch Size,存在明显的 Memory Bound 问题。

  • 左(TPS/User <= 100):Rubin NVL72 和 Blackwell NVL72 还能达到比较高的 Batch Size,TPS/MW 基本与算力呈正比。

  • 中(100 <= TPS/User <= 200):Blackwell NVL72 中 Batch Size 下降的更多,TPS/MW 下降的更快,Rubin NVL72 的优势开始凸显。

  • 右(200 <= TPS/User):TPS/User 要求非常高,Rubin NVL72 的优势非常明显,甚至 TPS/MW 达到 Blackwell NVL72 的 10x。

Agentic 场景通常包含非常长的 Reasoning Token,而用户通常可能不太关注这部分 Token,为了提升用户体验,就需要非常高的 TPS/User,将 Reasoning Token 的生成隐藏在用户关注的 Token 之下。

4.2 Vera Rubin NVL72 + Groq-3 LPX

4.2.1 架构

Groq-3 LPX 的超高 SRAM 带宽非常适合 Memory Bound 很明显的小 Batch Size Decoding 场景,正好可以弥补 200 <= TPS/User 时 TPS/MW 快速下降的问题。为此,NVIDIA 在 GTC2026 上重点介绍了 Vera Rubin NVL72 + Groq-3 LPX 的异构 AFD(Attention/MoE 分离)方案。如下图所示:

  • Vera Rubin NVL72 中(PS:这里没有使用 Vera Rubin Ultra NVL144):

    • 部分 GPU 执行 Prefill(明显的 Compute Bound 场景,且需要很大的 Memory 空间存 KV Cache)。

    • 部分 GPU 执行 Decoding 的 Attention(同样需要存储很大的 KV Cache,并且由于 GQA、MLA、Linear Attention 等方案的应用,Memory Bound 问题相对较小)。

    • KV Cache 可以通过 NVLink 或网络传输。

  • Groq-3 LPU Rack:

    • 负责执行 Decoding 中的 FFN 操作。(细粒度专家场景,会明显降低算术强度,Memory Bound 的问题非常明显,主要需要存储 Expert 权重)

    • 需要和 Vera Rubin NVL72 之间传输激活,通过网络传输。

4.2.2 结果

如下图所示,Rubin + LPX 的方案可以大幅缓解 200 <= TPS/User 时 TPS/MW 快速下降的问题,Rubin NVL71 + LPX 的方案相比 Blackwell NVL72 方案可以获得 35x 的 TPS/WM。此外,也可以获得更大的 TPS/User。

4.3 Rubin GPU  + LPX 投机采样

如下图所示,也可以将 LPX 用于投机采样中的 Draft Model,可以快速生成草稿,然后 Rubin GPU 用于 Target Model 的快速验证。

五、对比

5.1 DGX Rubin NVL8 和 DGX B200/300 对比

如下图所示,展示了 DGX NVL8 系列的关键数据,重点对比 DGX Rubin NVL8 和 DGX B300,可以看成:

  • 显存容量(288GB)、后端网络(8 x 800Gb/s)没有变化,可能成为瓶颈。

  • 其他基本处于 2x-4x 之间:

    • FP16 稠密算力 32/18=1.8x。(PS:当前训练常用,不过也都再向 FP8 训练过渡)

    • FP8/FP6 稠密算力 140/36=3.9x。

    • FP4 稠密算力 280/108=2.6x。

    • 显存带宽 160/64=2.5x。

    • NVLink 带宽 28.8/14.4=2x。

  • DGX Rubin NVL8 的优势是 FLOPS/W 更高,功耗只有 DGX B300 的 24/14.3=1.7x。

  • DGX Rubin NVL8 需要使用液冷。

5.2 NVL72/NVL144 对比

如下图所示,展示了 NVL72/NVL144 系列的关键数据:

  • GB300 NVL72 vs Vera Rubin NVL72

    • 算力、HBM、NVLink 的差异与 DGX Rubin NVL8 vs DGX B300 的差异一致。

    • 不同:

      • Vera Rubin NVL72 中每个 Rubin GPU 使用 2 个 CX-9 芯片,因此每 GPU 的 Scale-Out 网络带宽从 800Gb/s 提升到 1.6Tb/s。

      • Vera Rubin NVL72 中每个 Rubin GPU 显存带宽是 22TB/s,略高于 DGX Rubin NVL8 的 20TB/s(PS:还是 NVIDIA 写错了?)。

  • Rubin Ultra NVL144 vs Rubin NVL72:

    • 由于 Rubin Ultra 变成 4 个 Die,算力是 Rubin 的 2x;此外数量从 72 -> 144 翻倍,所以 Rack 的算力是 4x 关系。

    • 不同:

      • 显存:

        • HBM4 -> HBM4e。

        • 容量 288GB -> 1TB,GPU 维度 3.5x,Rack 维度 7x。

        • 带宽 22TB/s -> 32TB/s~64TB/s 之间。

      • NVLink:

        • NVLink-6 -> NVLink-7

        • 3.6TB/s -> 10.8TB/s,GPU 维度 3x,Rack 维度 6x。

      • Scale-Out 网卡:

        • 大概率是从每 1.6Tb/s -> 3.2Tb/s,GPU 维度 2x,Rack 维度 4x。

      • 功耗:

        • 220kw -> 600kw,3x 左右。

六、相关链接:

  1. Inside the NVIDIA Vera Rubin Platform: Six New Chips, One AI Supercomputer

  2. NVIDIA Vera Rubin POD: Seven Chips, Five Rack-Scale Systems, One AI Supercomputer

  3. Vera Rubin – Extreme Co-Design: An Evolution from Grace Blackwell Oberon

  4. Keynote at NVIDIA GTC San Jose 2026

  5. Silicon Photonics Networking for Agentic AI | NVIDIA

  6. Infrastructure for Agentic AI at Scale | NVIDIA DGX Rubin NVL8

  7. Rack-Scale Agentic AI Supercomputer | NVIDIA Vera Rubin NVL72

跳转微信打开

  •  

NVIDIA GTC2026 详细解读和分析

原创 AI闲谈 2026-03-18 23:00 北京

本文会重点介绍一下 GTC2026 硬件部分,也会进一步完善一些关键部分的分析和解读。

一、引言

最近几天 NVIDIA 正在召开 GTC 2026,按照惯例,笔者也继续介绍一下相关内容。考虑到网上已经有非常多介绍,本文中会刻意省略一些部分,比如最近爆火的小龙虾 - NemoClaw,以及 NVIDIA 与 Google Cloud、AWS、Azure 等合作的软件栈等内容;本文会重点介绍一下硬件部分,也会进一步完善一些关键部分的分析和解读。

相关视频可以参考:Keynote at NVIDIA GTC San Jose 2026 [1]

相关详细资料可以参考笔者之前的文章:

二、数据处理

2.1 结构化 - cuDF

cuDF(CUDA DataFrame) 是 NVIDIA RAPIDS 生态中的核心组件,提供类似 Pandas 的 API,可以在 GPU 上执行 filter / groupby / join / aggregation / 时序处理等操作。

  • 对应的代码库为:rapidsai/cudf - GPU DataFrame Library · GitHub [2]

2.2 非结构化数据 - cuVS

cuVS(CUDA Vector Search) 是 RAPIDS 新的向量检索库,提供索引构建和向量检索等能力。可以在 GPU 上做大规模向量相似度检索(ANN)。

  • 对应的官方文档:cuVS | NVIDIA Developer [3]

  • 对应的代码库:rapidsai/cuvs: cuVS - a library for vector search and clustering on the GPU · GitHub [4]

如下图所示为其典型应用场景,包含特征提取、索引构建、检索等能力:

如下图所示,其基于 NVIDIA CUDA 软件栈构建,包含众多用于组合向量搜索系统的核心模块,支持 C/C++/Rust/Java/Python/Go 等编程语言。

PS:业内用的比较多的还有 Milvus [5] 等,其架构如下图所示:

2.3 案例分享

如下图所示是 IBM 使用 cuDF 的案例,可以大幅降低处理时间,从 15min 降低到 3min:

如下图所示为 Dell 使用 cuVS 和 cuDF 大幅降低企业数据处理时间,从小时到分钟,GPU 比 CPU 快 3x:

如下图所示是 Google Cloud 使用 cuDF 用于 A/B 实验平台的数据处理,资源量从 45K CPU 降低到 1K GPU,成本节约 76%:

三、推理时代到来

从 ChatGPT 发布,到 Reasoning(o1) 到来,再到 Claude Code(Agentic)快速发展,模型规模、上下文长度、Token 数依次增加了 10x。

与此同时,GPU 的需求依旧快速增长,从 GTC 2025 时的 $0.5T 增加到 $1T:

GPU 需求快速增长的同时,最新的 GB NVL72 + NVFP4 相比 H200 NVL8 可以在同功耗下将 Token 吞吐提升 50x,或者将 Token 成本降低 35x。(PS:这些数据来自 InferenceMAX [6])

PS:这里需要注意,上述结论是基于 DeepSeek-R1 -0528 FP4 精度,输入/输出 Token 为 1K/1K 下测试出的数据。实际上,B300 相比 H100 在同功耗下的 FP8 算力只有 2x 左右差距,即使是 B300 FP4 相比 H100 FP8 也只有 6x。上述 35x 和 50x 更多是结合了 GB300 带来的更大显存、更大 NVLink 域下能够支持更大并发带来的增益。具体应用需要结合真实的应用场景来看。

如下图所示,B300 和 H100、H200 对比,更多的优势建立在使用更大的并发(需要更大的显存,更快的 GPU 也能保证更好的 TPOT)前提下:

另外就是很多云平台都在使用 NVIDIA GPU 部署高性能的 AI 模型,比如 Kimi K2.5 Reasoning 模型,并且都能享受 NVIDIA 软件栈迭代优化的收益,逐渐提升速度、降低成本。

其实最近 SemiAnalysis [7] 也报道过,NVIDIA Dynamo TRT 1个月的优化,大幅提升了 GB200 NVL72 上的吞吐,如下图所示:

四、硬件

4.1 NVIDIA 硬件演进

其中非常关键的部分是 NVLink 和 NVSwitch 的快速迭代,如下图所示:

4.1.1 Volta

比较早期的 V100 和 NVLink-2 Switch:

4.1.2 Ampere

A100、NVLink-3 Switch。以及:

  • CX-6 网卡:200 Gb/s(ConnectX-6 Dx Datasheet | NVIDIA [8])。

  • Quantum-1 IB Switch:40 个 200Gb/s Port(qm8700-datasheet [9])。

  • DGX A100:8 个 A100、NVSwitch、8 个后端 CX-6 网卡 等。

4.1.3 Hopper

H100、NVLink-4 Switch。还有:

  • CX-7 网卡:400 Gb/s(nvidia connectx-7 400g ethernet [10])。

  • Quantum-2 IB Switch:64 个 400Gb/s Port(QM97XX 1U NDR 400Gbps InfiniBand Switch Systems User Manual [11])。

  • BlueField-3:(NVIDIA BLUEFIELD-3 DPU [12])

    • 1, 2, 4 Port,最高总带宽到 400Gb/s。

    • 16GB 板载 DDR5 内存。

  • DGX H100:8 个 H100、NVSwitch、后端 8 个 CX-7 IB 网卡等。

4.1.4 Blackwell

B200/B300、NVLink-5 Switch。还有:

  • Grace CPU:72 个 Arm CPU Core,搭载 500GB/s 的 LPDDR5X 内存。

  • CX-8 网卡:800 Gb/s(NVIDIA ConnectX-8 InfiniBand SuperNIC [13])。(这里需要注意,IB 网卡是 800Gb/s,Ethernet 是 400Gb/s)

  • Spectrum-4 Ethernet Switch:128 个 400Gb/s Port 或 64 个 800Gb/s Port(NVIDIA Spectrum-4 SN5000 2U Switch Systems Hardware User Manual [14])。

  • BlueField-3:(NVIDIA BLUEFIELD-3 DPU [15])

    • 1, 2, 4 Port,最高总带宽到 400Gb/s。

    • 16GB 板载 DDR5 内存。

  • Compute Tray:对应 GB200-NVL72、GB300-NVL72 的 Compute Tray,2 个 Grace CPU,4 个 GB200/GB300 GPU。

  • NVLink Switch Tray:2 个 NVSwitch 芯片,用于 NVLink Spine。

  • NVLink Spine:也就是 9 个 NVSwitch Tray 组成的 NVLink Switch System,支持 72 个 1.8TB/s 的 Port,也就是 130TB/s 交换带宽。

  • DGX B300:8 个 B300、NVSwitch、后端 8 个 CX-8 IB 网卡等(NVIDIA DGX B300 Datasheet [16])。

4.1.5 Rubin

除了之前已经介绍过的 Rubin GPU、Vera CPU 外还有 CX-9 网卡、BlueField-4、NVLink-6 Switch 以及 Spectrum-X CPO 交换机,Groq-3 LPU 等,下面会重点介绍。

如下图所示,同样的 1GW AI Factory,使用 Vera Rubin 相比 X86+Hopper 可以获得 16/1.2=13.3x 的算力,50x(2 EB/s vs 100 EB/s)的内存带宽,350x Token 吞吐(2M vs 700M TPS)。

4.1.6 Feynman

Rubin 系列依旧会有一些升级:

  • NVLink-6 Switch 进一步升级到 NVLink-7 Switch,都是 3.6TB/s,Port 变多?

  • CX-9 网卡进一步从 800Gb/s 升级到 1600Gb/s。

  • 新的 Kyber Rack 方案。

  • Rubin Ultra 支持 HBM4e。

  • Groq LP35 支持 NVFP4。

新一代的 Feynman 架构:

  • Feynman GPU 使用定制的 HBM。

  • Groq LP35 -> Groq LP40 支持 NVLink。

  • Vera CPU -> Rosa CPU。

  • BlueField-5 DPU。

  • NVLink-8 采用 CPO 封装。

  • Spectrum-6 102T -> Spectrum-7 204T,依然 CPO 封装。

  • CX-9 -> CX-10。

5.2 新硬件

5.2.1 几种 Tray

如下所示分别是:

  • Groq-3 LPU Tray:8 个 Groq-3 LPU。

  • NVLink-6 Switch Tray:支持 3.6TB/s NVLink。

  • Vera-Rubin Tray:2 个 Vera CPU、4 个 Rubin GPU。

如下所示分别是:

  • BlueField-4 DPU Tray:800Gb/s NIC,128GB LPDDR5,PCIe Gen6x16,可插拔 512GB SSD。

  • Vera CPU Tray:8 个 Vera CPU。

  • Spectrum-6 CPO Switch Tray:128 个 800Gb/s Port,102.4Tb/s 带宽。

5.2.2 Rubin Ultra Kyber 垂直机架

专为 Rubin Ultra 设计,全新的 Kyber Rack,以替代 Oberon Rack,和传统的水平插拔不同,Kyber 采用垂直插拔设计,通过背板的中板(Midplane)连接。可以实现 144 GPU 的 NVLink 互联。

  • Rubin Ultra Node:

    • 2 个 Vera CPU。

    • 4 个 Rubin Ultra GPU。

  • Kyber Midplane:Rubin Ultra Node Tray 竖着插到 Midplane,竖向 4 个口。共有 18 列,可以接 18 个 Rubin Ultra Node Tray。

  • NVSwitch-7 模组:接到 Midplane 的背面,也是竖着放,实现 144 GPU 的 NVLink 全互联。

  • Kyber Rack - Rubin Ultra 144:可以看成一个三明治结构,实现 144 GPU NVLink 全互联而无需铜缆:

    • 前层:36 个 Compute Tray,分上下两组,每组 18 个竖放,每组接到一个 Midplane 上。

    • 中层:Midplane,上下两组,各对应 18 个 Compute Tray。

    • 后层:NVSwitch-7 模组和背板,竖放,接在 Midplane 的背面。

5.2.3 Groq-3 LPU

如下图所示,首次发布 Groq-3 LPU,其有超大的 SRAM:

  • 每个芯片 500MB SRAM。

  • 150 TB/s SRAM 带宽,非常适合 Memory Bound 明显的 LLM Decoding。

  • 目前不支持 NVFP4,只提供 1.2 PFLOPs 的 FP8 算力。

如下图所示为 Groq-3 LPU 的架构图:

  • MXM:矩阵执行模块,主要负责乘加累积张量运算(矩阵-矩阵/矩阵-向量乘法),1.2PFLOPs 的 FP8 算力。

  • VXM:向量执行模块,处理 Pointwise 算术运算,比如向量加减法、类型转换、激活函数(ReLU、SiLU)等。

  • SXM:交换/开关执行模块,负责结构化数据移动和重塑,比如 Permutation、转置等。

  • MEM:SRAM,500MB,150TB/s 带宽。

  • C2C:支持 LPU 之间的高速连接。

5.2.4 基于 Groq-3 LPU 的 AFD 异构框架

将 Groq-3 LPU 用于 AFD(可以参考字节:[2504.02263] MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism [17]) 异构框架中的 FFN Decoding,具体来说:

  • Vera Rubin NVL72 中:

    • 部分 GPU 执行 Prefill。

    • 部分 GPU 执行 Decoding 的 Attention。

    • KV Cache 可以通过 NVLink 或网络传输。

  • Groq-3 LPU Rack:

    • 负责执行 Decoding 中的 FFN 操作。细粒度专家场景,Memory Bound 的问题比较明显。

    • 需要和 Vera Rubin NVL72 之间传输激活,通过网络传输。

如下图所示为 Groq-3 LPX Rack:

  • 每个 Tray:

    • 8 个 Groq-3 LPU。

    • 一个 Host CPU。

    • 一个 BlueField-4 DPU。

  • 包含 32 个 Tray:

    • 8*32=256 个 Groq-3 LPU。

    • 1.2*256=315 PFLOPs。

    • 500MB*256=128GB SRAM。

    • 150TB/s*256=40PB/s 带宽。

5.2.5 800Gb/s CPO Switch

CPO (Co-Packaged Optics,光电共封装)直接将光引擎(硅光芯片)与 ASIC Switch 芯片封装在同一个载板(Substrate)上,形成一个超级芯片模组。这样做的好处是可以获得更低的功耗、更低的延迟:在 800G/1.6T 时代,光模块中 DSP 芯片功耗可达整个光模块功耗 50%,CPO 可以去掉 DSP,功耗降低约 50%,且传输延迟近乎为零。

基于此,NVIDIA 在 800Gb/s Switch 中开始采用 CPO 方式,推出对应的 Quantum-X IB Photonics Switch 和 Spectrum-X Ethernet Photonics Switch(Silicon Photonics Networking for Agentic AI | NVIDIA [18])。如下图所示:

如下图所示,其中 Quantum-X Photonics CPO Switch 提供 144 个 800Gb/s 的 Port(MPO 连接器,下图黄线连接部分),高达 115Tb/s 的吞吐:

然而 CPO 也有其局限性,对良品率、无故障时间都有更高的要求,不可插拔的光模块导致维护成本明显提升,一旦故障可能需要整个 Switch 维修或替换,涉及的节点数非常多。通过备机替换再维修的方式可以大幅降低影响周期。

5.3 Rubin 的性能提升

如下图所示,不同的模型、序列长度在 Rubin NVL72 和 Blackwell NVL72 上的性能对比:

  • Qwen3-235B 32K:2x 吞吐,主要是算力大概是 2-3x 的关系,TPS/User 要求不高,Batch 比较大,基本上 Memory Bound 的问题也不是特别明显。

  • Kimi-K2.5-1T 128K:2x,同上。

  • GPT-MoE-2T 128K:3x,模型更大,TPS/User 要求更高,Rubin NVL72 优势更明显。

  • GPT-MoE-2T 400K:10x,序列更长,TPS/User 要求非常高,Memory 的瓶颈更明显。(PS:这里也可以看出,GPT5 应该是一个 2T 的 MoE 模型)

如下图所示,当 TPS/User 要求比较高时,Rubin + LPX 方案相比单纯的 Rubin NVL72 能获得更高的 TPS/MW。在此场景下,Decoding MoE 的 Batch Size 相对比较小,Memory Bound 问题非常明显,也正是适合 Groq-3 LPU 的场景。

六、参考连接

  1. https://www.nvidia.com/gtc/keynote/

  2. https://github.com/rapidsai/cudf

  3. https://developer.nvidia.com/cuvs?sortBy=developer_learning_library%2Fsort%2Ftitle%3Aasc

  4. https://github.com/rapidsai/cuvs

  5. https://milvus.io/

  6. https://inferencex.semianalysis.com/

  7. https://semianalysis.com/

  8. https://www.nvidia.com/content/dam/en-zz/Solutions/networking/ethernet-adapters/connectX-6-dx-datasheet.pdf

  9. https://nvdam.widen.net/s/zmbw7rdjml/infiniband-qm8700-datasheet-us-nvidia-1746790-r12-web

  10. https://www.nvidia.com/content/dam/en-zz/Solutions/networking/ethernet-adapters/connectx-7-datasheet-Final.pdf

  11. https://docs.nvidia.com/networking/display/qm97xx-1u-ndr-400gbps-infiniband-switch-systems-user-manual.pdf

  12. https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/documents/datasheet-nvidia-bluefield-3-dpu.pdf

  13. https://applieddatasystems.com/wp-content/uploads/2024/07/connectx-datasheet-connectx-8-supernic-3231505.pdf

  14. https://docs.nvidia.com/networking/display/nvidia-spectrum-4-sn5000-2u-switch-systems-hardware-user-manual.pdf

  15. https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/documents/datasheet-nvidia-bluefield-3-dpu.pdf

  16. https://resources.nvidia.com/en-us-dgx-systems/dgx-b300-datasheet

  17. https://arxiv.org/abs/2504.02263

  18. https://www.nvidia.com/en-us/networking/products/silicon-photonics/

跳转微信打开

  •  

让 AI 变得更聪明的 12 个元反思技巧

原创 阳志平 2026-03-17 21:42 北京

反思的反思

伴随这轮以 Claude Code、OpenClaw 为代表的 AI 跃迁,我们越来越感受到 AI 的智力之强,然而,你可以借助一些元反思技巧,让它变得更聪明。

可能没有哪个学科比认知科学更重视「元」了。在认知科学中,有研究认知的认知——元认知;有研究记忆的记忆——元记忆;有研究语言的语言——元语言,这类研究在认知科学中简直太常见了。什么叫做元反思?同样,就是反思的反思。

这是我在实践中常用的一些元反思技巧,供各位参考。

第一组:通用类

技巧 1: 元反思

指令示例:请使用「深度思考」(调用 sequential-thinking mcp)进行一轮元反思,你的实现是否正确,是否实现了我们的目标,是否存在重大逻辑错误,或者有所缺失,尤其需要注意,实现新目标的时候,破坏旧功能了。

这个技巧是我最高频使用的。只要让 AI 元反思,必然会发现新的问题。AI 是一个几千维度的向量矩阵,它比我们人类更擅长一些之前我们没有注意到的连接、通路。这是它的优点。但缺点是,任何神经网络的机制,其实必然会存在信息加工局限。包括人类、包括 AI 大模型,都是如此。因为,神经网络的工作机制,其实就是权重/参数的激活而已。所谓激活,意味着注定不精确、无法精确。

因此,元反思过程对于 AI 来说,是极为必需的一步。除了 think 类模型这样内嵌的元反思过程之外,我们还需要主动在关键环节,让 AI 强制进行元反思。我的感受是,几乎任何一个复杂任务,只要进行元反思,AI 必然给我惊喜。

技巧 2: 约束实体

指令示例:请列出这轮任务涉及的实体,是否只处理 4 个实体以内?如果超过 4 个,请使用 TaskCreate 拆分为子任务。

AI 大模型依然是「有限理性」的。无论上下文窗口如何设计,最佳的对话模式,依然是一个 Session,只处理 4 个实体以内。用数据库术语来说,就是约束在 4 个表格以内。

一旦超过 4 个表格,大模型多数时候必然出错。这玩意,跟使用再先进的大模型没关系。而是因为大模型模仿人类大脑结构,带来的天然漏洞。只要是神经网络架构,必然存在这类缺陷。

技巧 3: 重新定义问题

指令示例:请使用「深度思考」(调用 sequential-thinking mcp),深入理解问题。该问题是否存在,是否可以重新定义问题、是否可以缩小问题的边界或转换为业界或另一个领域已经有成熟解法的问题?

很多时候,定义问题比解决问题更重要。重新定义问题、优化问题的边界,其实就解决了大半问题。有一次,我在长考一个战略难题,但我让 AI 将其重新转换为一个时序优化问题,就容易解决得多了。在一个领域没有成熟答案的问题,换一个领域则未必。

第二组:意图类

技巧 4: 设置兜底

指令示例:请问你考虑兜底策略了吗?

所谓兜底,也就是事情搞砸了,那么怎么办?AI 其实跟人类一样,受限于训练时的时长约束,往往试图在尽量短的时长给你一个答案,这个答案往往是从正面思考的,也就是如何成功,但从未考虑过,如果失败了,那么怎么办呢?

技巧 5: 三重防护

指令示例:请问你考虑了三重防护了吗?

这个技巧类似兜底策略,但防护更严谨。一般适用于关键场景。有句老话说的是,祸不单行。其实在生产环境或复杂项目中,要么不失败,一旦失败,如果你只设置了一道防线,往往在真正事故发生时,是非常不够的,要连续三道防护才能保证失败后依然没问题。

技巧 6: 自我校验

指令示例:请在执行之前,先给自己写一个校验脚本或提出一套检验标准,执行完毕后,请自动执行你的校验脚本或使用检验标准,看看你的执行还有什么不足,再持续优化。

让 AI 执行复杂任务之前,先给自己设定校验标准,然后执行过程中随时与之对齐。发现校验标准有错误再继续优化。如此循环往复。做好数据监测、做好流程设计,那么,AI 的自动优化会通往一个令所有人震惊的地步。前不久流行的 ralph-loop 循环方法就是一个极佳例子:

https://42plugin.com/plugins?q=ralph-loop

但这类循环的方法太低估真实工作的复杂性了。所以,我自己搞了一套更好的 dev-loop 方法,在实战中,效果非常棒。

第三组:实施类

技巧 7: 看门狗

指令示例:请利用 CronCreate 工具,帮我创建一个看门狗,读取 memory 文件(或你存放工作进展的某个文件),找到下一个未完成步骤,立即执行。不要问我任何问题,直接执行下一步。

另一个类似的用法是心跳监控,指令示例如下:请读取 memory 文件,检查是否有待处理的提醒或任务,如果有,立即执行,不要询问我任何问题;如果没有,回复 HEARTBEAT_OK。

看门狗或心跳监控为何重要呢?因为它让我们摆脱人在回路(human in loop),可以离开与 AI 的对话,去干其他事情了。前不久,我给同学们直播 AI 干活,我在户外公园跑步,AI 在家一口气连续直播自主干活 90 分钟,没有任何人工干预,背后就是看门狗在工作。

技巧 8: 完整性

指令示例:请问你考虑原子性/事务一致性/幂等性了吗?

这几个词略有细微差异,原子性侧重不可分割,要么全做,要么全不做;事务一致性侧重状态合法,从合法状态 A 到合法状态 B,不出现非法中间态,也就是要么失败,要么成功,不能有一个一半失败一半成功的中间态;幂等性则侧重重复无害,也就是执行一次和执行十次的结果一样。

但整体方向都是类似的,突出我们在行动时,要考虑更周全:确保操作和结果是完整的、干净的——不留半成品、不产生脏数据、不因重复而出错。

技巧 9: 对齐!对齐!对齐!

指令示例:请仔细对照你最初撰写的 plan 或 spec(规约)等文档,你目前的实现,是否对齐了?是否存在重大逻辑错误,以及有所缺失?

AI 10 倍速工作的关键正是:对齐!对齐!对齐!

其实,对齐=利用大模型的补全能力,A 不完善,B 来补全它;B 不完善,A 来补全 B。

人类不完善,AI 补全人类;AI 不完善,人类补全 AI。

项目 1 不完善,项目 2 来补全它;项目 2 不完善,项目 1 来补全它。

项目的模块 1 不完善,相对完善的模块 2 来补全它;项目的模块 2 不完善,相对完善的模块 1 来补全它。

如此循环往复。这就是真正的「混合智能」时代!这才是 10 倍速工作!

这就是这轮大模型的关键!

所以,找到相对完善的那点,就是设计整个「10 倍速工作流」的起点或关键。

任何工作,都存在「相对完善」的那点。实在没有,就来进行「无中生有」。参考他人的完善,来补全自己的不完善。

万变不离其宗,所有的技巧都是从这一点出发:找到相对完善的那点,就是设计整个工作流的起点。

而如何评判「完善」,就是我在新年演讲《意向革命:迈向混合智能时代》所说的「确认成本」与「确认系数」。

第四组:反馈类

技巧 10: 倍速测试

指令示例:请问你考虑到更极端的情况了吗?你刚才的执行,如果想提高速度或产出质量到 10 倍、100 倍、1000 倍,你的执行还受影响吗?如果受到影响,那么你可以如何改善你刚才的执行?

很多时候,我们在同类数量级下思考,其实很难获得好答案。但一旦思考如何获得 10 倍、100 倍、1000 倍的产出或提速,那么,好答案反而更容易获得。

不过这里对于程序开发来说,一种常见的做法是并发、异步,那么,还需要提醒 AI:请问你考虑了高性能的版本吗?比如改为并发执行或异步执行吗?如果你考虑了,那么,你考虑了并发或异步无法执行的策略了吗?也就是设置兜底策略,参考技巧 4。

技巧 11: 同类扫描

指令示例:请再仔细思考,是否还存在类似错误?尤其是刚才那个错误的变式?

强制 AI 举一反三,扫描同类问题。这是我实战中出现频率极高的一条。很多时候,受限于 AI 的上下文窗口,如果你不主动指出来,它不会主动去扫描同类问题,比如改了作业区的收藏 bug,讨论区、课程内容区的收藏一模一样的 bug 它不管。

技巧 12: 积累飞轮

指令示例:请将这轮工作中新发现的模式,追加到 memory/dev-loop-patterns.md 文件。

AI 大模型的模式理解能力远远超过人类,尤其容易发现一些我们没注意到的模式。将这些模式积累下来,未来类似工作就会轻松很多。

这个技巧常常可以设定指标,聚焦在关键指标的改善上,比如,持续改善大模型训练的某个指标。结合前述技巧,将产生令人极为惊艳的成果。这是我创作的一个 AI 自主工作系统中的一个 Skill 的写法:

  • 新发现的模式 → 追加到 memory/dev-loop-patterns.md

  • 关键指标 → 追加到 memory/dev-loop-metrics.md

小结

熟悉我的同学可能看出上述技巧的思路了,这不就是阳老师你在「元知识」系列讲座中讲述的「行动之环」吗?

是的,答案正是如此。行动之环包括四个要素:行动的意图、行动的实施、行动的反馈,及行动主体所处的情境。要想提高人类的行动力,围绕这些要素做文章,同样,要想改善 AI 产出,还是围绕这些要素做文章。只是,AI 的情境成了上下文(Context)。

目前主流的前沿 AI 大模型,其实在后训练时普遍接受了反思类的训练,比如思维链(CoT)等,但在恰当的上下文让 AI 进行元反思,会取得超出预期的效果。毕竟,AI 大模型训练时,不可能穷尽你工作时的一切上下文。

大家可以在这个基础上,将其编排为 Skill、Command、Agents 等。我自己就是这么干的,形成了一套强大的 AI 自主干活系统,从而可以轻易实现 AI 长时间自主干活。最近好玩,开了五期 AI 自主干活直播,我不做任何干预,真实的复杂项目,AI 可以轻易自主干活 90 分钟到 3 小时。这才是这轮 AI 跃迁的关键:不做任何干预,如何让 AI 独立完成一个生产级别的大活或难活?

人类吃饭、人类运动,AI 勤勤恳恳直播干活。这才是人类的理想未来

阳志平
2026-03-17

相关阅读:

读了这四本书,你更懂第三代认知科学

冬天,关于人生发展的 24 条心得

阅读原文

跳转微信打开

  •  

Palantir的成功难以复制:这五大核心依赖条件,你有吗?

原创 风叔 2026-03-16 20:02 上海

以本体论为底层核心思想,构建差异化壁垒;以四大平台为核心的完整产品体系,提供坚实工具支撑;以CEO工程为突破口,锁定超高客单价;以全球顶尖的FDE团队,确保方案落地交付;以硅谷顶级大佬组成的创始团队,提供长期资源与资金背书。

如果要评选近三年全球科技圈最逆袭的公司,Palantir绝对稳居前列。2023年之前,它还被贴上长期亏损、小众政府承包商的标签,股价长期在个位数徘徊;但短短两年时间,它实现了史诗级爆发——2025年股价涨幅逾10倍,市值突破3000亿美元,跻身美国市值前20的科技公司行列。营收同样亮眼,2025财年达44.75亿美元,同比激增56%,其中美国商业部门收入猛增109%;全球客户数突破950家,较上年增长34%,而收入增速远超客户数增速,彰显单客户价值的大幅提升。

从默默无闻到万人追捧,Palantir的崛起令人惊叹。很多人将其归功于AI浪潮的风口,但真正的答案远比踩中风口更深刻。为什么偏偏是Palantir,能在数据杂乱、需求复杂的政府与大型企业市场中脱颖而出?

答案藏在它五大核心依赖条件的协同发力中:以本体论(Ontology)为底层核心思想,构建差异化壁垒;以四大平台为核心的完整产品体系,提供坚实工具支撑;以“CEO工程”为突破口,锁定超高客单价;以全球顶尖的FDE团队,确保方案落地交付;以硅谷顶级大佬组成的创始团队,提供长期资源与资金背书。

这五大条件环环相扣、缺一不可,共同铸就了Palantir的成功。

一、核心基石:以本体论(Ontology)重构数据价值,打破传统数字化困局

Palantir成功的最根本前提,是它跳出了传统数字化软件的思维定式,将本体论这一源于哲学和计算机知识表示理论的概念,转化为可落地的企业级解决方案核心,成为其区别于所有同行的压舱石。

Palantir语境下的本体论,不是晦涩的哲学概念,而是为企业构建一套数据世界的语法规则——它不只是简单整合数据,而是定义数据背后的“事物是什么”(语义层)、“可以做什么”(动力层),以及“如何智能决策”(动态层),本质是打造企业的数字孪生+决策中枢,让分散在各个部门、格式杂乱的数据,形成有逻辑、可联动、能决策的有机整体,让AI和人类都能读懂数据背后的业务关联。

它的核心作用,是解决传统数字化最大的痛点:数据孤岛与决策脱节。过去几十年,企业数字化的思路都是按部门、按功能建系统——财务有ERP、人力有HRM、生产有MES系统,每个系统都囤积着大量数据,但这些数据彼此孤立,就像一个个信息黑盒,无法联动分析,更无法支撑企业级的复杂决策。

本体论与传统数字化软件的构建思路,有着本质区别:

传统数字化软件:“你给我什么数据,我就处理什么数据”,只关注数据本身,不关注数据之间的业务关联;比如财务系统只记录订单金额,生产系统只记录生产进度,两者互不联通,无法回答“订单延迟会导致多少财务损失”这类核心问题。

Palantir的本体论:“我先定义你的业务逻辑,再整合所有数据”,关注数据背后的业务关系;它会先梳理清楚“订单-生产-供应链-客户-财务”的全链路关联,再将各个系统的数据嵌入这套逻辑中,从而实现牵一发而动全身的联动分析与决策。

更关键的是,很多传统软件解决不了的复杂问题,只有本体论才能破局,这一点在真实案例中体现得淋漓尽致。

案例一,Tampa General医院面临患者安置效率低下的问题,传统医院管理软件只能分别统计床位、医护人员、患者病情等数据,无法实现三者的动态匹配,导致患者平均安置时间过长。而Palantir基于本体论,构建了涵盖“患者病情-床位资源-医护配置”的全关联模型,明确了各类患者与床位、医护的匹配规则,最终将患者安置时间减少83%,大幅提升了医院运营效率。

案例二,Lear公司作为全球知名汽车零部件制造商,拥有复杂的供应链和生产体系,传统ERP系统无法联动生产、采购、物流等环节的数据,难以定位成本浪费的核心节点。Palantir通过本体论,将生产损耗、原材料价格、物流时效等数据纳入统一的业务逻辑中,精准识别出供应链中的冗余环节,仅2025年上半年就为Lear公司节省了3000多万美元成本。

这些案例的核心的共性的是:传统软件只能处理数据,而本体论能理解业务。它让数据从孤立的数字变成有逻辑的资产,这也是Palantir能切入政府、大型企业核心场景的根本原因。

二、工具支撑:完整的产品体系,将多年实践转化为可复用的积木

本体论是核心思想,但思想的落地,离不开一套强大、完整的产品体系。Palantir的成功,绝非靠单一技术或产品,而是将过去20多年在政府、军事、企业场景中积累的最佳实践,全部整合进标准化的产品工具中,形成了“四大核心平台+N个应用工具”的完整生态,就像一套功能强大的积木,能根据不同客户的复杂业务需求,快速组合出定制化解决方案。

这套产品体系的核心是四大平台,它们各司其职、协同联动,覆盖了从数据整合、部署管控到AI决策的全流程,再搭配应用层工具,形成了无死角的解决方案能力:

  1. Gotham(哥谭):面向政府与国防客户的核心平台,也是Palantir的起家产品。它诞生于2008年,专为情报分析、国家安全等场景设计,能够整合海量异构情报数据(如电文、卫星图、人员信息等),基于本体论构建关联模型,帮助用户快速识别隐藏的规律和风险。最著名的案例,就是协助美国军方整合300万份电文、17万张卫星图,将72小时的资金流追踪压缩到12分钟,为锁定本·拉登藏身之处提供了关键支撑,如今已服务于五角大楼、CIA、FBI等全球多个国家的政府机构,仅Maven系统就服务了2万多名军事用户。

  2. Foundry(铸造厂):面向企业客户的核心平台,聚焦企业数据运营与业务优化。它能整合企业内部所有部门的异构数据(ERP、MES、CRM等),基于本体论构建统一的数据语义层,让企业员工无需技术背景,就能通过简单操作实现数据联动分析、业务流程优化。无论是制造业的供应链管控、金融业的风险排查,还是零售业的用户画像,Foundry都能快速适配,是Palantir开拓商业市场的主力军,也是2025年美国商业收入爆发的核心支撑。

  3. Apollo(阿波罗):负责所有产品的部署、管控与更新,是Palantir产品体系的运维中枢。它解决了大型企业和政府机构的核心痛点——多场景、多终端的统一部署与安全管控。通过Apollo,客户可以在本地、云端、混合环境中快速部署Palantir的所有产品,同时实现权限管控、版本更新、安全审计等功能,确保数据安全与系统稳定,大幅降低了客户的运维成本和使用门槛。

  4. AIP(人工智能平台):Palantir的AI赋能核心,也是近几年爆发增长的关键引擎。它将大语言模型与本体论深度结合,打造了“AI+业务”的闭环能力。AIP的核心价值,是让不懂技术的业务人员也能使用AI做决策,比如企业高管可以通过自然语言提问“为什么上一季度欧洲区利润率下降”,AIP能快速联动所有相关数据,追溯到具体原因,彻底打破了AI与业务之间的壁垒。

除了四大核心平台,Palantir还提供了map(地图可视化工具,用于地理空间数据展示与分析)、contour(数据分析可视化工具,用于快速生成报表、呈现分析结果)等多种应用层工具,这些工具就像积木的配件,与四大平台协同,能够快速适配不同行业、不同客户的复杂业务需求——无论是政府的反恐情报分析,还是企业的供应链优化,都能通过这套积木快速搭建解决方案,既保证了标准化产品的高效性,又兼顾了定制化需求的灵活性。

三、增长引擎:自上而下的CEO工程,直击核心决策层,锁定超高客单价

有了核心思想和产品工具,如何将它们卖给最有决策权、最愿意付费的客户?Palantir给出的答案,是一套颠覆传统企业软件销售模式的策略——自上而下的CEO工程,这也是它能实现超高客单价、快速盈利的关键原因。

传统企业软件的销售模式,都是自下而上:先对接企业的IT部门或业务部门,演示产品功能,逐步推进试点,再争取高层审批,这种模式周期长、决策慢,而且容易因为部门利益、预算限制而失败,客单价也普遍偏低。

而Palantir反其道而行之,采用自上而下的策略:不对接基层部门,直接对接客户的CEO、董事会等核心决策层,聚焦解决CEO最关心的核心问题——增长、风险、效率,用业务价值打动决策层,而非用产品功能说服基层,这种模式不仅缩短了销售周期,更直接锁定了超高客单价。

Palantir的客单价有多高?数据最有说服力:2024年,其平均每客户收入约580万美元;而顶级客户的价值更惊人,前20大客户年均贡献超5000万美元收入。2025年,仅第四季度就签下18笔千万美元以上大单,全年签约总合同价值达42.62亿美元,同比增长138%。能实现这样的超高客单价,核心在于它精准抓住了CEO的核心痛点——对于大型企业和政府机构而言,解决核心问题的价值,远高于节省成本,而Palantir的方案,恰恰能解决那些其他软件解决不了的核心难题。

而CEO工程的关键落地载体,就是Palantir独创的workshop模式,这也是它打动CEO的核心手段。这种workshop不是传统的产品演示,而是一场价值验证会,流程简单但极具冲击力:

  1. 前期调研:提前深入了解客户的核心痛点,比如CEO关心的“供应链风险管控”、“营收增长乏力”等,收集客户的核心数据;

  2. 现场实操:邀请客户的CEO、核心高管参与,Palantir团队现场将客户的数据导入自己的产品体系,基于本体论构建分析模型,实时演示如何解决客户的核心痛点。比如,当场展示如何通过数据联动快速识别供应链中的风险节点、如何通过AI决策优化企业的资源配置,提升营收。

  3. 价值承诺:现场给出可量化的价值预期,比如“通过我们的方案,预计能帮你降低20%的供应链成本,缩短30%的决策周期”,用眼见为实的效果,直接打动CEO。

最典型的案例,就是一家医疗设备制造商,在参加Palantir的AIP工作坊后,亲眼看到了产品解决自身业务痛点的能力,短短5个月内就将年度合同价值扩大了8倍以上。这种眼见为实的模式,彻底改变了企业软件的销售周期,也让Palantir能够快速获得CEO的认可,签下长期、高溢价的合同——毕竟,对于CEO而言,只要能解决核心问题,高单价从来都不是障碍。

四、落地保障:全球顶尖的FDE,一个人顶一个交付团队

如果说本体论是核心、产品体系是工具、CEO工程是渠道,那么FDE(Forward Deployed Engineer,前沿部署工程师)就是Palantir成功的最后一公里保障。Palantir的方案再先进、产品再强大,若无法落地到客户的实际业务中,一切都是空谈。而FDE,就是确保方案落地、实现客户价值的核心力量,也是Palantir最独特、最难复制的竞争力之一。

先明确,FDE不是普通的工程师,也不是传统的实施顾问,而是“技术+业务+沟通”的复合型顶尖人才,他们的核心角色,是Palantir产品与客户业务之间的桥梁。FDE长期驻扎在客户现场,深度理解客户的业务逻辑,将Palantir的产品体系,精准适配到客户的实际业务中,解决落地过程中的所有问题,确保方案能真正产生价值。

Palantir的FDE,堪称全球最顶尖的工程师天团,其招聘标准之高,堪比谷歌、Facebook:

  1. 学历与专业:优先录取MIT、斯坦福、哈佛等顶尖名校的计算机、数学、工程类专业毕业生,不仅要求具备扎实的编程、数据分析能力,还要有一定的业务理解能力;

  2. 综合能力:既要懂技术(能快速调试产品、定制化开发),又要懂业务(能快速吃透客户的业务逻辑、痛点需求),还要懂沟通(能与客户的CEO、基层员工等不同层级的人高效对接);

  3. 抗压与适应能力:需要长期出差、驻扎在客户现场,面对复杂、多变的业务需求,能快速响应、高效解决问题,甚至需要一个人应对多个复杂任务。

据Palantir内部资料显示,早期负责技术招聘的联合创始人Stephen Cohen,曾面试过4500多名候选人,只为维持FDE团队的顶级水准。能在Google或Facebook工作的顶级软件工程师,才有可能进入FDE团队。

而FDE在客户现场的交付模式,更是体现了“一个人顶一个团队”的核心价值。传统软件公司的交付,往往需要一个庞大的团队:技术工程师负责调试产品、开发定制功能,业务顾问负责对接需求、梳理逻辑,项目经理负责协调进度、对接客户,分工明确但效率低下,而且容易出现技术与业务脱节的问题。

但Palantir的FDE,一个人就能完成这所有工作:

  1. 需求对接:直接与客户的核心决策层、业务负责人对接,精准捕捉客户的核心痛点和需求,无需中间环节;

  2. 方案适配:基于客户需求,利用Palantir的产品体系,快速搭建定制化解决方案,甚至进行简单的定制化开发,确保方案贴合客户业务;

  3. 落地实施:负责产品的部署、调试、员工培训,解决落地过程中的所有技术和业务问题;

  4. 价值迭代:长期驻扎客户现场,跟踪方案的使用效果,根据客户业务变化,持续优化方案,确保方案能持续为客户创造价值。

举个例子,某大型制造业客户引入Palantir的Foundry平台,负责对接的FDE,仅用1个月时间,就吃透了客户的供应链、生产、财务全流程业务逻辑,完成了产品部署、数据整合、定制化适配,还培训了客户的核心员工。后续又根据客户的业务调整,持续优化方案,最终帮助客户降低了25%的生产损耗。这样的效率,是传统交付团队无法企及的。

可以说,FDE是Palantir-CEO工程的核心落地保障:CEO签下高溢价合同后,FDE能确保方案真正落地,实现承诺的价值,从而形成“签约-落地-复购”的良性循环,这也是Palantir净留存率能达到139%、远超行业平均水平的核心原因之一。

五、底层支撑:硅谷顶级大佬背书,忍受长期亏损,筑牢发展根基

前面四大依赖条件,看似独立,实则都离不开一个核心支撑——Palantir的创始团队,以及背后的硅谷顶级大佬资源。如果没有这些大佬的支持,Palantir可能早在多年的亏损中倒闭,更无法搭建起本体论、产品体系、FDE团队这样的核心竞争力。

Palantir的创始团队,堪称硅谷梦之队,核心成员均来自PayPal、斯坦福等顶级圈层,拥有强大的政府、企业资源和资金实力,这也是它能长期坚持、稳步发展的根本:

  1. 核心创始人:Peter Thiel(彼得·蒂尔),硅谷传奇投资人、PayPal联合创始人,也是Palantir的主要资金支持者和资源背书人。Peter Thiel不仅为Palantir提供了早期的启动资金,还凭借自己在硅谷、美国政府的深厚人脉,为Palantir对接了大量核心客户——包括CIA(美国中央情报局),这也是Palantir的第一个客户

  2. CEO:Alex Karp(亚历克斯·卡普),拥有哲学博士学位,与Peter Thiel是斯坦福同学,他的核心作用,是坚守Palantir的技术路线,拒绝短期利益诱惑。在Palantir成立后的前15年,公司长期处于亏损状态,很多投资人都劝Peter Thiel放弃,但Alex Karp坚持深耕本体论和复杂场景解决方案,拒绝为了短期盈利而降低产品标准、放弃核心技术,这种长期主义,正是Palantir能积累核心竞争力的关键。

  3. 其他核心成员:包括Joe Lonsdale(LinkedIn联合创始人)、Stephen Cohen(斯坦福人工智能领域专家)、Nathan Gettings(PayPal前工程师,负责开发反欺诈系统),这些人不仅具备顶尖的技术和商业能力,还能为Palantir对接更多的资源和人才,比如FDE团队的搭建,就离不开Stephen Cohen的严格筛选和人才背书。

这些硅谷顶级大佬的核心价值,不仅在于提供资金和资源,更在于忍受长期亏损,坚持长期主义。Palantir从2003年成立,到2023年才实现持续盈利,中间经历了近20年的亏损,累计亏损金额超过数十亿美元。如果是普通公司,早就因为资金链断裂而倒闭,但Palantir凭借创始团队的资金支持和资源背书,不仅熬过了长期亏损期,还持续投入研发,搭建了本体论核心、完整的产品体系和顶级的FDE团队。

更重要的是,创始团队的背景,为Palantir的CEO工程提供了天然的信任背书。当Palantir的销售团队对接客户CEO时,“Peter Thiel创立”、“服务于CIA”这些标签,本身就自带高端、可靠的属性,能快速获得CEO的信任,降低销售难度。毕竟,对于大型企业和政府机构而言,选择一个有顶级大佬背书、长期深耕核心技术的公司,远比选择一个追求短期利益的小公司更靠谱。

最终总结:Palantir的成功,是体系化能力的协同胜利

回顾Palantir的成功之路,我们会发现,它的崛起从来不是单一因素的作用,而是五大核心依赖条件环环相扣、协同发力的结果,形成了一个“底层支撑-核心思想-工具支撑-增长引擎-落地保障”的完整闭环,这也是它难以被复制的核心护城河。

硅谷顶级大佬组成的创始团队,是这个闭环的底层支撑——它确保了Palantir能忍受长期亏损,持续投入研发,同时对接核心客户资源,为CEO工程奠定信任基础,拿到超高溢价的项目;

以本体论为核心思想,是这个闭环的灵魂——它打破了传统数字化软件的思维困局,构建了与微软、谷歌等科技巨头的差异化优势,让Palantir能切入其他软件解决不了的复杂场景,成为客户的刚需选择;

而自上而下的CEO工程,则是这个闭环的增长引擎——它精准对接核心决策层,锁定超高客单价,让Palantir的核心竞争力,快速转化为营收和利润,实现爆发式增长;

全球顶尖的FDE团队,是这个闭环的落地保障——它确保了CEO工程签下的高溢价项目,能真正落地到客户的业务中,实现承诺的价值,形成“签约-落地-复购”的良性循环;

完整的产品体系,是这个闭环的工具库——它将多年的实践经验转化为标准化、可复用的产品,为FDE团队提供了强大的支撑,让FDE能快速搭建定制化解决方案,提升交付效率。

说到底,Palantir的成功,不是因为它踩中了AI的风口,而是因为它在风口来临之前,用近20年的时间,默默搭建起了一套“思想-产品-渠道-交付-资源”的完整体系。真正的科技巨头,从来不是靠短期风口崛起,而是靠长期主义的深耕,靠体系化能力的构建。

这才是Palantir留给所有科技公司的最宝贵的启示。

跳转微信打开

  •  

独家对话谢赛宁:逃出硅谷!

原创 张小珺 2026-03-16 12:09 北京

作者:张小珺

手握10亿美金,在全球四地组建办公室的AMI Labs,却没有选择AI重镇——硅谷。

2026年3月,图灵奖得主杨立昆(Yann LeCun)和青年华人学者谢赛宁等,踏上了一条关于“世界模型”的创业旅程。他们创立的AMI Labs(Advanced Machine Intelligence Labs),目前仅25人、在没有任何产品的情况下,完成10.3亿美元Seed轮融资,投前估值35亿美元。

这是2026年新创的AI Neo Labs中备受瞩目的一家,创造了欧洲历史最大Seed轮。从统计看,它的第一笔融资在Neo Labs中位居世界第二,仅次于前OpenAI CTO Mira Murati创立的Thinking Machines Lab(20亿美元Seed轮融资)。

Neo Labs是近年兴起的一个新概念,专指由顶级AI研究者创立、以基础模型或新一代智能体系为目标、融资规模巨大、研究导向很强的一类新型AI实验室式公司。

“Silicon Valley is very LLM-pilled。”AMI联合创始人兼首席科学官谢赛宁说道,“硅谷已经深陷于LLM(大语言模型),完全被它催眠了。”

近年来,杨立昆活得像“一名斗士”。他发表过众多“反LLM”的著名言论:“LLM本质只是token生成器”,“如果你的目标是实现人类级智能,就不应该在LLM上下功夫”——可以说,他的AI世界观与当下硅谷的主流价值体系冲突。

“他们在硅谷有太多的‘仇人’。”一位硅谷人士评论说。

2026年春节,在中国机器人登上春晚的喜乐时分,纽约刚下过一场暴雪——这是近几年以来纽约最凛冽的一个冬天。在布鲁克林一栋略显凌乱的楼房,我与谢赛宁开始了这场对话。

这位出生于1990年的华人科学家,毕业于上海交通大学与加利福尼亚大学圣地亚哥分校,现于纽约大学任教。创业之前,他曾在Google DeepMind担任研究科学家。更早之前,他在Meta的FAIR实验室担任研究科学家4年。他的论文总计引用数近10万次,曾共同提出Diffusion Transformers(DiT)。

这是谢赛宁第一次接受访谈。2026年2月雪后的一天,我们从下午2点,开启了一场始料未及的马拉松式访谈,直到凌晨时分散去。

在黑暗浸透的霓虹纽约街头,空气中弥漫着没化完冰雪与难闻烟雾的混合味道。就像谢赛宁的表达,总是带着多重的混合感。

在人工智能的思想上,他不乏尖锐言论:“我完全不觉得LLM是Bitter Lesson(专指Richard Sutton提出的《苦涩的教训》)的成功展示,某种程度上,LLM是反Bitter Lesson的”;“语言模型的Scaling Law里面是有水分的”;“语言是‘毒药’,或者说,是一剂‘鸦片’”;“我非常担心语言对视觉的污染,事实上,它已经发生了”。

但他又不厌其烦地,枚举了影响他学术生涯的每一个人,并反反复复口头描摹这些人的人物特征。

这里面有:写《交大生存手册》的侯晓迪,初来乍到美国还不会用Linux的何恺明,活得像65岁青春期少年的杨立昆,捱过许多艰难时刻、以勇气与坚持让AI看见世界的李飞飞,等等。

这场对话涵盖了过去15年间,他对于AI技术变革兼塑造这些变革背后的人的完整游历。很多次我们的话题早就转移了,他坚持要绕回来,把人物素描完成——也许是因为,他人生最初的梦想是成为一名导演,尽管这个梦想很快就破灭了,却以一种新的形式延续下去。

但正是这些,让这篇“反OpenAI”、“反硅谷”、“反霸权”的对话,又充斥着人性的温度。

他说,在这个世界上,“只有人与人之间真诚的交流是重要的,也许其他都不重要”。

完整的播客视频将于Bilibili、小红书、视频号等全视频平台播出;播客将于小宇宙、苹果Podcast等全音频平台播出。

以下是我对谢赛宁访谈的节选。(为了方便阅读,作者做了文本优化)

01 

“硅谷被催眠了”


张小珺:如果Yann LeCun不从Meta离职,你会创业吗?

谢赛宁:我觉得我可能也会,但会纠结一段时间。

张小珺:你会自己做CEO?

谢赛宁:我不知道。如果这么决定的话也是另外一个玄学决定,但至少我现在不知道。

现在在公司里,我们讨论的问题exactly是我一直想做的。这有一点不谋而合:我们想要build这样一个“反向的OpenAI”。

“正向的OpenAI”,是说我现在有互联网作为数据的发源地,把数据download下来,create a GPT model using Transformers。

我们现在有一个智能,这个东西你们可以叫它AGI(通用人工智能)——但by the way,我非常反对这个词,我觉得AGI是一个完完全全的伪命题。

但我们现在有了这样一个模型,有了这样一个intelligence,我想要把这个东西push to market(推向市场)。不管是To C或To B的application(应用)都没问题。

什么是“反向的OpenAI”?是说要训练这个model本身,数据没办法直接从互联网下载下来,我们没有shortcut(捷径)可走。我们需要走一条更加艰辛的路,而这条路,注定无法独行。

The world needs World Models. World Models need the world.(世界需要世界模型,世界模型需要世界)。

这有点“草根联盟”的感觉,你知道吗?就是这些在AI浪潮面前有点FOMO(害怕错过)情绪、有具体问题要解决、有大量真实世界数据的公司,大家可以一起携手,通过某种合作伙伴的方式共建这样一个模型,形成这样一个闭环。

我们先建立一个初始的世界模型。大家用它解决问题、创造价值并获得回报,同时产生更多数据,这些数据再反过来用于训练和优化世界模型。

张小珺:你们从第一天就在全球有四个办公室,分布在不同国家,这很不常见,为什么要这么设置?

谢赛宁:因为Yann有他的名望在这,他作为一个真正正正的“世界人”,他有一个非常neutral的face,一个中立的面孔和角色。

他是一个美国人,但他也是一个法国人。我们总部又不在硅谷,能吸引很多这样潜在的partner(合作伙伴),遍布全球。

我们有四个offices(办公室),总部设在巴黎,但也会有纽约、蒙特利尔、新加坡四个研发中心。目的是,怎样在全球范围把这样一个联盟打造出来?让大家一起在research的道路上往前走。

这件事儿我还有一个有趣的故事。美国大家用信用卡有Visa,还有Mastercard(万事达卡)。你知道这个Mastercard是怎么来的吗?

张小珺:是不是“反Visa”?

谢赛宁:Exactly。

但这个story还蛮有趣的,是我的一个很好的朋友和mentor(导师)告诉我的。

Visa一开始是BOA(Bank of America,美国银行)这个银行创立推出的(1958年,美国第一个消费者信用卡计划),在此之前没有公司推行过这种模式。BOA创立了Visa信用卡,推向市场,赚得盆满钵满。它还藏着掖着,不告诉别人,别人问了就说我们是赔钱生意,一点都不赚钱。直到过了一两年藏不住了,因为财务上你已经能看出来了。

其他人就慌了,说这个怎么办?你现在已经把市场给dominated(主导)了。我们每一个小的银行,体量又打不过BOA;单独发一张信用卡,又抢占不过市场,怎么办呢?

他们就说,不如我们把所有local bank(地方银行)组织起来,变成一个联盟,我们一起推出一张信用卡,叫Mastercard(万事达卡)。

这是为什么万事达卡可以成功反击Visa,或者至少能跟Visa分庭抗礼。我并不是说,我们公司真的要走这样的模式,但我觉得在某种意义上,会有相似之处。

这也是为什么World Model是挺不一样的narrative(叙事)。这个叙事的逻辑它更加decentralized(去中心化),更加分布式,也天然的……怎么讲?——Resist(抵制)某种垄断和霸权。

这是我们开放性的来源,我们能更open-minded(开放心态)去讨论这些合作,不管是跟学术界还是跟industry partner(工业界合作伙伴)。因为这件事是research exploration(研究探索)的一部分。

当然我们不是说所有的研发都会开源,AMI是一个严肃的创业公司,但相比于其他AI公司,我们可能会做得很不一样。

我们在寻找一种平衡。它既不是一个纯粹的research lab(研究实验室),也不是一个现在完全封闭的大模型公司。这种平衡也在于,我个人也在寻找一种平衡:我既不是一个非常senior、功成名就的大教授;也不是一个十八九岁的年轻人,可以卷着铺盖跑到深圳工厂扎下来,去做数据采集。我都不是。

张小珺:你们选择了四个地方做办公室,但没有硅谷。你们是刻意不选择在硅谷创业吗?

谢赛宁:对。我觉得,Silicon Valley is very LLM-pilled,已经深陷于LLM(大语言模型),完全被它催眠了。

但这件事情不会持续很久。

被催眠的人总有醒来的一刻。那时候我们完全不排除去硅谷设立公司。

02

在LLM之外,有一个隐形的世界


张小珺:随着你要开始做世界模型,你也同时做了一个重要决定,就是你创业了。这跟你之前的research生涯有很大不同。这个选择是怎么发生的?

谢赛宁:这个选择也是一个玄学选择。

但确实因为之前很多在湾区认识的朋友,有一些对我帮助很大的mentor。大家有投资人的身份,有创业者的身份。他们就说:赛宁,你应该也尝试去创业。在学校里面,有很大的困境。

张小珺:缺算力。

谢赛宁:对。但并不是说学校一无是处,学校是一个很好的平台,让我有足够空间去找到我想要做的事情。

我突然觉得,现在是一个时间点,似乎我想要探索的东西探索到了一定的地步。再往后,有可能会陷入“中等paper陷阱”,有点像“中等收入陷阱”。

你会发一些不错的论文,但由于resource(资源)限制,导致你没办法真的把idea变成新的breakthrough(突破)。

我有一个mentor问我,大概是2025年中,秋天的时候。他说,诶,你去问一问Yann LeCun,他好像最近在Meta待得不是很顺心。

那个时候Meta还没有这么动荡,还没有Alexander Wang(Meta首席AI官)、FAIR(Meta的人工智能研究院)的layoff(裁员)。没有这么多动荡的事情。

我的第一直觉是,这个怎么可能?Yann,对吧?——至少在那个时候我会觉得,他还是一个godfather of AI(AI教父),也是一个纯粹的researcher,怎么可能拉他一起创业呢?

结果,我们有了这个对话之后的第二周周一,我跟Yann刚好有一个1-on-1 meeting(一对一会议)。

还没等我说什么,Yann就跟我说:“赛宁,你先不要告诉别人,但我已经决定了。我现在想要做的事情,我觉得应该在外面做,我想要去创业开一个公司。”

我就问他,你想做什么事情,背后的business model(商业模式)是什么?——就发现:哇,这跟我想象的事情完全一致啊。

在我们想做的这件事儿上,在现在世界上任何一个国家的公司,都做不了。包括在湾区也做不了。这个事情是什么?你可以叫它“世界模型”公司。这个公司需要有一定的research深度。它并不是,我们现在立刻要launch(上线)一个产品,把它部署出去并开始获取收入。

它需要有很强的research倾向性,但又不是在纯粹学术的setting(设定)下运作。它不是过去的FAIR,也不是NYU (纽约大学)。但另一方面,它也不是处在一个完全封闭的状态下的硅谷大厂和Neo Labs。

张小珺:封闭,是什么意思?

谢赛宁:封闭是说,你不能开源,不能发表论文,即使公司发blog(博客)也不能署名。

我在GDM(Google DeepMind),整个GenAI org(部门)只有我一个人脚踩两只船,有double affiliation(双重职位身份),在公司兼职,还在学校做研究。大家对学术界、对纯粹探索性的research是有点抵触的——这是湾区现在的一个状态。

抵触的意思是:第一大家瞧不上学术界在做的工作,不觉得学术界做的东西能真的产生怎么样的影响;

第二,他们因为也不publish(发表),导致你也不知道他们在干嘛,即使在这些大厂,有research(研究)的部门,也有偏product(产品)的部门,但即使同一个公司两个部门之间也有很大隔阂。

核心模型训练的部门,必须在highly competitive(高度竞争)的赛道上,卷到最前面。这是他们唯一的目标。

张小珺:这是一场“军备竞赛”。

谢赛宁:这件事就会压榨你的research的空间,会抽走这个环境给你充分freedom(自由)去做research的氧气。

张小珺:你没有想过(全职)加入任何一个现有的lab吗?你没办法忍受没有氧气的感受?

谢赛宁:是。当初确实有一些机会,但我想了想之后,觉得如果你真的想要做完全前沿的探索,你想要去定义问题的话,还得在一个自己的startup(初创公司)里才能实现。

首先我不认为有任何其他的startup或者大公司,能focus在我们想要做的事情上——building the predictive brain(构建预测型大脑),在最foundation layer(基础层),或者说最upstream layer(最上游层)做一些探索。

现在整个AI行业有一个巨大的value chain(价值链)。在这个价值链条最上层,有Bitter Lesson(苦涩的教训)、AGI(通用人工智能)、LLM这样的叙事。这些叙事定义了一系列的benchmark(基准测试)—— 然后正因为你要打榜,基准测试定义了resource allocation(资源配置)。如果我的目标是在榜单上得到第一名,那我只能投入最多资源,使得我能处在这个位置上去竞争。

资源分配决定了,这件事儿已经跟researcher觉得什么是对、什么是错,有一点脱离了。

虽然有些很强的researcher知道,我们可能需要做一些新的research;但在这种价值链条下,resource allocation决定了,他们却不能做这一部分的research。

比如,我们知道视频理解非常重要,但现在不管学术界也好,工业界也好,做得并不多。或者大家会尝试做这件事儿,但没有fundamentally(根本性地)从World Model角度去思考、解决这个问题。

很有意思的现象是,不是没有人愿意做,也不是没有人有能力做——但这些researcher,不管在哪一个公司,无一例外被发配给了做视频生成模型的video captioning(视频标注)的团队。因为这是唯一一个,可以间接参与到这个价值链条的职位。

虽然这些researcher都知道这件事儿(视频理解)没有解决,我们需要一个更好的World Model based Video Understanding Model(基于世界模型的视频理解模型),并且这可能是一个真正训练出通用World Model的前置条件,但大家没有空间做这样的探索。

在这样的有限游戏下,在这样强竞争的环境下,每个公司都似乎失去了定义问题的能力。

你看之前,OpenAI具备这样的能力,很多问题是他们定义的。包括GPT、CLIP。他们从成立第一天起,作为一个research unit(研究单位)有自己探索的过程。

张小珺:但现在research已经变成了一个商业问题、产品问题,你必须竞争,不竞争怎么办呢?

谢赛宁:那当然是逃出来。

我们来一起创造一个更好的、更researcher-friendly(对研究员友好)的组织。

张小珺:所以你们要逃离硅谷的叙事。

谢赛宁:这是双向的选择。会互相diss(批判)一下。

张小珺:算是硅谷的避难所吗?

谢赛宁:啊,不能叫做避难所,哈哈哈。但确实是一个不一样的地方。

不一样的点在于,我们有从OpenAI、DeepMind、xAI,从各个地方过来的小伙伴,大家不是为了要赚多少钱,也不是为了要 IPO上市。大家心里面非常纯净,就是想做research(研究)。大家觉得,时机到了,我们有机会通过research影响接下来AI的进程。

现在大家的心态,也因为行业变化发生了一些微妙变化。我觉得大家有点过于走到一个极端。就是,我们要lower everybody’s ego(降低每个人的自我),everybody is part of the team(每个人都是团队的一部分)。但事实上,正在发生的是,大家确实变成了团队的一员,但同时也变成了这个巨大machine(机器)中的一个可以被轻易替换的螺丝钉。

我完全同意researcher有太强的ego,这不利于团队协作。但我还是希望能给予年轻人足够的visibility(可见度)——这能让他们有自己的人物弧光,让他们变成很有名气的leading researcher(顶尖研究者)。但现在这样的人才培养的上升通道正在收紧。

我们希望这种mission-driven(使命导向)的年轻人加入公司。我们不太希望把一些已经很established(权威、成名)的、像superhero(超级英雄)一样的researcher聚在一起,期待他们产生某种化学反应——我不太相信这件事。

张小珺:LeCun见你那次,他跟你说了什么?

谢赛宁:这可能不是他的原话,更像是我理解的他对我说的事情。

世界模型是真实世界需要的智能。

在硅谷之外,在LLM叙事之外,有一个隐形的世界。这个世界里有很多人,大家想要解决这个物理世界里的很多问题。他们可能是一个农场,可能是一家医院,但他们拿着LLM不能直接解决这些问题。LLM能解决一部分问题,但有很多涉及真实世界的physical understanding(物理理解)的问题,LLM是解决不了的。

大家都很焦虑,害怕AI的浪潮要来了,我是不是连上牌桌的机会都没有?这一部分隐形的世界,在硅谷的叙事逻辑下不可见,但是是一个很大的市场。

世界模型也需要这个世界。

原因包括两部分。第一部分是“定义问题的能力”。我希望问题会从生活来,从人真实的需求中来,从工业生产的需求中来。这之于OpenAI或者硅谷的叙事也是隐形的。

其次,涉及到你刚说的数据问题。虽然我们第一步可以从互联网拿到数据,可以去训练模型,但最终还是要去真实世界“淘金”。这些数据也是“隐形”的,大家不会把这些数据传到YouTube。

YouTube上的数据还是,跟人类价值观或跟人类for entertainment(娱乐向)的需求非常对齐的数据分布。

我们还只是在讨论这个视觉的数据,但这个世界里有大量非视觉,在continous domain, high dimensional, possibly noisy(连续空间,高维度,可能有噪音的)信号。这些数据,现在对于训练世界模型来说,至关重要。

所以世界模型不只是一个vision model(视觉模型)。这些数据现在是不可见的,我们需要从一些地方获得它们。

这是我跟Yann聊的一些high level(高层面的)感受。

张小珺:现在的frontier lab(前沿实验室)竞争这么激烈,是因为LLM的范式是相对确定性的了。他们在争一个商业的输和赢。听上去,你们不想在这个范式下竞争了,想去找下一个范式。

谢赛宁:是这样。虽然是《商业访谈录》,但我先要说,我真的不懂商业。我没有做过startup(初创公司)——没有成功过,也没有失败过。

这件事既让我感到焦虑,又让我有种无知者无畏的冲劲。

张小珺:我会有一个疑惑,LeCun本身就是一个research背景的人,他创业为什么又找一个researcher,也就是你?

谢赛宁:Research是这个公司的focus,这个公司最后最重要的产品是一个research breakthrough(研究突破)。

我们刚才提到的所有的一切,涉及数据,涉及问题定义,涉及产业合作伙伴。这些所有事情的逻辑,都建立在in research we can make another breakthrough(我们研究过程中的新突破)。

下一个新的AI革命,你可以叫它“世界模型的革命”,或者whatever you want to call it(随你怎么称呼它)。

它跟LLM fundamentally(从根本上)不一样,它至少是一个Transformer或者ChatGPT level的事情。

这是我们的梦想,落到实处要一步一步走。

我们公司不只找researcher,比如还有我们的CEO(Alex LeBrun,连续创业者)。我是这个公司的co-founder and chief science officer(联合创始人兼首席科学官)——我非常喜欢这个title,我希望我自己的定位还是在science。

我不是一个好的CEO,至少现在不是。

张小珺:在很多人眼中,LeCun都是一名斗士;在你眼中的LeCun是一个怎样的人?

谢赛宁:他真的是一个“斜杠青年”,或者挺文艺的一个人。按一个朋友的说法,Yann是一个16岁青春期一直延续到65岁的这样一个人。

他经常就很骄傲地跟大家说他有四大爱好:第一个爱好是造模型飞机;第二个爱好是拍天文摄影;第三个兴趣是搞电子乐和Jazz(爵士乐)——他的网页是宝藏,他会讲说在纽约有哪些Jazz Club比较好;他还有一个爱好是帆船。

我们要做World Model,我希望大船的舵手是一个有格局、热爱生活的人。

我们3月有另外一篇paper叫《Solaris》。这是一个科幻小说,后来被塔可夫斯基改编成一个电影。我们之所以取这个名字,是因为我们在做一个多角色视觉生成的模型。电影讲的事情是说,有一片海洋可以读取人的潜意识里的记忆,最后把一些东西具象化生成出来。

有一天跟Yann说,我们这个paper叫这个名字怎么样?我想看他知不知道这个电影。

他说:“你知道这是一个电影的名字吗?”我说:“对,我就是因为这个取得名字。”他问我说:“你看的是哪一部?是1972年的一部,还是2002年的一部?”“是塔可夫斯基(Andrei Tarkovsky)拍的还是索德伯格(Steven Soderbergh)拍的?”

我说:“OK,我觉得我不光research上服你,在电影上好像你也比我懂得多。”这对我个人来说蛮重要的一种人格魅力的体现。

张小珺:从他第一次告诉你,你纠结了多久?

谢赛宁:我没有纠结很久,Yann说话有点像casting spells(施法),像哈利波特(Harry Potter)一样给你施一些咒语——他说完一些话,你就不会想其他的了。

03

语言模型是predict next token,世界模型是predict next state


张小珺:既然你们要做的是世界模型,能不能定义一下什么是世界模型?

谢赛宁:世界模型(World Model)是,你现在给定一个系统或者一个环境的状态,这个环境状态可能是,你可以认为它是在当前时刻的一个状态,但世界模型也不一定只是做所谓的temporal prediction(时间上的预测)。但我们先不管这些,总之你现在有一个系统或者一个环境,你有一个状态,st 。

你有一个intervention(干预)或action(动作),比如说我们叫它at ,在当前时刻你对这个系统施加一个动作,你现在希望能够学到一个prediction function(预测函数)或者transition function(转移函数)f,使得它能够take你的action跟你当前的st这个state(状态),这个环境的state能够去predict下一个(时刻的)state。

这是最基础的通用世界模型的定义。

这个定义本身无比直接,甚至有点trivial(平庸的),因为它不是一个新概念。

其实1943年,有一个心理学家Kenneth Craik(肯尼斯·克雷克),他第一次提出了这个概念。他说人在脑子里有这样一个世界模型,这个世界模型能够告诉我们,当我们去做某一个动作的时候,接下来会发生什么样的后果。因为我们能够预测我们的动作带来的后果,所以世界模型能指导我们,到底应该去做什么样的动作和做什么样的决策。

这种基于prediction(预测)的结构也是过去Control Theory(控制理论)在六七十年代,科学家把探测器送到月球时所需要的控制系统的基础。

比如,一个经典的算法叫做Model Predictive Control(模型预测控制,简称MPC),这里面也涉及到一个model,这个model其实也就是某种World Model。这个算法非常简单:你讨论到底应该施加哪一个control signal(控制信号)给这个系统,使得它能够完成既定的任务。

我要做的事情是,在当前时刻通过我的模型去rollout,去滚动输出接下来的sampled action, the actions sequence(采样动作、动作序列)。然后通过这个动作序列用我的这个model去得到下一个时刻,或者每一个step(步长)上的一个state (rollout trajectory)。最后我也会有一个某种cost function,一个代价函数,告诉我执行了这个动作序列之后,我离最后的这个目标距离到底有多远。

这个算法就是不断地去sample(采样)你的action sequence(动作序列),然后跳回到第一步,找到这个cost最低的action sequence,执行它的第一步,然后重复迭代。在每一次你都要做一个决策,这个决策的来源都基于你对未来的预测。

这是在model predictive control里面,大家怎么去用World Model。

再到后面,比如在model-based RL(基于模型的强化学习)里面,Reinforcement Learning(强化学习)里面,大家也意识到World Model是非常重要的。

这里面有一个经典的论文是Dyna(一种强化学习架构),这个paper是Richard Sutton(强化学习之父,著有《苦涩的教训》)写的。

Richard Sutton讲了一个很有趣的观点或者framework(框架)。他讲人的智能体系可能分两种,一种叫reactive policy(反应式策略),一种叫某种更智能化的model-based policy(基于模型的策略)。这件事的类比是所谓system one, system two(系统1与系统2),正像human cognition(人类认知)也有所谓的thinking fast, thinking slow(快思考与慢思考)的概念。

对于很难的问题,我们可能需要更多的mental cycle(脑力周期)去学习这些问题。但对于一些问题,比如开车,刚学的时候紧张得不得了,需要做很多决策;当你真正会了开车,你就会把这些决策内化成肌肉记忆的一部分,变成了reactive policy(反应式策略)。

Richard Sutton在Dyna的paper里说,Reinforcement Learning是一个非常primitive(原始的)、基础的、没有世界模型的learning algorithm(学习算法)。

所以其实Richard Sutton自己有点反pure Reinforcement Learning(纯强化学习)。

他讲,一个更好的系统,是如果你有一个足够强的世界模型,你可以基于当前的state去预测下一个state,那你就有了所谓的planning(规划)的能力。

Planning就是做计划的能力,它在某种意义上跟reasoning(推理)也是同样的概念。Reasoning现在在LLM很火,但事实上我们需要的这种planning,以及这种planning对于decision making(决策)的意义,很早在Control Theory和Reinforcement Learning里面大家都在讨论。

从这个角度,World Model的实质是怎么样去刻画一个系统和一个环境,使得你能够在这个系统里做预测,并且这个预测能指导你的action sequence以及你自己的决策。

张小珺:也就是说,大语言模型是predict next token(预测下一个字符),世界模型是predict next action(预测下一个动作)?

谢赛宁:是基于your action, predict next state。

那个state应该是可以描述一个系统的所有状态的一个信息来源。这涉及到一个很有趣的事情,就是这件事情跟表征的关系到底是啥。

我们为什么说state是一个环境信息的一个充分统计量?它保留了对未来预测和决策所需的关键信息,同时忽略与任务无关的细节。学习这样的 state 表示,本质上就是representation learning的问题。

假设我们现在的物理世界,比如我们这个屋子,这是一个环境。那刻画这个环境的state是什么?如果你不追求这种所谓的最小信息,或者minimal description length(最小描述长度),那它可以是把整个space全都重建起来,精细地去刻画系统里的所有参数,包括桌子上的纹理、声波、桌子的质量、话筒的各种physical parameters(物理参数)。

但我们不会这样去刻画系统。因为很多信息对于决策来说不重要。

如果一个智能体活在这的目的是聊天,那我只需要知道一些基本事实就够了,比如话筒能在桌子上放着,我不会去关心每一点的光照,也不会关心桌上每一个细节的纹理。这些不重要。所以这个state可以包含enough(足够)的信息,这取决于你要解决什么样的任务。

怎么样去构建这样的一个state?这件事情其实跟表征学习是直接相连的。

我们要有一个层次化的表征(hierarchical representation),目的就是能够去慢慢develop出来这种一层又一层迭代上去、越来越抽象、越来越对decision making越有价值的representation。它不用精细到每一点,而且我们也做不到精细到每一点。

比如,我们要造一个飞机,我们要建模这个飞机的动力学系统。我们当然可以从一个最low level的角度出发,去model每一个分子的碰撞。但这当然不会work。这是a totally stupid way(一个愚蠢的方式)。

我们做的是在统计的意义上去学习这个问题,所以才有了流体力学,才有了所谓的Navier-Stokes方程(纳维-斯托克斯方程)。

状态建模方式变得越来越抽象,但能够刻画的世界也越来越广阔。

04

LLM是反Bitter Lesson的


张小珺:语言正是人类的一种抽象。

谢赛宁:语言是某种已经封装好的抽象知识结构。它是高度凝练的,是一个人类社会已经形成、存在的抽象。

张小珺:你们现在要构建一个在语言之外,新的抽象?

谢赛宁:它一定是一个latent representation(潜在表征)。人可以通过侧面的方式了解到你到底学了什么样的representation(表征),或者哪些representation是有意义的。它不是一个完全的黑盒子,但它也不是一个受限于语言的句法跟逻辑的东西。

这就是为什么我说:LLM完全不够Bitter Lesson。

(Bitter Lesson:苦涩的教训,是由Richard Sutton提出的AI发展理念,用来总结几十年来人工智能历史中的一个核心规律:苦涩的是,人类自以为聪明的领域知识经常被“更简单、更通用、依赖大规模计算的算法”超越。)

我完全不觉得LLM是一个Bitter Lesson的成功展示——某种程度上,LLM是反Bitter Lesson的。

Bitter Lesson说的是,你应该尽可能减少human knowledge(人类知识),把人类的傲慢、“聪明才智”以及这些clever的structure(精巧的结构)尽可能减少,尽可能多用search(搜索)跟learning(学习)的方式去找寻答案。

语言就是这样一种人类极其聪明的产物,它有精巧的设计。

当然语言有它自己很强的能力,也一定会在未来的智能体系里面占据重要地位。

张小珺:但是,语言不可或缺的一点是,可以借由语言形成CoT(思维链)。

谢赛宁:但CoT也是一个阶段性的产物。我觉得LLM的所有一切构造都是阶段性的产物。最近有一些研究也在慢慢发现,CoT可能只是某种文本技巧,推理步骤可能是“事后编造”(unfaithful explanations),有些错误CoT仍然得到正确答案,提升效果可能来自生成过程变长等等。

LLM这件事情存在structral (结构性的) 安全性和可控性的问题,因为它没有一个真正的世界模型。甚至我们把LLM当做一个世界模型在用,但它是一个fundamentally flawed(本质上有缺陷)的世界模型。

现在的controllability(可控)或者safety(安全)完全是通过fine-tuning(微调)和强化学习的方式来实现的,你需要喂给它大量的数据,让他知道什么话能说,什么话不能说。这叫做Alignment(对齐)。

但真正的世界模型你不需要这样做,因为你可以预测你的action(动作)会lead to what consequence(导致什么结果),你就可以在inference time(推理阶段)的过程中去尽量避免这样的行为。

比如,一个机器人拿着一把刀在切菜,怎么样保证它不会向后一转把你砍了呢?对于Language Model的思路来说,唯一的方式就是通过喂给它大量数据。但世界模型不一定需要,因为你能够去预知这个结果。

张小珺:你好几次提到“表征”、,也表达了你的整个研究路线图是围绕着“作为表征的世界”展开的,能不能给大家解释一下什么是“表征学习”?

(关于谢赛宁围绕着“作为表征的世界”展开的研究路线,请看视频播客,此处省略10万字=。=)

谢赛宁:我很喜欢说我是一个“做表征学习的人”,但这件事情还蛮难定义的。

从数学来讲,你可以认为表征学习是:你有一个数据x ,现在要把它map(映射)到一个space(空间)里去。这个空间会具有一些好的性质,让你在downstream task(下游任务)上更容易取得好结果。所以,你要学习的从初始数据到具有良好性质的空间的映射函数,就是所谓的“表征学习”。这个函数不只是简单的映射,它可能是一个层级化的映射。

现在主流的实现方式是用一个非线性的Neural Network(神经网络)来实现这个函数。

我愿意说自己是做表征学习的人,因为representation是一个永恒的、最fundamental的主题,也是一个还没有被完全解决的主题。

张小珺:这些表征最终,可以统一成统一的表征吗?

谢赛宁:还是要scaling。语言模型的Scaling Law是因为它是一个lossless compression(无损压缩)的过程,所谓压缩即智能。

这个是说,模型变大能让结果变好,不是因为它死记硬背,而是更大的模型就是一个更强的模型,所以它能有一个更高的压缩率,也带来了某种泛化能力。我想我同意这个观点。

但我想后撤一步,语言模型的Scaling Law里面是有“水分”的,因为它并不需要真正通过理解世界的方式去回答问题。Benchmark(基准测试)要求它能retrieve(检索)出来factual knowledge(事实性知识),所以“知识压缩”和“世界理解”混合在了一起。

世界模型会有非常不一样的Scaling Law。它的模型不需要记住世界里的所有细微细节,它不需要通过解薛定谔方程的方式去判断苹果是不是落下来,它不需要人类最高级的智商。它需要通过理解能力去filter and organize information(过滤和组织信息)。

这跟人越来越像。

人的感官输入带宽可能达到10亿bits per second(比特每秒),但说话、做事的带宽只有10到100bits per second。大脑把高带宽信息转化成低带宽的行为模式,这就是World Model本身,它过滤大量的无用信息。

张小珺:你怎么看待大语言模型与世界模型的关系?

谢赛宁:我觉得LLM是智能体中至关重要的一部分,但它不是全部。

比如处理视觉问题,我们坐在这里,头稍微扭5度、10度,就会生成几百帧。如果按LLM的方式,你要tokenize每一个frame(帧),把它拉平串成一个非常冗余的序列,这完全不make sense(合理)。

Transformer的inductive bias(建模偏置)是,它得要pay equal attention to every single token(对每一个字符赋予相等的注意力),这代表语言模型的modeling technique(建模技术)不能够解决对这种连续空间信号的认知问题。虽然线性注意力、稀疏注意力这些方法能缓解一些问题,但和人类可以处理的那种连续、几乎无限带宽的感知输入相比,现在的模型在能力和效率上还是差得非常远。

我们要build的世界模型,需要具备如下特征:它能够understand physical world(理解物理世界),要有足够大的associative memory(联想记忆),能够reason(推理)、能够plan(规划),能够做counterfactual(对未发生可能性的推演)或者causal的inference(因果推理)。最后一点是,它得足够的controllable and safe(可控与安全)。

张小珺:所以,世界模型和大语言模型不是衍生关系,是替代关系?

谢赛宁:也不叫替代关系。之前没有大语言模型的时候,我们压根谈不了什么世界模型。

LLM让你具备了一定对真实世界的认知能力,但它又是fundamentally flawed(有本质缺陷),因为语言带给你的东西实在是太少了。

语言本质上是一个communication tool(交流工具),除非你说梦话,大部分时候你用语言是带着intention(目的)的。

所以,LLM更像是一个search engine的延伸。

但是,世界模型是大脑在background(背后)做了很多工作的。Language只是一个communication tool,你永远带着目的。

张小珺:语言除了是沟通工具,也是一个可以推理的工具。

谢赛宁:对,但只是symbolic level(符号层面)的推理。

张小珺:所以你们想构建一个,像人类的大脑一样的世界模型?

谢赛宁:不只是人吧,我们要看看各种各样动物的智能到底是怎样发生的。

回到刚才的逻辑,没有大语言模型的时候,我们压根谈不了什么世界模型。

语言模型虽然有本质缺陷,但是行为上已经表现出一些World Model的特征了,虽然它没有action,虽然它通过CoT和MPC式的工具调用做到的reasoning和planning,与真正世界模型所要求的机制还是有比较大的差别。

往前发展,最近的视觉生成模型,已经让事情变得有些不同了,它比Language Model往前推了一步。

虽然现在这些系统也要依赖Language Model去做prompt rewriting(提示词重写),做conditioning(条件输入),但原来Language Model是建模的主体,现在它变成了视频生成模型的前期脚手架。

原来你建模的是 p(y),现在变成在建模 p(x)或者p(x∣y)。当你训练生成模型时,本质上是在给各种可能出现的现象分配概率,也就是判断在这个世界上哪些东西更可能存在。比如模型需要理解,为什么四条腿的猫在现实中比三条腿的猫更常见。换句话说,你已经开始直接对原始数据(像素)本身进行建模了。

但再推演一步,像素本身也不够Bitter Lesson,像素是人为定义的格子。

真正Bitter Lesson是说,我不需要给人看;它给你的系统看,给你的世界看。给人看不是World Model的核心,而是接口。

世界模型是一个目的。

总有一天,我们会有一个更好的世界模型,语言模型会在此之上变得更强。理解和生成是一体的,它都需要一个真正的World Model作为基础。

张小珺:那么,这样的世界模型怎么做训练?大语言模型能够训练是因为,海量的互联网文本就在那里,这是人类文明的现成数据。世界模型的训练,我都不知道从哪里下手。

谢赛宁:这是一个biggest bet(最大的赌注)——以前是download internet的时代,现在是download human的时代(以前是下载互联网的时代,现在是下载人类的时代)。

我们要把人类下载下来。

一个4岁小孩看过的视频,量级比所有训练语言大模型的token还要大。视频是全村的希望。第一步可以从互联网数据开始,YouTube上的数据量等于30分钟的YouTube upload(上传量)就够了,虽然需要考虑terms of service(服务协议)的问题。

世界模型的出口很多,短期内有两个。

一个是AI glasses(智能眼镜)。一个真的personal assistant(个人智能助理)需要一个World Model。它得是一个always-on的device(永远在线的设备)。

就像现在Whoop,Oura类似的可穿戴设备一样,一直在监控你的体征。它会进行一个智能决策告诉你是不是under too much stress(压力过大)。

其实这些设备还蛮世界模型的,虽然目前它们获取的信息太少,只有我们的心率、血氧等。如果眼镜能always on,看到我们所能看到的一切,它能指导运动员的动作,或者给养老院的老人提供智能健康建议,这是现有基于LLM的多模态做不到的。

另一个出口当然是Robotics(机器人)。机器人面临的问题是本质上还是“大脑”不够。

机器人是一个很好的downstream application(下游应用),任何上游的演进它都能从中受益。比如LLM出来了就有VLA(视觉-语言-动作模型),视频生成模型出来了就有了所谓的WAM(世界-动作模型),但已有的预训练范式,都没办法真正解决问题。

我不是很喜欢世界模型这个词。听起来有点hype(炒作)。它变成了一个口袋一样的称呼。

但我还蛮同意一位教授说的:他喜欢World Model是因为,它告诉大家我做的是world(世界)模型,而不是word(单词)模型。

世界模型是所有人会抵达的终点。

05

我拒绝了Ilya两次


张小珺:2018年你也曾经面试过OpenAI,如果你当初去了OpenAI,现在你是不是也成为了LLM大军的一员?

谢赛宁:Maybe,我不知道会发生什么。从那个时间点开始,像量子力学一样发生了一些变化。

我面试OpenAI的经历还蛮酷的——在一个小黑屋里关了五六个小时做一道题目,出来的时候天都黑了。John Schulman(OpenAI联合创始人之一、现Thinking Mashine Labs首席科学家)当初的面试题是一张A4纸,是铅笔手写的一行面试题。这件事对我触动很大。

最后虽然拿到了offer,但没有去OpenAI。

张小珺:你为什么没去?

谢赛宁:那时候想都没想,就想去FAIR。因为何恺明、Piotr Dollar、Ross Girshick在那里,他们是当初计算机视觉的“三驾马车”。

他们(当时)不是那种很senior的大学教授,而是最顶尖的中青年研究员。他们在那里,做的就是最顶尖的CV研究,对我来说没什么好选的。

当初还挺好玩的,Ilya Sutskever(OpenAI前首席科学家、现SSI创始人)给我打电话,我什么都没说就把 OpenAI 拒了。

我说:我不去,抱歉。

张小珺:他给你打电话说什么?

谢赛宁:他非常生气。

他问我:“你为什么不讨论一下就把offer拒了?是我们给的钱不够吗?”

张小珺:多少钱?

谢赛宁:记不太清了,现在看起来,其实非常低。一个顶尖的PhD学生在2018年能拿到的工资大概是40到50万美金左右,现在至少翻了三倍。

但anyway(无论如何),那个时候OpenAI的薪资其实没什么问题,所以Ilya很生气,我也只能搪塞两句。

张小珺:他生气的时候会说什么呢?

谢赛宁:只是语气非常严厉。

张小珺:他没有被拒绝过?

谢赛宁:我不觉得。在2018年,他应该经常被拒绝。

我一共就跟Ilya打过两次电话,这是第一次。

第二次是2024年7月的时候,他的SSI(安全超级智能公司)刚成立,他给我发邮件说,愿愿不愿意来一起工作。

张小珺:你又拒绝了他,这次为什么?

谢赛宁:这次是因为我刚在NYU开始我的工作。我跟他聊的时候,我们主要讨论的topic不是工资,主要讨论的是:怎么样给未来的人工智能给予“爱”的能力。

当然我最后问了他一句话,我说你对multimodal(多模态)这件事情怎么看?你对计算机视觉,或者对那种perception model(感知模型)怎么看?

Ilya的说法是,他觉得这件事已经解决得很不错了。所以我发现可能SSI有自己基于语言的这样一个路线,然后这条路线至少到现在为止,不是我想要去设计的东西。

张小珺:这是你们底层的分歧,到底是以LLM还是视觉为主要路线?

谢赛宁:我觉得之后可以细聊,但我并不觉得这是一个分歧。这是一个有机体,大家只是在不同的地方、不同的时间做不同的事情而已。没有必要拼个你死我活。

张小珺:关于怎么赋予人工智能“爱”的能力,你们有得出结论吗?

谢赛宁:结论就是这件事情很重要。为什么?因为如果没有的话,我们面临的是一个非常不确定、非常危险的未来。

张小珺:但是有“爱”的同时一定就有“恨”,它是一体两面。这个世界不可能只有爱。当它学会了“爱”的时候,它一定知道它的反面是什么。

谢赛宁:对,我完全同意你说的。这件事就上升到哲学命题了。

但我想反问一句:为什么大家对自己的孩子、对人会这么信任,而对AI这种新的智能实体会这么担心或者恐惧?我觉得这一点我没有答案。

但我觉得会有技术上的一些可以去把控的地方,可以通过技术的手段,让AI在未来变得更加可信,变得更加安全,变得更加controllable(可控制)。

这些也是为什么要做World Model的一部分原因。

06

语言是“鸦片”,我非常担心语言对视觉的污染


张小珺:ChatGPT诞生之前,CV(计算机视觉)在AI中占据很核心的位置;但这几年 LLM兴起,CV似乎退到一个边缘位置。

这个过程中,以你为代表的CV背景的研究者,会感到沮丧吗?

谢赛宁:我完全不沮丧。我要感谢LLM。没有LLM,Vision也没办法拓展到现在这种真正的多模态智能的大的scope(范畴)。

视觉的发展史可以画两根轴:在最early stage(早期阶段),CV要处理的是最单一、具体、简单的任务。比如MNIST(手写数字识别数据集)的数字识别,到后面像CIFAR(小型图像分类数据集)这种32×32像素上的十分类问题。再到后面ImageNet出现,变成了224×224的 classification(分类)问题。再往后有了Detection(目标检测)和Segmentation(图像分割)这种更结构化的认知过程。

这根轴继续往前推演,就到了Multimodal Learning(多模态学习)模型的兴起。因为多模态的介入,我们可以很容易放弃固化的task design(任务设计),语言作为一个很好的interface(界面),可以帮你解决很多问题。

这根轴是从简单task到复杂task的轴,也是语言开始慢慢介入CV的轴。

这里面有两个问题:第一,语言介入带给我们巨大好处,让我们可以自由定义问题并得到答案;

第二,风险在于,对语言的依赖变多了,导致很多多模态任务其实跟视觉没关系,纯粹是语言问题。从这个角度看,Vision好像变得边缘化。但我觉这是巨大机会。

虽然现在通过语言的统计信息能完成一些决策,但等到真的有一天,我们需要去deal with(处理)真实世界里的真实task去build某种真实的intelligence,现在这种不够完美的视觉表征就会是重大的缺陷。

Yann的说法是,现在大家只是拄着“语言模型”这根拐杖走路。你能走,但跑不起来,也没法参加奥运会,因为你“视觉表征”这条腿还不够好。

张小珺:为什么你的用词是“真实的intelligence”?LLM构建的为什么不是真实的intelligence?

谢赛宁:我觉得LLM是虚拟的intelligence。

张小珺:可是我们的智商不也是虚拟的吗?

谢赛宁:可能“虚拟”这个词不对。我定义的“真实”是说要跟真实的世界发生交互。

LLM解决的问题大部分在digital space(数字空间)发生。它能记忆factual knowledge(事实性知识),记住Wikipedia(维基百科)所有article(条目),做法律顾问或教育。

LLM当然是革命性的,但这跟vision as a perspective(从视觉视角出发)要解决的问题完全不在同一个market (市场)—— 我们要处理的是continuous space(连续空间)、high dimensional(高维度)、noisy(带噪声)的domain(领域)。

张小珺:比如,机器人领域?

谢赛宁:不只是机器人。这些信号很难被tokenized(标记化),它们脱离了virtual space(虚拟空间)。

这涉及到什么样的task呢?比如industrial process control(工业过程控制),涉及到所有的sensory modeling(传感器建模)信号。你有很多传感器感知世界,需要统一的算法去model(建模)这个环境。使得你在执行action(动作)或者intervention(干预)时,能预测系统接下来的变化。这是LLM很难做到的。

在我看来有两个极端:在左侧,一个极端是LLM擅长在数字空间里通过coding(代码)这样的 interface(接口)作为Agent介入物理生活,但它归根结底是基于离散的token的建模方式。

在右侧,是Robotics,且必须是真正的General-Purpose Robotics(通用机器人),它有自己的一套大脑和决策系统。

从数字空间里LLM一步步推演到真实空间里Robotics,才是视觉智能和多模态未来要解决的问题。我最想做到的事情是通过“不做机器人”的方式去解决机器人问题。

张小珺:通过“不做机器人”的方式去解决机器人问题?

谢赛宁:机器人进展太快了,春晚上的宇树机器人,令人瞠目结舌。但另一方面,还是要有人focus在预训练的部分,即所谓的“机器人大脑”到底是什么?

这个大脑包含了视觉系统。在控制和硬件部分,大家可以各自努力。

真机验证和迭代作为eval(评估方式)自然很重要,但我不需要过早介入硬件,软件层面和大脑构建上有fundamental research问题没有解决。

张小珺:你在之前提到,何恺明(计算机视觉顶级学者、ResNet之父)很早就提到模型要“大大大”,那么为什么LLM的Scaling law比CV要早那么多?

谢赛宁:CV现在还没有一个真正的Scaling law。

虽然Video diffusion(视频扩散模型)有一定的Scaling behavior(规模化表现),但借用形式化定义:C=6ND(Compute = 6 × 参数量 × token数),N和D的配比在CV中会非常不一样。

我的一个观点是:Language model其实不是一个自监督学习过程,它是一个strongly supervised learning(强监督学习)的过程。

逻辑是这样的:通常看你有没有外部annotation(标注)来决定是自监督还是强监督。但语言太特例了,它是人类几千年文明演化、process(处理)了世界一切后,以tokenize(标记化)方式存储下来的知识。我们恰好有互联网把这些知识都upload(上传)了。

对于研究者来说,这看起来是for free(免费)的,但免费不代表它没有label(标签)。这些知识的上传本身就是一个supervision construction(监督信号构建)的过程。

所以,语言模型始终停留在的target(目标)即Y Space(Y空间)。所有的机器学习都是X到Y的映射,Y通常是supervision(监督信息)。语言模型其实只在刻画Y Space。这不足以代表世界全部,很多东西无法通过语言刻画。

语言是一个communication tool(交流工具),不是思考工具,甚至不是decision making(决策)工具。

作为交流工具,它必须做trade off(取舍),牺牲掉很多东西。比如“杯子掉在地上碎了”,我们只在乎结果和状态,不在乎它怎么碎的、背后的dynamics(动力学规律)和物理定律。这是它的局限。

张小珺:做LLM的人,有时候会抱怨说,加入视觉以后可能影响智商。Kimi创始人杨植麟说,他不希望训出一个“傻的多模态”,希望训出一个“聪明的多模态”。

谢赛宁:是吗?我同意不该用一个“傻的多模态”。但如果不加入视觉,你一定会很傻。问题的根本在于到底怎么定义聪明和傻,以及怎么定义智能。

在过去几十年,AI总会撞到Moravec's Paradox(莫拉维克悖论):对机器简单的事情(如逻辑推理、棋类)对人很难;而对人简单的事情(如走路、视觉感知)对机器却极难。我们人没法背下这么多外语,但我们拥有极其复杂的视觉感知能力。

就像你刚说杨植麟可能不想让视觉来“污染”语言。但是,我也有自己的担心:

语言其实是一个“毒药”,或者说是一剂“鸦片”,你加多了语言总是会觉得更幸福的,它有用,但它是一个shortcut(捷径)。

如果你一直吸鸦片就废了;如果你一直拄着拐杖,你就没办法训练大腿的肌肉。

张小珺:这是你跟杨植麟观点之间的小对抗。

谢赛宁:我非常担心语言对于视觉的“污染”。这种污染已经在发生了。

07

我们是在某种行业压迫下生存的公司


张小珺:关于世界模型,其实现在的定义没有收敛,你们定义的世界模型和李飞飞团队(World Labs)定义的世界模型,差异是什么?

谢赛宁:我刚阐述的都是在我们定义下的世界模型。

现在世界模型不好定义,是因为它不是一个技术路线,它是一个目的。不管你在做LLM还是Video Diffusion Model,所有人都在通往世界模型的道路上。在我们看来大家并没有直接竞争关系。

对于一个Video Diffusion Model(视频扩散模型)的公司,像Sora、字节的模型、Genie、Runway、Luma,他们这些生成派更聚焦在构建一个世界模型的模拟器上,所谓的World Simulator。他们的目标是渲染出足够好看的视频,追求生成的一致性。

李飞飞老师那边在World Labs里,更在意强3D的representation(表征),是“空间的代码”,是交流,协作和创造的interface(界面)。通过一个非常具象化的、explicit(显式)的3D的形式,这样才能够在空间里面去掌握空间智能,并且保证100%不会出错。对于一个generative world simulator(生成式世界模拟器)来说,因为context window(上下文窗口)的限制,这件事情是不能保证的。

我们想要做的事情更像是,要去打造这样一个predictive brain(预测大脑),核心还是怎么样去提升智能本身。

张小珺:你的意思是,World Labs的路线无法提升智能本身?

谢赛宁:当然是可能的,比如可以通过在创造的显示空间里面训练智能体,我们是两条非常互补的技术路线。

张小珺:有一个中国的投资人曾经跟我说过:所有“含着金汤匙”出身的创业都没有成功的,几乎没有。你怎么看?

谢赛宁:我不懂什么叫做“金汤匙”。

张小珺:一上来融特别贵的钱,融资金额巨大,创始人已经功成名就。

谢赛宁:我们没有含着“金汤匙”。就像我说的,我们完全是一个“草根联盟”的创业模式。

张小珺:LeCun怎么可能会是草根?

谢赛宁:Yann不是草根,但他现在在整个AI的行业,包括在投资人面前,很多时候是一半支持、一半反对的。

总归是,他不是众星捧月的那种英雄。

他是一个坚守自己、在永远尝试做下一件事情,但这件事情还没有完全做成的这么一个人对吧?我觉得这导致我们不是含着“金汤匙”。我们是一个underdog(不被看好者)。

我们其实是在某种行业的压迫下生存的这样一个公司。

张小珺:凡尔赛了…

谢赛宁:不是,没有凡尔赛。真的。

我们可能会有很多的融资,但比起LLM现在撬动的资源来看,差太远了。

张小珺:你们融资难吗?

谢赛宁:有Yann在这确实不难。但是还是要看后面我们到底能不能deliver(交付)我们的mission(使命),我们能不能把research breakthrough(研究突破)做出来。

但我非常enjoy(享受)这种underdog(不被看好者)的身份,尤其作为一个创业者。

做research(研究)也是一样,你们越不相信我,我越happy。

张小珺:你有感受到谁对你的不相信吗?

谢赛宁:很多投资人的feedback(反馈)——我们有很多人相信我们,也有很多人不相信我们。

在硅谷里面大部分人不相信我们。在世界其他地方大部分人相信我们。

但没关系,你们可以不相信我们,那我们就let’s see(走着瞧)。

这条路我现在已经all-in了,你跟不跟?

08

自大的人类!


张小珺:你刚才说AGI是个伪命题,这个观点你能展开一下吗?

谢赛宁:AGI是伪命题,这也是我很认同Yann的一个观点。

他之前跟Demis(DeepMind 创始人)有一个辩论。他就在说到底什么是general intelligence,到底存不存在这件事。

他的逻辑也很数学,他说这个人有200万根视觉神经纤维,可以用来去model(建模)函数。

虽然理论上所有可能的视觉函数是2^2^200这么大,但人能够真正去process(处理)、能够看到的东西趋近于零。我们受到意识和神经bandwidth(带宽)的限制,看不到世界上发生的一切。所以人的智能是一个非常specialized(特定化)的智能,人只能认知到自己能看到的东西。

我后来补充了一个tweet(推文),提到一本书叫Are We Smart Enough to Know How Smart Animals Are?(《我们足以聪明到知道动物有多聪明吗?》)。看了之后,我觉得我们应该放弃人类的自大,智能演进是一个连续的过程,人不是独一无二的。

人会使用工具,动物也会。甚至我们引以为傲的自我意识,比如镜子实验,很多动物也能意识到镜子里的是自己。

张小珺:狗狗好像可以。

谢赛宁:很多动物可以。还有更加聪明的动物,比如黑猩猩。

德瓦尔还写过一本书叫《黑猩猩的政治》,讲四只黑猩猩如何进行权力博弈,很像《纸牌屋》,有拉帮结伙、有权谋上位。这些动物也有theory of mind(心智理论),它们有自己的 World Model。

比如一个实验:实验人员当着黑猩猩的面在两个盒子里分别放了香蕉和苹果,扣上盒子。把黑猩猩拉出去很长时间再带回来,如果它看到实验人员正在吃香蕉,它会径直去打开装苹果的盒子,理都不理原先装有香蕉的盒子。这说明它有某种心智推理能力。

虽然语言是人类独一无二的,但不代表其他动物不会交流。鲸鱼也有自己的语言。

张小珺:你们的World Model会先朝着哪一种生物的智能构建?

谢赛宁:目标当然是人类智能,因为这最能benefit(造福)这个世界。

我们希望build a World Model(构建一个世界模型)通向Human-like Intelligence(类人智能)。但我们确实应该放弃人类的自大。

最近我很受Richard Sutton的启发。大家说 LLM很厉害,能写code、拿IMO/IOI(国际数学/信息奥林匹克)金牌、上火星。Richard Sutton的回答是:如果你觉得这很难,那你就这么觉得吧,我不这么觉得。我觉得打造出一只松鼠的智能,才是真正难的问题。

一旦你能build松鼠的智能,让它在真实世界活下去,有自己的goal、有intrinsic reward(内在奖励)、知道饥饿、有emotion(情感)和社群活动,那么写代码、上月球这些事都是再容易不过的。

如果抛下人类的自大,打造松鼠的智能其实是一个更难的问题。人类的智能不只是语言模型,有很多智能不能通过语言本身所决定。

张小珺:说到这里,你对智能的定义是什么样?

谢赛宁:Richard Sutton是站在宇宙和造物主的视角。从那个角度看,重新造出一只松鼠,要比人类文明在5.3亿年进化史最后8秒创造的东西要伟大得多。

我不会给智能下一个定义,不同动物有不同的智能。我希望鼓励大家不要只关注那些个体很难做到的高级任务(如发论文、拿奥赛金牌),关注一下4岁小孩能做得很好的事情,这才是世界模型需要解决的问题。

所以Robotics是最好的出口。在谈论AGI或Super Intelligence(超人工智能)之前,能不能先有一个足够reliable(可靠)、足够general(通用)的robot?一个12 岁的孩子能承担几乎所有家务,但现在没有任何机器人能做到。

这件事需要“预训练的下半场”。现在的机器人创业公司没有精力做“大脑”的预训练,他们资源都投入到了hardware的Scaling Law(硬件的规模定律)上。即买更多机器人、去deploy(部署)它们,产生具体的商业价值。

张小珺:这个所谓的“预训练下半场”,它输入什么?输出什么?

谢赛宁:长期来看,输入的是所有的连续空间、高维度、可能有噪声的信号。一开始可能是video,但也会有多模态模型去学习和处理视觉之外的信号。

至于输出端最优的目标函数是什么,这是目前research问题。

这也属于泛self-supervised learning(自监督学习)的范畴,也是最exciting(令人兴奋)的地方。

09

“42”


张小珺:我们那天在一起等餐厅排队的时候,在纽约街头一起走了走,话题很自然地就延展到了那些对你非常重要、影响过你的人。

“人”这个因素占据了你众多选择中非常大的比重。为什么人对你来说这么关键?

(此处折叠10万字。

剧透7小时视频播客中谈到的人:侯晓迪、屠卓文、何恺明、李飞飞、杨立昆…)

张小珺:你是怎么样从一个年轻的学者,慢慢和这些AI业赫赫有名的人站到一起的?你是怎么走近世界AI核心的?

谢赛宁:我觉得这件事情很难刻意做到,也有点玄学。你可以叫它Law of Attraction(吸引力法则)。上述列举的所有人,至少都是做过Vision的。我没有刻意让这些事情发生,大家只是基于对research问题理解的一致性一起合作。

想法一致的人最终都会聚合在一起——虽然有无数的小溪,但最后都会汇聚到一条河流上。

张小珺:我发现你很喜欢说,You are not the chosen one, you are just the normal one。你为什么很喜欢说这句话?

谢赛宁:我没有预料到我们会聊到这些,不过我肯定不是那种所谓的“天选之子”。

这句话其实来自我很喜欢的一支球队——Liverpool F.C.。我是一个Kop(利物浦球迷),已经二十多年了。我跟这支球队的气质也有一点相投。

我最喜欢的一个教练是Jürgen Klopp。当时还有另外一个教练,José Mourinho,他曾经说过一句很著名的话:“I am the special one.” ——“我是那个特别的人。”

后来克洛普就半开玩笑地回应说:“I’m not the special one, I’m the normal one.”——“我不是那个特别的人,我只是一个普通的人。”

我很喜欢这种态度。一方面他本人非常朋克,很有一种摇滚气质;另一方面,他又经常跟大家讲,他在团队里的定位更像是一块电池。

他希望通过自己的passion、自己的能量,去给其他人发电。我也很希望自己能成为这样的人。不管是在学校,还是在创业公司里,我都希望自己能够成为团队里的那块电池。

但我觉得这件事情并不容易。因为每个人都会有沮丧的时候,也会有想吐槽、想发泄情绪的时候。但我现在慢慢觉得,在学校里、在学生面前,或者在创业公司的团队面前,总需要有人去承担这样一个角色——就是能够像一块电池一样,持续地给大家提供能量。

Yann就是这样一个巨大的电池。他也深深地感召了我。

但我也希望,能够通过我自己,把这份电力继续传递下去。

张小珺:你最近一次感到沮丧是为什么?

谢赛宁:我天天都感到沮丧。这个已经变成一个常态了。

这也是researcher的宿命——大家底色都挺悲凉的。

Research的求索过程,本身就是在一个暗无天日的地方摸索的过程。当你看不见光亮的时候,你总是会感到迷茫和沮丧。

大家真正感到快乐的时候,无非就是你真的把东西做出来的时候。但这一部分时光其实非常短暂,可能只有5%或10%。恺明好像也说过类似的话。长此以往,大家的心理状态挺堪忧。

不过我觉得现在这个时代,和原来不太一样了。现在会有更多讨论。这也是这一波AI带来的一个好处:至少大家不觉得自己是在一个幽闭的空间里独自探索。

张小珺:你们公司有创业者人格的人吗?创业者人格一般挺乐观的。

谢赛宁:Yann本身就很乐观,非常非常乐观。

张小珺:他也是一名研究者,为什么没有researcher这种悲凉的底色?

谢赛宁:那我不知道。可能因为他经历过悲凉,然后成功了吧。他经历过AI的寒冬,然后最后可以告诉所有人:他是对的,你们是错的。

如果我经历一下这件事情,我可能也没那么悲凉。

他还是蛮乐观的。他的过去这些经历,也让他更有信心。他经常说的一句话是:这件事情跟过去Deep Learning(深度学习)、Neural Network(神经网络)发生的事情一模一样。就是现在World Model,或者你不管怎么叫它,现在的智能系统的搭建。

他说,总有一小群人,能够清晰地看见这个世界发展的脉络,看见科技的进程。但他们只是一小撮人,大部分人其实是看不见的。

因为大部分人都在忙着做其他的事情。

比如在Deep Learning之前,很多人可能就是在做一些其他的东西,Traditional Machine Learning(传统机器学习)之类的。现在也一样。

他还是蛮乐观的,或者说他有足够的confidence。他会觉得:我能看到的事情是重要的事情,我能看到的路线是一条清晰的路线。在这件事上,我还蛮相信他的。

张小珺:我们刚才聊了很多世界模型。在过去一两年,你对我们生活在的这个真实世界的模型有哪些新的思考吗?

谢赛宁:我觉得,这件事情一定要超出research的局限。一定要热爱生活,到真实的生活里面去,要了解到这个真实世界发生的事情。不要在一个大的bubble里面过完自己的一生。

我会很担心在现在这个时代,大家的思维方式或者关注的东西,可能会有某种同质化。但总之,如果一个东西已经变成一个巨大的共识,这件事情总会有更大的bubble(泡沫)破灭的风险。

但我说的bubble可能也不是经济上的bubble,更像是在一个封闭的环境里,大家的这种——Echo chamber,有某种回音壁。

我其实也不是想吐槽湾区。湾区挺好的。我现在在纽约,非常怀念湾区的生活,总想回去,尤其在冬天下雪之后。

但是我觉得纽约很不一样。我每天上班,首先我不用开车了,已经从一个铠甲脱离出来,进入到真实的生活,开始步行。

这件事情有很多奇妙的反应。我每天有时候还是压力蛮大的,有时候遇到一些事情还是蛮沮丧的。但每当我穿过——从我家到学校办公室,有一个公园叫Washington Square Park(华盛顿广场公园),里面形形色色的人都有:

有弹钢琴的艺人,有跳舞的,有推着婴儿车的妈妈们,有下象棋的老大爷,有坐在台阶上什么也不做发呆的年轻人,也有拿着电脑学习的NYU的学生……每天最解压的时光,就是这大概五到十分钟的路程。

我发现这个世界比我们想象的要大得多。不是所有人都关心什么叫AI,他们可能不care这件事情,他们有自己的生活。这个世界很大。

但另一方面,也许AI在未来某一天会影响到他们的生活。那我们到底应该做什么?作为researcher,我们有没有某种社会责任?

我只是觉得,多跟人接触,多跟生活在这个世界里面的人接触,会让我对什么是 AI?应该怎么样去做下一代 AI?有一些新的认识。

这件事正是Ilya当初给我打电话,他想要跟我聊的东西。但我那时候还没有这些感悟。

张小珺:你有什么喜欢的音乐?喜欢的电影?喜欢的电视剧吗?

谢赛宁:我想想,我还挺爱看电视剧的,可以推荐一些电视剧给大家看一看。

有个电视剧叫《POI》,也是一个很老的剧,在里面大家讨论了什么是一个super intelligence(超级智能)?你有一个好的super intelligence和一个坏的super intelligence,它们之间的竞争,对人类社会的威胁。

这件事情我就不剧透了,但还是挺多模态的,而且这件事情有一定的预言性。还挺神奇的。

它就是讲,怎么样从一个在盒子里面的语言模型,或者一个可以写代码的Agent,一步一步跳脱出来,变成一个多模态模型的过程。

到后面当然还有我很喜欢的,比如《万神殿》,这也是某种AI的寓言。它是一个动画,作者是刘宇昆,是我的老乡。他也当过律师,当过码农,最后变成小说家,非常非常厉害。我非常敬佩他,他的书我也很爱看。这部剧之前被Sam Altman推荐过,很多人也都看了。

最近当然是很火的《同乐者》,也是AI的预言。只是有一点麻烦,这些流行文化被AI渗透得太多,导致所有都跟AI有关系。有点受不了。但可能只是因为我是AI从业者,会有不一样的感觉吧。

不过还是蛮有启发性的。包括我之前说的科幻小说、老电影,它们都是某种现实的预演。但通常结局都不是很光明,通常挺惨淡的。

我最近还看了一部电影,《无可奈何》,朴赞郁的电影。它讲的也是AI对人的异化。全片几乎没有直接谈AI,直到最后。通篇都在讲,因为AI的到来,人到底发生了什么变化,人的心态、人与人之间的关系到底发生了什么变化。

说到电影,最后说一句,欢迎大家来纽约。我以前会参加纽约电影节,现在我会去参加两个,一个是纽约电影节,另一个是AI电影节。也很酷。

要推荐的话,跟我们刚刚说的都相关,今年得到大奖的AI电影叫《全像素空间》(The Total Pixel Space),是一个很有趣的AI短片,讲了很多我们刚刚说的关于世界模型,或者为什么人的intelligence不是单纯通用的intelligence的一些argument。很好玩。

张小珺:我们的每一位嘉宾都会给我们的观众推荐一本“人生之书”,希望它真的影响过你,改变过你。你的会是什么?

谢赛宁:推荐两本书给你。

一本书,我猜大家可能都经常推荐,但我在本科的时候,这是一个群体性的记忆。

这本书叫《集异璧之大成》,你有听说吗?就是哥德尔、巴赫、艾舍尔。里面讲了很多关于哲学、数理逻辑,还有这三个人——哥德尔、巴赫、艾舍尔,一个数理学家、一个作曲家、一个画家,他们之间到底有哪些哲学的共同点?

我们本科的时候,是老师推荐,大家组团学习。当初大家看不懂,但是到后面,越来越觉得这件事有点道理。

还有一本书,也是本科看的,叫《禅与摩托车维修艺术》。这本书是一个内心求索的过程。它讲的是一个人骑着摩托车——可能有剧透——有一个想象中的哲人,但其实这个哲人是他自己的投射。

有些书、电影会把你装满,有些书、电影会把你掏空。我看完这本书的感觉是,它有点把我掏空。让我感觉到了一些,这个世界到底什么重要?什么不重要?

张小珺:对于你来说,什么重要?什么不重要?

谢赛宁:人与人之间真诚的交流是重要的,也许其他都不重要。

但在某一个时间点上,你要问我这个问题,我会说创业很重要,我会说research很重要。但归根结底,我还是相信人与人之间的交流,这件事很重要。

张小珺:听起来research是你交流的一种媒介。

谢赛宁:对,我觉得是。而且research本身也是一个deeper connection(深度连接)吧。

这在我们融资过程中还帮到了我们。有一个投资人很愿意投我们,他的原因是,他认识一个很强的创业者,也是一个研究员。他说:“诶,你们一定要投赛宁,我们不管以什么样的方式都要帮到他。”但我跟这个人只在开会时见过一次,他是StableDiffusion主要作者之一,创立了BlackForestLabs(黑森林实验室)。

这种信任关系是建立在你的学术工作之上。这种信任关系甚至有时候会远超你真正的personal connection(私人关系)。

大家通过你的一篇作品了解你,这件事情会传承下去,甚至可以走得很远。

张小珺:你一开始就说你相信命运,而且越来越相信。你也做了那么多“玄学决定”。此时此刻,你感觉命运正在把你往哪推?

谢赛宁:命运在推我吗?好像也没有。好像没有被命运推着走的感觉。

只是在下一次需要做选择的时候,希望上天保佑吧。

张小珺:这个世界是一个巨大的世界模型吗?

谢赛宁:这个世界当然是一个巨大世界模型。

张小珺:那我们能预测命运吗?

谢赛宁:我觉得不能。

张小珺:为什么?

谢赛宁:因为我们资源不够。

你需要用地球这么大的一个计算机,或者说你要有整个宇宙作为你的计算机,才能告诉你一个关于生命、关于宇宙、关于任何事情的答案。

这个答案最后可能是42。

---

还有大量的内容,只有视频播客和播客有喔:)

剧透一下:

  • 世界总不让我做Vision,我偏要做

  • 开着破车,开始我的学术流浪

  • 贾樟柯和毕赣如何启发Cambrian-S

  • 论文中的草蛇灰线 -- “作为表征的世界”

  • 质疑JEPA,理解JEPA,成为JEPA

  • LLM在左,机器人在右

  • Research taste与《金刚经》

  • 为什么我不喜欢“Impact”,它显得过于男性化

  • 住手!放开维特根斯坦

收听播客


推荐阅读


阅读原文

跳转微信打开

  •  

好多大厂APP文本链接不用主题色,其实是没招了

原创 邹咿ZoeYZ 2026-03-16 08:20 广东

能用的话早用了…

经常看到一些主题色比较浅的产品设计,白底页面上文字链接用主题色,导致文本链接还不如普通文本显眼,看得很累。

QQ音乐

活动行

有些聪明一点的,会给普通文字用浅灰色,这样文本链接可以体现出来。但是由于文字的颜色整体偏浅,导致可读性还是较差。

朴朴

文字链接的颜色要怎样才合理?如果主题色不适合做文本链接,又该怎么办?

接下来,我会先给大家介绍一个验证文字色彩对比度的方法,然后再来看看大厂有哪些处理方式。

怎样的颜色才方便阅读?

Web Content Accessibility Guideline(网页内容无障碍指南,简称WCAG)是由万维网联盟(W3C)下属的无障碍网页倡议组织(WAI)发布的国际网页无障碍标准,旨在通过规范网页内容的设计与开发,确保所有用户(包括残障人士、老年人、色盲用户等)都能平等访问网页信息。

WCAG对色彩对比的要求基于文本类型(普通文本/大文本)和 conformance level( 合规等级),分为AA级(最低推荐标准)和AAA级(增强标准)两个层级。

底线:普通文本≥4.5:1(AA级),大文本≥3:1(AA级)——这是全球公认的“最低可读”门槛;

理想:普通文本≥7:1(AAA级),大文本≥4.5:1(AAA级)——兼顾舒适性与包容性;

WCAG采用相对亮度公式计算文本与背景的对比度,具体步骤如下:

  1. 将文本颜色(前景色)和背景颜色的RGB值转换为sRGB空间(即归一化到0-1范围);

  2. 对每个颜色通道(R/G/B),若其值≤0.03928,则除以12.92;否则按公式((value + 0.055) / 1.055) ^ 2.4计算;

  3. 计算相对亮度(L):L = 0.2126*R + 0.7152*G + 0.0722*B(其中R/G/B为步骤2的结果);

  4. 计算对比度比值:(L1 + 0.05) / (L2 + 0.05)(L1为较亮颜色的相对亮度,L2为较暗颜色的相对亮度)。

为了方便,可以直接使用一个计算工具,网址我放在底部「原文链接」了。

按照这个公式,以下文本色都是不合格的:

以下文本色作为大文本是符合的,但是作为普通文本不合格:

我发现,即便是大厂设计,文字颜色的对比度达到理想等级的非常少。可能是为了平衡美观性吧,能够达到 3 : 1 就算不错了。

Google的A/B测试

谷歌搜索引擎在2019年其实尝试过另一个色彩的文字链接,但是很快下线了。

上图来源:https://goodui.org/leaks/google-has-been-a-b-testing-link-colors-again-and-this-light-blue-didnt-pass/

虽然没有谷歌官方的消息来源,但按照常理来分析,主题色文字链接被下线的原因可能是可读性的问题。

尽管这个颜色以WCAG的标准来看,算是合格:

现在他们的文本链接颜色明显比主题色偏紫一些:

这个颜色的对比度就更高了,数值接近前者的2倍:

元宝选择把主题色加深

腾讯的AI元宝的主题色是挺亮的绿色,如果直接用在文字上,可读性是不够的:

于是,他们选了一个明显更深的绿色,把对比度一下子拉到了一个很客观的数值:

微信选择灰蓝色

众所周知,微信的主题色是绿色,这个颜色的对比度也不足以用在文本上:

微信比较特别的做法是,选了一个偏灰的蓝色给文本链接用,看起来跟主题绿毫无关联。这个灰蓝色的对比度,确实是够格给文本用的。

为什么要用偏灰的蓝色呢?可以看看下图的对比:

如果用亮蓝色的话,会比按钮的主题绿还抢眼。只有用灰蓝色,才能确保当主题绿出现时,依旧能够很好地引导用户视线。

头条选择亮蓝色

今日头条的主题色是红色,但它的文本链接有些是红色,有些又是亮蓝色。

总结一下规律,用蓝色的文本链接,主要是不想引起注意的地方。所以,我才头条设计师是觉得有些文本链接用红色太过抢眼,所以才用亮蓝色的。

那为什么不像微信那样用灰蓝色呢?看看下图对比就知道了:

因为页面上的主题红已经很显眼了,文本链接就算用亮蓝色,也不会喧宾夺主。

反倒是如果改用灰蓝色,会让文本链接太不起眼,看起来还有点像是无效链接。

总结一下

当主题色相对于背景色的对比度较低时,可能就不适合给文本用了,具体可以用在线工具来测试。

主题色为红色、橙色,有警示含义时,也可能不适合作为文本链接。

如果主题色不适合给文本用,那么千万不要勉强用,也没必要为此改主题色。

可以学习大厂的处理方法,例如:

主题色调整色相(Google)、主题色加深(元宝)、灰蓝色(微信)和亮蓝色(今日头条)。

你在做设计时有没有遇到过类似的问题?是怎样处理的?欢迎留言分享~

阅读原文

跳转微信打开

  •  

从多模态大模型中「拆」出音频向量模型

原创 Jina AI 2026-03-12 15:03 新加坡

把任意多模态大模型变成小型音频向量模型

Google 最近发了 Gemini Embedding 2,他们第一个原生多模态向量模型。文本、图像、视频、音频、文档,全部映射到同一个 3072 维向量空间。这是 Omni Embedding(全模态向量模型)的大趋势:一个架构吃下所有模态,从 jina-embeddings-v4 到 Omni-Embed-Nemotron 再到 Omni-5,大家都在往这个方向收敛。

去年 EMNLP BoF 上我讲过:Omni 模型是 2026 年 Dense Retrieval 的关键方向之一。
去年 EMNLP BoF 上我讲过:Omni 模型是 2026 年 Dense Retrieval 的胜负手。

真正引起我们注意的是音频。大多数人听到多模态 Embedding 首先想到的是图像,顶多再加个视频。音频是被遗忘的模态:数据难采、标注难做、做的人少。

过去一段时间,我们 Jina AI 团队恰好在啃这块硬骨头:如何在 1.2B 规模内做出高性能的音频向量模型?这也是我们通向全模态愿景的关键一步。

趁着 Gemini Embedding 2 发布的节点,把我们一路上踩的坑和学到的东西分享给大家。

音频向量是什么

音频向量就是把一段音频压成一个定长向量。输入原始波形,模型输出一个稠密向量(通常 768 到 3072 维),编码了这段声音的语义内容。语义相似的两段音频,向量也相近;一段音频和它的文本描述,在共享向量空间中距离很短。这是 Omni Embedding 拼图里的一块:一旦音频能和文本、图像映射到同一个向量空间,跨模态检索就打通了。

2022 年以来的主流方案是 Contrastive Language-Audio Pretraining(CLAP),本质上就是把 CLIP 搬到音频域。思路很直接:一个音频编码器,一个文本编码器,中间用对比学习拉近配对的音频-文本、推远不配对的。LAION-CLAP 在这个基础上用 630K 对数据加 Feature Fusion 做了放大。当前最强变体(Elizalde et al., 2023)在 4.6M 对数据上训练,音频编码器横跨 22 种音频任务,配合自回归解码器,250M 参数量在 AudioCaps 上做到 42.0 cvR@5。

CLAP 的问题在哪?它从零开始学习音频和文本之间的对齐。这意味着你需要海量的配对数据去建立跨模态桥梁,460 万数据对不是白烧的。

我们走了一条完全不同的路:把已经听懂音频的多模态 LLM,直接改造成 Embedding 模型。 桥梁已经在预训练中建好了,我们要做的只是把它从生成模型重塑为向量模型。

模型架构

先说输入输出。输入是原始音频波形,从 WAV/MP3/FLAC 解码后重采样到 16kHz 单声道。音频编码器先转成 128-bin log-mel 频谱图,再处理成特征 token 序列,大约每秒 150 个 token。一段 10 秒音频约 1500 token。最大输入 30 秒,更长的需要切片。输出是单个稠密向量,维度在 896 到 3584 之间,取决于 LLM backbone 的规模。

起点是 Qwen2.5-Omni,一个原生音频理解的多模态 LLM。三个组件:

  • 音频编码器(约 0.6-0.8B 参数):把波形转成特征向量,中间有一个约 4.5M 参数的线性投影层。这个投影层虽小,却至关重要,它是音频特征空间到 LLM 表示空间的桥梁,负责把音频编码器输出的特征维度对齐到 LLM 的输入维度。

  • LLM backbone(0.5-7B 参数):每个 Transformer 层约 0.2B 参数,同时处理音频特征和文本 token。

  • 池化层:对最后一层 hidden state 做 mean pooling,输出最终向量。

两个模态共享同一个 LLM backbone。这不是我们做的对齐,是 Qwen2.5-Omni 在预训练时就建立的。音频特征和文本 token 经过同一堆 Transformer 层处理,在表示空间里天然就有一定程度的对齐。我们要做的是把这种隐式对齐显式化为一个向量模型。

架构对比
架构对比

左边是标准做法,端到端微调整个 MLLM(3-7B 参数)。右边是我们的模块化组合做法,把预训练音频编码器接到一个更小的 LLM backbone 上。共享 backbone 同时处理音频特征和文本 token,在同一个向量空间中生成 Embedding。

训练目标是 InfoNCE 对比损失。两个模态各自独立编码,双向计算 loss 后取平均:

deftraining_step(audio_batch, text_batch):
    audio_embeds = model.encode_audio(audio_batch)  # [B, D]
    text_embeds = model.encode_text(text_batch)      # [B, D]
    audio_embeds = F.normalize(audio_embeds, dim=-1)
    text_embeds = F.normalize(text_embeds, dim=-1)
    sim = audio_embeds @ text_embeds.T / temperature  # [B, B]
    labels = torch.arange(len(sim), device=sim.device)
    loss = (F.cross_entropy(sim, labels) +
            F.cross_entropy(sim.T, labels)) / 2
return loss

训练数据

五个音频-文本配对数据集,共 181K 样本:

数据集

样本量

说明

AudioSetStrong

108K

时序标注事件,GPT 生成字幕(AudioSet 子集)

FSD50K

41K

人工标注声音事件,200 类

Clotho

19K

音频字幕,详细描述

UrbanSound8K

9K

城市声音分类

MACS

4K

城市声学场景

CLAP 用了完整 AudioSet(200 万+音频)加上其他来源,总计 460 万对。我们只用了 AudioSetStrong 约 10 万条,数据量差了 25 倍。

为什么能少这么多?因为 CLAP 需要从零建立跨模态对齐,460 万对数据大部分精力花在教模型"什么声音对应什么文字"。而我们的起点是一个已经听懂音频的 MLLM,跨模态的桥已经造好了,训练只需要把这座桥从"生成"重新校准到"向量检索"。这是一个 fine-grained calibration,不是 from-scratch alignment。

defload_sample(audio_path, caption):
    waveform, sr = torchaudio.load(audio_path)
    waveform = torchaudio.transforms.Resample(sr, 16000)(waveform)
    audio_inputs = processor.feature_extractor(
        waveform, sampling_rate=16000, return_tensors="pt"
    )
    text_inputs = processor.tokenizer(caption, padding=True, return_tensors="pt")
return audio_inputs, text_inputs

四条路,三条半死胡同

我们的目标很明确:参数量压到 1.2B 以下,性能超过 CLAP。我们试了四种做法,前三种各有各的问题,在第四种拿到了结果,但过程本身比结果更有价值。

路径一:全模型微调

Qwen2.5-Omni-7B 直接在音频-文本对上做对比学习微调,结果不出意外地好:AudioCaps T2A cvR@5 = 63.2,Clotho T2A = 39.2。这个分数远超 CLAP 的 42.0,证明了思路本身是对的。但 7B 参数量摆在那里,推理成本和延迟都不现实。这条路的价值是给后面所有实验画了一条上限。

值得对比的是其他团队的类似尝试:Tevatron 2.0 也做全模型微调,但只用 AudioCaps 一个数据集,AudioCaps 上拿了 61.2,Clotho 上暴跌到 11.9。单数据集训练在分布内表现好看,出了分布立刻垮掉,这是向量模型老生常谈的问题了。还有 ColQwen-Omni,在视觉文档任务上微调、零音频数据,纯靠跨模态迁移拿到了 37.4。逼近 CLAP 但没超过。零数据能做到这一步,本身也说明 MLLM 的跨模态对齐的能力。

路径二:层剪枝

既然 7B 太大,能不能直接砍层?每个 Transformer 层约 0.2B 参数,从 28 层砍到 10 层就剩 3.5B,砍到 5 层剩 2.3B。

随 Transformer 层数减少的性能变化。
随 Transformer 层数减少的性能变化。

AudioCaps(红线)从 20 层的 63.2 降到 5 层的 56.0 cvR@5。所有配置仍然高于 CLAP baseline(虚线)。但即使砍到 5 层(2.3B 参数),离 1B 目标差了一倍多。

层数

参数量

AudioCaps T2A cvR@5

Clotho T2A cvR@5

20

5.8B

63.2

39.2

10

3.5B

58.2

36.5

5

2.3B

56.0

36.0

性能下降是平滑的,说明信息在各层间分布比较均匀,没有哪几层是可以无痛摘掉的。

另外一个有意思的观察是 Batch size(32、64、128)几乎没有影响最终性能。大 batch 在训练初期有优势,但后期可能过拟合负样本分布,batch 128 在 2K 步时 Clotho NDCG 打到 31.3,到 10K 步反而掉到 29.3。这说明在数据量有限的情况下,大 batch 带来的 hard negative 数量优势敌不过分布偏移的风险。

层剪枝的根本限制是:音频编码器本身就有 0.6-0.8B,加上投影层和 Embedding 层的固定开销,即使 LLM backbone 砍到零,模型也至少 1B 起步。此路不通。

路径三:纯文本模态迁移

这个思路更激进:完全不用任何音频-文本配对数据,只用纯文本 NLI 数据集(MultiNLI、SNLI、FEVER、SciFact)做微调。逻辑是这样的,MLLM 预训练时已经建立了音频和文本的对齐,那我只训练文本侧的向量质量,音频侧应该能搭上便车。

在完整 7B 上,这个赌注居然赢了:AudioCaps 46.1,超过了 CLAP 的 42.0。零音频训练数据,纯靠文本 NLI 就能做出一个比 CLAP 更好的音频向量模型,这本身就很说明问题,MLLM 预训练建立的跨模态对齐做得很深,不是表面功夫。

但在剪枝后的 10 层模型上,同样的做法直接塌了:cvR@5 = 5.9,几乎等于随机。

这里的 insight 很重要:跨模态对齐不是一个集中存储在某几层的对齐模块,而是分布在整个网络的每一层中。28 层的完整网络里,每一层都参与了音频和文本表示的渐进对齐。你砍掉大部分层,对齐就碎了。文本侧靠 NLI 数据还能补回来,但音频侧没有任何数据兜底,直接归零。

这条路教会我们的是:模态迁移的可行性和模型压缩的可行性是矛盾的。你不能同时既要又要。

路径四:模块组合

前三条路的共同问题是都从同一个 7B 模型出发往小了做。路径四我们换了一个思路:不从大模型上减,从小组件上加。 从一个模型里摘出音频编码器,从另一个模型里拿一个小 LLM backbone,拼在一起,甚至可以跨模型家族拼装。

为什么这也能行呢? 因为 Qwen2.5-Omni 的训练分了三阶段:1. 冻结 LLM,只训练音频/视觉编码器的投影层;2. 全参数解冻联合训练;3. 扩展到 32K 上下文。

关键在于第一阶段,音频编码器学会了如何把波形转成 LLM 能读懂的 token。这种说 LLM 语言的能力是通用的,不绑定某一个特定的 LLM。所以我们大胆假设:一个在第一阶段训练好的音频编码器,应该能直接插到任何 Qwen 系列的小 LLM 上。

我们测试了四种组合:

配置

音频编码器

LLM

参数量

M1

Qwen3-Omni(0.6B,stage-1 之前)

Qwen2.5-0.5B

1.1B

M2

Qwen3-Omni(0.6B,stage-1 之前)

Qwen2.5-3B

3.6B

M3

Qwen2.5-Omni-3B(0.8B,stage-3 之后)

Qwen2.5-3B

3.8B

M4

Qwen2.5-Omni-3B(完整)

完整 3B

3.8B

实现细节上有个坑,Qwen3-Omni 用的是 Qwen3OmniMoePreTrainedModel,standalone Qwen3 用的是 Qwen3ForCausalLM,两者的模型壳子不一样。我们的做法是初始化一个维度匹配的 Omni 模型壳子,然后把权重拷贝到对应位置。

各配置在 AudioCaps 和 Clotho T2A cvR@5 上的表现
各配置在 AudioCaps 和 Clotho T2A cvR@5 上的表现

用 stage-3 之后对齐更好的音频编码器效果更好(M3 vs M2:AudioCaps +4.2)。LLM 预训练的 stage 2-3 对 Embedding 质量影响不大(M3 vs M4 在误差范围内)。

结果里有三个发现:

第一,M1(1.1B)在 AudioCaps 上就打到了 49.7,超过 CLAP 的 42.0 整整 18%。 我们目标达成:参数量 1.1B,低于 1.2B 的目标线,性能大幅领先 CLAP,并且只用了 CLAP 1/25 的训练数据。

第二,音频编码器的对齐质量决定上限。 M3 用的是第三阶段之后完整训练过的音频编码器,M2 用的是 stage-1 之前的初始版本,两者 LLM backbone 相同(Qwen2.5-3B),但 M3 在 AudioCaps 上比 M2 高了 4.2 个点。这说明音频编码器在多阶段训练中获得的对齐精度直接传导到了最终的 Embedding 质量。

第三,LLM 的 stage 2-3 训练对 Embedding 质量几乎没有影响。 M3(拼装的 LLM)和 M4(原装完整 3B)的性能在误差范围内。这也意味着 LLM backbone 在 stage 2-3 学到的那些能力:更好的指令跟随、更长的上下文处理,对向量化任务没有贡献。向量模型需要的是表示能力,不是生成能力。

评测

音频 Embedding 的评测本质上就是看检索质量:给一段文本 query,能不能找到对的音频?

难点在于对的定义因数据集而异。

AudioCaps 的描述很具象("一个男人说话,然后门关上了"),这种描述和声学特征是一一对应的,模型只要记住声学 pattern 就能得分。

而 Clotho 的描述更抽象("安静的氛围中远处有隆隆声")。这需要模型理解场景级别的语义,而不只是频谱特征。一个只记住表面声学特征的模型在 AudioCaps 上跑分好看,到 Clotho 上就原形毕露。我们最看重的是跨描述风格的泛化能力,这才能反映模型真正理解了什么。

CV-Recall@5(cvR@5):对每个文本 query,看 top-5 结果中是否命中正确音频。二值打分,所有 query 取平均。这是 MTEB 音频检索的标准 metric。

defevaluate_cvr_at_k(model, dataset, k=5):
    audio_embeds = model.encode_audio(dataset.audio_clips)
    text_embeds = model.encode_text(dataset.text_queries)
    sim = F.normalize(audio_embeds) @ F.normalize(text_embeds).T
    hits = 0
for i in range(len(dataset.text_queries)):
        top_k = sim[:, i].argsort(descending=True)[:k]
if dataset.ground_truth[i] in top_k:
            hits += 1
return hits / len(dataset.text_queries)

三个评测集均来自 MTEB:AudioCaps(视频衍生,人工字幕)、AudioSetStrong(时序标注,GPT 描述)、Clotho(多样化,抽象字幕)。CLAP 用了完整 AudioSet(200 万+),我们只用了 AudioSetStrong 约 10 万条,这在一定程度上解释了 CLAP 在该 benchmark 上的优势。

所有配置在 AudioCaps、AudioSetStrong、Clotho T2A 检索上的横向对比
所有配置在 AudioCaps、AudioSetStrong、Clotho T2A 检索上的横向对比

红色虚线为 CLAP baseline。模块组合方案(绿色)以远远更小的模型尺寸取得了有强竞争力的结果。全量微调的 7B 模型(深蓝)是性能上限。

应用场景

传统的音频检索里,输入文字找音效当然是最直接的场景。但更值得关注的是音频 Embedding 在 Agentic 系统中的角色。当语音成为 Agent 的主要输入方式时,第一步往往是 ASR 转文字再处理。但 ASR 有延迟、会丢失语气语调信息、还依赖转写质量。如果 Agent 能直接对语音输入做向量化,根据语义相似度分发到正确的工具或子 Agent,就跳过了 ASR 这个瓶颈。不是所有语音输入都需要逐字转写,很多时候你只需要知道"这段话的意图是什么"。

工业场景里的声音事件分类也是一个被低估的方向。设备异响检测、安防系统、智能家居,这些场景需要的不是转写,而是"这个声音像什么",这正是 Embeddings 的强项。

更远一步看,当 Omni Embedding 做成了,文本、图像、音频、视频都在一个向量空间里,Agent 就获得了一个统一的感知接口。不管输入是什么模态,都转成向量后统一检索、比较、推理。这是多模态 Agent 能真正 scale 的前提。

而这一切有个硬性前提:模型要够小,能在端侧跑。 语音交互容不下云端传输带来的延迟损耗,而且语音数据的隐私敏感度远高于文本。所以高性能的小模型不是加分项,而是入场券。这也是我们把目标定在 1.2B 以下的原因。

结论

预训练 MLLM 是做新模态 Embedding 最大的杠杆。 它一次性提供了跨模态对齐、强文本编码器和能力不错的音频编码器。

模块化组合是目前最有前景的方向。 从不同模型、不同训练阶段里拆出组件自由拼装,我们在音频向量任务上验证了可行性。实验结果也指向了一个清晰优先级:音频编码器的对齐质量是第一位的(stage-3 vs pre-stage-1 差了 4.2 个点),LLM backbone 的生成能力对向量化任务没有贡献(stage 2-3 训练前后没有差异)。这也意味着构建向量模型时,选组件的优先级是:编码器对齐 > LLM 的表示能力 > LLM 的其他能力。

跨模态迁移和模型压缩不能既要又要。 文本模态迁移在完整 7B 上漂亮地跑通了(46.1 vs CLAP 42.0),但在 10 层剪枝模型上直接归零(5.9)。对齐分布在整个网络中,压缩就碎。

AudioCaps 领跑不代表问题解决了。 我们模型在 AudioCaps 上大幅领先 CLAP,但在更依赖抽象语义的 Clotho 榜单上只是持平。暴露了模型的场景级语义理解不够。只看 AudioCaps 你会觉得模型已经很好了;加上 Clotho 就知道还差得远。

这项工作是我们迈向 Omni Embedding(全模态向量模型)的关键一步,模块化组合让我们找到了无需大规模烧数据即可开启新模态的方法,但 Clotho 的结果提醒我们:光靠复用预训练组件还不够,数据质量和多样性仍然是底层硬约束。

接下来我们会探索 MoE 架构把激活参数压到 500M 以下,尝试模块组合和模态迁移的深度结合,引入 WavCaps、MusicCaps 和语音数据集做数据扩充,重点补上抽象描述的短板。

我们开源社区见!https://github.com/jina-ai/audio-embedding-kickstarter

阅读原文

跳转微信打开

  •  
❌