铃阅
❌

普通视图

昨日接收 — 2026年11月16日 ⏭ 语言即世界language is world

和曾鸣聊产业史观:我的非共识判断

2026年9月7日 08:00

原创 张小珺 2026-09-07 08:00 浙江

这就是市场特别有趣的地方,它是生生不息的。

访谈:张小珺 x 曾鸣

曾鸣教授曾经是阿里巴巴集团总参谋长,也参与过两所商学院创建(长江商学院和湖畔),但他更令人熟悉的身份是:一名对企业战略有许多深度思考的研究者。不少创业者和企业家都受到过他的启发。

作为观察过互联网完整周期的研究者,今天我们聊了聊他对AI新时代、新范式的完整思考,并和历史上关键转折时期做了对照——聊完让我有了更全局的视角。

对AI的产业化发展,曾教授提出了许多“非共识判断”。我们总结了他的11个观点:

  • 观点1:原生应用与基础设施成熟之间,还存在一个过渡性阶段;

  • 观点2:我两年前以为AI到了Yahoo阶段了,现在看来,产业化还没有到浏览器阶段;

  • 观点3:Anthropic、OpenAI,大概率不是原生应用阶段的大玩家、大赢家;

  • 观点4:公共基础设施,只有一种商业模式成立,叫寡头垄断加政府强监管;

  • 观点5:旧平台大概率不能演变成新平台;

  • 观点6:岗位消失了,层级消失了,公司终将走向消亡,新的组织形式会兴起;

  • 观点7:利他、同理心和自我逐渐变小,大概是走向卓越必不可少的因素;

  • 观点8:战略生成系统:实际上是人跟AI一起训练一个组织的小模型;

  • 观点9:机器人更好的类比,是电器的发展;

  • 观点10:巨浪面前,没有人是安全的,谁觉得安全,谁就是最不安全的;

  • 观点11:AI时代,人和人的差异在于创造力,就是“无中生有”的能力。

以下是文字精简版,完整内容还是收看我们的播客吧:)

完整的播客视频已于小宇宙、Bilibili、小红书、视频号、微博等全平台播出。

观点1 

“原生应用与基础设施成熟之间,还存在一个过渡性阶段”


张小珺:曾教授,像你这样长期制定战略的人,在面对AI时代巨大不确定性时,也会感到迷茫吗?你的真实感受是怎样的?

曾鸣:的确非常困惑。你知道一定会有很多新东西,但你不知道哪些是稍纵即逝的小浪花,哪些代表未来的大浪潮;什么会变,什么不会变,这些非常让人困惑。

这是我为什么写这本书《智能:AI时代的商业、组织与战略的本质》。前几年,我一直琢磨这个问题,但很快又会把原来的想法否定掉。不过到今年上半年,情况开始明显:有一些趋势性信号开始converge(汇聚),出现相似信号。我看到一个可能的框架,可以解释当下很多事,甚至推演未来下一步的发展。我就不太焦虑了。

真正让框架浮现的,是我大概理解了AI产业化进入了哪一个发展阶段,以及每个阶段不同的运行规律。看清楚以后,对未来三、五年就有了清晰的指导意义。

张小珺:今天人工智能产业化发展到什么阶段了?你如何完整划分完整的周期?

曾鸣:我做过比较系统的研究。从PC互联网到移动互联网,再到云计算,以及第一次、第二次、第三次工业革命历史,我都研究过一遍。大致看,新技术出现——我讲的是,巨大、通用技术颠覆性创新——都会经历三个阶段,很有意思:

  • 第一个阶段,技术逐渐被社会接受,成为这个社会的基础设施;

  • 第二个阶段,基于这个基础设施产生海量新应用,进入百花齐放的时代;

  • 第三个阶段,当这些海量应用出现,大家发现需要一些更底层的方法运行新的世界,我把它叫作“原生应用阶段”。

张小珺:以移动互联网为例,到了抖音、拼多多的诞生时期,属于原生应用阶段。

曾鸣:是的。早期比如,今天年轻人听说黑莓手机很少了,但黑莓手机是第一款被称为智能手机的,而且它在很长时间是垄断地位,市场渗透率很高。一直到2010年,还是美国市场智能手机的百分之四十几的市场占有份额,iPhone只有百分之二十几。实际上到iPhone 4以后,iPhone才开始领先跑。有了iPhone以后有了App Store,App Store以后出现了新一代原生应用。

我那时候投互联网、移动互联网,还有墨迹天气啊什么的,一堆应用当时日活很快都过亿了,但会很快发现:它们不代表未来。真正是要解决核心需求的主流应用,才是那个原生应用。

张小珺:为什么要先经过一个应用大爆发的时期,才能走到原生应用阶段?为什么原生应用不是诞生于第二阶段?

曾鸣:因为应用的爆发,给了技术下一阶段发展的方向。技术成为基础设施以后并不是停滞不前,它要寻找新的发展方向,但到底往哪方向发展,是不清楚的。

就像刚才讲的字节。它先做了今日头条,甚至在那之前还做了内涵段子等一系列小产品。因为在技术早期,你不知道哪个东西能work(奏效),必须不断尝试。第一阶段,文字内容已经成熟,才会出现今日头条。今日头条又探索出推荐算法——一种既是技术模式、也是商业模式的创新。之后,随着带宽、算力等条件发展,短视频才出现。短视频这一新的呈现形式,与推荐算法这一底层技术结合,才有了抖音这样现象级原生应用,真正成为国民级产品。

原生应用与基础设施成熟之间,还存在一个过渡性阶段。

张小珺:能把第二阶段叫做过渡阶段吗?——好多处在中间的创业者听了,可能会很伤心。

曾鸣:所以我会犹豫。第二阶段本身非常精彩,也非常有价值。我把原生应用称为第三阶段,是想告诉大家:第二阶段可能还有三到五年,是非常精彩的时间。你没办法跨越这个阶段。没有第二阶段的积累,就到不了第三阶段。

基于第一阶段的积累,现在该做的,就是第二阶段该做的事:让应用大爆发。

张小珺:我们今天在AI产业化周期的哪个位置?第一阶段已经结束了吗?

曾鸣:2026年是第一阶段基本完成的一个标志性阶段。核心原因是,今年年初,围绕token(词元)这个词形成了广泛共识。有两三个月,相关讨论非常密集。黄仁勋在英伟达GTC大会上说,英伟达的未来是token factory;Sam Altman也很快表达,OpenAI的核心是卖token。

为什么token重要?因为当一种技术有了标准度量衡,它就能够被规模化、标准化使用。今天,我们会说一度电、一吨水、一个GB流量。这些度量单位,让我们可以很简单地使用一项曾经非常前沿的技术。现在大家都知道:我调用多少token,能完成多少工作,需要付出多少成本。到这个时候,智能就开始成为社会基础设施。

这意味着第一阶段进入尾声,也意味着它开始成熟。它当然还会继续发展:服务越来越好,智能越来越强,成本越来越低。但它已经形成了相匹配的商业模式,也成为了大家能够理解和接受的新概念。这个阶段已经成熟了。

张小珺:那么,我们已经来到第二阶段没有?

曾鸣:今年有意思的在于,既是第一阶段基本完成的标志,也是第二阶段的开场。

今年春节前后,还发生了一件让大家特别兴奋的事:OpenClaw,也就是大家说的“龙虾”。很多人春节没睡好,天天都在疯狂研究、使用这些东西。“龙虾”让大家看到,一个能够独立完成任务的Agent(智能体)所蕴含的潜力。大家之所以如此狂热,正是因为看到了这种可能性。

所以我认为,AI正在进入第二阶段——智能体阶段。智能体,就是AI时代的新应用。

观点2

“我两年前以为AI到了Yahoo阶段了,现在看来,产业化还没有到浏览器阶段”


张小珺:这个类比或许有些刻舟求剑,但我们还是想试着做一下:如果把今天类比到互联网或移动互联网的发展阶段,大概相当于哪一年?

曾鸣:这是我琢磨了两三年的问题。两年前,我做过一次演讲,“让我们拥抱Yahoo吧”。当时我的判断是:Yahoo很快要来了。但到今年初,我自己也有点纠结:怎么好像产业化还没有到浏览器阶段。

张小珺:也就是说,你的判断更加前移了。

曾鸣:是。看到OpenClaw这些东西出来,我的第一个反应是:我们还在等一个浏览器出现。不是浏览器出来以后发生了什么,而是浏览器本身都还没出现。

因为和Agent同时出现的,是skill(技能、能力)。我们去想,Agent本质是什么?其实就是分享能力。我们把自己懂的能力封装起来,分享出去,让别人也可以调用和使用。OpenClaw提供了一个框架和思路:原来能力可以这样被封装、调用。

我突然想到,1992年我最狂热的是什么?是建网站。所有人都在想办法建网站,而建网站的目的,是分享信息。

所以,这一轮AI创新正在让我们从信息时代进入能力时代。海量的信息和知识已经被处理、数字化,今天人们不再需要像过去那样四处检索信息,而是直接问ChatGPT要答案。但大模型之所以有今天的成就,正是因为1992年前后的建站运动,让人们把信息放到互联网上,完成信息数字化的过程。

所以,做类比的关键,不是拘泥于技术表现形式,而是理解其背后的抽象结构和底层运行规律。当我想到:一个时代里,大家都在建站,分享信息;而今天,大家都在建Agent,分享能力——我就觉得,这个结构对上了。

浏览器为什么重要?浏览器完成了两个核心功能。第一,它通过HTML等一整套标准,建立了极其简单、统一的建站方式。于是,建站不再只是专业工程师的专业工作;只要有信息的人,都可以建站。它极大降低了创造和开发门槛。第二,它把浏览网站的门槛降到了接近于零。用户只需要点击,就可以完成信息浏览。于是,用户端一下子爆发了,供给端也爆发了,无数网站每天涌现。

但网站太多以后,大家又不知道该看什么。这时,Yahoo出现了。Yahoo最早是一个目录:在当天出现的一百个网站里,它告诉你哪些最有意思。后来网站变成一万个,它就告诉你排在前面的十个是什么,再进一步进行分类:娱乐、新闻、股票……

张小珺:Yahoo本质是在对信息进行结构化。它是在熵减,而不是熵增。

曾鸣:熵增的同时,一定要有熵减,降低大家的认知压力。我们今天处在熵增的过程中:各种skill(技能、能力)正在爆发。

张小珺:那谁有可能做“熵减”这件事?你看到AI时代Yahoo的雏形了吗?

曾鸣:我完全没看到Yahoo的雏形。所以我说,连浏览器都还没有出现。如果让我拍脑袋,我觉得下一个最大的机会,是一个类似浏览器的机会。它会把Agent标准统一起来,同时让用户用非常简单的方法调用Agent。然后,海量Agent才会爆发。这可能是未来两年最让人兴奋的一件事。

张小珺:假想一下,这样的产品可能是什么形态?先决条件又是什么?

曾鸣:我们可以总结抽象规律,但一定推演不出具体的产品形态。这正是需要大家去创造的地方。

张小珺:从Yahoo到Google,中间还有几年,你既然没看到这个时代的Yahoo,应该也还看不到这个时代的Google?

曾鸣:这是我现在没法回答的问题。我不太确定,这个时代是否一定会有Yahoo和Google之间那样巨大的鸿沟。因为Yahoo后来就没有了。我还看不清,也觉得讨论得太早。我们先等Yahoo出现,让Yahoo先辉煌三年,大概才能看到谁会去挑战它。

Yahoo在1995年成立,到2000年左右都非常辉煌。Google成立以后,最初只是给Yahoo提供To B服务,为它提供算法支持,像是Yahoo下面的一个“小弟弟”。

从这个意义上,是Yahoo孕育了Google。

观点3

“Anthropic、OpenAI,大概率不是原生应用阶段的大玩家、大赢家”


张小珺:这个时代最关键的变量是模型,你怎么理解模型?模型的本质是什么?可以类比于历史上的什么?

曾鸣:有很多可类比的。大家讲数据是新时代的石油,模型是一个炼油厂。

从广泛提供基础设施的角度,它又有点像另一个已经消失了的公司——美国在线AOL。它是互联网基础接入服务商,让所有人都能够接到互联网上,这本身是一个很巨大的工程。今天,大模型则是让所有人都可以轻易接入智能的入口。从这个意义,它也是一个基础设施服务商。

张小珺:你认为,OpenAI、Anthropic、DeepSeek、Kimi这些模型公司,只是一个基础设施服务商?

曾鸣:直白一点说,模型公司就是AI云公司——未来的AI云公司。

这也是为什么现在这几家大模型公司,和几家云厂商之间的博弈,在美国变得非常有趣、复杂。因为云厂商觉得,它们付出了太多,得到的太少;模型公司则大概率认为,自己将来要自建云服务,甚至自研芯片,像OpenAI这样的公司。

这两个生态之间,可能发生一些碰撞和重新整合,最后形成几个比较稳定的AI云公司。这个趋势,我觉得是确定的。

张小珺:大模型公司有没有机会从基础服务提供商,跃升为一家成功的应用公司?

曾鸣:这是一个开放的问题。如果主观给一个结论,概率不会太高。

张小珺:为什么?

曾鸣:没有历史上的先例。

张小珺:Codex现在做得很好啊,Claude Code做得很好啊,它们都是很成功的to C应用。

曾鸣:没有,这是大模型的一个基础延伸。Coding要成为基础智能的一部分。如果没有coding,我们今天都谈不上可以调用API,token就不会成立。是因为有了coding的能力,才让token变得这么有价值,因为它的智能程度、推理能力突破了。

张小珺:但你看,像Anthropic这样的公司,它成立才五年,短短几年就已经是估值万亿美金左右的公司,在人类历史上都非常罕见。你怎么解释这个现象?

曾鸣:这个描述本身是一个幻觉和误解。年轻人容易认为,每个时代“这一次不一样”。这就是典型的“这次不一样”。

我专门查过这个事情。回到我们刚刚讲的Yahoo,Yahoo在1995年成立,2000年达到了1,200亿美金的市值,五年时间。那个相当于什么呢?你把通货膨胀、纳指的涨幅算进去,那时候1,000亿美元,按大概8%年回报,就是今天1万亿美元的公司。

所以在2000年,五年时间能达到1,000亿美元市值,它对大家的震撼,不比今天Anthropic更不强烈。一样强烈。

我刚讲的那个后来消失掉的公司AOL,1988年开始提供服务,2000年高点的时候,是2,200亿美元估值,比Yahoo还高,是当时市值最高的一家公司。它再去收购传统媒体,收购华纳,达到3,000多亿美金,也是一个很恐怖的数据。

Google是1998年成立的,2005年达到1,000亿美元。黑莓公司在它的巅峰时期,也是一个硬件厂家,最快达到1,000亿美金估值的公司之一。

所以,当一个技术有这么大的冲击力,第一波成功跑出来的公司,就会有这么大价值。

我觉得,Anthropic、OpenAI是了不起的,无论是技术突破,还是商业成绩。但这样的先例,在历史上、在类似阶段都发生过。但是,它不一定能活到最后。它很可能会往后活得不错,但它大概率不是原生应用阶段的大玩家、大赢家。

即使回到我们讲的石油比喻,炼油厂跟化工厂也是两类企业。化工企业后面比纯粹炼油的企业要有价值得多。化工就是应用,炼油就是最基础的,把石油开采出来,再变成基础的油。

还有一个类比是汽车。汽车离开了石油肯定不转,但石油公司肯定做不了汽车。你没听说哪个汽车公司,是由石油公司转化而来的。

张小珺:我昨天刚好看了一下,陆奇博士在2024年说过一段话,他说:OpenAI这种AGI公司,未来一定会比Google大,只是大5倍还是大10倍的问题。

按你刚才的论述,我理解你不仅不认为“OpenAI是AI时代的Google”,甚至觉得它们可能只是历史上的过客,甚至会消失。是这么个观点吗?

曾鸣:我是这个观点。

我相信未来一定会有一个10万亿美元的公司,但未必是现在领跑的这两家。

我理解陆奇博士想说的是,未来会有一家“AI时代的Google公司”,它很可能比现在的Google大10倍。

张小珺:不,他说的就是OpenAI。

曾鸣:我理解。但那个时候,大家大概只想得到OpenAI会代表未来。

我自己是一个商业史研究者,我研究的是商业世界的动力学规律。我能看到的理论框架告诉我:第一阶段的企业,很难活到第二阶段;第二阶段的企业,很难活到第三阶段。

张小珺:这是为什么?

按理说,它们这么早就出现在市场上,对最前沿信息最敏锐,为什么不能及时转型?比如,我马上从一家基础设施公司转型成一家Agent公司,这个过程看起来很顺畅。

曾鸣:我觉得不顺畅。因为第一阶段的技术,核心是“可不可用”,它有很多原创性技术创新。第二阶段开始的标志,是第一阶段的技术发展渐渐缓慢下来,才能变成大家都能调用的技术——我就不用再去重新开发轮子了。而第二阶段的应用,需要很强的洞察力。它要的是产品很强的原创力,跟普通用户的同理心,以及一堆新的应用技术。

第二阶段并不意味着技术创新结束了。只是技术创新不一定再沿着第一阶段“把基础模型做得更强”的单一轨迹发展。应用爆发以后,会出现一批新的技术问题。你也可以把解决这些问题的技术,理解为新时代的模型技术。它依然有很多前沿创新可以做。

比如上下文管理。Agent要完成复杂任务,怎么理解、保存、调用和组织上下文,本身就有很多技术创新空间。你很难严格界定:这些创新到底算不算“大模型”,其实没有那么清楚。

在这之后,AI还可能出现新的技术范式。现在出现的很多neo lab,其中一部分人可能会转向探索和开发:这个阶段的应用真正需要哪些新技术。技术依然会进步。只是未必沿着原来的轨迹线性增长,而可能发生技术范式的变化。 

所以,未来第二阶段的王者,可能是把强大的应用洞察和新的技术能力结合起来的公司。

观点4

“公共基础设施,只有一种商业模式成立,叫寡头垄断加政府强监管”


张小珺:在你看来,不管是中国还是美国,最后模型公司格局会形成什么样的状态?

曾鸣:非常简单。公共基础设施的行业,只有一种商业模式是成立的,叫寡头垄断加政府强监管。

第一,整个社会依赖于它,政府一定会强监管;第二,供给如此重要,不能只有一个供应商;第三,由于这个基础设施投入这么大,所以不会无序竞争,不会有很多供应商。

这就是经典的寡头竞争、政府强监管,保证社会有稳定、低成本的供给,这才叫基础设施,对吧?水电费能随便涨价吗?当然不能——我知道这个现实对很多现在创业的人很残酷。

张小珺:像OpenAI、Anthropic、Google这样的frontier前沿模型,如果它们最终会并存,这里面有优劣之分吗?

曾鸣:当然有优劣之分。这是这个阶段最有价值的竞争。我讲产业终局,并不否定现阶段这些竞争的重要性,也不否定这些企业了不起的地方。

而且今年,特别是Anthropic先领跑,OpenAI再跟上,Google阶段性被甩下,其实就是组织能力和技术能力出现了一些差距。像xAI和Meta,直接退出竞赛了。寡头竞争的过程中,已经有人退场、掉队了。

张小珺:为什么xAI和Meta会掉队?看起来它们资源很多,创始人高度重视,也算是“一把手工程”吧。

曾鸣:这就跟我新书里讲到的“智能复利”有关。Anthropic从去年下半年,可能到今年上半年开始,让大家比较清楚意识到:它们开始用大模型训练大模型了,也就是AI进入了它们的主业——大模型训练。它们把AI这个工具,用到了自己的主业上,模型训练能力大幅提升。

这也是为什么今年上半年,大家如此兴奋。大家发现,大模型还可以用这么快的速度,提升这么高的性能。这就是因为大模型本身进入了训练过程。但还没有到现在又很火的那个词——完全自我驱动的self-learning(自我学习)。它只是局部被使用,但已经产生了很大价值。

这两家公司也有组织上的优势。所以,当组织优势和一种新的技术运营方式结合,它就产生了巨大领先优势。而这个领先优势,已经开始把比较弱的玩家甩出去了。

张小珺:这是美国模型,中国模型公司会如何进一步演化?

曾鸣:中国和美国保持了两个不太一样的生态。中国模型公司会持续追赶和发展,但中国模型公司之间的竞争,也会有点类似美国公司。这几家大大小小的公司,最后比如说今年底,谁如果跑不到3T模型,估计谁就出局了。

它是淘汰赛,就像世界杯一样。你可能现在8进4,接下来4进2。最后留下有限的几家,成为基础设施。

张小珺:现在看起来谁淘汰了?美国我们知道了,中国呢?

曾鸣:就看年底。年底3T,现在大家卯足了劲在搞这个。等于智谱有点领跑,Kimi在3T上先交卷,成绩基本满意,再接下来看MiniMax,千问肯定很快会发。差不多都在跑这个新的竞技线。

张小珺:不论中美,模型格局今年会稳定下来吗?

曾鸣:还真不一定。可能要到前两三名的优势和后面拉大了以后,这两三家之间就不太容易再拉开了。要形成一个巨大的“黑洞效应”,让其他家很难超越。

在美国,Anthropic和OpenAI就从“智能复利”的飞轮开始,因为它们会继续往self-improving(自我改进)这条路上走,和其他人的差距会越拉越大。它们有点形成了“黑洞效应”。这也是为什么美国云厂商有点慌了:将来这两者之间会形成什么合作关系,变得非常重要。

张小珺:在你看来,做模型的窗口期关闭了没有?新公司还应该再做模型吗?

曾鸣:以我们定义的、作为基础设施的大模型公司的窗口,肯定关闭了。因为已经进入竞争接近、智能飞轮都已经跑起来的阶段了。你这时候进来,就完全没有积累了。

张小珺:这些模型公司最后是会趋同,还是会分化?

曾鸣:寡头竞争的特征是:有一定差异化,但又足够同质化。同质化保证可以被替代,差异化让大家还有钱赚。

张小珺:所以模型公司是好生意吗?

曾鸣:是个很好的成熟生意。我们为什么说企业都是时代的企业?你肯定不会是当红炸子鸡。过个三五年,如果你真的没有进入下一个阶段竞争,你就成了一个大家都调用你服务的公司。大家只会在不稳定的时候complain(抱怨),不会天天夸你。

观点5

“旧平台大概率不能演变成新平台”


张小珺:如果按照你说的,模型公司是基础设施服务商,未来什么样的公司能成为新的时代性的公司?

曾鸣:就是看谁是Netscape、谁是Yahoo,谁把Agent的标准建立起来,谁抢住Agent的用户入口——这个观点跟大家今天的想象很不共识。

你现在去WAIC大会,只有到地下一层一小块区域,才能看到做应用的公司。二、三层的大厂,做的都是现在已经有的东西。

未来三年,是有可能开始出现Agent入口的。因为Agent太多了。换一个普通人角度:你怎么知道哪个Agent能用?你敢不敢把一件重要的事交给Agent?你钱包敢交给Agent吗?你个人隐私敢交给Agent吗?这种信任从何而来?

这些东西都需要一个新的服务商来建立信任,让我们愿意说:"OK,我相信你定的标准,我相信你的推荐,我相信这个Agent我是敢用的。"

张小珺:新的时代,会诞生新的平台吗?

曾鸣:肯定会,入口就是平台。上一代的平台,是因为信息效率不够高,需要一个平台来让信息流转。今天,可以用判断力代替信息不对称,但判断力也是稀缺资源。

所以一样会出现双边市场——海量Agent开发商跟海量用户之间,怎么完成匹配?我们看一个网站,很容易判断好坏。但用一个Agent,是有可能出现很大负面影响的,判断Agent的能力要求高得多。

在这个阶段,我们大概率会让渡判断力给一个独立第三方,认为它是值得信任的。这就是典型的双边市场结构,有中等程度的网络效应。

张小珺:新的平台和旧的平台,不一样的地方是什么?旧的平台能演变成新的平台吗?

曾鸣:大概率不能。旧平台做的是简单信息匹配,新平台要做的是能力跟需求匹配,复杂度高了很多,两边的东西都发生了变化。这是新物种的匹配。

张小珺:所以还是会诞生新的公司?新平台的诞生,距离现在大概还有几年?

曾鸣:会诞生新的公司。因为你如果不是Agent原生,你怎么能判断得了Agent?怎么能给Agent提供一个最好的通用开发平台?——大概就是三到五年。

张小珺:今年大家也在谈Agentic OS,在你看来这是什么?现阶段重要吗?

曾鸣:我觉得没人能定义得了Agentic OS,我把它放在第三阶段。因为你是OS就开始调度资源,不再做匹配了——你只要告诉它一个意图,它直接调用市场上所有Agent,帮你把活干完,你都见不到那个Agent。

所以,只有到一个足够复杂的阶段,才需要直接调度Agent。Agentic OS,比我们想得要远。大家在第二阶段就容易去畅想第三阶段,这个讨论是有意义的,但大概率没法落地。

张小珺:Agentic OS的话语权,有可能被谁争夺到?——模型公司?应用公司?互联网公司?还是像苹果这样软硬一体的公司?

曾鸣:照我的理论框架,肯定是一个谁都不知道长啥样的公司,这才叫大创新。要不然它不deserve未来的那个价值。因为Agent长成啥样,咱们现在都不知道,对吧?

讨论第三阶段的好处是,你大概知道终局在哪个方向,做第二阶段的时候会更有针对性。

张小珺:今年Agent应用公司很惨淡,可以说是近两年的冰点。去年投资人投应用公司的热情高涨,但今年大家觉得"那不就是模型的一个skill吗",应用公司就很难融资了。这个现象会是短暂的还是长期的?

曾鸣:现在是应用领域创业者的反共识阶段。就是因为没有一个好的应用,让大家看到它有多大潜力,以及它该怎么做,大家都在摸索。

比如,视频生成是相对成熟的领域。做Agent的公司也很多,大家最终目标可能是做AI时代的TikTok。大家都知道离得很远,那你第一步到底做啥?这个非常考验功力。AI短剧、动漫,门槛太低,模型能力顶上来以后,基本上就干完了。

我们正好处在一个青黄不接的时候:模型的能力已经溢出到很多简单任务,它自己就能干了;但我们又没有找到一个足够大的场景,可以用Agent的方法真正让AI做一件足够复杂又足够有价值的事情。

大部分人低估了Agent的难度。去年大家有点像小孩过家家——有个新玩具,就开始下场玩各种各样的东西。考核标准也很简单,只要有ARR就好。一个新技术当然有价值,总有人愿意付费。所以,我去年底在整个硅谷的感受,就像一个创业天堂,所有人都玩得很high。但今年,模型能力有了大的突破,原来那一批过家家的小孩就被淹没了。

今年我听到一个普遍的感受:大家都觉得智能是真的能干活了,可以信赖了,因为推理能力达到了一定的水平。开始真有人想,我能不能严肃地拿它干点重要的活?这才是应用阶段开始的真实标志。

张小珺:模型公司会吞噬一切吗?

曾鸣:模型吞噬一切的前提是,所有的东西都在模型射程内。按现在的范式发展,模型肯定会有一个阶段性的发展,智能够用了,然后会有一堆新的技术出来,去做不同场景下的东西,那你模型就不可能吞噬到所有的一切。

我举个直观的例子。1892年爱迪生发明电灯泡,照亮了曼哈顿一平方公里的地。1910年有一个实质性突破,电网覆盖了美国主要城市。在那一年,才出现了两个真正的to C大应用:洗衣机跟电冰箱。收音机也是那个时候。第三个离不开的家用电器,空调,到1925年才出现。电视机到1930年才出现。

应用的发展,有它自己的规律。

讲到公司层面,有一个很有意思的选择。爱迪生发明了电,他认为发电更重要,所以成立了通用电器,最早做发电设备。但他没意识到电网非常重要,所以他的助理离开了,成立了美国第一家送电公司。而通用电器真正成功,是因为它生产出了最早的电冰箱跟洗衣机——是因为一个to C的应用突破了,电网成了基础设施,大家不再关心电网公司的品牌,但通用电器繁荣了六十年。

张小珺:现在的应用公司,做着做着就会开始训模型,比如Cursor,否则应用公司在和模型公司竞争的时候没有竞争力。你觉得应用公司应该训自己的模型吗?

曾鸣:我还是澄清一下概念。Agent跟模型之间的边界会逐渐清晰。Agent公司的技术创新可能也非常大,只是它不一定跟现在大模型技术创新的轨迹一样。同时,因为大模型之间的竞争,会让大模型能提供的能力成为一个大宗商品、基础设施。所以作为智能体公司,其实没必要再开发大模型了。

Cursor不是我们定义的这种主体。它只是在coding能力不够的情况下,在试模型能力的边界在哪。当模型发展以后,它其实被fold into,被包进去了,成了模型迭代的一个养料。这是两个完全不同的阶段。

张小珺:所以Agent公司不用自己训模型?

曾鸣:不用训传统意义上的模型。你可以稳定调用,不用担心模型公司切断你——有一个合理的替代品随时可以接上来。

张小珺:以Manus为例,Manus需要自己训模型吗?

曾鸣:Manus看它接下来想训什么样的模型。它做Agent,也要做很大的技术投入,所以Manus正好卡在那中间,得去探索边界在哪。但这可能都是我们阶段性遇到的问题:模型公司要怎么做应用,应用公司要怎么做模型。慢慢的,产业生态可能会更加清晰。

张小珺:也有人说,这一波AI应用很难形成上一代互联网、移动互联网时代那样的“数据飞轮”,你怎么看?

曾鸣:“数据飞轮”升级到了“智能飞轮”,这就是我讲的“智能复利”。

“智能复利”,是你调用了基础智能,让Agent具备更高的智能去完成特定任务,在这个过程中一定会有“数据飞轮”。“数据飞轮”的前提是真实世界反馈,真实世界反馈的前提是Agent要独立干活,离开人的参与。

这中间一定会有算法创新——包括上下文管理、记忆、新的交互方式。这会形成一个“智能复利”,在这个场景下变得越来越聪明,然后渗透延伸到其他场景,解决更复杂的任务。运气好撞上了最能规模化、最能泛化的那个场景的人,就最有可能形成黑洞效应,进入第三阶段的竞争。

张小珺:现在看到这样好的场景了吗?

曾鸣:应该还没有,有的话就火了。我1993年在UIUC读书,是浏览器诞生的地方,我可能是全世界最早用浏览器的一万人之一。整个校园都疯了,天天晚上不睡觉,在用浏览器看各种各样的东西。大家就会觉得,网上能看的东西怎么这么少?就有人意识到,做个网站上传上去肯定是最有意思的事情,马上有人发现这是一个商业机会,飞轮就转起来了。

张小珺:刚才说的是“数据飞轮”,AI时代的“网络效应”会是什么样?

曾鸣:“网络效应”会继续存在,成了这个时代的标配。因为最后还是要广泛连接的,越多元化、越差异化的数据越能产生新的洞察。同样类型的数据,规模到了一定程度,价值是边际效应递减。

“网络效应”的升级版是“黑洞效应”。“黑洞效应”就是应用场景越多,连接越复杂,你就更有可能拓宽你的智商。我在《智能商业》里讲过,DNA螺旋的两个组成,一个是“数据智能”,一个是“网络协同”——“黑洞效应”相当于这两个都升级了。

张小珺:可不可以说,到今天,一个非常好的to C Agent尚且没有诞生?

曾鸣:我有限的范围内没有看到。但它会出现,没有大家想得那么悲观。

张小珺:有没有可能,应用到最后就是几个模型公司做出来的?

曾鸣:有可能,OpenAI一直就想做。但能不能做到,那是看它的组织能力、创新能力。模型公司一定会想做,也一定会做,问题是最后能不能成。

张小珺:站在2026年AI应用的冰点时刻,你有什么想对苦苦挣扎的应用公司CEO说的?

曾鸣:找到自己发展的方向,认真做好自己的事情就好。融资是个很现实的问题,但是做一件全新的事情,早期就是会比较困难。

观点6

“岗位消失了,层级消失了,公司终将走向消亡,新的组织形式会兴起”


张小珺:2026年还有一个现象,除了这波应用公司,不管是在美国还是在中国出现了好多neo labs。他们的方向可能有AI for AI,有世界模型。你怎么看neo labs背后涌现的根本原因?大家为什么需要去探索新的模型范式?

曾鸣:可能几个方面。一部分人看到了现有范式天花板,或者像Yann LeCun(杨立昆),从原理上就认为这个事情有偏差,或者天花板有限,他终于有了机会去试一下自己一直有的想法。这是一类。

第二类是觉得scaling law有边际递减的趋势。不管它现在发展多好,早晚有这个趋势,大家才会一起都出来。

第三个反而是因为大模型的基础能力到了一定的程度,大家可以尝试一些跟现有大模型技术路径不太一样、但也非常底层的创新,比如像AI for Science,而且也需要大模型支持,但做的事情跟现在的大模型技术路径不太一样。这几大类都被统称为了neo lab。

张小珺:neo labs会成为一个过渡型的现象,还是会成为一个长期的组织形态?

曾鸣:我觉得它是新的组织形态的早期雏形。它会继续演化。它为什么会叫neo lab,就是因为不满意公司嘛——就是说,公司要被淘汰了。

张小珺:会吗?公司被淘汰。

曾鸣:肯定的。因为公司跟工业时代是一起产生的,工业时代之前没有公司,只有手工作坊。工业时代最大的制度创新就是终于有了公司这种组织形式,让现代化管理可以被运营起来,才能支撑公司的规模化扩张。它是个配套制度。如果工业时代的基本经济规律被挑战了,它的组织形态肯定也会被挑战。所以大家更愿意叫lab。

但我为什么说它是雏形?是因为它更像这批研究员在一起工作的状态,但它会变成未来普通人也用这种更加AI原生的方式工作,所以它会有一些新的演化。

真正的第一个neo lab是OpenAI。这批企业应该叫neo neo lab,借用了neo lab这种组织形式,但开始做不同的事。所以neo lab的本质应该是lab,不是公司。

张小珺:你觉得这个未来会成为常态?未来我们会叫那个组织叫什么名字?

曾鸣:现在不确定,大概也不会叫lab。你看我这本书里,我刻意从头到尾都在讲“组织”,特意不用“公司”这个词。

今年大家都在谈“AI原生组织”,为什么用这么复杂的三个词?就是因为这个词还没有被定义出来,这个组织形态也在刚刚的孕育期。可能五年以后,我们会有个新词,但今天没有。

张小珺:你觉得公司作为工业化革命的产物,它有可能会消失、会消亡?

曾鸣:科层制管理的这种公司制度会衰亡。但人类的分工协作会继续,组织永远会存在,因为有人的地方就有组织。但组织用哪种形态,是个历史演化的过程。

张小珺:为什么AI革命带来的变化如此剧烈,剧烈到连组织形态都已经从公司开始向其他的形态转变?

曾鸣:讲两个类比就能理解。第一个,至少把它类比工业革命,工业革命基本上颠覆掉了以前所有农业时代的那些东西。那么AI如果是超越工业革命的技术创新,工业时代的大部分东西也会被淘汰掉。

第二个,从更底层说,人类一直很自豪自己是地球上唯一的智能动物,典型标志是因为我们有语言,会说话。那AI也能说话,AI能理解人的所有知识,AI也具备了智能。所以,我们未来世界发生的变化是超出我们想象的。过去很多我们习以为常的事情,在二十年以后完全可能不存在,这应该是大概率的事情。

张小珺:那么,AI原生组织应该怎么搭建?

曾鸣:岗位可能就不存在了。岗位是公司最基本的运行单元,我们应聘都是应聘个岗位。公司要发展,先要定一个岗位,给一个工作描述,然后去招人。因为有岗位,所以有汇报线,有层级,有相应报酬,所有东西都跟岗位连在一起了,岗位是现在组织的基本单元。

但AI时代,组织的基本单元是任务,是什么是要被解决的事情。大家是围绕着任务流转,组织肯定就会完全不一样。

张小珺:如果从岗位变成任务,人应该怎么在这个组织里结构起来?

曾鸣:这就是现在大家都在探索的最有意思的问题。阶段性产品是大家讲的,AI一定要嵌入工作流,但这只是阶段性产品,因为那个工作流是为人设计的。

所以AI原生组织会从第一天开始就去定义那个任务,去拆解那个任务,再去分配那个任务。所有的人和AI都是围绕着任务,硅基员工和碳基员工都是围绕着任务流转在协同的。

张小珺:如果没有一个岗位了,那以后找工作找什么?

曾鸣:你去认领任务。现在这几个大lab都是在任务发布,你去认领——你觉得你能干你就接;你能deliver结果,你的东西就上线了。公司只要发布任务,你只要去认领任务就行了。

张小珺:它是一个更加网状的结构,层级会进一步减少?

曾鸣:层级不存在了。

层级存在是因为不知道谁说了算,那就先定个层级,层级高的人说了算。它不是以判断力为标准,当然这个层级本身跟判断力的积累有关,但它原则上是谁级别高谁说了算。

但未来是,谁的能力强,谁被调用。

张小珺:所以基层、中层、高层这种结构也就没了?

曾鸣:为什么叫“科层制管理”,它就是有这样的垂直分工,有命令线。当这个命令线被打破,将来的协同就不是靠命令了。所以,传统意义上的中层肯定是消亡了。

张小珺:企业怎么激励员工?当你设置这种层级,有一部分的原因也是作为激励手段让你有层级可以向上攀爬,未来的绩效考评和人的驱动力来自于哪里?

曾鸣:本质是自驱。为什么这半年硅谷最流行的词叫high agency?我们讲主观能动性,你自己掌握自己的命运。你有没有成长,没有人比你更了解。你成长了,你开心了,你就继续做;你没成长,你不开心,你就换个地方。

张小珺:而且,人未来的竞争对象也不只是你的人类同事们,也包括你的AI同事们。

曾鸣:是啊。第一个,的确要向内看,找到你的驱动力。第二个,你要明白要培养什么样的能力。第三个,你要找到这个能力最适合应用的场景,跟着这个场景一起去成长。第四个,因为你接了任务,你交了结果,这个东西非常透明,所以你一定会得到相应奖励。为什么这些top researchers转会费那么高呢?因为贡献很透明。

张小珺:所以我可以理解,neo lab不能算是一个阶段性产物,它可能算是一个新时代组织的早期孕育形态。

曾鸣:对。之所以叫lab,是因为现在主要的员工是研究员,研究员最能理解的是一个lab。他们不喜欢公司,也不喜欢大学,但他们喜欢lab,所以就叫neo lab。但将来,所有有创造力的人都会在现在的新型组织里存在,那个时候大家就不会局限于lab这样一个称呼。

张小珺:但也可能不叫“公司”。

曾鸣:肯定不叫“公司”。

张小珺:所以,公司会消失,公司会消亡?

曾鸣:这没有什么可以遗憾的,将来有更好玩的。你说,多少人现在去公司上班是开心的?

张小珺:不开心。

曾鸣:对啊,那你将来可以有更开心的方法,那不就是技术进步给人类带来的价值吗?

张小珺:所以那个组织该怎么叫?

曾鸣:Club,俱乐部?或者,大家喜欢球队的感觉。如果你是一个NBA明星球队,是明星球员,肯定是最大的成就。这批人会找到一个新的方法叫他们自己。

张小珺:如果“公司”终会消亡,现在的“公司”怎么办?它们已经形成了。

曾鸣:转型、升级,成为新物种。不换脑袋就换人。自己的认知先要升级。为什么现在在讲AI原生的认知和理念有价值,因为你得理解新物种会长成啥样,你至少要理解要跨的鸿沟有多大,才会去努力。要不然大部分人顺着惯性就是AI+,一路+下去了。等原生的公司真起来的时候,你会很绝望。

只不过转型非常困难,它本身是反人性的。

张小珺:在未来,“一人公司”会成为发展方向吗?

曾鸣:不会。“一人公司”只是说,公司很多职能坍塌到一个人身上,一个人现在能干原来几十个人能干的活,但是一个人能干的活永远是有限的。所以一定要有组织,一定会有分工,一定会有合作。

“一人公司”是阶段性的产物。它只是让大家理解了,一个人由于有了AI的帮助,能够干原来一个公司花了那么大管理跟协调成本才能干到的事情。所以,将来的每个人就是一个“一人公司”,你就是个“六边形战士”,你在那个组织里再去跟其他的“六边形战士”合作。

张小珺:当下的这些neo labs有泡沫吗?

曾鸣:大概率有吧。但早期的泡沫肯定是好事。重赏之下才有勇夫。大家都看到类似机会,这就是市场机制的价值。你事先没有一个上帝视角知道谁对谁错,你只能是让大家去试错。市场就是说,OK,我知道这是方向,我愿意投入这么大的资源支持大家试错。

这一轮neo lab之所以可以以这么高的估值开始,是因为大家认为它们至少起步是OpenAI和Anthropic。当你的潜在回报是这么高的时候,当下原意下的赌注就更高。

观点7

“利他、同理心和自我逐渐变小,大概是走向卓越必不可少的因素”


张小珺:好了,我们现在来聊聊创业人群吧。AI时代的创业者,呈现的特征和过去有没有发生变化?

曾鸣:这个阶段的变化非常明显,就是科学家创业嘛。但它不会持续到下个阶段,下个阶段科学家创业的比例会大幅下降。

张小珺:你之前说过,优秀创始人和卓越创始人是不同的,他们分界和差异是什么?你能一眼识别哪个是卓越的创始人、哪个是优秀的创始人?

曾鸣:识别不出来(笑)。为什么说卓越难?最重要的一句话:卓越是事后认定的。是因为你克服了一次一次的负反馈,当所有人都不认可你的时候,你最后会以巨大的成功证明你是时代最早的先知。所以卓越的过程是一个逐渐展开的过程,优秀是一个持续有正反馈的成长过程,这两条路径完全不一样。

大部分人是优秀的人,因为优秀跟人的心态比较匹配。真正卓越、有疯狂想法、能走向卓越的人,是非常低的比例。狂想的人可以很多,也很容易;但你不但想对了,还能落实,是极为稀缺的能力。

而且你问这些人,他可能也未必认为自己有什么不同。这就是在《基业长青》/《优秀到卓越》书里讲到的,他看到的那些特别卓越的企业,当你真正问这批人,他们有个极大的特质——都是把成功归于别人,都认为自己是因为运气。他是搜集了这些人的访谈、对外沟通的信息。我一开始听起来觉得有点反常,但你真正去体会的话,应该是那样才有可能。

张小珺:为什么?

曾鸣:因为事情大于人,你一定自我很小,才能走那么远。是时代成就了你。如果你只是为了证明自己,证明你有多牛,就是他书里讲的“第四级领导者”。在某一个时间点,世界会打你的脸来证明,你没有你想象的那么厉害。

利他、同理心和自我逐渐变小,大概是走向卓越必不可少的因素。

你ego大的话,你会一直想要证明自己,你就会一直在那个正反馈的循环里。你大概率走的是一个普遍性正确的道路。因为你急着证明自己,所以你需要短期反馈。你是为了自己的ego,你不会去真正地去感知和理解真实的世界,你对信息的处理一开始就会容易受你先入为主的判断的影响。

张小珺:那如果走的是另一条卓越的路呢?

曾鸣:他想的是,我要怎么把这个事情最大化,我愿意听更多人不同的意见,我相信大家都很优秀,我们是为了成就这个共同的梦想,那整个公司的凝聚力就不一样。这就是真正意义上的使命驱动的公司。

你如果问我,我也会把公司分成四个层级:机会驱动的公司、战略驱动的公司、远见驱动的公司、使命驱动的公司。但这个使命是发自内心的,你真心believe的,你完全相信跟拥抱的,不是你编出来写在墙上激励别人的。那样的人是非常非常少的。

张小珺:怎么辨别它是一个使命还是战略?——这个可能只有你自己知道。

曾鸣:可能自己都不知道。经常有创业者过来跟我讨论战略问题,我问的第一句话往往把他们搞懵了。我会问:十年以后,你会对怎样的自己满意?这个问题是最能反映你对自己当下是什么期望的,你这一段的旅程是什么驱动的。

张小珺:但这个问题本身也是一个自我ego的问题。你有自我ego,你才会想十年后自己什么样。

曾鸣:比如说,有的人讲,我就是对这个事情特别感兴趣,我希望这个事情能成,这种肯定事情已经大于人了。有的人说,我就是好奇,这个也比证明自己要有意思。有的人说,我就是要做一个一百亿美金的公司。

张小珺:这是负分答案?

曾鸣:因为这个基本上是自我驱动,就是要一个外部认可,他很多东西都会基于这个去做调整跟变化,他不是一个内在驱动,他受外部的衡量标准影响很大,每一轮的估值就容易对他有冲击。

张小珺:你听过最好的回答是什么?

曾鸣:马老师(马云)最早创业之前讲的,“让天下没有难做的生意”,那是他自己发自内心相信的东西;马斯克去火星也是使命,这是一个脱离自我的事情,他要把人类带入外太空时代。

观点8

“战略生成系统:实际上是人跟AI一起训练一个组织的小模型”


张小珺:关于战略,我很好奇的是,当制定战略决定的那个时刻,你们怎么知道这是一个好战略?

曾鸣:不知道。因为相信所以看见了。所有真正成为时代企业的,最后被证明了它那个反共识是成立的。

当然在这个过程中也有很多疯狂的想法,其实就没有了,这点是一定要去强调的。你看到的是survival bias(成功者偏差)。最成功的企业一定是反共识的,但反共识不一定成功。但是在当时,我们基于自己的能力,能看到而且也愿意相信的,就是那样一个图景。

战略很大程度上,是关于怎么创造未来的,它不是一个简单的规划。

张小珺:只有反共识的战略才能够大成吗?我在一个共识赛道,但我做的比所有人都强,它能大成吗?

曾鸣:那就是优秀嘛。卓越一定来自反共识。

张小珺:对创业者来说,哪些是非共识,哪些是噪音,怎么辨别?

曾鸣:这跟战略制定也有很重要的关系,因为你就是在判断信号跟噪音。一个是,尽量感知得全面一点,真实去体会外界发生什么变化;另一个是思考要更深入一点,这样你大概能慢慢分清楚噪音跟信号。

很多人是不太过脑的。思考不深的话,当下流行什么,你就跟着流行去了,会很累。因为你一直在追趋势,别人已经领跑两步了,你没看见,你只看见他冒出水面的第三步。你追肯定就是第一天就是输掉的。另一个,因为接触的面太窄了,你容易做出一个局部的最优判断,但你可能失去了一个更大范围的视角。

张小珺:听你说,感觉战略到最后好多都是心法。

曾鸣:我个人是比较爱琢磨心法层面的事情。理论反而容易把大家框住,因为你只记住了那句话,依葫芦画瓢,就容易出很多问题。但心法如果你掌握了,能够根据具体的情况随机应变。

张小珺:你强调,AI时代做战略首先要搭建组织,其次才是战略,战略也是实时变化。那么,今天制定战略还重要吗?你以前说要“看十年、想三年、干一年”,这个在AI时代还奏效吗?

曾鸣:今天战略无比重要。你做错一个重要决定你就出局了,淘汰赛可能以几个月来计划的。

我为什么会讲,AI时代需要一套新的战略方法论,是因为你持续做出正确战略决定的重要性非常高。越不确定的时候,越需要战略思考能力。如果都很确定,大家拼的就是执行能力,对吧?

“看十年、想三年、干一年”,是我对AI时代战略方法论的比较形象化的总结。但大部分人记住了看十年、干一年,因为那是他们习惯的工业时代的战略方法论。在工业时代,或者说从90年代开始的传统企业的方法论,是因为在一个相对成熟和发展缓慢的世界,看十年是比较清楚的。你每年就5%、8%的增长,也没有新的玩家,十年以后大概会变成啥样,你大概是知道的。在这个情况下,你做今年的规划也很容易,基本是线性推演。战略如此不重要,以至于大公司把战略外包给麦肯锡这样的咨询公司了。

所以80年代开始,到00年左右,麦肯锡、BCG这些公司有一个井喷式的发展,因为这些公司认为战略不重要,都可以外包给别人。麦肯锡过去就是,根据行业经验,根据战略方法论,我帮你制定一个十年的规划,你就按年去执行就行了,双方都很happy。

但我们今天的问题在于,看一年远远不够,你没法线性外推,线性外推就不可能得出Anthropic今年80倍的同比增长收入了。因为你是一个vision-driven的人,你放弃了线性外推的思考方式,你才可能有未来。但由于未来如此不确定,看十年帮不了你太多,因为当下从哪下手你还是不知道。所以你得逼着自己去想一个大概三年左右的图景——所以,真正的创造力在看三年。

看三年要求你大概看个两三步——我第一个milestone是什么,第二个里程碑是什么,第三个里程碑可能是什么,然后我今年做的第一个重要的事情是为了满足哪一个里程碑。

你就会有短期、中期、长期之间的一个动态的张力,这个张力引领企业有可能更好地做出当下的战略选择。

所以,没有看三年的张力,战略就没有发生的环境。相当于在一个三维空间思考最优解,跟你在一个二维平面寻一个最优解,完全不是一回事情。

张小珺:应该以多长周期为频率来思考战略?

曾鸣:“看十年、想三年、干一年”是一个形象化的比喻,它本质是要彰显看三年的创造力,以及短期、中期、长期的冲突和矛盾、利益取舍。战略本质是关于取舍嘛。最核心的是这个取舍。

但你也可以“看五年、想两年、干半年”,甚至你可以“看三年、想一年、干一个季度”。这个节奏是根据行业发展可以有些不一样,但是一定要有中期的思考,一定要看到至少三步,而不能只看一步。所以,关键是中期的那个节点。

去年有一个做应用的创业公司问我,他们的公司发展很好,ARR涨得很快。我就问了他一句话,我说:“你啊,继续涨两年以后又怎么样呢?最后产业终局会怎样呢?你ARR有没有一个天花板呢?那个天花板多快会来呢?”他一下就明白了。他回去算了,发现天花板不高,赶紧就去做一些新的事情了。

但当你线性的看,我ARR每个月都在增长,年增长率多好。特别是ARR这是一个很虚幻的事情,它不但是一个线性外推,还是拿当下外推12个月,很容易让人产生一个增长幻觉。它很可能就突然到顶,后面直线变成一个线性增长,你做的事情是一个没有想象空间、没有多少价值的事情。

所以你短期内的价值,模型一溢出,就没人愿意付费了,或者是竞争太多了。大家刚开始竞争,按你的创造的客户价值来定价;但当竞争对手一多了,按你的边际成本定价。这是大部分人不理解的经济学基本规律。

张小珺:所以不管是短期、中期还是长期,衡量当下成长性的标尺是什么?

曾鸣:这个指标是主观的。为什么有OKR?就是想解决当你的目标不能转化为KPI数字的时候,大家要用OKR协同。只是因为OKR落地对组织要求太高,大部分公司或者放弃了,或者OKR变成了变形的KPI。

为什么大家用“对齐”这个词越来越多?很大程度上就是对齐我们的目标,对齐我们对未来的判断,对齐我们背后不同的认知模式,这是变成了更第一性的东西。

张小珺:OKR还会延展到AI时代吗?

曾鸣:AI时代才有可能让OKR落地。因为AI的组织系统,能追踪自然语言表达,神经网络是无所不在的。它大概率有可能给我们一个反馈:“你们都偏离了你们的OKR,我看到了一些更具体的,未必是数字,但是是一些趋势,我可以提醒你们。”所以OKR可能真的是需要一套新的方法才能落地。

张小珺:总的来说,AI时代的战略规划,跟以往有哪些不同?

曾鸣:最不一样的,以前叫“战略规划”,现在叫“战略生成”。我特意创了这个词,因为这个词本来就反映AI时代,大家习惯了说视频生成、文图生成。

我们讲组织设计的时候,真正要做的是一套体系、一个环境,可以让战略洞察涌现出来,成为一个战略不断生成的系统。最后战略就是个自然而然的决定,在合适的时间,有合适的人,做了一个合适的决定,公司就往前走。要把那套生成系统建起来。

张小珺:组织很关键。

曾鸣:对,我不得不(在书里)把组织先说。未来的组织有这个能力做这个事情,它是一个神经网络,它是一个工作流、任务流,它是一个任务流导向的系统。人跟AI都接到这个系统,核心是涌现。就跟大模型一样,实际是人跟AI一起在训练一个组织的小模型。

核心就是,有没有原来没有想到的洞察可以涌现出来,整个群体智慧有没有在演进,这是最终目标。

张小珺:怎么构建一个好的环境,也就是一个好的组织?

曾鸣:这就是为什么需要新的文化,需要一个跟全员合伙人能够匹配的文化。这就是为什么“context, not control”又重新火了起来。五年前我讲Netflix的案例,甚至讲字节的案例,大部分人觉得挺牛的,但跟我没啥关系。今天所有人都知道,就是要给context,给够了context,它就有那么牛,能做出正确的决策。所以对齐,是对齐目标跟认知,甚至就是全员共享一个完整的上下文,事情就会自然的涌现。

张小珺:那就是人和AI都要共享?

曾鸣:对。因为人没有办法像AI那样有处理全海量信息的能力。但是人有瞬间的创造力,和看见不存在连接点的连接的能力。

张小珺:在我们聊天中,我突然想到,这两年年轻人对“老登”或者“老登公司”出现了这么多负面情绪,是不是跟AI时代带来的组织变革、文化变迁的本质有一些联系?

曾鸣:是的,这个特别有意思,“老登”这个词特别有意思。以前大家都尊老爱幼,是因为老的经验有价值,老的规范在延续,所以你必须尊老爱幼。这样你才能学到东西嘛。这才是传承。

那为什么有老登呢?就是你刚刚讲的,宏观方面,原来那套东西看起来都没什么价值了,公司受到压力越来越大,谁也不愿意在科层制。姚顺宇讲的特别直接,“谁愿意陪老登玩,牺牲自己的青春年华”。所以这是个非常典型的心态。

但在个体上,这个事情能成立的原因,是因为能够转化成知识的经验都不再有价值——它都被大模型吸收了。这些年轻的聪明人,用好AI杠杆,瞬间就能成为任何一个领域的专家。

所以为什么AI现在也可以达到一个主任医生的水平?是因为所有的经验都被沉淀在大模型里头了。你过去20年的经验还有啥价值呢?年轻人当然就不尊重老年人了,就会有相对带点负面的这样的称呼就出来了。

张小珺:那老年人怎么办?

曾鸣:或者安心养老,或者变得重新年轻。

张小珺:这是不是意味着,新时代组织的文化也会发生巨大变化?

曾鸣:文化的核心就是创造,就像一个球队一样的,每个人都不可缺少,但依然有明星、有前锋、有后卫的分工。它的文化一定是开放、透明,然后共享。

还有一个非常重要的,我把它叫做“共创”,大家都明白自己是在共同创造一个新东西。合作跟协同的意愿跟能力也会大幅上升。

张小珺:在你看来,上一个时代“公司”这个体系,为什么让人这么不快乐?

曾鸣:那没办法,因为大部分的知识工作是简单枯燥、重复繁琐、没有成长性的。我们自然会觉得那就是一份工作,是消耗性的——既不带来情绪价值,也不带来成长价值。公司为了管理,都是偏控制性的手段,盯你又盯得很死。环境是越来越不符合今天大家对于文明的向往,或者自我发展的、什么是幸福、什么是快乐的一种理解。

我自己非常乐观,我觉得AI在这个时代给了我们一个更大的自由度,去追求我们想要的更好的人生。

张小珺:乐观来说,以后的组织会让人更开心一点、更有创造力一点。

曾鸣:可能开心就成了必须品,情绪价值是必须品。

张小珺:那对于创业者、CEO的要求也变了。你不能是一个老板心态,不能PUA。

曾鸣:就谁还认你呀,对吧?我都不陪老登玩了,我还陪你老板玩啊。

你看现在所有的创业者都讲,他第一优先级是招人。招人是感召来的。

观点9

“机器人更好的类比,是电器的发展”


张小珺:你能不能分别说说,模型公司、应用公司、机器人公司,分别怎么做战略?

曾鸣:你拿行业分,不如拿发展阶段分。我书里面讲到,战略摸索期、战略成型期、战略成熟期、战略执行期。就比如说,大模型公司基本上进入了战略发展期,因为战略都收敛了,大家相对是比较清晰的。但具身机器人的公司,大部分都在战略摸索期,都不知道该往哪收敛。在不同阶段,战略方法是不一样的。

张小珺:大模型公司进入了战略发展期,机器人公司还在战略摸索期,具体应该怎么制定战略?

曾鸣:战略收敛期,要追求组织效率和执行效率,要从一个方向型的战略走到一个可以闭环的运营模式,才能高效规模化。发展期的核心是上量要快,能够规模化的原因,是因为你的原型已经很强壮了。

战略探索期的核心,是一号位必须带着大家去做不同的创新,要有一套机制把试错成本降下来,逐步达成共识。这个阶段你要有自己相信的,但又不能过于执着,因为现实可能会打脸,发现别人的方向是对的。这时候就是你的自我能不能让位给现实——你需要不断调整,而且每个人的出发点都受制于过去自己的训练,能看到的东西都有路径依赖。所以大家一起去创造,你能不能快速把别人最好的经验理解消化吸收,再形成公司下一步创新的基础。

战略探索期,核心是创新的效率要足够高,而不是执行的效率。

张小珺:你看今天大模型公司,不管是美国还是中国,大家都在做Agentic Coding,这好像是一个很大的共识。他们应该寻找非共识吗?

曾鸣:非共识就是neo lab——不认这个共识的人就去创业了嘛。neo lab里面某一个反共识,可能就会成为三年以后的新共识。这就是市场特别有趣的地方,它是生生不息的,在中间不断往前演化。

张小珺:现有的lab会进入同质化竞争?

曾鸣:现在就是同质化竞争。同质化竞争,打破了对大模型公司能长期享受高额垄断利润的预期。利润预期破了,才会有大家对“这些公司可能没有能力持续投入这么高的CapEx”的担忧。所以源头是这些公司还有没有实力、还值不值得为他们继续投入基建。基建都是为大模型公司服务的,如果最后他们创造价值有限,那干嘛投这些东西呢?

张小珺:你现在的观点是,应该继续投入吗?

曾鸣:大模型本身发展的空间还非常大,大概率基建的投入还会继续。但可能在某一个时间点会出现一个拐点,基建的投入由于周期性,会超过大模型的真实需求。从产业发展来说未必是坏事,因为应用公司就可以用很低的成本去用现有的基础设施,进入门槛大幅降低了。智能的调用真的会变得非常便宜,又足够强大和稳定。

换句话,只要智能的供给还没达到大家想要的状态,基础设施就会持续投入。

张小珺:所以,应用公司还是要有希望,不要那么灰心。

曾鸣:绝对要有希望。而且他们下场,也是因为感受到了来自于未来的某种召唤,我们只是在外面,没有感受到他们那么强烈的相信。

张小珺:对于机器人公司来说,不管是从模型上还是本体上,今天还非常不收敛。什么时候可能会出现进一步收敛?它的产业周期发展可能有多长?

曾鸣:机器人还在非常早期,还在摸索到底怎么落地。因为有一些很核心的制约,比如数据——不像大模型公司原来起来的时候有足够的数据,有些很现实的制约让他们还在非常早期的战略探索期。

张小珺:现在机器人公司有好几种做法:一种是先从大脑开始做,追求机器人大脑模型的泛化性;另一种是从一个场景开始做,做具身、做身体,在这个场景里通过数据跑通整个闭环,再反哺模型能力。你觉得应该先突破哪一边?

曾鸣:逻辑上两条路都成立,没法事先判断到底哪条路能赢。泛化的挑战在于,泛化的空间有多大,以及在一个具体场景下效果够不够好。走场景路线的公司,挑战是现在能找到的场景都不够大,但它的能力能不能让它快速扩张到一个足够大的场景,既能做好,又有泛化的可能性。

原则上就像爬一座山,可以从南坡爬,可以从北坡爬,事先很难说谁能爬得快一点。

张小珺:机器人这种阶段,可以类比为什么产业的什么时期吗?

曾鸣:最简单的类比就是他们自己认为的——还在2020年左右的阶段,还没到ChatGPT的阶段的大模型公司。

张小珺:能跟更历史的一些产业做类比吗?

曾鸣:车。

大概1900年到1920年,真的有几千家公司在美国都是做车的。有的人觉得我有一个机械功能,就能把一个车敲出来,反正马达都是买别人的。但后面出现了一个原生应用,就是福特汽车。1913年,福特建了全世界第一条由电驱动的流水线,现代制造业才进入了一个新的阶段,福特才能用极高的效率生产出大众可以消费得起的汽车。那是汽车行业第一个to C的突破,福特就成了现代工业时代的一个代表。

但后面有个很有意思的插曲,当福特通过规模化、标准化,只卖黑色车,做到了全美第一以后,大众的需求开始多元化,然后就出现了通用汽车,有七八种车型去竞争的下一个阶段。

张小珺:说明,每个战略都只有在当时的那个时期有效才有效,它不是一个亘古不变的事情。

曾鸣:对,现在相当于大家都能手搓一个机器人公司,但是哪个机器人公司能完成规模化量产,谁都不知道。

张小珺:也许我们还在等待那个T型车阶段。

曾鸣:就是在等T型车阶段。T型车就很了不起了,你能够规模化量产。所以大家都觉得,谁第一个真的能够实打实地把一万台机器人卖出去,就已经是个了不起的成就了。

张小珺:有没有可能机器人这个产业,发展节奏会更像车,而不是类比大模型?

曾鸣:你要这么类比的话,我们干脆把它放大到电出现以后电器的出现。因为基于电可以有n种电器,冰箱跟洗衣机谁更重要,就不好比了,大小也差不了多少。所以我们可能会出现n个不同的机器人,真的是适用不同大场景的。家用机器人肯定是一个,但家用里头可能也有一个偏陪伴型的、一个偏家务型的,然后工业场景或者外面的各种各样的场景。

大家为什么这么看好机器人?是因为它是AI跟物理世界交互的一个基本界面,有点像电,什么东西都可以被电再重新干一遍。

机器人更好的类比是电器的发展——汽车的确是其中的主打,那是对外的场景;对内的场景就是洗衣机、冰箱,家庭场景。

观点10

“巨浪面前没有人是安全的,谁觉得安全,谁就是最不安全的”


张小珺:在这波巨浪面前,哪些巨头是安全的?

曾鸣:我从来觉得在巨浪面前没有人是安全的。谁觉得安全,谁就是最不安全的。

张小珺:他们有多不安全?

曾鸣:应该都足够担心吧。

张小珺:他们的战略都是AI first、all in AI,这个够吗?

曾鸣:这是必要条件。够不够,要看技术演化的路径有多么颠覆,新公司获取资源的能力有多大。

张小珺:他们all in AI,还能够成为下一个时代的企业吗?

曾鸣:挑战非常大。

张小珺:从历史里面有依据可言吗?这个时代企业过渡到下一个时代的企业,还能做得非常好的,多不多?

曾鸣:不是多不多的问题,是有没有的问题。

张小珺:有没有?

曾鸣:基本没有。

IBM曾经做到过一次,微软算是做到过一次。微软某种程度上错过了移动互联网,但它保持住了搜索的火苗,然后有了云计算的积累,加上它在PC时代垄断积累下来的OS垄断,让它在AI时代还有一次机会。

但目前看,微软好像又有点吃不准它到底能不能走过去了,因为它的模型投入不够,模型这块已经出局了。虽然它有OpenAI的早期投资,但目前它已经买不起OpenAI了。即使微软已经算是维持了很长时间的领先,可能未来都不太确定了。

张小珺:Google呢?

曾鸣:Google就相当于微软的上一段,也许它能成为一个很好的AI云公司,但它能不能成为一个消费者的大应用,这个还真的不那么确定。有TPU、有大模型,Google作为一个云厂商活下来,这个应该没问题。但入口级的应用,不太确定。

张小珺:所以这种不依赖于你怎么战略选择,你都很难一直在牌桌上——这个是让人绝望的地方。

曾鸣:这一点都不让人绝望。人有生老病死,公司也有生老病死,没有比这更正常的了。所以新公司才有机会,年轻人才有梦想,多好的一件事情!一直都垄断到今天,那不是世界太无趣了。

张小珺:Google不一定会成为下个时代Google,字节会是下个时代的字节吗?

曾鸣:大概率也不会。

张小珺:字节今天模型做得也还不错,起码在国内是第一梯队吧。

曾鸣:字节是有很大的机会成为AI云公司的,包括Seedance做得那么好,在视频生成、多模态方面已经是世界一流的大模型公司,因为做基础设施是容易的。你有积累有沉淀,它有一定的惯性。但是大的to C的应用,是有非常大的不确定性的。

张小珺:豆包是吗?

曾鸣:豆包肯定不是,要不然它肯定不计成本的往里砸了。它不砸了就是因为豆包不够,不够那么未来。豆包没有行动力,智能体的核心是独立完成任务。

张小珺:把智能体内置进豆包不行吗?

曾鸣:这就是他们想做的。上一代的入口能不能够理解下一代的整个生态的发展,做成下一代的入口,挑战非常大。因为你如果不是Agent的事实标准,你很难成为入口的。你调的都是上一代的服务,但你上一代的服务有可能是会被下一代的服务颠覆的。

张小珺:社交关系会重构吗?腾讯安全吗?

曾鸣:肯定重构。腾讯作为最安全的,为什么最近这么恐慌,就是因为也有可能不安全。社交关系,人跟人的关系,都会被重新定义,Agent在里面的重要性会大幅上升。

张小珺:所以你不看好现有的产品+AI、+Agent?

曾鸣:我觉得都是过渡产品。QQ也没有过渡到移动互联网时代,或者说QQ过渡到了,但是真正承接移动互联网时代的是微信。

张小珺:人和人的关系会被重构,人和货物的关系呢?

曾鸣:一样会被重构,阿里也一样有那个挑战。

张小珺:自己再造一个产品有可能吗?让下一个时代产品诞生在我这个公司里。

曾鸣:所有公司都会all in AI,就像移动互联网,大家都all in了一次移动互联网。

我一直在思考一个问题:移动互联网对PC互联网来说,到底是颠覆性创新还是延续性创新?那个决定了问题的本质。我当时的判断,是1.5的创新,它有很强的颠覆性,但也有很强的延续性,因为它都是基于互联网的基本架构,有网络效应,技术也有延续性,但是它也有非常颠覆性的地方。

所以你会看到,它的延续性的部分,让几家头部互联网公司都成功过渡成了移动互联网公司;但是它的颠覆性的部分,最后也的确成就了抖音和拼多多,这两个更加原生的移动互联网公司。

AI现在,我整体上更倾向于它是个颠覆性的技术。它是生产力的革命,互联网本质是生产关系的革命。整个都颠覆了以后,延续性的部分没那么强。

那么在这个意义上,原有的物种去适应新的物种会非常困难,你的技术储备可能都不是那么线性的。所以我寄希望于下一代的产品也长在我的公司里,难度是很高的。哪怕我用的不是我现在这个产品,我用下一个产品去承接,让它诞生在我这个公司里,难度也非常高。

张小珺:这里面也有组织文化的原因吧?

曾鸣:组织文化肯定是一个制约,因为你一个十万人的公司转成AI原生,跟一个十个人的公司长成一个一千人的AI原生公司,难度是不一样的。这是非常重要的第一点。

第二点,你如果没有做出第一个真正成功的Agent,你大概率不理解Agent是怎么运行的,你就没有办法提供基础设施,成为不了事实上的标准,也就成为不了入口。所以,你自己得在Agent上真正整明白了,你才有用户,才能吸引更多Agent开发者在你这上面开发。先有一个成功的Agent,是前置条件。

张小珺:它才能形成“黑洞效应”。

曾鸣:是的。

张小珺:我们再来看看几家海外巨头。你看过去两年,马斯克xAI也做了很多事情,你觉得他们是战略出错了吗?

曾鸣:战略上可能也有问题,他们没有特别明确的方向,不像Anthropic那么聚焦。组织上肯定有问题。

我讲个细节:我在硅谷只要是碰到有一群工程师的场合,xAI的那个人永远是最疲惫的那个人。是被消耗过度了。可能跟Elon的工作方式也消耗人有关,他虽然让你成长,但特别消耗人。你看到他们来了以后,也没有什么力气说话。

人太累的时候是没有创新的。你一定是在一个相对开放、放松的状态,才会有新的东西出来。当一个组织崩得那么紧,又非常高压,要做一件特别大的创新是一件非常难的事情。

而且我听研究员的评价,也没觉得Elon真正懂大模型。他原来那套方法论,偏硬件的那套方法论,到了AI时代,他没办法自己直接给答案,又没办法用一种共创的方式让组织来给答案。因为他以前都是自上而下的,他给了第一性原理的答案,逼着大家去超常规地完成。但在这个场景下,他自己给不出那答案,他又不给底下的人那么大的空间去给出一个答案。xAI是肯定卡在组织上。

张小珺:这个也就是你说的,组织和战略之间的关系做得很差。

曾鸣:是的,他没有通过组织去生成战略,都是他自己的意志。

张小珺:Meta呢?我每次都觉得小扎很年轻,他为什么跟不上?

曾鸣:年轻,但是出道早,消耗也早,消耗也多。一代一代这样的东西,都在消耗你的认知的潜力。Meta大到这种程度,内部调度资源变得非常困难。而且大部分研究员也不觉得小扎懂模型,他没办法真正做非常重要的决定。

另外两家公司,Sam Altman(曾经)是真的依赖Ilya Sutskever,Ilya是真能够驱动整个事情,Sam又是个很好的CEO,这两个人就是个很好的搭配。Anthropic是整个组织能力非常强,Dario在给mission、vision这方面把握的又比较准,Anthropic就显示出了一个非常聚焦的、vision-driven的公司的爆发力。但是OpenAI因为底子够厚,所以它即使这一轮反过身来追Anthropic,速度也非常快。

这两家公司本质上是新时代的创业公司,组织文化各方面都更加匹配。到其他几家公司,都有各自问题了。

观点11

“AI时代,人和人的差异在于创造力,创造是无中生有的能力”


张小珺:我们最后来聊一些更关乎于个体的命题。如果智能能像能源一样从外部获得,在你看来,未来人和人的差异在哪里?

曾鸣:我觉得是创造力的差别。

德鲁克有一个非常经典的分析框架,他把人类社会从工业时代以来划了三个阶段:第一个阶段是“生产力的革命”,也就是流水线取代了手工作坊;第二个阶段是“管理的革命”,大概一百年前左右开始,有了泰勒这些科学管理方法,出现了商学院这个新物种,商学院的核心目的就是给现代化管理匹配足够多的管理人员;第三阶段是“知识的革命”,他观察到从七十年代开始,软件变成一个非常重要的发展方向,而软件的核心是处理人类知识,把知识跟最优实践通过软件的方法沉淀下来,变成一个标准的执行方法。这是德鲁克,他大概1999年过世了,看到的是整个过去两个世纪的变化。

我借用他这个框架,我自己认为,如果从人的角度来看,AI时代可以被定义为“创造力时代”。所有可以被结构化处理的知识类型工作,都会被AI接管。人一方面被逼着去开发自己新的潜能,但你也可以讲,人终于被解放出来,可以去开发自己的潜能。

我认为这个空间是非常大的,这个方向就是创造力——AI做不了的创造力的事情。只不过我们对创造力要有一个更好的理解和重新的定义。创造力不是简单的会写首歌或者会画幅画,它可能是更多的原创的定义复杂问题的能力。

比如说电真正发明了以后,流水线出现了以后,才有产业工人、技术工人的概念,然后才有了白领。这些都是19世纪的人根本想象不到的事情。

我觉得未来所有人努力的方向就是开发自己的创造力。换句话来说,就是“无中生有的能力”。

张小珺:是因为如果是已经有的东西的话,机器都当作data获取到了。

曾鸣:这种创造,可能从机器的角度来说很无聊,因为它可能就是各种各样的情感陪伴,人跟人之间有的没的,想要的各种各样的以前没有被开发的需求。也许不贡献给物理世界的巨大进步,但它可能对人类的成长跟幸福感有很多帮助。

张小珺:未来作为一个社会来说,你能预见到将会出现一些什么样的变化吗?

曾鸣:会发生天翻地覆的变化。我碰到的一些00后创业者,想做to C应用的,他们想象的世界完全不是我们现在能够理解的世界,很有意思。

张小珺:如果对人的能力的需求发生了变化,是不是会重塑整个教育体制?

曾鸣:一定会的。以前的教育体制还是一种智商激励,智商的开发都是第二位,知识的灌输是第一位,那肯定是不行的。

你想想看,我们从小到大有多少兴趣被压抑了,我们并没有顺着一个开放探索的路径去开发潜能,我们都是在最早的时间,为了不输在起跑线上,被按在了原来世界的固定模式里头。我觉得最大的冲突就是教育系统的冲突。

其实年轻人已经知道,未来跟我们今天想象的完全不一样。你随便问高中生,他们大概都知道,用现在的方法,大学毕业以后找工作都找不着。他们可能有很多想象,但我们肯定不敢让他们去走他们的路,所以他们就卡在这了。

你问更年轻的家长,刚生下来的小孩该怎么教育,他肯定知道要用新的方法教育,只是不知道用什么方法教育而已。这是一个特别需要接下来整个社会花很大的资源跟力气去探索的方向。

张小珺:人和系统的关系、人和AI的关系,未来会如何演变?

曾鸣:在组织里头非常明确,是一个深度协同的关系。

社会层面,AGI肯定会渗透到社会的方方面面。就像这过去十年我们已经离不开手机一样。将来每个人身上某个地方挂一个摄像头,有一个语音接收设备,可穿戴的东西满身都是,再上外骨骼之类,人就成了一个加强版的人——这个我觉得是完全可以想象的。

张小珺:你有看到好的硬件公司吗?

曾鸣:硬件产品也是这一两年的热点,各种各样的消费硬件层出不穷。就像1900年以后大家都在做家用电器,最后能立住的是那几个大品类,还有无数的小品类,不知道会是什么现在。

就像美国很早出现的那个烤面包机,大家现在还用,那个也是很早被发明出来的,但那个不够大,技术不够复杂,所以它没法养一个大公司。

所以有很多这种新的公司,一切都会被重新来一次。但是哪些是大东西、哪些是小东西、哪些是主、哪些是辅,谁用哪种方法找到了面向未来的密码,都是不确定的。

不过,有个基本态度要改变——原来我们倾向于降低不确定性,但在这个阶段,其实是要拥抱不确定性。不确定性就是最大的机会。

心态先得改了,不能恐惧。你见到不确定性、见到复杂性就恐惧,你就没法往前走。面对巨大的不确定性跟复杂性,你觉得特别好玩,特别有机会去创造一些新东西——我觉得那才是年轻的一代的创业者的心态。

张小珺:最后我们还有一些快问快答,我们是为了在这个硅基生命到来之前,留下更多的碳基文明的印记。

全球范围内一道你喜欢的食物?

曾鸣:辣椒炒肉。

张小珺:全球范围内一个你喜欢的地点?

曾鸣:目前可能还是上海。

张小珺:你的人生之书?要真的对你产生过很大的影响。

曾鸣:管理学上比较基本的,《基业长青》系列的那几本书,德鲁克的书。

我本科的时候全文抄了的一本书——因为摘录太多了,基本上抄了的一本书——是弗里德曼关于市场基本运营机制的一本书。不厚,但是特别精彩,建立了我对市场的基本运行机制的理解。

张小珺:基于当下的认知,一个关键的重要的bet是什么?

曾鸣:出现一个足够好用的to C的Agent。

张小珺:我们工作室叫语言即世界工作室,当你第一次听到这个名字的时候,你会想什么?

曾鸣:可能要改成,智能体即世界。

张小珺:曾鸣老师,你自己的使命是什么呀?

曾鸣:我觉得就是做一个快乐的研究员。

张小珺:AI会让人类更快乐吗?

曾鸣:我至少是这么希望。文明的进步就是技术不断带来新的可能性。人驾驭好了新的技术,进入一个新的文明发展阶段。

张小珺:新文明相比旧文明,对人来说,快乐指数是提升的还是降低的?

曾鸣:从一般的衡量指标来说是进步的。你想想看,现在没有空调,你是啥感觉?看过故宫你就知道,皇帝的生活状态,除了对人的影响力比我们大之外,物理生活环境比不上我们。当你在农业时代,温饱是几万年的问题,工业时代把温饱问题规模化地解决掉了。消费时代解决了消费不足的问题。互联网时代解决了信息不对称的问题。

那AI时代,当我们有了这么多智能解决方案以后,我们就可以做一些更有趣的事情。

张小珺:那这样的话,以后一个组织的评判标准之一是,能不能让身处其中的人感到更有乐趣。

曾鸣:从Google开始就是这样。07、08年的Google在硅谷是神一样的存在,比今天的那两家公司还要影响力大,才有那么多人去参观Google,为了去食堂吃顿饭,感受一下他们的氛围,所有最优秀的人都要去Google。

在当时,它的氛围本质上是尊重人的差异化,释放人的创造力,让你有20%的时间可以干你自己想干的事情,给你们提供最好的食堂。当时的那个文化,Google最早提出来。它隐隐约约地感觉到了未来需要新的文化、需要新的组织方式。这个趋势会延续下去。

张小珺:你觉得是什么让你对战略学发生这么深厚的兴趣?

曾鸣:我高中就放弃了理科。我们那时候大概是第一届文理分科,我更喜欢历史啊人文啊这些。我虽然当时也算年级第一,可以去走那条路,但我觉得对我来说,我不感兴趣,高中就放弃了。

到了大学,选择经济以后,发现经济学的数学要求超过大部分工科,我觉得太无聊了。我后面读博士的时候,就选了商学院,而且是战略这样比较宏观、在真实世界跟理论世界又不得不建立连接的一个学科,我觉得比较好玩。

张小珺:战略是一个组织的大脑,必须由CEO来做。战略做的好的人,CEO一般是什么样的人?

曾鸣:创始人里面有战略能力的并不多。真正走得远的,就刚讲的使命驱动、愿景驱动、战略驱动,能走到战略驱动就已经是很优秀的了,但不是卓越的。严格来讲得是使命驱动,才有可能走向卓越。

但有的人可能是先有愿景,慢慢发展出使命;有的人是天生就比较使命驱动;或者非常难得的一个团队里面,有那么一两个人形成很好的互补,一个人可能战略能力强一点,一个人动手能力强一点,就有点像王兴跟王慧文的组合,也是很难得的。

张小珺:字节属于什么驱动?

曾鸣:这个还不好说,我跟张一鸣个人交流不多。我对他使命的那一段有没有,没法判断。但是张一鸣是一个了不起的天才,他有自己的管理哲学,至少是愿景驱动,有完整的自己对组织的理解。

他最早提出来“公司即产品”,已经非常领先了。我原来讲Netflix的文化,大部分人第一反应是中国人做不到,因为那个文化太美国和硅谷了。但字节是最早基本跟上,跟Netflix的文化是非常相似的。

张小珺:字节为什么最后演变成了一个效率工厂?

曾鸣:因为它东西都整明白了以后,剩下的在战略执行阶段就是追求效率。任何一个公司到了最后都是追求效率——战略越来越清晰,剩下的就是执行任务。

但是,组织的宿命就是,时代一定会变化,让你原来成功的那套不适合。你要不就彻底转型,要不就被时代淘汰。这对每个人都很公平。

收听播客


推荐阅读


图片

跳转微信打开

独家对话英伟达刘洺堉:黄仁勋影响我的,你不需要击败所有对手

2026年8月13日 11:33

原创 张小珺 2026-08-13 11:33 上海

Cosmos、世界模型与中国武术。

作者:张小珺

每次见到刘洺堉,他都穿一件黑色夹克,背着一个有点旧的斜挎包。

现任英伟达研究副总裁的刘洺堉,是英伟达第一位从研究员擢升至副总裁之位的管理者,他领导英伟达最重要的模型项目之一——世界基座模型Cosmos。

刘出生于中国台湾,是金庸小说爱好者。18岁起,刘洺堉就师从著名的武术家徐纪(神枪李书文一脉传人),练习中国功夫,一直至今。最近他又有了一个ice plunge(冰水浴)的新嗜好。凌晨4点多,刘洺堉起床后会依惯例进行武术训练:一个人蹲桩、打拳。做完全套后,再只身跳进冰桶,帮助身体修复。

这种锻炼习惯与我对刘洺堉的印象截然不同——他看起来谦和,说话音量也不大。“中国武术最重要的是控制自己。”刘洺堉说,“我并不是为了展现强大的破坏能力。”

某种程度上,这反映了他以及他所代表的英伟达这样巨型的基础设施型企业的竞争观。

访谈中,他反复强调,他没有任何竞争对手,他没有和任何人竞争,所有人都可以是合作伙伴。

“什么叫战争呢?我没有打算把别人杀死。”刘洺堉说,“我们的心态不是说想把别人给杀死,我们的心态是我们要怎么去造市场。你懂我意思吗?”

“Jensen(英伟达创始人兼CEO黄仁勋)经常说,要造市场,而不是存量竞争。他讲我们就要做zero-billion-dollar business(从零到十亿美元的业务)——你可以不赚钱,但当这个生意成功的时候,必须是很influential(有影响力)的。不能说满足每年赚100个million(1个亿)——这种scale(规模)对很多公司都很大,但对英伟达而言,这是一个distraction(分心)。”刘接着说,“你要去解最重要的问题,产生最大的贡献。”

英伟达正在“造”的市场,即面向物理世界的人工智能(Physical AI),世界基座模型Cosmos被寄予厚望。这个项目从2024年立项,经过两年多已发布至Cosmos 3。Cosmos直属团队不到100人,虚线汇报规模是200至300人。黄仁勋对刘洺堉表达战略决心,称:“你就做到Cosmos 97。”

如今,刘洺堉已在美国生活20年,在英伟达工作10年,他仍然用一些朴素的东方智慧进行技术表达——比如,他把大模型比作中医,时常援引《孙子兵法》“备多则力寡”来思考世界模型的技术趋势。

本次访谈,我们详细地聊了聊Cosmos系列(尤其是前不久发布的Cosmos 3)、世界模型、物理世界的人工智能、英伟达的竞争观、组织哲学,当然还有绕不开的黄仁勋。

完整版可以收看我们的视频播客,你可以在小宇宙、Bilibili、小红书、抖音、视频号等全平台收看。

以下为访谈节选。

01 

谈竞争

“我没有打算把别人杀死”


张小珺:你说,“模型竞争不应该是鱿鱼游戏”(《鱿鱼游戏》,比喻零和生存竞争)。你指的是,大模型竞争不是鱿鱼游戏,还是世界模型竞争不是鱿鱼游戏,还是说,只是对于你来说不是鱿鱼游戏?

刘洺堉:如果大家想解的东西一模一样,那就是鱿鱼游戏。模型竞争不应该是鱿鱼游戏。世界上要被解的问题这么多,可以提供价值的东西这么多,每个人喜欢的东西又不太一样。我觉得不应该把它看成鱿鱼游戏。

张小珺:每个公司都需要训一个自己的大模型吗?

刘洺堉:如果是commodity(通用商品),你每家公司要建电厂吗?就看合不合经济效用。早期你要做汽车工厂,当电厂不充裕的时候,你盖个电厂,可以确保你公司是24小时运行。但现在这时代,你可能不需要了。

AI开发者每个都觉得我的模型最好。我觉得这东西在历史上从来没发生过。因为人跟人相处没那么容易的。你看当初Dario Amodei(Anthropic创始人)跟Sam Altman(OpenAI CEO)就是合不来,对吧?他就走了。你确定在Anthropic每个人的信念都一模一样?我不觉得。莫非哪天你升了A不升了B,B会不会带一群人走,去做个类似的东西?

大家都能做,你有决心、有资源,你是可以做的。

张小珺:模型这场竞赛的终局可能是什么样?

刘洺堉:我讲这就很controversial(有争议)。模型的能力慢慢会统一,靠模型自己不会是区分,一定要靠一些其他东西组织在一起。

领先的模型有更充裕的时间找到这个区分方式,强大的公司也可以加大自己强大的ecosystem(生态系统),来做出一些变化。

像Software(软件)刚出来,会写Software的公司很少,现在大家都会写Software,现在能活下来的Software公司都有自己的区分方式。没有理由模型会是不一样,我觉得会是一样。

张小珺:在你看来,没必要神话模型或模型公司是吗?

刘洺堉:我把它当成中医啊。就是一个Black box(黑箱),这么多人不同尝试,之后就是一套学问,很多人都会从医嘛。关键是你要拿它干什么。

有些人解读比较深一点,有些人需要多一点时间。这是我的臆测。我觉得这些东西慢慢会diffuse(扩散)。

张小珺:对于你们来说,Cosmos所在的世界模型战场,是一场不能输的战争吗?

刘洺堉:如果有其他公司也做开源模型,就不是。什么叫战争呢?我没有打算把别人杀死。

张小珺:就是,我必须要own(主导)这个赛道,其他人长在我的生态上面。

刘洺堉:Physical AI(物理人工智能)是一个重大市场。现在家家户户都没有机器人,如果有机器人的话,我家可能会买两三个,每个机器人需要算力,等于整个世界对算力的需求大幅增长。这个事情如果发生,对NVIDIA是巨大好处。

我们的心态不是说想把别人给杀死,我们的心态是我们要怎么去造市场。你懂我意思吗?

CUDA(英伟达的并行计算平台和编程模型)就是造市场,造出了现在的AI市场。我们想的是怎么造出下一个大市场。

张小珺:那世界模型是不能输的战场吗?

刘洺堉:我觉得也不是,因为是全新的东西。我没有跟任何人竞争。

共利嘛——带着大家一起把那个市场建出来。你卖机器人赚钱,你做卡也赚钱,当然会有公司研发芯片,也会赚钱。整个市场就起来,原本是nothing(什么都没有)。

Jensen经常说,要造市场,而不是存量竞争。他讲我们就要做zero-billion-dollar business(从零到十亿美元的业务)。什么叫zero-billion-dollar business?就是现在不是个business(业务),但以后成功会变成billion(十亿美元级)。如果现在已经有人在做,可能就不值得做。

我们做东西需要make impact(产生影响)。Jensen喜欢zero-billion-dollar business——你可以不赚钱,但当这个生意成功的时候,必须是很influential(有影响力)的。不能说满足每年赚100个million(1个亿)。这种scale(规模)对很多公司都很大,但对英伟达而言,这是一个distraction(分心)。

你要去解最重要的问题,产生最大的贡献。

张小珺:这是一种拥抱风险,还是一种de-risk(降低风险)?

刘洺堉:我们做事的方法很risky(有风险)。CUDA那时候是很risky的一件事,等于赔本在卖。我们因为装了CUDA,整个GPU价格都比别人高,同样的Flops(浮点运算次数)就是比别人高,因为我们要支援programmability(可编程性)。

不做这件事,你的东西就渐渐变commodity(通用商品)。

02

谈边界

“希望具备number one的能力,但做出对世界贡献最大的事情”


张小珺:在英伟达从一名研究员升至VP,这个多见吗?

刘洺堉:我可能是第一个吧。

张小珺:你在英伟达的职位是“研究副总裁”,能不能给大家介绍一下这个职位、团队和管辖范围?

刘洺堉:我现在是研究副总裁,也是Cosmos Lab副总裁。我们团队由研究员和工程师组成,直属我这的有八九十人。

另外还有其他团队也在做Cosmos,英文叫dotted line(虚线)。虽然他们不直接向我汇报,但我是整个mission的overall pic(任务的总负责人),是发号施令的人。

整个做Cosmos的应该有200到300人之间。这是在英伟达很重大的一个专案。

张小珺:研究员和管理者的天性,某种程度是相悖的。你在成为管理者的道路上,有没有抑制一部分研究员的天性,带着镣铐跳舞?

刘洺堉:我还是一个研究员。常常读论文。我最担心在成为管理者的历程中跟底层脱钩,不理解问题核心所在。我会强迫自己审阅(review)代码,读paper,跟大家辩论,来确保方向是对的。

跟我共事的人都知道,我可能是少数还继续看代码的VP,继续会纠细节。我只是希望自己一直stay grounded(脚踏实地),看清楚一切。

张小珺:做出Sora的研究员之前就在你的团队实习。我听说Sora没有出自你的团队,让你很遗憾,是吗?

刘洺堉:也不是遗憾,我感到很开心,自己曾经一起共事过的人可以做出这么大贡献。

但一方面也会反思,我的决策中,哪些地方我没有看对,导致我没有在正确的时期做出正确的事情?——我是一个很喜欢自我反省的人,往往会试图理解怎么样让自己更好。

张小珺:说到Sora,为什么OpenAI后来把这条产品线基本上关掉了?

刘洺堉:Sora是一个重大的研究工作,它本身有许多应用。OpenAI是一个很有野心的公司,他们有大量人才。Sam Altman从他早期在Y Combinator就是一个投资者,他希望有这种投资者心态,希望公司内部有各式各样的project,有些project非常成功,有各式各样的portfolio。

过去一年,他们受到Anthropic巨大的竞争压力。他们看到Anthropic在Coding Agent上产生了巨大的经济效益,跟ChatGPT聊天产生的token数可能最多1分钟就生成完了,但Coding Agent可以工作24小时、48小时,这个token量非常大。他们觉得这是一个很好的方向,集中公司精力往Coding方向走。

《孙子兵法》讲“备多则力寡”。大家的资源是有限的,他们重新调整资源往Coding发展。

我不觉得他们认为Sora不是一个好的work,只是在这个时间点,他们公司有更重要的事必须要做,必须做出一个不容易的决定。

张小珺:像Anthropic、OpenAI这种前沿实验室,做研究天经地义,这就是他们的产品;但英伟达是基础设施公司,我卖算力给这些公司、实验室就好了,为什么还要自己做研究?

刘洺堉:基础设施要做得好,“做得好”的定义是适合应用公司来用。如果你自己不做这些应用,根本不能理解他们需要的。所以要去走他们可能会走的路,从中理解。

设计芯片、设计电脑架构的周期很长,不能马上改,需要很长一段时间规划。你要做这方面的研究,去理解什么是重要问题要解,才能设计出更好的芯片、更好的infrastructure(基础设施),来满足AI大公司。

我总觉得,如果每个有理想、有抱负的人都有这个工具,可以做出他们想做的事,这世界会是一个更好的世界。一方面看到OpenAI、Anthropic,还有中国几家大公司做出的突破,非常开心。但我们这个社会有源源不断有抱负的年轻人,我们也希望他们有机会。这是英伟达做开源模型的原因。

张小珺:你们的研究成果会跟客户有竞争关系吗?

刘洺堉:我们做这些,尤其是开源模型,基本是免费,放在网络让大家都可以运用。实际真正要落地、满足客户需求,还有很多东西要做。尤其在具身领域,好多硬件、商业问题必须要解。

我们给community(社区)一个讯号:我们从1代做到2代、2.5代、3代,这样一代代做下去,让大家更加预期英伟达在这会一直投资、进步。大家有这个信心,就可以把资源投在更重要的刀口上,做出重大贡献。

再有钱的公司,资源都是有限的。具身这么难,这么多东西要解,我们做出这些模型帮助他们分担部分压力——我不觉得在竞争,是帮助大家成功。

张小珺:你作为一个研究员,本能想做出number one(第一)的模型;而因为英伟达本身业务的原因,它不想成为客户强劲的竞争对手。如果两者发生了冲突的话,你会选择哪个?

刘洺堉:科学发展本身就是incremental(渐进式的),一直在进步,你随时随地都可以提出improvement(改进),往上再走一步。我觉得be the absolute number one(成为绝对的第一),什么叫number one?这很难去定义。我比较喜欢说是一个frontier(前沿)的模型吧。frontier的模型做出来的那一刻是number one,很有成就感,但之后就会有其他的模型可以做上去。

我是希望,你具备做number one模型的能力,但是做出对社会影响最大、最有贡献的事情。你可以做出number one的模型,但你只给少部分人用,或者让权力过度集中在少部分人手里,产生不平衡状态,不见得是一件对的事。

我是希望具备number one的能力,但做出对世界贡献最大的事情。

03

谈Cosmos

“我问Jensen要不要继续往下做,他说,你就做到Cosmos 97”


张小珺:你接下来长达10年,也许重中之重的一个课题就是世界基座模型Cosmos?

刘洺堉:对,我们整个组只有一个project(项目),就是Cosmos。做完Cosmos 1,我问Jensen要不要继续往下做,他跟我说:“你就做到Cosmos 97。”

我现在才做到3,所以还有94代可以走。

张小珺:为什么不是100,是97?

刘洺堉:数字是随口说说,但他的决心展现在数字上面。他认为这是一个重要方向,希望我们可以继续专注,去做Physical AI的foundation(基座),帮助整个领域往下走。

张小珺:为什么你们当时要立一个非常重要的项目,没有选择最主流的大语言模型,也没有选择像Sora这样的多模态模型,而是选择了具身的世界模型?

刘洺堉:大语言模型在当时发展得非常好了。我的背景不是大语言模型,是Computer Vision(计算机视觉)出身,自然而然一直在media、video徘徊。跟着我一起合作的伙伴也都是类似背景,背景决定了自己的道路。

NVIDIA也有大语言模型团队,Nemotron也越做越好,我这边主要想解一些更适合我来解的问题。

Sora当初出来也是一个World Simulator(世界模拟器),但那时主要应用偏创作,创作非常有趣,每个人都希望用更好的方式讲故事、呈现想法,就是具象化,帮大家理解看到的世界,这是很好的应用。

但那时我们也看到,Digital AI(数字人工智能)发展极快,同时社会很多问题需要physical tool(物理工具)满足。

比如,人年纪大就没法开车,生活品质降低很多,如果有自动车,年纪大的人还是可以有mobility(行动能力)。还有很多工作非常劳力密集、非常危险,如果有Physical AI的robot(机器人)可以帮忙做,可以改善人的生活。家里总是一堆琐事,要收碗筷、整理,不见得是你在家最想做的,有机器人可以帮忙,提升人的生活品质。

我们看到World Model(世界模型)可以对Physical AI产生贡献,就往Physical AI方向走,而不是走Content Creation(内容创作)路线。

张小珺:你在个人主页上说,你一直被一个愿景驱动,就是“为机器人构建一个黑客帝国”。能不能阐释一下这个愿景?

刘洺堉:我认为世界模型可以帮助Embodied AI(具身智能)做到generalization(泛化)。任何AI要解的问题都是泛化问题:能不能在训练数据之外也表现得很好?在coding(编程)、chat(聊天)里,都是训练模型去解它没看过的东西,变得像人一样。

Physical AI也不例外,要解的就是泛化。在Cosmos,我们想从三个点来帮忙:1、提供更好的数据;2、提供更好的起始点;3、提供更好的环境。

数据方面,你可以用生成数据,也就是synthetic data(合成数据)。数据是帮助AI模型更泛化的关键。你可以想象真实世界看到的数据只有这么多点,你能不能生成一些你需要看到、但真实世界没采集到的数据?这是更好的数据。

进一步,如果你可以训练出一个好的世界模型,它理解世界怎么运作、能预测未来发生什么事,那它本身的representation(表示)就不错,可以给Physical AI的Policy Model(策略模型)提供一个更好的bootstrap(自举初始化),从里面衍生你想要的policy(策略)。这是更好的起始点。

第三,人怎么在物理世界学习?只有实验、跟环境交互。但跟真实环境交互往往很贵,能累计的经验、时间有限。如果你可以用《黑客帝国》的Matrix(矩阵)方式,同时产生多个真实无比的环境,跟它交互、获得讯号,你就可以学得很快。这就是更好的环境。

三个里面,最具挑战的是更好的环境。我总不想在网页写得太长、像一篇essay(文章),所以用“黑客帝国”这个说法。

张小珺:Cosmos在内部具体是怎么立项的?

刘洺堉:大概2024年3月决定要做,就是在Sora(OpenAI的视频生成模型)之后。

张小珺:说服Jensen的过程难吗?

刘洺堉:那时已经不难了,之前要说服比较难,看到Sora之后就不难。他很聪明,一看就知道这东西对公司的影响。

他很有纪律。有些东西即使很重要,他也会叫你“pace your steps”(放慢脚步),让你不要急。他擅长打马拉松战,会一步一步往目标前进。

张小珺:为什么之前时机还没到?

刘洺堉:First mover advantage(先发优势)有好处,但每家公司定位不同,取决于你想解什么问题、怎么获利。我没有足够资讯来判断。但你看现在很多家公司都做得很好,做Video Generation(视频生成)最赚钱的应该是字节Seedance。所以这个轨迹很难说。到Sora的时候,我们觉得时机到了。

Jensen叫我们想名字。我那时已经知道最后他会提出更好的名字,有点拒绝,不想浪费力气想。但他坚持要我去想。我觉得有道理,因为这个名词跟产品定位相关。

你看我们叫Cosmos,是一个宇宙。

我们的目标不是产生content(内容)、不是为了创作,而是为了解物理世界的问题,慢慢往Physical AI前进。

那时已经陆陆续续看得出来,Physical AI会是下一个revolution(革命)。这是刚需:每个人都会老化,每个地方都缺劳动力,每个人都想提升生活品质。

另一方面,media(媒体)是走developer market(开发者市场),帮助开发者做出更好的产品。我们自己不会经营社群网站,也不会经营创作工具。对英伟达来说,那有点太to C(面向消费者)了。所以,我们决定要做一个为了Physical AI的世界模型,服务Physical AI这个community(社群)。

张小珺:今天大家对世界模型的定义还非常不清晰,你跟我们讲讲你对世界模型的定义吧。

刘洺堉:我是个很讲究实用性的人。人为什么会设计一个模型?因为它可以用。用法不同,模型形态就不同。

一种是为了预测:你设计一个模型来描述世界,经由这个模型predict(预测)接下来会发生什么事情。这是世界模型的一种目的。

另一种是为了understanding(理解):为什么这事情发生了?某种程度,整个物理学就是去建世界模型,从牛顿力学到量子力学,去了解世界怎么运作。

当然在Deep Learning(深度学习)里,我们把understanding变成用标注数据去教模型:这件事这样发生是因为那件事。然后用大量数据去泛化,帮助未来新的事件发生时,你经由看到的video(视频)讯号去解释,帮助人理解发生了什么。比如工厂里产线突然卡住,可能是之前某个工人忘记打开什么。这也是建世界模型的目的:为了理解发生的事、找到问题。

还有一种是重建三维世界:重建很有用,可以规划路线,可以让人虽然身不在这个真实世界,却在虚拟状态下游历这个世界。

因为用途不同,模型的形态长得不一样。但大家终究是在同一个世界,这些模型只是经由不同观察来描述同一件事。重建是很重要的学问,我以前做过,但现在已经不再做重建了。我现在主要做物理世界的understanding,以及物理世界的生成,也就是prediction这些。

张小珺:现在定义什么叫World Model(世界模型),就像几年前大家定义什么叫AGI(通用人工智能)一样,没有共同定义。

刘洺堉:对。有没有精确定义不是很重要。这个词太大、过于笼统,定义出来对人类有什么影响?

张小珺:为什么LLM(大型语言模型)是一个精确的词?

刘洺堉:LLM就是large language model,模型很大、做language,很明确。

世界模型就是一个可以帮助你去model(建模)这个世界的工具。因为用途不同,你model世界的方式就不一样。只要对这个世界、对这个模型有不同用途,就有不同定义。

张小珺:在你看来,世界模型能够描述Cosmos吗?还是有一个更精确的名称来描述你在做的事?

刘洺堉:我们一开始把Cosmos叫做world Foundation Model(世界基础模型)。

我们的目标是建立一个foundation,让大家都能建出适合他们要用的世界模型。我们把自己叫Foundation Model,希望我们是更底层的东西,满足大家。哪怕是一个要做世界模型的人,也可以基于我们的Foundation Model来做。

张小珺:英伟达同时也投资了Yann LeCun的AMI Labs和李飞飞的World Labs,他们都在做世界模型,你们之间是竞争对手吗?

刘洺堉:NVIDIA是站在enabler(赋能者)的角度。我们希望所有在NVIDIA GPU ecosystem(生态系统)上建立的公司都能成功,大家一起win win(共赢)。

每家公司看到的点不太一样,想解的问题也不一样。Fei-Fei的World Lab和Yann LeCun的AMI走不一样的路线,我们都帮助他们,也投资他们,跟他们有合作。

如果他们对我们的Cosmos有兴趣,也可以利用。其他家公司需要世界模型,但可能不像Fei-Fei或Yann LeCun资金雄厚,他们更需要帮助,可以leverage(利用)Cosmos。我们的目标是帮助整个领域成功。

张小珺:所以你们有竞争对手吗?

刘洺堉:我觉得NVIDIA的竞争对手,是跟NVIDIA做同样事情的公司,也就是去做整套AI ecosystem的公司。但我现在做Cosmos,是不想竞争对手的。我想的是怎么去帮助这个ecosystem。

在NVIDIA ecosystem里,用我们GPU、用我们运算平台、用我们软件的公司,如果都成功了,NVIDIA就会成功。这也会帮一些还没在我们ecosystem里的人产生信心。

我已经过了那个时期——为了毕业把论文发出去,非要证明我的算法比别人好——我现在目标就是帮助这个领域一起往下走。

04

谈Cosmos 3

“当Louis Vuitton减少陈列的货品数,反而sales提升了”


张小珺:从Cosmos 1到Cosmos 3经历了非常多的技术变化,在你们最早的两代Cosmos中,有没有积累一些know-how(诀窍/经验)?

刘洺堉:有。这是去年的工作,步调很快。开始做Cosmos时,我强调一个点:迭代快速。我那时深受DeepSeek影响,它是很惊人的公司,一年内迭代三次,产生DeepSeek V3。所以我一直强调迭代速度要快。

但我们挑战的题目是物理世界模型,尤其在2024年,大家还不是很清楚怎么样的世界模型对大家有帮助。我刚才讲的不外乎就是prediction或understanding:用video model去帮助predict future,用reasoning model去解释发生的事。

一开始我们跟一些伙伴合作,理解他们的需求,自己也有一些想法,做出这些模型,再跟伙伴迭代,慢慢收敛。从Predict未来,想到仿真环境是大家常用的环境,但它生成的video跟真实世界有一定差距,能不能用模型帮助它更逼真?于是做了Transfer(迁移)。为了解释发生的事,做了Reason(推理)。当时有三个方向。

后来理解到,如果你可以描述pixel(像素)是怎么变化,那这个pixel变化跟action(动作)变化很接近,所以我们做了一个叫Cosmos Policy的Policy Model。

再后来发觉,就像刚才讲的,这是同一个世界,不管从哪个角度看,model的都是同一个世界。模型就是在学一个internal representation of the world(世界的内在表示),也就是这个世界在做压缩过程中,学到怎么样的表示方式。

既然是同一个东西,那Foundation Model的核心概念是“纳百川”,可以从各式各样的data(数据)里学会这个模式。所以如果你把train(训练)Reasoning、Predict、Transfer、Policy用的data全部合在一起,模型的上限更高。

第一个,你描述同一个世界;第二个,Foundation Model把东西合在一起。所以我们就慢慢往单一模型走。

中间还有一个执行上的问题。我记得建第一版Cosmos时,自己算一算,因为要真的帮助到合作伙伴,我可能需要模型A、B、C、D、E、F、G…大概需要22个模型。

我跟Jensen开会讲,预计需要22个模型。Jensen觉得我工作非常认真,说“very good and very hard”。

但他又说:你知道吗?Louis Vuitton(路易威登)这家店,当它减少陈列的货品数之后,反而sales(销量)提升了。你不希望太多东西困惑消费者,让他没办法做决定。

那对我影响很大。

我理解了:连我自己都分不清楚要用A还是B,其他人更不清楚。再加上执行困难,每个模型出来都要维护、要解决问题。模型一多就很辛苦,备多则力寡,影响迭代速度。

在做Cosmos 2的同时就觉得这样不长久,决定要做单一模型的World Model,也就是Cosmos 3。

张小珺:最大变化发生在Cosmos 2到Cosmos 3。

刘洺堉:是的。Cosmos 1到Cosmos 2的变化主要是数据提升,还有一些变化,比如Cosmos 2的时候把parity(一致性)带进来。但我觉得Cosmos 2到Cosmos 3是一个很大gap(差距)。

Cosmos 3从去年10月开始做,刚好在Cosmos 2发布之后。更早的时候就知道必须做3,但那时还在收尾Cosmos 2.5。等2.5收尾之后才开始做3。大概是9月决定要做,真正执行是10月、11月,做了超过半年。

张小珺:一个中国做世界模型的创业者说,他看Cosmos 3论文看了一周,每天看。他觉得Cosmos 3在技术的大创新上并不多,但把很多细节都工程验证出来了。你觉得这个评价中肯吗?

刘洺堉:Mixture-of-Transformers(混合Transformer架构)之前也有人提出,Parity Model(一致性模型)之前也有人提出。我们是第一个把这个Mixture-of-Transformers scale(规模化)到这么大,把audio、video、action都合在一起。这些东西从概念上来讲就是“合在一起”,但真正做出来不容易,真正做出来就是这些细节。

所有的大语言模型都是Transformer架构,你可以讲大家都没有创新,但那些细节会让某些模型比另外一些好很多。

这么多年后,我越来越重视这东西能产生的效果,越来越不重视它是不是革命性原创。对我来讲,它有用、产生impact(影响力)、解掉大家想解的问题,才是重点。

这篇paper我们希望帮助整个开源社区,做开源模型,帮助整个Physical AI。这几年很多Frontier Lab(前沿实验室)走向闭源,即使写paper也不愿意讲关键环节。我们决定走不一样的路:把能讲的东西尽量讲清楚,开源模型,也开源训练框架,部分训练data也开源了。

我们希望保持透明,让大家看到怎么做,也希望别人可以利用我们开源的东西,做出跟Cosmos类似的东西。我们的目标就是enable(赋能)整个community。我不担心别人做出一模一样的东西。

张小珺:你刚刚提到DeepSeek,选择开源跟它有关系吗?

刘洺堉:不算直接关系。DeepSeek的工作对整个AI影响深远。它第一个把MoE开源,最近的模型又把东西逼到极致,对整个领域产生深远影响。从影响的角度,我觉得是相通的:我们也想产生影响,把细节讲出来。

我们的目标可能跟DeepSeek不一样,我们希望帮助我们的使用者成功。

张小珺:在Cosmos 3的模型技术选择上,你们首先在输入层同时输入language、video、audio和action,这是一个重要的技术决策吗?

刘洺堉:是。我觉得这个世界不是只有视觉,也有听觉。我也想加入触觉,但触觉讯号还不好,touch sensor(触觉传感器)还在快速迭代,这需要灵巧手,需要数据。

大模型思路基本有两个:一个是让language成为first class citizen(一等公民),像coding、chat那样;另一个是让video成为first class citizen(一等公民),像Seedance、Veo(Google的视频生成模型)那样。我们认为Physical AI的模型跟数字世界模型最不一样的地方,就是物理世界的Agent(智能体)会take action(采取行动),会改变世界状态。

所以一个好的物理世界Foundation Model,也要把action当成first class citizen。这就是为什么我们把language、video、audio和action合在一起,建Cosmos 3。

张小珺:我记得杨植麟(Kimi创始人兼CEO)去年跟我说,他们做大语言模型把language当作最重要的智能提升工具,会很担心vision加入进来影响智商,变成一个“傻的多模态”。但谢赛宁(AMI Labs联合创始人兼首席科学官)今年又跟我说,他担心language对vision的污染,觉得language才是人类的脚手架,并不本质。

你怎么看待这两种观念?你把它们都训到一起时,会产生相互污染的问题吗?

刘洺堉:这些讯号带进来都有它们的目的。language可以把人类知识带进来,也帮助人类跟Physical AI沟通;video是大量视觉信息,audio是大量听觉信息,描述世界怎么运作,用video可以更精准capture(捕捉)这个世界的物理运作,用language反而很难。

但模型最后建出来是要服务人的,不懂language就没办法跟人沟通;模型最后是帮助机器take action的,不懂action就没办法改变世界。

我们的目的不同。我的目的是希望这成为一个好的Foundation Model for Physical AI,它需要懂language,需要知道东西怎么变动,也需要action,借由这个control(控制)把它们合在一起做。

我的目标不是追求AGI。AGI本身也很难定义;当你定义的AGI纯粹是要了解人类本质,或者去做coding时,视觉信号可能会影响你,那是必然的。

你可以讲,遥远的古代没有language,人类文明发展是经由看世界怎么变动而产生。language毕竟是发展给人类的,但你不知道机器接不接受这一套。也许你可以直接从video讯号里学会世界怎么运作,得到一种intelligence(智能),发展出另一个文明。从这个角度,language讯号也许是一种干扰。所以要看你要什么。

我很明确知道我要什么:我需要language让人可以跟Physical AI沟通,需要video和audio从物理世界的变化里学会物理本质,需要action是因为它最后要能fulfill a goal(完成目标)去改变世界。

张小珺:所有模态融合到一起,这些模态是相互benefits(受益)的,还是相互制约的?

刘洺堉:在过去一年甚至更久,我们一直在研究这些模态的融合。从各个不同研究里得到一些线索,在Cosmos 3时把它们结合在一起。

比如在Cosmos Policy那篇工作中,我们发觉把video和action合在一起是帮助action的。当你直接predict action,也就是做world action model(世界动作模型)时,除了predict要做什么action,也predict take这个action之后会产生的state(状态)、observation(观测),会帮助你训练得更熟练。所以我们知道predict video是帮助action的。

audio也可以帮助video generation。当你知道“咔”一声,碰到的点就是接触的时间点,所以audio和video是互补的。

一般做video的人都知道,从text到video是讯息量变大的过程,需求变大,代表有很多种可能性,方差大就不好学。所以大家会发现,当文字描述非常详尽时,比较容易产生好的video。所以language也可以帮助video。

Cosmos 3想把之前的Cosmos Reason、Cosmos Predict、Cosmos Transfer、Cosmos Policy合在一起。合在一起本身就有好处,整个东西都简化了。这些讯号怎么合在一起,让它产生互补而不是互相抗拒,可以经由experiment design(实验设计)和data ratio(数据比例)的调整来达到。我们那时候坚信这一点。

这些信号都是描述同一个世界,都含有这个世界怎么运作的信息。应该有一种方式让它们合在一起,互相帮助,更多的信息能帮助你了解背后的运作原理是什么。因为这样的信念,我们就从这个方向出发。

张小珺:这里面有什么secret sauce(秘密配方)吗?尤其是在互相受益上。

刘洺堉:做大模型没什么秘密配方。就是严格做实验,根据假设做实验,看到结果,累积知识,再做下一个实验,一步一步扎实地往下走。我不觉得有什么不可告人的秘密,关键在于你追求的是什么,然后耐心做实验、验证,对了就继续下一步。

张小珺:你们这次采取的是一个双塔(tower)设计,一个塔在处理离散信息,一个塔在处理连续信息,为什么采取这个设计?

刘洺堉:有很多原因。一开始,Cosmos Reasoning(推理模型)就是离散的,从视觉语言模型(vision language model)出发;而预测迁移策略(predict transfer policy)是连续的。我们知道离散的适合理解(understanding),连续的适合生成(generation),把它们放在一起,是现阶段很合理的选择。

再者,有很多种使用Cosmos的方法,但常用的是做后训练(post training)。比如用你的视频-动作对(video action pair)来训练生成器(generator),或者你只想用推理(reasoning),只用你自己领域的理解数据来训练。

如果我们全部连在一起,生成和理解就绑定在一起了。那我要换生成分布(generation distribution)的时候,因为全部连在一起,你的数据也会改变理解那边的表现。如果没有两个塔,只有一个,那理解那边既然要改变,而你的数据又没有理解数据,这部分能力就很容易流失,不方便客户使用。所以分成两个塔,在使用上有一定帮助。

虽然这样不够elegant(优雅),因为你要事先决定架构,让数据来形成依赖关系,而不是人为区分。但在这个阶段,我觉得这个设计比较合理,比较适合使用。

讲到这个,大家也可以猜出来,我们下一步目标是更加简单一点——为什么要两个塔?一个塔就够了。

但是在往一个塔前进时,我们要考虑用户是不是容易用上它。因为我们的目标是帮大家赢,而不是自己产生一个可以做很多事情的模型。我们相信每个机器人都不一样,相机数量、位置都不同;自动车也每个都不太一样。我们觉得需要克制,即使合在一起追求工程的简约完美,也要考虑使用者是不是有办法利用它。这是我们必须要研究的课题。

张小珺:相对来说,离散的信号更好处理,融合进连续变量之后,处理难度会变高。你们怎么把它们合在一起,并且scale(规模化)上去呢?

刘洺堉:对。现在有一系列工作像Transfusion(融合模型),它可以同时处理离散和连续的数据。在做下一词元预测(next token prediction)时做离散的,在做扩散(diffusion)时做连续的。这是同一个塔。这段时间有很多种不同的变体,大家都在研究这个,是大家共同关切的问题。

这些信号可以用离散表示,也可以用连续表示。我希望是不是能开发出一种架构,全部离散或者全部连续,让事情相对变得更简单一点。但这是一个理想,不确定能不能成功,要一步一步做实验验证往下走。

张小珺:直觉来看,全部离散更容易,还是全部连续更容易?

刘洺堉:各有各的好处。离散比较好做训练,连续有它漂亮的地方。在做推理(inference)的时候,它们两个是很不一样的形态(shape)。最关键的是,客户还是要部署,部署时成本的考量很重要。所以,最后会根据什么样的模型最适合部署来决定。

张小珺:有一个研究员问你,你现在是把所有模态都训到一个模型里,理论上它既可以把编程(coding)做得很好,也可以让机器人运动,还能够生成创作者内容。那它有可能在单一维度,比如说在编程上,比Claude还要强吗?

刘洺堉:我还是喜欢讲《孙子兵法》里说的,“备多则力寡”。

如果你什么都要好,训练中就要博学多闻,要触碰很多不同类别,来提升知识水平。但如果你确定只需要用单一应用,是不是可以有些调整?因为你不care(在意)其他东西了,有些东西你愿意放弃。如果你什么都不愿意放弃,会打得很辛苦。

策略往往就是关乎着,你决定可以放弃什么东西。

张小珺:除了模型会变得更简洁,双塔有可能会变成一个塔,还有什么在未来模型中大家能预期的变化?

刘洺堉:我们很关注这个模型怎么去帮助Physical AI的构建者(builder)。

泛化(generalization)是任何AI的核心问题。在物理世界的AI,一种我们需要达到的泛化是:假设我今天教机器人说,我的衣服我喜欢这样折、这样放,我就给机器人看一两次我怎么做,它是不是就可以在现实生活中快速学会?是不是给这个物理智能读了说明书,它就知道怎么操作这个仪器、怎么在工厂做检测?我们中间的提升会朝着这些提升泛化能力的角度,把这些东西加进Cosmos模型。

我常常觉得,Deep Learning就很像中医,是试出来的。试的过程中,你要做详细实验记录,从里面去理解中间的法则。我觉得这很有趣。做严格实验、控制变量、得到关键结果,是模型迭代的重要一步。

张小珺:也有研究员提出,是不是可以把模型的语言渲染比重加得更大,他们还是认为LLM是提升智能的关键,你认同吗?

刘洺堉:在早期图像生成(image generation)研究中,包含谷歌的Imagen,里面就提出了:当你的语言理解越强,用更大的T5(文本到文本转换模型),图像生成能力就更强。我是相信的。你用更大的语义表征(semantic representation),应该有帮助,我是同意的。

但毕竟Physical AI的应用跟大家常讲的编程(coding)或者聊天(chat)不太一样,需要做一些实验验证。我想做的是了解真正的痛点,从痛点找到合适的方式补强模型能力。比较有挑战的是,当你资源有限的时候,你怎么做取舍。

“备多则力寡”——老祖宗的智慧还是蛮管用的。

张小珺:世界模型现在缺乏有效的评估方法,你们有一些好的探索吗?

刘洺堉:世界模型、大语言模型,都在追求更好的评估检测方法。

模型的评测有三步:第一步是基准测试(benchmark),有一些固定的数据集(dataset),你去上面测试它的质量(quality);第二种是竞技场式(Arena style),A跟B比,看谁比较好;第三种是跟着专家(Expert),去真正有痛点的人那里,解这个问题。三个都很重要。

在Physical AI里,第三个特别重要。因为每个Coding Agent大家都在解编程、数字的问题,但物理智能每个要解的问题又不太一样。更加强调跟愿意一起合作的伙伴,一起去了解怎么样评估一个模型真正有用还是没用。这是指引模型发展的重要一步。

张小珺:除此之外,物理世界的数据问题也是一个大难题。

刘洺堉:因为物理智能每个形体都不太一样,收集数据没有物理设置(Physical setup)就没法收集。英伟达更困难,因为我们要服务各个物理智能的开发者,每个机器人都不一样。我们能做的就是找最容易共通的。

物理智能数据主要有两种:一种是导航数据(navigation data),从A到B;另一种是操作数据(manipulation data),怎么用手或者工具去操作、完成既定目标。

导航数据比较容易做,就是你的运动学怎么动、车子怎么动、机器人怎么动,这些都可以收集。机器人A跟B即使不一样,但动起来就是在空间中位移,有时候可能加一些旋转,是比较相同的。

操作就比较复杂。我们发现一个趋势:大家越来越追求接近人手的机器手臂。

论点是说,人类的世界是建出来给人类用的,大部分工具都适合人手操作。整个AI需要大量数据,如果你的数据越好取得,你就越容易更快得到突破。所以大部分收集数据的是人,人就是用手。今天大家往人手的方向前进。

我们在Cosmos 3的时候,特地把第一人称视角(ego-centric)数据加进去,包含了人眼怎么看这个东西、从第一人称,还有人手怎么去操作这个物件。我们的目标不是去做出一个机器人,而是帮助大家可以做出很好的机器人,我们要找最容易互通的东西。第一人称视角(ego-centric)对大家非常重要。

张小珺:在所有的限制和局限之下,英伟达做世界基座模型有显著优势吗?

刘洺堉:在英伟达,获得GPU运算的成本比较便宜,毕竟我们生产GPU嘛。再就是我们在Physical AI已经深耕多年了。我们有Thor芯片,有Isaac仿真器。这些东西合在一起,我们提供更多工具满足各式各样物理智能开发者的需求。

还有一点,我们真心想帮助其他家公司成功。

我们很清楚自己能提供的服务在哪。客户往往比较愿意跟我们一起合作,因为我们不会跟你做一模一样的东西、把你灭了——不是,这不是我们的目标。

张小珺:针对Cosmos系列模型,你们未来会投入多少卡和资源?

刘洺堉:一直在提升中。我不知道方便不方便讲卡的数量,但我们已经在万级,希望可以有更多更多。

张小珺:Cosmos 3让你满意的一点是什么?让你遗憾的是什么?

刘洺堉:满意的一点是,我当初跟大家讲可以把过去所有模型合在一起,还会做得比全部之前的模型都要好,这发生了。那时很多人不相信,我很开心。

第二个是,这是我们第一次把整个团队,原本是建造数个模型,现在合在一起建一个模型。把这么大的一个组织凝聚在一起去建这个模型,我也很骄傲。

遗憾是什么?我们的模型还可以继续提升,但因为时间限制,没有让它完全收敛就必须要推出了。还有很多想要改的地方,之前没时间改。好处是,我们继续会做3.1、3.2,把之前没做好的补进去。

张小珺:你有没有想象过,像Jensen说的,做到Cosmos 97会是什么样子?

刘洺堉:那时候听到97代,我的理解是我们有决心一路把它做下去,把它做好。这是一个很大的commitment(承诺),因为做这个模型很耗费资源。

世界模型,最后就是接近这个世界。

透过那个模型,你可以去学习你想在真实世界里学习的东西,就是往那个方向走。最接近的是,你有能力随时做出一个《黑客帝国》的矩阵(Matrix),就是最终的样子。

如果每半年一代,还要四十几年,对吧?但AI发展极快,也许不需要四十几年。

05

谈《黑客帝国》

“Pain and suffering,是驱动人进步的关键”


张小珺:你说你要为机器人构建一个黑客帝国,《黑客帝国》讲的是人类沦为机器的活体电池,活在一个虚拟世界Matrix中,一个觉醒的人试图挣脱系统的宿命,来终结这个循环。

你现在为机器人打造Matrix,如果有一天机器人要觉醒了,想要挣脱虚拟世界怎么办?

刘洺堉:我用《黑客帝国》是帮大家具象化,有一个世界模型可以这么快去加速学习。很多人担心AI能力太强,会take over the world(接管世界),会把我们消灭(eliminate)。那我觉得这个社会是人建立的,这些科技是人在背后操作。只要大家有共识,这件事不会发生。

再就是,比较哲学一点,我觉得pain(痛苦)和suffering(苦难),是驱动人进步的关键。我不是很确定这些由芯片做成的智能(intelligence),是不是有同样的pain和suffering——我心里是存疑的。我当然知道我们希望科技可以大幅改善人类生活,也需要做出相对应的guardrail(安全护栏),确保它不会影响正常世界发展。

张小珺:虽然你一直在说我不是任何人的竞争对手,但其他做世界模型的团队,仍然会把你视作竞争对手,你有什么想对他们说的吗?

刘洺堉:世界模型是工具,用来解决问题,世界上有很多种不同问题要解。物理智能的问题本身又特别难。如果你可以跟我们一起合作,利用我们做的东西,你可以走得更快更远,这不是很好的一件事吗?

张小珺:他们肯定会说:哦,英伟达又想来卖我卡了!

刘洺堉:对(笑),那你需要做运算嘛。英伟达生态在这里,有很多东西可以让你去利用,why not?

你做生意都是要做投资的,重要的是你获利多少。像这些云计算公司(cloud company),他们买了大量的GPU,但赚了更多的钱,对吧?

张小珺:你们内部会讨论什么是下一个CUDA吗?有可能是Cosmos吗?

刘洺堉:核心上,过去的软件是建于逻辑,CUDA是帮助把这些应用(application)所需要的逻辑转换成GPU运算。未来的软件是以AI为核心的,AI是built on top of other AI(建立在其他AI之上)。所以我们觉得做的Nemotron和Cosmos,都可能是未来的CUDA。

张小珺:外部会对CUDA有非常多复盘,从你的视角看,CUDA是怎么成功的?需要具备哪些要素?今天的Cosmos具备的是哪些、不具备的是哪些?CUDA是一个可复制的路径吗?

刘洺堉:我不确定是不是可复制。CUDA当初提出是很前瞻性的想法,是个很冒险的想法。在都不确定超级计算(Super Computing)会不会成为big thing的时候,我们公司做出了勇敢的投资。我们做的大模型都得惠于CUDA,可以往下走。

CUDA一开始就是在寻找应用(application),一开始是科学计算(Scientific Computing),后来在深度学习出来之后,找到CUDA最重要的应用,往下走。CUDA还是一直在提供各式各样的应用。

我不会把Cosmos或Nemotron跟CUDA做同等的连接,因为我觉得现在整个发展相对复杂很多,有很多个不同的,整个产业是很多个栈(stack)合在一起的。我觉得合在一起可能是新的CUDA,而不会说这个模型单一就是一个CUDA。你还需要做服务,还要去做这些基础设施,有很多东西要合在一起。

复制CUDA是一个很好的想法,但我不觉得按照原来的路线,会走一样的路。环境是不一样的,需要adaptive(适应)。

张小珺:我也想聊聊大语言模型的进展,你怎么看中国的这一批模型的发展?

刘洺堉:Very impressive。在美国,尤其Frontier Lab,现在的状态是很少招收实习生。很多knowhow、科研结果都只有在他们内部的实验室有。

在中国,这些公司都招收很多实习生,帮助把knowhow传递出去。对人类整个知识扩增、diffusion(扩散),是好事。

张小珺:谢赛宁跟我说“硅谷已经被LLM催眠了”,你怎么看他这个观点?

刘洺堉:我不觉得纯粹被LLM催眠。不能否认,现在模型上最领先的公司,都是从大语言模型出发。我现在已经不知道没有Coding Agent,要怎么过下去,实在太方便。LLM产生了很大的用处,提升我们的生活。

很自然而然,大家会想,这东西既然都已经在这里了,下一步是什么?

张小珺:前段时间SpaceX(美国太空探索技术公司)上市,马上OpenAI和Anthropic也要上市,这会对整个行业发生什么样的影响吗?

刘洺堉:2026年会是巨变的一年,会产生很多富翁,旧金山的房价在快速飙涨。但科技不会停在这里,陆陆续续会有新的事情发生。100年前强盛的公司,跟现在强盛的公司完全不一样。这些人也许会帮这个世界创造下一个里程碑。

张小珺:对于今年和明年的模型竞赛,你有哪些预测?

刘洺堉:ChatGPT moment for Physical AI is coming(物理智能的ChatGPT时刻即将到来)。

张小珺:端侧模型会多久之后爆发吗?

刘洺堉:这跟Physical AI很相近。

张小珺:刚才你谈了中国的模型公司,那中国的机器人公司呢?

刘洺堉:美国做本体的公司很少,就Tesla跟Figure AI。做本体可控制的东西更多,可以控制模型跟软硬体的整合,操作空间更大。因为中国强大的制造业,让产生一个很优势的条件,让这些公司做一些在美国不容易做到的事。这很值得去关注,这样的垂直整合会产生什么样的一个突破?还蛮有趣的。

张小珺:美国现在不那么重视硬件,这有没有可能是错的?

刘洺堉:也很难说。但如果这种软硬体整合是机器人的趋势,没有硬件当然处于被动状态。有点难讲。有好多东西要考虑,包含金融模式。中国有这个条件,让大家快速软硬体整合。

06

谈黄仁勋

“Jensen常常在嘴边讲,公司只剩下30天现金流”


张小珺:今年,你刚好加入英伟达10年了,这10年你变化大吗?股票涨了多少倍了?(开玩笑)

刘洺堉:这些都是没有预期到的。

我们见证从没有人把AI跟英伟达连接在一起,变到全世界都把英伟达跟AI连接在一起;从我父母亲不知道什么叫英伟达,到全世界都知道什么叫英伟达——这是很巨大的变化。

中间的历程不是那么容易。我们公司从股价就有起起伏伏,我记得那一年TPU刚出来,公司股价掉了很大一截。有些同学在那时对公司未来产生了不同想法,离职了。但后来我们每年在MLPerf(机器学习性能基准测试)都击败TPU,产生出更好的性价比,后来只有我们参赛了。这些东西都很难预测。

这些变化实在很大。我更加理解到什么叫“慢慢经营”:找到一个你相信的目标,非常First Principle(第一性原理),一步一步往下走。看着Jensen带着这么大一个团队,一步一步走向今天这个成绩,与有荣焉。

张小珺:过去10年,Jensen变化大吗?

刘洺堉:头发都白了。

他承担的压力大了很多,但他还是非常关心员工。很仔细去阅读公司员工写的top 5 email(五项优先事项邮件),去找一些信号,帮助整个公司往前进步。

公司规模变化很大。我们加入时,公司不到2万人吧,现在两倍以上,可能更多。那时GPU都还是desktop(桌面电脑),现在都是data center(数据中心)。那时没有Physical AI,现在物理智能都成为一个重点了。

张小珺:过程中,你有见证英伟达经历过哪些pain and suffering(痛苦和磨难)?

刘洺堉:Jensen常常在嘴边讲——当然不是真的——他每次都讲,他每天都觉得公司只剩下30天现金流,30天后就要破产。现在还这么说,每次都这样讲,每次开会都是这样提醒自己。

张小珺:吓唬高管吗?

刘洺堉:就是要求自己做出对公司最正确的决定。

有一年疫情,整个经济状况很不好,那个时间很多公司开始裁员。我记得公司大会,就决定要裁什么——我们要裁的是差旅,员工就不用去出差了,全都线上,这样省下一笔钱。

我们再研究哪些工具可以不要。比如在硅谷,很多公司用Slack(企业协作通讯工具)做通联,我们考虑是不是就不要Slack了,反正我们有email。我们有两三个cloud(云),有时用Microsoft,有时用Google,是不是可以取消一个,可以省钱。

公司在一些困难时期,做出一些相对不平凡的决定。有些公司会用裁员降低人事开销,但英伟达想的是怎么节省掉一些不必要的开销,照顾员工,一起度过困难时期。

张小珺:为什么NVIDIA一直有不裁员的惯例?

刘洺堉:我在英伟达的时间,没有听到任何裁员消息。

我们没有所谓的末位淘汰,只有绩效评估(performance review)。有些人会因为对绩效的不满而离开。但我们不会因为改变了产品的方向,或者因为这段时间内你绩效不好,就让你走。

人与人之间的信任很重要。当一个员工对公司有认同感,有安全感,他愿意讲出在一般担心被淘汰的地方不愿意讲的事情。当没有末位淘汰,大家也不会真的这么担心被淘汰而强出头。在一个强出头的地方,反而不容易促成团结合作。

这样的管理模式会促成一种公司文化,跟那些做末位淘汰的公司蛮不一样。

张小珺:不裁员带来的弊端,是什么?

刘洺堉:缺点是,当一项科技逐渐成熟,员工需要一点时间学习新的东西做转型。重新学习新东西需要多点时间。

如果直接lay off(裁员)再hire(招聘)新的一批人,你可以直接hire到一些已经会这些东西的人。经由转型做会慢一点,但你得到的是员工信任,以及可以团结合作。

张小珺:组织效率对你们来说是问题吗?

刘洺堉:大家只要充满热情,觉得自己做的东西很有意义,效率就会提升。

英伟达是一个想长久经营的公司。Jensen在硅谷待了这么多年,看到这么多风风雨雨,他选择这个东西一定有他的道理。这不是随机的选择,而是深思熟虑后觉得,这就是他想要的企业文化、他想要的公司运作模式。

张小珺:那是不是意味着,当新技术来临,英伟达不会是最快调整的那个?它更依赖于早10年或者早5年的提前布局?

刘洺堉:NVIDIA就是跑马拉松,看得远。你看CUDA就是这样一个案例,布局了10年。

张小珺:你们也不赛马,对吗?

刘洺堉:我们不喜欢赛马。我们通常是这样:你去take这个mission(承担这个使命),我们就相信你,但我们会给你很高的bar(门槛),希望你完成。

用Jensen的话讲,就是一直让你接受pain and suffering(痛苦与磨练),torture you to greatness(磨练你直到卓越)。相信你、给你考验、不断地磨练你,让你一路一步一步往下成长。这是我们喜欢的模式。

张小珺:英伟达的书也好,Jensen的传记也好,讲述了许多英伟达的管理方式,你能不能从更切身的视角来讲讲英伟达独特的管理模式?

刘洺堉:第一是不裁员。

第二是top 5(五项优先事项)。员工要讲他做的最重要的五件事,让你看清楚公司里的大小讯号。两个团队在做一模一样的东西,那top 5 email就会自然显现出来。NVIDIA是很透明的组织架构,苹果可能是反例。我们追求资讯透明,这也是一个很不同的culture(文化)。

我们常常讲mission is the boss(使命为王)。英伟达有时候像是一个有机体,没有那么强的框架。当公司今天要走向这个方向,各种不同组织的团队,就会自动align(对齐),往那个方向前进。像一个活的组织,不是一个固定框架。Cosmos就是这样子一个案例。很多人不属于这个团队,但都可以来支持这个团队的工作。

Mission is the boss,而不是你的boss是你的boss。

这几个是最具有特色的,让公司变得很活——我刚刚讲的mission is the boss,不是一个很硬的框架,是个有机体。Top 5让公司各个地方的微小讯号可以扩散。不愿意轻易lay off员工,讲究转型,讲究torture,让员工对公司加强信任,可以彼此互相合作。这几个都是英伟达很独特的地方。

张小珺:Jensen对你个人有任何的影响吗?

刘洺堉:非常大的影响。他是个工作非常认真的人。我早期加入英伟达,他常常会传论文给我看,叫我写summary(摘要)给他,帮他讲清楚是什么事情。

他是一个非常热爱学习的人,一直学、一直理解。他当初也不懂Computer Graphics(计算机图形学),却敢踏入GPU领域,把Computer Graphics学起来;他也不懂Deep Learning,却敢踏进AI,把它弄懂。

他有一套自己的决策法则,叫First Principle(第一性原理)。他会把事情的本质理清楚,不受外界信号干扰,所以看得很清楚:哪个方向最make sense(合理),就往那边走。他在早期就敢all in Deep Learning,让公司获得巨大领先;也敢all in CUDA,为公司打下很好的foundation。

认识Jensen之前,我自己的决策偏短期。看到他怎么做长期决策、怎么坚持,对我的影响非常惊人。

他是一个很理性的人。事情很多的时候,如果你不会做prioritization(优先级排序),不把时间放在重要的事情上,就不会做出重要的事情。决定哪些事情很重要,本身就是一件很重要的事。

我自己是这样推想的:他强迫自己读邮件,强迫自己快速判断什么是重要、什么是不重要。在每天不断练习之下,他把事情看得非常清楚。而一旦看清楚,接下来就只是执行。

很多人执行会把个人情感放进去,比如“这虽然不重要,但我跟那个人不错,是不是应该让他去做?”他不会。

他的目标是take care of(照顾好)整个公司,只要一直做对公司最重要的决定,你就会留在公司里面,他就会take care of you。

我学习他怎么去做prioritization。这件事让我印象非常深。我以前当researcher时,可能同时处理两三个项目就觉得好累,每天要换两三个topic。现在我几乎每半个小时换一个topic。我以前无法想象自己做这件事,但这种不断context switch(上下文切换)的状态,也帮助我更理解什么东西比较重要。

还有一个体会:如果你学过Computer Science(计算机科学),最重要的一件事情就是”懒惰”——不用算的东西不要算,可以晚算的东西晚算,可以直接ignore(忽略)的就全部ignore。人生时间和精力都有限,如果你知道什么东西不要算、把它移除,人生运用就更有效率。还是很值得去学Computer Science,不要因为AI就不做Computer Science。

张小珺:你近距离观察过Jensen 10年,如果只用几个词来形容他,你会怎么形容?

刘洺堉:我们叫他,“六边形战士”。

我们有时候开会,他可以走到很深去研究register(寄存器)、computer architecture(计算机体系结构)的register,非常细的细节;同时间又可以教大家怎么做marketing(市场营销)、怎么做这些非常high level(高层面)的东西;在处理产品定价、跟客户的关系上,他面面俱到。

他是极大的热情。He gives everything he has to help the company be successful(他倾尽所有帮助公司成功)。

张小珺:他对你鼓励更多,还是批评更多?

刘洺堉:都有。当我还没有完全理解他想要怎么去run这个公司的时候,批评比较多。但批评中总是带着鼓励,希望你可以变好。他的目标就是torture everybody to greatness,经由这些磨练,让你更加理解怎么样做才能做出不平凡的事情。

这很耗精力的。你愿意花时间去torture(磨练)别人,是件不容易的事情。torture别人,你自己心里也要产生很大的负担。你人生就这么多时间,你可以不管。但是他愿意花时间去torture别人,让大家不断进步。

张小珺:他让你印象很深的一句话是什么?

刘洺堉:有一次我们在一个会上,在比较两个solutions(方案)。我是做其中一个东西的人,另外一个是其他人做的东西。那时候我讲了一句话:我觉得他们用的setting(实验设置)是一个不公平的setting,所以导致我们在这方面表现没有达到预期,落后于竞品。

他那时候给我一句话说:“Are you a quiet baby(你只会闷声抱怨吗)?”

这世界上没有什么是公平的。你在写论文的时候,常常讲说我的setting就是跟你的setting不一样,所以不能同时比较。但你的目标如果是要解决一个问题,你当然是做这个要解决的问题所需要的条件,没有这个条件,你就想办法拿到。

那句话让我印象很深刻,我更加严格要求自己,找理由是没有用的,就是要give everything you have(倾尽所有)。我以前也听过这句话,西点军校有一些著名的书也是讲:没有理由、no excuse(没有借口)。

但他跟我讲,让我的印象更加深刻,毕竟他是一个著名的人物。我后来就不再找理由了。

张小珺:为什么其他公司说CEO不应该是最努力的人,但你们公司CEO是最努力的人?

刘洺堉:对。是。这我也不懂,哈哈哈。但it works(这很有效)。

07

谈自我

“我并不是为了展现强大的破坏能力”


张小珺:你看你今天说了很多:你没有竞争对手,你不和任何人竞争,大家都是合作伙伴。这种low ego(低自我)的状态是在英伟达发生的变化吗?——这真的是low ego,还是一种隐藏?

刘洺堉:我觉得是一种confidence(自信)。是觉得我们做出来的东西可以帮到大家。

我的目标是帮助大家做好。我对自己做的东西要求很高,希望它变好。但是,我的目标并不是击败对手。

张小珺:你个人有过high ego(自我膨胀)的时候吗?

刘洺堉:年轻的时候是会的——总觉得我的算法最好,我写的paper(论文)最漂亮,总会这么觉得。

我受到Jensen的影响很深。如果你是一个研究员,你毕业的方法是让你的论文在顶级会议上被接受,reviewer(审稿人)都会question(质疑)你:你的东西是不是state-of-the-art(最先进水平)?你要state-of-the-art就代表说你要击败所有的人——研究员都有这种心态,我的东西要比你强。

循着这个轨迹,我一开始也是一个highly competitive individual(竞争意识很强的人),我东西要做的比你好。但久了之后,你知道,你总是state-of-the-art,一段时间下一个就出来了,这东西是一直不断进步的。

我今天站的位置也不一样,成为这个管理者之后,希望培养新一代的人才,帮他们成长。站在NVIDIA这个ecosystem(生态系统)的角色,看到我伙伴们跟我讲,用了一个模型之后,解决问题的效率提升了很多,我就很开心。我觉得我的付出、团队的付出,得到了回响。

不见得是要击败其他人才能产生贡献——你不需要击败你的对手。

或者说,我不喜欢把他们当成是对手,喜欢把他们当成是伙伴。

张小珺:对于现在的你来说,很多外部衡量指标变得没有那么重要了?

刘洺堉:对,年轻的时候觉得它们很重要:为什么这个人的best paper(最佳论文)比我多,奖比我多。现在觉得,我的重心渐渐转移:帮助别人。也许我现在care(在意)的是帮助人够不够多。

张小珺:最近一年你帮助了谁?

刘洺堉:这些使用Physical AI、使用Cosmos的user(用户),我都在默默之中给他们提供了帮助。

张小珺:过去几年,你的生活状态发生变化了吗?

刘洺堉:更高效了,早睡早起。我4点到5点起床,10点到11点左右睡。不是每天固定,但是我的常态。

我早上起来,运动时间比较连续。我很喜欢运动——以前喜欢团体运动,打篮球、打网球。我有一个很大的兴趣:中国功夫,练了很多年,从18岁就一直练习。

我的武术老师是徐纪,他的老师是刘云樵,刘云樵的老师是李书文,就是“神枪李书文”,沧州武术家的代表。他的八极拳、劈挂掌对整个武术有重大贡献。

武术是很好的身体锻炼,对心智磨练、体力都很好。它还有一个好处:只要一个人就可以做。我早上起来会做武术锻炼,自己训练、蹲桩、打拳。

我最近还有一个新嗜好,叫ice plunge(冰水浴)。像运动员一样,做完激烈运动后跳进一个冰桶或冰冷的水池里,帮助身体修复。这也帮助我保持精力,去面对每天高强度挑战。

张小珺:这和我对你的印象蛮不一样——我见你,感觉你是一个非常谦和的人。

刘洺堉:是。但我学武术的目标不是为了打架。一开始是受金庸小说影响,对中国武术充满兴趣。学了之后发现,这是对自身的一种磨练。

中国武术最重要的是控制全身、控制自己。你要打出一拳,最大的力量来自全身协调,把力量从脚一路灌到手。这么长的路径,你要控制全身协调,让力量传导循序渐进、一步到位。这很难——因为都在一瞬间发生。所以,需要经由不断练习、不断自我修正。这跟我喜欢一直自我检讨、追求进步,有很深影响。

我并不是为了展现强大的破坏能力——它是一种对自己的追求。

张小珺:嗯。我还有一些快问快答。全球范围内一个你最喜欢的食物?

刘洺堉:牛肉面。

张小珺:全球范围内一个你最喜欢的地点?

刘洺堉:我喜欢湾区,天气太舒服了。

张小珺:你有什么喜欢的音乐、书、电影或游戏吗?

刘洺堉:书蛮多的。Jensen(黄仁勋)推荐的书,讲Positioning(定位)的。我忘记书名叫什么,很有趣的心理学书,让你更理解问题的本质是什么。

我特别喜欢金庸小说,体会金庸各式各样的幻想,很美的意境,把我推向了学中国武术的道路,从中国武术得到历练。

张小珺:对于年轻的研究员,你会有什么建议?

刘洺堉:不要紧张。对自己有信心。冷静下来。

现在年轻研究员都往往觉得会不会明年AI就结束了,AI自己训练自己了。我觉得也(应该)看清楚,什么地方是值得你投入精力的,不要被大家的宣传影响,觉得路越走越窄。

现在研究员进入Physical AI是一个好时机。除了Physical AI,还有其他很多地方值得摸索。AI的进步,让我们可以做出更好的material(材料)、更好的药。各行各业都可以渐渐看到AI的影响。

张小珺:我们工作室叫语言即世界工作室,当你第一次听到这个名字的时候,你在想什么?

刘洺堉:用语言来描述这世界上发生的有趣的事:)

张小珺:在人工智能的历史上,你希望后人怎么来记录你?

刘洺堉:不要讲我吧。

希望Cosmos是一个重要的推手,帮助几个重要的Physical AI builder达到ChatGPT moment——这是我会很开心的一件事情:)

---

还有大量的内容,只有视频播客和播客有喔:)

收听播客


推荐阅读


跳转微信打开

独家对话姚顺宇:请允许我小疯一下

2026年5月11日 11:01

原创 张小珺 2026-05-11 11:01 浙江

再说一次,这是个集体主义的事。

作者:张小珺

姚顺宇戴了一副茶色眼镜走过来,这副眼镜会随光线变化而改变颜色。

硅谷AI业界有两位Yao Shunyu,他们曾是清华同一届毕业生,这让姚顺雨与姚顺宇时常成为话题人物。

前一位姚顺雨2025年从OpenAI跳槽到腾讯,他去年来过我们节目;后一位姚顺宇也于同年跳槽,从Anthropic来到Google DeepMind。

这位姚顺宇毕业于清华和斯坦福大学,曾经的研究方向是理论物理——非厄米系统、量子物理与高能物理。他的人生奋斗姿态是——“总想挑战一些自己不太会的事”。

他人生最大的一次跨步是博士毕业,毅然决然离开深造9年的物理,来到崭新的AI行业。过去两年,他先后在Anthropic和Google DeepMind出任研究科学家,参与了Claude 3.7、4.5、Gemini 3等关键模型的开发过程。

姚顺宇一点也不nerd。有时,他会令你猝不及防,突然发表一点“小疯”言论。

第一次见面,他就对我说:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”

转行AI的两年,他变得越来越直接,越来越不害怕得罪人。访谈中,他也说了一些直白言论:

  • “AI个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢。”

  • “没有哪个老登是你的亲属,所以你觉得他傻,他就是傻,就可以直接说他傻。无所谓的啊。(笑)”

  • “现在大家都是冲浪的人,本质上是那个浪,而不是你那个冲浪的人。”

  • “AI这个事,本来也不太需要脑子——真的不太需要脑子——我觉得都是一些本科生就能干的活。这个行业最重要的特质,就是靠谱,就是做事细,对自己做的事情负责任。”

  • “你不用太担心因为自己的观点而惹到什么人。只要你的观点是自洽的,不是说随便喷人,你是有一套自己的理解。最终你在这个领域做的怎样,是有客观评价标准的——大家是会尊重你的。”

不过,不要误会他是一个不谦虚的人。在描述自己的研究时,姚顺宇显得异常审慎。

他对于这些工作的描述是:“我自己对那个事没那么重要,更多的是,我很幸运,有机会在那个时候加入了一个重要的项目,做了一些事。”

他反复强调,AI个人英雄主义的时代已经过去了,现在都是集体主义的故事,要对神话个体的一切叙事充满警惕。

我们的节目录制于2026年3月,距离我们这次节目录制完,世界又发生了许多意想不到的变化:Meta对Manus的收购被撤销、Cursor可能被SpaceX收购、xAI将终止独立运营并入SpaceX,并更名为SpaceXAI等等。如果我们的谈话内容有一定滞后性,请大家多包涵——AI的世界实在变化太快、太出乎意料了。

可能还要特别说明的一点是,技术细节会涉及企业机密,有一些嘉宾是不方便分享的,也请大家能够包容。

在访谈中,我们尽最大可能和大家一起学习AI。你会收获姚顺宇在Anthroic和Google Gemini的技术探索历程与思考洞察。

而对于那些离经叛道的微小片刻,还请允许我们小疯一下。

友情提示:文字内容大约只占完整内容的1/3,如果要获得完整版,请观看我们的视频播客或收听播客,你一定会收获更多惊喜!

完整的播客将于小宇宙、苹果Podcast等全音频平台播出;播客视频将于Bilibili、小红书、视频号等全视频平台播出。

以下是我们的访谈节选。

01

“他回去之后,我们也经常打电话”


张小珺:AI业界不是有两个姚顺宇/雨吗?你要不要先给大家介绍一下你自己,并且给大家科普一下两个姚顺宇/雨的区别?

姚顺宇:我叫姚顺宇,显然也有一个跟我几乎同名的朋友(姚顺雨,腾讯首席AI科学家,前OpenAI研究员)。我们俩主要履历也有一些overlap(重叠),看起来非常难以区分。

我以前是做学物理的,本科在清华,那时做凝态理论,后来去斯坦福做理论高能物理。离开斯坦福之后去伯克利,短暂待了两个星期的postdoc博后,就离职了,去了Anthropic。在Anthropic待了一年,去年9月底、10月初加入了Gemini。

如果大家非要区分,最大区分就是,那个顺雨,一开始一直是做CS,计算机相关;我从某种意义上是半道出家,之前做理论物理为主。

张小珺:你们是不是好朋友?好像大学就认识,而且是一级的。他是一个什么样的人?你是一个什么样的人?

姚顺宇:我们本科就认识,因为我们本科在清华是一级的。他一开始就学计算机,在姚班,计算机科学实验班;我学物理,在机科班。后来他去了普林,我去了斯坦福。

这也是另一个有点令人费解的点。在普世世界,觉得斯坦福应该是学计算机的人该去的地方,普林斯顿是学物理的人该去的地方。但我俩正好反过来。哈哈。也可能产生了一些费解的事。

我俩还真的挺不一样。他是一个比我有趣的多的人,我从他身上能学习到一些和我很不一样的点。比如在AI方面,他花了很多时间思考人和AI的交互、一些产品的事。对我来说,是一个很不一样的朋友,我也从他那学到很多。

张小珺:你们之前在硅谷多久见一次面?你们现在是不是还频繁打电话?有多频繁?

姚顺宇:我们在硅谷见面确实挺频繁的,每几个星期吧。但好像见面是为了凑一块玩。哈哈哈。

真的就是纯玩。可能出去散散步,扯扯有的没的。有时候吃个饭,打个牌啊之类的。哈哈,他回去之后,我们也经常打电话。

张小珺:最近一次电话聊啥了?好像就是前一两个星期。

姚顺宇:啊,你怎么知道的?(狐疑脸)

可能会过几个月,catch up一下大家的近况吧。

张小珺:他是不是多次想把你拉过去?

姚顺宇:可能有这个意思吧(笑)。但是,我觉得不关键。哈哈哈。

多半是我自己的原因。去年八九月我离开Anthropic,决定要去哪,最大动机是我想学一些不一样的东西。对我来说,我没有更着重去考虑领导一个项目。我更多是,想优先去学习一些东西,我选择去了Gemini。

02

“为什么要把自己的时间浪费在伺候老登身上?”


张小珺:你本科读量子物理、博士读了高能物理,物理对你的帮助是什么?

(此处省略了姚顺宇在物理上的科研探索,完整内容请大家看视频播客或者听播客:)

姚顺宇:本科读物理最大的帮助是:第一,想问题要想清楚。读书不在于读的多,而在于读的深。读的多,不代表你能发现新东西。但如果你对一件事有和别人不一样的见解,那才是对社会来说更有价值的事。

另一件事是,别太相信纯理论。因为当时能做数值,是因为数值和理论对不上,才仔细研究那个问题。

博士去读了高能物理,这就回到了说——总爱挑战很难的事,有时候也会带来一些不好的结果。我感觉,我这个博士对自己学到很多东西、成长很大;但于这个世界,没有产生什么贡献。哈哈。

高能理论这个方向,足够难,非常非常难。但它不好的在于,不是特别可以验证,没有什么客观评价标准。因为高能理论已经发展到了实验完全追不上的阶段。

张小珺:那这个学科是怎么进步的?如果不是实验,它的进步依赖于什么?

姚顺宇:一个进步来源,来自于数学的自洽性。

比如,你提出一个框架来描述这些事,那你能和现有的已被验证的更低能标下的理论相自洽。比如说研究弦论,自然大家问题就是,弦论能不能在低能情况下回到量子场论,进而回到经典物理。

这个自洽性是一个判定方法,是很合理、科学的。当然也有一些不科学的因素,当这个领域完全没有实验、没有客观标准,肯定不会只有一个自洽框架出现。

这时候谁做的好、谁做的不好,就依赖于领域内一些老登的主观判断。

张小珺:你是被谁伤害了是吗?(笑)

姚顺宇:我也没有被谁伤害,只是在那个领域待时间越长,就越觉得这件事蠢——人这一辈子也没多长,为什么要把自己的时间浪费在伺候老登身上?

张小珺:所以是花了5年学习了很多知识,买了一个大教训。这个教训是——要做实验?

姚顺宇:要做有比较客观评价标准的事,要做对这个世界能够产生影响的事。

张小珺:你本科是比较顺利的,在量子物理这个研究领域,很快就有了非常好的学术成果,而且是范式级的变化。但你迅速觉得没有吸引力了,在博士挑战一个更难的事情。但在博士期间是比较落寞的。

姚顺宇:至少从结果来说是这样的。哈哈哈。

张小珺:外界看不出来,外界看都是非常光鲜的履历。

姚顺宇:对,从实际科研产出来说,没有人会说我博士期间的文章不好,但摸着良心说,对这个世界有多大的影响?我觉得几乎没有——没有影响,几乎为零。

对我自己来说,我自己很不满意的啊。但也没有不满意到,我会担心有人说我在混日子。确实也没在混日子,还是能达到所有外界标准。

张小珺:这是怎么做到的?——所以说,很多事情是冷暖自知对吧。

姚顺宇:达到外界的标准,或者达到一个小的圈子的评价标准,像训练模型一样。一旦有了这么一个小的圈子,你知道他们的评价标准之后,做得好是很容易的。哪怕不认可这个标准,你是可以达到的。

张小珺:有时候哪怕内心不认可,也可以蒙蔽自己继续往前走。

姚顺宇:但我后来发现我蒙蔽不了自己,骗不了自己。

博士最后两年,就会有这样的感觉。但那时确实也没想清楚,如果不做这个该去做什么?

比如说,一开始更多是去了解量子计算或者量子信息。拿了postdoc offer之后,感觉更紧急。在学校,还可以一个学生的心态。离开学校之后就是自己的career(事业),得给自己找一条路。

当时觉得,量子计算和AI是两条给小登机会比较多的路。

博士后,我到伯克利待了两三个月,官方说就只待了两个星期——我入职之前已经去那了,反正就在湾区嘛。但入职之后,只待了两个星期就辞职了。

我本来不准备入职,但伯克利人就是太好,说:没事,等事情定了再说,能来多久就得来多久。

张小珺:你告诉他们你在跟Anthropic谈?

姚顺宇:我告诉他们我可能会去做AI了,要不就别入职了。

不止伯克利,湾区这两个学校的老师都人很好,很照顾你。觉得你还没有完全谈定,还是先把工作拿着。

张小珺:物理对你后来做AI有什么帮助吗?

姚顺宇:硬实力上没什么帮助。纯工具性的技能上来说,从物理到AI的转化,是非常非常少的。但非要问的话,可能是性格吧。

做物理的人会更想刨根问底,更想理解一个事儿,更想做事很系统。因为习惯了这种很系统性的,不管是做实验的方式,还是做理论的方式。但这也不是做物理人独特的。

为什么做计算机的人没有这个特性呢?我认识很多做计算机的人,也有这个特性。很多学化学的人也有,学生物的人也有。所以不觉得它是做物理独特的。

但事实上,语言模型这种比较large scale(大规模)的AI,确实有很多物理出身的人,做的很成功。尤其Anthropic这个公司。

03

“智能涌现,这个话本身就不太科学”


张小珺:很多人在描述这一代AI的时候,会说是黑盒,你能用科学的角度来理解一下这个黑盒吗?

姚顺宇:这世界上所有东西都是黑盒。

哪怕像物理这种。不管是量子力学,还是量子场论,都是描述那个能标下的行为。本质上这个系统还是一个黑盒,你还是不知道它最微观的地方是什么样的动力学。

AI也是一样,黑盒不黑盒,都是相对的。我们对语言模型的理解,确实没到神经科学手术刀那个级别——不是说能理解到,这个行为是由哪一个neuron、哪一个人工神经元的哪一个激发产生的。没有到这个层面。

除非在一些很稀疏、很小的网络里,像Anthropic那个Interpretability(可解释性)团队,可能会做一些类似的工作。但在实际能用的语言模型里,都没达到这样的理解。

但也不代表完全没理解。比如Scaling Law,它就描述了那个尺度下,模型随着大小和数据量,是怎么在perplexity(困惑度)这个指标下变得越来越好的。

所以是完全没理解吗?如果Scaling Law不算是理解的一小部分,那是不是我们也说,对这个世界也完全不理解?这个世界也是一个完全黑盒。

张小珺:所以Scaling Law是一种科学规律?

姚顺宇:它是一种经验规律。但经验规律和科学规律之间的界限很模糊。

热力学那些定律——第一定律、第二定律、克拉伯龙方程——当年被发现的时候,也都是经验规律。后来随着时间发展,慢慢知道了微观机制,就变成了科学规律。

Scaling Law目前肯定还是很经验,但未来当技术变得比较固定,大家越来越多理解它微观过程的时候,会不会变成科学规律?如果这个定义存在的话,是有可能的。

张小珺:能不能用科学的表达来解释一下,“智能涌现”?

姚顺宇:这个话本身就不太科学,自然也没法用科学的话来表达一个不科学的事。

智能涌现,对我来说,它更多是一种主观的感觉,而不是客观现象。

很多人说智能涌现的时候,脑子里想的是,以前的语言模型只能做某一个方向的事,比如只能翻译、只能做分析。但现在模型好像,哎,可以做所有的事了。

但这个事,对我来说更多是一个技术上的涌现,而不是行为上的涌现。是我们通过研究,发现了该怎么去做这种大规模的训练,能够水平的提升所有能力。这才是更本质的事。

至于智能涌现,每个人心里的定义都不太一样。

张小珺:你的定义是?

姚顺宇:对我来说就是没定义。

唯一质的区别就是,有没有发生一个技术上的改变,使得我们可以做scale up,可以水平的提升所有的能力。这对我来说,是一个良好定义的事。

张小珺:你最后是在量子计算和AI之间选择了AI,这是怎么发生的?量子计算好像离你的研究主线更近一些?

姚顺宇:好处是他们都给年轻人机会。

这就是为什么要去了解细节。了解之后发现不是,是反过来的。量子计算的主要瓶颈在实验上。不是怎么设计算法或者算子,更多是怎么在实验上实现它。那个事反而是我不擅长,和我过去很多有兴趣的事比较不相关。

跟我相关的反而是AI。更多是你有一个想法,可以用一些数值去验证。这个数值在AI里面,可能就是训练一个模型。这和做物理很像。

为什么我一直爱把这个和18世纪的物理学做比较?它更像那个时代的物理。那个时代理论和实验不分家,没有什么理论物理学家、实验物理学家,你就是搞物理的。你自己可以做实验,也可以做理论推测。AI就有点像那个时代。

张小珺:你之前说现在从事AI研究像17世纪从事热力学研究,其实在表达:虽然大家没有办法很清晰从科学上去解释和理解这件事,但并不会阻止它发展。

姚顺宇:对。为什么比较那个时代的热力学?那个时代大家不理解什么是热的微观理论,不知道热是什么东西。

就像现在,大家不能理解language model(语言模型)里,哪一个矩阵元是在干什么。但是不妨碍你有好的经验定律,比如热力学的各种定律,和现在的各种Scaling Law。从这个角度来说,它是类似的。

从研究人员的角度,就是刚才说的另外一个问题:理论和实验不太分家。

04

“实行top down有一个很难的点,就是你做技术的决策人,必须也得是公司的决策人”


张小珺:你在Anthropic的历程是怎么展开的?

姚顺宇:主要还是有前同事在Anthropic。哈哈。

Anthropic有很多做物理出身,尤其是做理论物理出身的人。

张小珺:他们从人的选择上,为什么会倾向于选择这一波人?

姚顺宇:当然很多人可能会找一些原因说:做物理的人擅长这个或者擅长那个。但就我个人视角来看,主要原因还是connection,就是联系。

Anthropic的创始团队里,当时有三四个比较技术的人,其中有两个现在还在技术一线领导的,都是做物理出身。他们可能招的一些人也是做物理出身,就这样一直延续下来。

但到现在这个阶段,在我之后,几乎没怎么再招完全没有AI背景的人了。所以是一个时代的产物。

姚顺宇:你只找了Anthropic吗?

张小珺:没有,我还找了OpenAI和GDM,就Google DeepMind。

但Google DeepMind那时候速度太慢了。哈哈哈,最后没有出现在考虑范围内。后来Gemini获得了长足的提升,动手非常快。

Anthropic是因为当时联系了,后来我的第一任manager,第一任经理,他以前也是做理论物理的。他当时说:我们在尝试做这种大规模强化学习,有很多科学问题要去理解。那时候24年八九月的时候。强化学习还没有像现在这么成熟。

那时候大多数人都不太知道怎么做,因为o1还没发布呢。

那时候o1只是,大家都知道有,但是都还没看到结果。Anthropic当时不知道怎么做的——大体上知道,但是有很多细节需要仔细去研究。

他说:哎,有这么一个事,你要不要来面试一下?

我觉得:哎,可能是一个好的机会。

张小珺:你当时怎么认知强化学习啊?

姚顺宇:没认知,哈哈哈。

大概知道pre-train、post-train这个流程,但不太知道具体工业级别的语言模型是怎么训练的。只能知道学术界是怎么训练的。

更多还是,当时觉得这是一个不确定的事,是一个好的机会,就去干了。当然也有些面试的准备和面试过程。

面试题也不太难,反正,哈哈哈。但对我来说,当时也不知道怎么准备。就去把我能找到的那些课,自己能学的学了一遍,能做的作业做了一遍。自己手搓了一套,Andrej Karpathy有一个著名的项目,叫nanoGPT还是叫什么。手搓了一下那个,就去面了。很快拿到了offer。

姚顺宇:你在Anthropic的第一个方向是大规模的强化学习?

张小珺:有两个组的manager来跟我聊。一个是做evaluation,就是模型评测;另外一个是做强化学习。我选择了强化学习。

那时候,Anthropic也不像现在是一个大公司了,公司很小。

我去的时候,我们那个大的team才只有10个人,或者11个人。

张小珺:大team叫什么?

姚顺宇:叫Horizon。那个大team后来几乎是,强化学习的方方面面都在这个team了。

底下也有更做数据的组,更做环境、infra和基础设施的组,也有更做research和算法的组。我去的那个组,是比较偏research和算法的组。

张小珺:那时候Anthropic多少人?你一进去对这家公司印象是什么?

姚顺宇:七八百的样子吧总共。

我对Anthropic的印象还是挺consistent(一致)的。进去之后,这家公司的印象就是执行力非常强。它是一个比较top down(自上而下)的公司。很多事情决定了之后,就会全力去做。

员工之间的氛围也很好。大家都不会藏着掖着。

尤其刚去时候很小,大家都认识,氛围很好。如果是做语言模型相关的事,现在回头来看,那是一个非常非常好的学习机会。你能够接触到这个模型训练的方方面面,都能找到对应的人去问。

张小珺:那个时候的Anthropic已经有了现在我们都知道的,那个非常坚定的bet了吗?(bet coding)

姚顺宇:有的。

张小珺:这个bet来自于哪里?为什么会有这个bet?

姚顺宇:我不知道它完全的来源在哪。我自己能看到的一个显然的来源就是,前一代模型Claude 3放了之后——Twitter上那时候可能还没叫x呢——Twitter上有很多人在讨论说:Claude 3好像写code比GPT-4强啊。

那个年代,GPT-4是一个和大家gap很大的模型。能有一件重要的事比GPT-4强,就很厉害了。

张小珺:所以是试出来的?

姚顺宇:至少是其中一个原因。就是很快的对这个市场做了反馈。

这也是我觉得这公司很强的一点,它execution执行力非常非常强。一旦给它一个信号,让它觉得是很reasonable(合理的)、这公司该做的事,那就会铺上去。它没有那些大组织那种冗余。

张小珺:为什么它的coding定会比GPT-4要好?

姚顺宇:不能说,哈哈哈。

张小珺:哦,是有原因的。

姚顺宇:是有原因的。是一个纯技术原因。

但是,确实,我不能确定一开始是随机试着的,还是故意选择的。你要让我猜,我肯定会觉得是随机试着的。

张小珺:哦,纯技术的原因,是有某个人做了某个事情?

姚顺宇:是确实有某一个团队做了某个事情。

张小珺:是自上而下的,还是自下而上的?

姚顺宇:最开始可能是自下而上的,但是后来就变成了一个自上而下的事。

张小珺:就是要快速捕捉到一些内部和市场的信号,赶快要扑上去。

姚顺宇:对。这是Anthropic非常非常强的一点,它非常非常的reactive,反应非常快。

张小珺:它执行力来自于哪里?来自于Dario这个人?来自于他的某种特质?

姚顺宇:我感觉,Anthropic作为一个公司来说,它能够实行这种,就是比较top down的机制,是一个很独特的事。

实行top down有一个很难的点,就是你做技术的决策人,必须也得是公司的决策人。

首先,你技术上得能服众,才能够信服下面的研究员去做这个事;另一方面,你得是公司的决策人,你得能为这个公司负这个责任。

Anthropic有这个条件就是,它的技术上的领导人,其实是公司的cofounder。

就是像Jared Kaplan和Sam McCandlish,他们俩就是公司cofounder——他们自己做这个决定,那是人家的公司,他有权利做这个top down的事。

张小珺:Dario作为CEO,他会say yes和no吗?

姚顺宇:我不知道他们决策层的讨论里面,哈哈哈。我只能说,就技术leader是有决定权的。对我当时的工作来说,我接触的最多的就是Jared。

张小珺:这对于其他模型公司很难吗?

姚顺宇:很难。比如说OpenAI就干不了。

张小珺:Ilya在的时候难道不行吗?

姚顺宇:Ilya在的时候有可能可以。但是Ilya后来一方面,我也不知道因为什么原因,他好像就是失去了这个做决策的能力,然后他就走了。

张小珺:其他公司呢?

姚顺宇:其他公司我觉得都比较难。

Gemini也比较难。但我觉得Gemini是另外一套打法,不太一样。

就是说,大公司和startup,打法本来就不一样。因为startup重要的是make bet,就是我得赌一件事。我如果想要赌,就意味着有风险。就意味着,我能够去很快做一些决策,然后很强力推进一些决策。在这种情况下,top down是一个很有优势的事。所以Anthropic从组织上,是比OpenAI更有优势。

但是作为大公司,它可能就是另外一套想法。因为大公司的想法可能是,我不仅能尽量减少做赌的成分,而是我能在方方面面都有储备。任何一个事成了,我都能跟上。如果有事我自己做成了,我可能还能领先。这可能是大公司的心态。

所以在Gemini,Google是一个很传统的、很bottom up的组织。就是公司层面,可能有一些比较良好定义的框架,来看你的工作是好是坏,来引导你做一些公司需要的事儿。但是本质上,还是你自己来决定自己做什么。

张小珺:所以你觉得Anthropic能make bets(对coding下很重的赌注),是因为它的独特的文化、组织和文化?——这个听起来,应该是其他公司也能做的,但却非常奇怪地发现,其他公司很难做,而Anthropic可以做到。

姚顺宇:对,我觉得还是需要技术的,或者公司的leader有公信力吧。这个挺难的我觉得。

张小珺:你说的还不是CEO有公信力,是技术1号位有公信力。

姚顺宇:对我来说,我觉得技术1号位有公信力很重要。

张小珺:但与此同时,CEO可能没有成为一个阻力。这个难吗?

姚顺宇:这个就得看你这个cofounding的team,有没有足够的互相信任。这也很关键。

Anthropic这点也是在startup里,很强的。就是他cofounding team,没有一个人离开公司。如果你看他们过去,那是一群真正一起打过仗的人。

他们都是以前OpenAI的员工。他们甚至好多人都是,在一系列关键文章上的合著者。像Scaling Law这个paper,是Jared Kaplan然后Sam,当然还有Dario,还有可能Tom Brown也在吧,我不太记得Tom Brown在不在。GPT-3的paper就是Tom Brown在,Benjamin Mann在,Jared Kaplan和Sam也都在,Dario也在。

他们是一块趴过战壕的人。互相之间的信任还是很关键。

有很多公司干着干着,连小集体都团结不住了,那你怎么能指望大公司能团结住呢?

姚顺宇:你在说OpenAI是吧?

张小珺:嗯,哈哈哈。

05

“找到合适的环境,这个环境回馈信号足够清晰,本身也是一个很强的数据源”


张小珺:你加入Anthropic,公司正在做的最重要的项目是什么?你参与到那个大项目里了吗?

姚顺宇:当时就是为了做大尺度的强化学习,用它来提高coding的能力。这是当时最重要的事。

我们那个组的研究重心就是这个。这也是这个组后来慢慢变大、变得越来越重要的原因。最终带来的结果,就是大家一块train了Claude 3.7这个模型。

Claude 3.5有两个版本,一个可能是6月的版本,另外一个10月版本。你也可以看出,Anthropic这个公司曾经也是没啥产品能力的,居然管两个模型叫一个名字。哈哈哈哈哈。

后来外面人为了区分,管3.5后面那个版本3.5new叫3.6。Anthropic跟随着外面的习惯,就叫3.6了。再新的模型叫3.7。

实际的产品时间线,其实是——3.5、3.5new、3.7。

张小珺:怎么会有一个模型叫3.5new?这个是怎么想的?

姚顺宇:我只能说,那个时候的Anthropic,可能真的是没有什么产品上的想法。

3.5new,我几乎没参与。但是3.5new,就已经看到了coding的迹象。

张小珺:你进去的时候刚刚好就是,管理层知道了coding的迹象,要make bets的时候。你运气很好啊。

姚顺宇:我进去的时候,大家肯定已经看到了这个事儿能做成且重要,但不太清楚怎么去把它做成。我去的时候,是跟大家一起去研究怎么把它做成。

张小珺:方法是大尺度的强化学习,这里面有什么knowhow?

姚顺宇:从大的角度来说是,但有很多技术细节是需要去研究的。

哈哈哈,有好多NDA(保密协议)的内容呢。哈哈哈。

张小珺:NDA会写的这么详细的吗?

姚顺宇:原则上,员工是不能在在职期间和离职之后,透露任何跟公司内部相关的信息的。当然实际上来说就是,大家心里都有一个度。如果这个技术没有公开,肯定是不会公开去谈的。

虽然我不能公开去谈,但是,把简单的事儿做的比谁都干净,是最关键的。

张小珺:什么叫干净?

姚顺宇:就是,有很多花里胡哨的技巧。

比如说做强化学习,最简单的algorithm(算法)就是Policy Gradient(策略梯度)。但不代表这是唯一的algorithm,还有别的算法,比如各种复杂的搜索算法。

但这些复杂性是必须的吗?它们可能带来一些efficiency(效率)上的提升,但也可能带来一些基建infra上的困难。你怎么去trade off(权衡)这些事?做研究需要去理解,怎么去balance不同的因素,选择最好的、最稳定的那条路。

很多的knowhow,都在这些细节里,怎么处理这方方面面的细节。

张小珺:你们在早期怎么描述和理解coding很重要?它是大语言模型的一个分支?

姚顺宇:每个人可能想法不一样。对我来说,它重要的原因有二。

一个原因是Anthropic一直在讲的事,coding本身也是做语言模型研究的一部分。如果你能够把coding做得很好,可能会让你的研究效率翻倍提升,形成一个研究上的飞轮。这是一方面原因。

另一方面原因,是因为coding是模型使用工具和环境交互的一个很好的抽象。这个抽象的好处在哪?回归信号清晰,数据充分。很难在别的场景下,找到能同时有这两个特质的使用工具场景。

所以这是一个好抽象,在这里面做的一些研究,可能是对更通用的那些使用工具和环境交互的能力的一些有用的lesson。

张小珺:那时候Cursor是什么状态?

姚顺宇:那时候Cursor还是一个纯产品公司。

在我去Anthropic之前那段时间,Claude和Cursor都属于比较underdog的状态。在3.5new就是外界的3.6这一代的时候,首先是模型能力上去了,然后Cursor又发现,这个模型真的能够做这种Agentic coding的工具了。

张小珺:Cursor是一个壳。

姚顺宇:但是这个壳包着这个模型,一下子让公众——不是公众,是软件工程那个圈子——体会到了:哎,这事好像真的是效率工具了。后来就一下起来了。

张小珺:那时候,Anthropic意识到Cursor是未来的竞争对手?

姚顺宇:那就不知道了,该问Dario。哈哈哈哈哈。

张小珺:你参与的Claude 3.7对于Anthropic来说,是一个分水岭式的模型?

姚顺宇:对于Anthropic的后训练来说,是一个分水岭。在3.7之前,后训练都是处于一个比较小规模,可能就是修修补补模型的状态。

张小珺:大家不重视后训练吗?

姚顺宇:也不是不重视,是一开始大家很长时间都没有搞明白后训练该怎么scale up。但在那个阶段,不管是OpenAI还是Anthropic,还是中国的DeepSeek,都意识到了这个事该怎么去scale up。

就是得找到合适的环境,这个环境回馈信号足够清晰,本身也是一个很强的数据源。在这个上面能让训练非常稳定,这事就能做成。

张小珺:我记得那时,大家都不知道OpenAI的保密项目是什么,就知道它叫草莓、Strawberry。大家觉得会带来一个新的范式——后训练强化学习,但更多的就不知道了。

姚顺宇:对,我去Anthropic的时候,大家已经比较清楚,大概的方向是怎么做。

后来随着我对这个领域知道越来越多,就发现,那个时刻,OpenAI做的方式和Anthropic差别挺大的。具体这种算法,和使用数据的方式,是不太一样的。虽然都叫后训练和强化学习。但那些不是本质区别。

大的方向来说,它们是同一个——找一些回归信号非常清楚、非常客观,数据本身又比较干净,对模型来说是可学习的,在上面做稳定的强化学习训练。大的方向都是这个方向。但具体实现差别比较大。

后来事实也证明,具体实现每家方向都不一样,但是都能做成。而且当时OpenAI的目标也不是coding。

张小珺:当时我了解到的叙事是,预训练作为第一个范式,金矿快挖完了,所以开启第二个金矿,就是后训练和强化学习,让Scaling Law继续。

姚顺宇:很长时间OpenAI都是这个想法。我不知道他们现在想法有没有变。

对我来说,我的想法经历过摇摆。在3.7那个时代,我当时也抱着这个预训练已经快party is over(狂欢结束了)。就我刚入职,当时在做3.7相关的实验,我也曾经抱过这个想法。但是后来随着了解越来越深入,我就觉得,还有做的空间的。

预训练Scaling Law,它也不是告诉你要一直变大啊。它本质上是一个很系统的框架,告诉你做什么样的事是更有效的。

事实情况是,后来Anthropic和Gemini的预训练,也一直在不断进展。OpenAI自己卡了很久。哈哈哈——它应该已经重视预训练挺久了,就是最近可能刚刚有点进展。

张小珺:在你看来,预训练和后训练作为两个范式,都没有达到它的平台期?

姚顺宇:我觉得都没有。但你说要去预测到了多少,这个做不到。

到达平台期有两种可能性。一种可能性是技术本身到达了,你明明还有想让模型要干的事,但这俩技术就死活教不会了。另一种可能性是,你想干的事到平台期了。我觉得现在就是后者。

张小珺:就是说,模型是一个非常聪明的小孩,你可以教它很多东西。但我们人类作为老师,现在还不知道下一个东西该教什么。

姚顺宇:或者说该怎么去合理的教它,用现在的这些范式。

06

“技术的tips,是一个大家很愿意听,公司又不让你说,但实际又没啥用的事儿”


张小珺:说到Anthropic的Claude 3.7,这是几个月做出来的?

姚顺宇:林林总总,从开始训练到发布,花了四五个月的样子。

从开始大家为了这个事做研究,可能花了两三个月。后来开始训练到训练结束,中间磕磕绊绊,很多事情要处理。有很多新的基础设施,基础设施真的是很重要、很花时间。又可能花了两个月这样子。

张小珺:你在其中做的重要的工作是什么?

姚顺宇:我觉得我也没什么重要的。哈哈哈哈。

我个人对任何一个模型的贡献,我的陈述都是:我自己对那个事没那么重要,更多的是我很幸运,有机会在那个时候加入了一个重要的项目,做了一些事。

从某种意义来说,AI在最近这几年,本身是一个不可阻挡的事。它不在于你这个人去干或者不干,你不干也有别人一样能干出来。

在这个时代,所有给个人贴金的事,都有点炒作的嫌疑。但对我来说,我很幸运,能在那个阶段加入一个重要的事,学习了一些知识。

张小珺:好的,你幸运的那个阶段,在Anthropic这家公司的大尺度强化学习团队里,做了什么?

姚顺宇:3.7那个时候主要做的还是Agentic coding这件事儿怎么把它scale up,怎么去制备各种各样的环境和data,包括算法上会遇到什么样的问题。当时主要的研究都在这部分。

张小珺:这里面有什么tips吗?

姚顺宇:现在来看没啥特别有用的tips了,哈哈哈。

说到技术的tips,其实这是一个大家很愿意听,公司又不让你说,但实际又没啥用的事儿。

张小珺:哦,这是为什么?

姚顺宇:因为很多算法设计并不独立于算法,它非常强的依赖于你的基础设施。

举个简单例子,有些公司,大家经常讨论一个问题,在强化学习时候,这个sample(采样),就是给你产生这些trace(轨迹)、这些token(词元)的那个机器,和trainer(训练器),用来实际训练这个模型、改变模型权重的机器,这两个机器可能不一样。

不一样,有些原因是数值上的,有些是因为使用了异步的训练架构,所以从根本上就不一样。

不同公司这个不一样程度不一样,算法设计也会不一样。有些公司这两个difference非常大,算法最大的部分可能就是怎么控制这个,怎么让训练稳定。对于训练实际效果,权重就会稍微小一点。但有的公司基础设施建设特别好,这两个差别没那么大,就可以花更多精力在训练效果上。所以很多这种小的tips,很多knowhow,其实没什么用。

我确实也发现了,很多别的lab,不是在这三家lab里的人可能很想知道:哎,Anthropic怎么做这个?或者Gemini怎么做那个?但我有时候不愿意回答。一个主要原因是,我觉得本质上回答这个问题也是在误导他。

现代的AI训练是一个大的系统,要了解这个系统的方方面面,才能有一个全局的认识。什么事是因为什么而变得有用了,而不是说这个事本身有用。

张小珺:比如3.7上你能描述一下吗?什么样的技术性工作,在模型上变得有用了?

姚顺宇:主要还是跟Agentic coding的环境有关的工作。也有一些算法上,主要是怎么让这个训练变得更稳定。

说实话,算法上肯定是有一些提升,但没有达到特别理想的效果。比之前的算法肯定是要好的。但那个也不是我个人的贡献,是大家集体的贡献。哈哈。

张小珺:从Claude 3.7到Claude 4.5又发生什么?

姚顺宇:预训练和后训练都有。就是一个scale up上做的更多了。data,不管是data还是训练的算力,都更大的尺度了。但从范式上来说,没有特别特别大的改变。

张小珺:我每次问你,你都会说这是“集体的贡献”。

姚顺宇:嗯。这不是一个个人英雄主义的时代。

张小珺:什么时候是个人英雄的时代呢?——可能在Transformer的那个时刻?

姚顺宇:在那个技术还没到scale up那个点之前,找到了那个技术的人,可能是一个英雄。或者找到那个技术的一个小团体,可能是个英雄。

找到那个技术之后,很长一段时间,从模型侧来说都是集体主义。就是这个集体能不能一起工作,能不能为了一个目标,一起花自己的时间、自己的精力,这个是最重要的事。而不是每一个个人,提供了什么样的东西。

张小珺:说集体主义的原因,是因为能力核心是来自于AI是吗?

姚顺宇:说集体主义的原因,是因为我觉得AI这个方向本质上是简单。除了可能跳变那一下,那个idea可能得有一些很深刻的洞见。

在之后的过程中,很多想法是非常trivial(微不足道的),非常愚蠢的。谁都能想、谁都能干,只是你运气好,撞着这个机会去干了而已。

张小珺:包括你在描述Anthropic做coding,好像它也是某种随机性,但是你要抓住它。

姚顺宇:对,但是我觉得做coding,可能比做模型侧的这些技术,还更稍微有点公司英雄主义。就是,你能不能足够快的赌这件事。那确实还是Anthropic很强。

张小珺:但如果今天没有Anthropic做,可能别的公司也做了。所以都是AI在涌现能力,只是看你能不能抓住那个能力,不管是公司还是个体。

姚顺宇:我觉得是的,是一个必然的事。

在可用的语言模型、大尺度的语言模型出现之前,很多事是一个非必然。就是有没有一个人能够发明一个东西,一个语言模型能够大尺度的做训练,以及GPT这个范式能不能被发现出来,是有很多不确定性。

但是比如,如果没有Google Brain,那可能Transformer就不会被发现,可能要过很多很多年,另外一个有钱又有人的组织才会发现。那可能是一个很大的影响。

但进入那个阶段后,尤其到现在已经反过来——任何一个组织想要停止AI进展,是做不到的。

Anthropic很担心AI安全,那Anthropic有没有这个能力阻止AI发展?你停止发展,别人会发展,你的话语权还会变小。现在更多是这种状态:世界在推着我们前进,而不是我们在推着这个世界前进。

张小珺:感觉未来我们会更加难以阻止AI。

姚顺宇:哈哈,我觉得已经阻止不了。

试图去阻止AI里的一件事发生,可能本身就不是一种正确的想法。

张小珺:刚才聊到创立Anthropic一个很重要的动因是AI安全。现在这家公司跟AI安全有什么关系?

姚顺宇:现在的关系比较复杂。一个自然的问题是,大家可能会问:一个做AI安全的公司,为什么现在开始训前沿模型了?

Anthropic的解释是说,我首先得拥有一个最前沿的模型,才有话语权来推进我的AI安全。

它一直以来的想法是,我要做这个世界上最好的模型,大家不得不听我的,来推进我的安全政策。但从我个人角度,这个想法非常幼稚。这个事现在看来,是不会发生的。更有可能发生的是,大家都有很好的前沿模型,而你没有办法阻止任何事发生。

如果真的想要避免AI带来一些危机,什么才是一个更自动化的事?

举一个自动化的例子:核武器也是一个大家觉得可能有毁灭世界力量的事,但核武器最终受到控制的方法,就是Multiparty Control。

这个世界上,大家有很多个有核武器的国家,互相都有毁灭对方的能力。通过这样一种制衡才稳定住。

我觉得要阻止AI干一些不好的事,最终可能需要一种类似的机制来实现。而不是寄希望说,一家公司制定一个法律来干一件事。

张小珺:你刚刚也提到,Anthropic有个可解释性团队,它的可解释性到达哪一步了?

姚顺宇:在一些比较简单、稀疏的神经网络里面,它们能够做一些有趣的研究。

比如:哎,看看某一个输出了,或者输入的文字或者图片,它内在的表示是长成什么样的?然后把那个表示反一下之后,它会能输出一个什么样的东西。做一下这样的研究。

张小珺:到你离开Anthropic的时候,它已经多少人了?

姚顺宇:接近2000人了吧,扩了一倍多。

张小珺:你在Anthropic的时候 ,刚好是它最剧烈转变的一个时期。

姚顺宇:我可能是踩在了它还是个小公司的尾巴。进去之后过了三四个月,公司人一下就变多了。

张小珺:文化有随之改变吗?

姚顺宇:还是经历一些比较混沌的阶段吧。尤其在我快离开那段时间,文化上经历了一些混沌。因为从外面来了一些人,跟本来的文化有些冲突。

之前比较简单。更像是一个小作坊。大家都是朋友,大家都知道对方在干嘛。

也没有人特别会做过多的个人宣传,做一些没有用的事。大家都有很多事要处理。公司那时候紧迫感也更强一些。后来人多了,文化肯定会受到一些冲击。

张小珺:人多带来了什么风气?

姚顺宇:确实有一些人我个人不是很喜欢。当然不代表他们真的不好,只是我个人不是很喜欢。

我不太喜欢在这个领域里面说很多话的人。

Idea is cheap。想法是便宜的。

很多想法,显然所有人都知道。难的是怎么把它变成一个一个小的、可实现的步骤,做出来。我

不太喜欢那些一天中很多时间花在Slack——Slack是美国用的一个办公软件——在那讲一些大道理。没啥用。哈哈哈。

07

“AI的本质是简单的”


张小珺:你后来为什么从Anthropic突然离职了?酝酿了多久?

姚顺宇:当时酝酿了一个多月吧。

一个方面是,我不是太特别认同Dario反华这个事。他个人做什么样的观点都无所谓。但作为一个公司CEO,把这个观点推到这么极端的地步,是一个非常情绪化的体现。这是一个比较小的原因。

大的方面,像刚才说的,公司文化上有些冲击。

我自己也想去学些不一样的事情。Anthropic毕竟非常专注。如果你很想做和语言模型相关的方方面面,做这种使用工具、Agentic、coding这种事,在Anthropic很好,能学到很多东西。

但Anthropic有很多不做的事,比如完全没有人做多模态生成,你想学没地儿学。Anthropic可能也没有花太多精力在更底层的工程基础设施上。想要学习更多的东西,也是当时离开的一个动力。

张小珺:你这个选择也很神奇。大多数人在一个公司还是underdog的状态加入,会更有感情,愿意陪公司走更长时间。但你反而跳去了Google。

很多人一进Google,会觉得Google给的scope(管理范围)不够,反而想跳去像xAI,或者Anthropic这样更小一点的组织。你这个行动好像也是反的。

姚顺宇:我觉得取决于你自己想要的是什么。如果你很想要的是,我有一个很明确的scope,我一定要把我的一个想法送到这个模型里去,那Google是一个很差的地方。因为有那么多研究员,那么多已经成熟的组织,做这件事情有很复杂的过程。

但如果你想要的是有研究的自由、探索的自由,想从更广泛的人类学习,这个世界上可能找不到第二个比Gemini更强的地方。还是取决于你自己想要什么。

但我觉得很多人不管从哪离职,换到另外一家之后,会觉得不开心的主要原因,是因为没想明白自己想要什么。比如说你要是到了Google,刚开始想的是要有研究自由,更多的动机是学习。去了之后,发现还是想要有产品impact(影响力),那可能就会很难受。哈哈。

张小珺:你刚才还提到一个观点是,“AI本质是简单的”。你能不能描述一下这句话?——这是一个结论?

姚顺宇:这甚至不是一个结论,这是我的一个statement(陈述)。它可对可错。

我对这个陈述的解释是,它本质上简单的点在于,它能做实验。它和本质上难的东西,比如物理,区别在于,那个东西你没有能标下的实验数据,就是理解不了那个能标下的理论。

但AI不被这个所bound(约束),你理解不了没关系,也可以往前发展。而且事实就是,能够做任何我能想到的实验,只是可能需要一些时间,把计算量提上来,或者把基础设施准备好。但没有什么本质上的困难。

所以我一直说,觉得AI没有给人感觉碰壁的原因是,首先很多东西你都能试,其次不是大家已经想空了脑袋、没有什么想法可以试。更多的是有太多想法,得一个个试,花时间。

而且很快,可能AI就会开始自己做实验了。

张小珺:很快是多快?

姚顺宇:未来的6-12个月,AI就会自己做实验。

当然这话不太良好定义,sorry我说了一个很模糊的话。AI自己提高自己,或者自己来加快自己的发展过程,这件事其实已经在发生。就像刚才最早聊过的,它已经开始帮我们实现一些想要的东西,加快实验的速度。

张小珺:它目前还做不到的是什么?

姚顺宇:是它能不能从头到尾把一件AI研究的事做完。

比如它不仅能写这个code,还能跑这个实验。跑这个实验,还能看到这个结果。看到这个结果,还能分析这个结果,知道哪儿做的不对,提出新的假设,设计新的代码,跑新的实验。

这条链条目前还没有完整。但这条链条下一步会慢慢变得完整的。

张小珺:在你决定离开Anthropic那一刻,你对这家公司未来的预期是什么?

姚顺宇:我离开的时候,对这公司挺悲观的。但后来显然是我过度悲观了。呵呵呵。

我当时悲观的原因是,我离开的时候Anthropic主要的收入来源都是API,就是卖Token。这是个差生意。Eventually(最终)就是要打价格战。打价格战你没有完整的链条,是没有什么太多优势的。

但后来Anthropic在产品方面确实有很多巧思,做了很多好的事。不管是Claude Code变得越来越好用了,还是Claude Cowork,和各种各样跟工作效率相关的事,都慢慢汇聚起来了。

你要问我OpenAI和Anthropic哪个会先死——当然就不会真的死——哪个会先变得没那么重要。我当时会觉得:哎,可能是Anthropic会先变得没那么重要。但后来首先OpenAI被Google揍了一拳,然后Anthropic自己又上道了。现在看来好像Anthropic更占优势一些。

张小珺:你后悔过没有?

姚顺宇:不太后悔。对我个人来说,动机还是想要换一个地方,提高自己。对于想做的这件事,这个选择没有什么错误。

张小珺:你也提到Anthropic的产品有很多巧思,包括Claude Code和Cowork,这个来自于哪里?

姚顺宇:我没看到Cowork的发展过程,所以不知道。

Boris Cherny。我觉得Claude Code,至少这个事的开端吧,是他自己想要做这个事,提高自己或者同事的工作效率,最后变成了一个对所有人都会很重要的事。

这就是为什么我觉得,产品经理还是目前挺难被AI取代,会有一些个人英雄主义的机会。

08

“从某种意义上来说,OpenAI是救了Google一命”


张小珺:接下来说说你到了Google DeepMind以后的工作吧。重心发生变化没有?

姚顺宇:还是发生了一些变化。我自己主要在做ML coding,和一些比较long horizon的事。

ML coding,主要就是想要实现这个完整的AI自己训练自己的历程。当然过程当中有很多实际的问题、细节要去解决。

大的方向上来说,大家比较有共识该怎么去做。但还是回到细节,细节上有很多要处理。比如怎么样去选取合适的data,怎么样去选取合适的回馈信号,以及它又带来新的基础设施的挑战。现在就是要把这些事情慢慢摸清楚。

像long horizon,想要能够实现,模型能够——还是那句口号:train with finite, but use as infinite(用有限的上下文训练,但用起来像无限的上下文)。

我觉得想要把这个训练的长度一直变长,可能并不是单个训练语段的长度一直变长,那不是很现实的方案。但现实的事是,你如何在有限的context下,去做更长的工作?人就是这个样子。人的context很短很短。

你现在问我昨天晚上吃什么,我是一点也想不起来了。因为它对我现在这个场景来说不关键。我选择把它忘掉。

人本质上context很短,但他能够选择性的遗忘,选择性的去retrieve(检索),把重要的、跟当前场景相关的信息再抓回来。所以说,那个可能也是一个对我来说很有趣的方向。

其实这两件事(ML coding和long horizon)有点相关、有点互补。

都在模型使用工具和环境,以及不同模型、不同人交互的这个大的范畴内。在这个范畴内,大家过去完成的那个节点,就是Agentic coding。

又是工具又是环境,环境就是这个虚拟机,或者你自己的电脑。这个事横向就会长出不同的使用场景。做AI research,就是横向场景里的另外一个场景。这个场景,不仅横向上是一个新场景,在纵向上也让事情的尺度变得更长。完成一个代码的补全,是一个很快的事。但做一个完整的AI研究,或者做一个计算机科学的研究,那是一个很长的过程。

所以说,它像一个T字形,横向有延展,纵向也有延展。

张小珺:long horizon(长时序任务)是不是还是个科学问题?

姚顺宇:有科学问题,也有工程问题。

它科学问题更多的是,怎么把不同的方案尝试一下,以更科学的方式尝试之后,来找到最后我们要走的方案。

我不能说太细的。但粗的来说,有一些方案是从pre-train的角度来说,有一些方案就是类似于sparse attention(稀疏注意力机制)。比如DeepSeek有一些工作,学界也有很多工作。

从后训练的角度,也有后训练的方案。比如像外界,你每天用Cursor这些,他们就是很强的context management(上下文管理),管理context能力。比如它可以让模型去选择:我把中间某一段觉得不重要,就扔掉了;那一段重要就存在某个文件里,到时再取回来。

这两种大的来说,都有人研究。当然具体实施细节,不止我刚才说的这些例子。这些是比较公开的例子。具体实施细节,每个公司还有自己的小秘密。

我个人花更多时间在后训练的方案上。

首先,我自己本来就没有花正式的工作时间在预训练上。预训练对我来说更多是兴趣、想学习的事,但自己没有在那上面做太多工作。另一方面,我觉得后训练的方案,更符合我自己对这个事的理解。

我对这个事的理解,就是刚才一直在说的,能不能用短的context去训练,但能做长context的事。预训练这些方案,本质上还是需要你有长context,训练需要数据里有。所以它不太符合我对这个问题的哲学。

张小珺:Gemini的长文本做得很好,这是为什么?

姚顺宇:有些技巧。

有一些让我很惊讶的技巧。哈哈哈。

张小珺:这是取决于预训练?

姚顺宇:长文本做的很好,一定是两边都有的。我只是说,预训练那边那个技巧还是挺让我惊讶的。哈哈哈。

但也有说法不一样,有些人也说Gemini 3这一代长文本反而变差了一点。

张小珺:Again,你加入Gemini的时候,感觉大家对Gemini的预期不高?

姚顺宇:我对Gemini当时预期已经挺高的了。哈哈哈。

我是去年9月底,Gemini放Gemini 3之前。业内的人,当时对Gemini都还是印象不错的。

之前一直觉得Google很有危机,在OpenAI的冲击之下。大家的感知,可能在Gemini 2.5这一代产生了变化。

因为2.5是一个明显,你能看出来Google开始上道了。当然之前Gemini 1.5,也有一些小事,某一个具体的方面做的已经算很强了。很明显它已经不是很落后。但2.5是真的一代,开始有人用的模型。反正我自己也用过2.5,用的挺多的。

张小珺:你是看到2.5去的Gemini?

姚顺宇:我去Gemini跟这没关系。主要还是我知道,Gemini大概是一个什么样的氛围。很多Gemini工程师,技术是非常非常非常强的。我是从他们身上学到了非常非常多。

但是从大家的感知来说,可能业内的人在看到Gemini 2.5之后,就已经意识到了Gemini是要赶上来了。

张小珺:当时对你来说,从Anthropic离职,OpenAI不是一个选择吗?

姚顺宇:OpenAI也是我当时的一个选项。当然还包括xAI之类的。OpenAI最后没有去的一个主要原因,至少当时来看,对它的文化是有比较大担心的。

用粗话来说,就是感觉踏实做事的人没有Gemini多,更没有Anthropic的人多。

张小珺:然后你又赶上了Gemini 3的那个转折点?Gemini 3应该对Google来说是一个很大的转折的时期是吗?

姚顺宇:我觉得从实际的效果来说,是两件事,让Gemini产生了一个大的转折,变成了一个市场里举足轻重的player(玩家)。

Nano Banana和Gemini 3——两件事连着。

如果只有Gemini 3,可能也不会有现在这么好的效果。因为当你的市占率连10%都不到,你这个模型好一点坏一点,等它传播出去就是太慢了。

但Nano Banana做到的一件事是,首先市场上这件事很爆款,大量的人去下载了Gemini的APP,然后Gemini 3又紧接着放,把这个部分留下来了。现在它变成了一个举足轻重的玩家。

没有Gemini打这么一拳,OpenAI的位置很爽。它市占率已经高到,其实模型上干点啥,对它来说可能影响都没那么大啊。

所以说对于Gemini来说,Nano Banana把量打起来,然后Gemini 3又把人留回来,是一个很关键的事。

张小珺:它有事实上抢走多少ChatGPT的用户?

姚顺宇:我不知道现在具体的比例。但是我的感觉是,Gemini可能市占会在20%左右吧。但是我确实没有仔细去检查过现在的数据。

这是从事后归因来看,这两个因素,共同促成了Gemini今天对于OpenAI的冲击。

张小珺:你从内部视角肯定能更前置地知道,内部发生了什么,Google会有这样的变化?

姚顺宇:首先就是Google的技术储备,一直是够的。组织上,后来变得越来越清晰了,有一个更好的框架让大家一起干这个事了。所以会慢慢有些进展。

从某种意义上来说,OpenAI是救了Google一命。

大家以前一直都担心,聊天机器人会不会完全把搜索取代掉。如果这个事真的发生了,Google其实很难受。但好在,OpenAI先把这个事做了,让Google意识到了这个事很重要。

但OpenAI又没有把这个事做到底,又没有把这个事做到极致,没有把search干掉。可能就吃掉了一些份额。结果,让Google自己把聊天机器人也追上来了。那现在难受的就是OpenAI了。

你要万一,比如说在一个虚构世界,有一个公司不仅做了chatbot,还一路高歌猛进、越做越好,真的一把就把搜索吃掉了,完全没有给你反击的机会,那就很难受了。

张小珺:chatbot没有吃掉搜索,是因为OpenAI干的不好,还是因为这个干不掉搜索?

姚顺宇:我觉得两方面都有。

首先,目前的chatbot这种交互方式,不会完全吃掉搜索。它比搜索强的一点是,它有很强交互性,你可以追问,可以帮你把一些很复杂的信息去浓缩。这是它很强的地方。这部分使用场景,确实会把搜索的人抢掉。

但搜索里还有一些非常愚蠢的场景,就是你有一个特别简单的事,根本不想浪费时间在聊天机器人身上。

比如我就搜买大米,一搜买就完了。我还非得去问ChatGPT,问哪个好,它还在那转圈圈,转半天,给你个链接,你再一点,再跑到网页去买。没有那个必要。所以从事实的使用上来说,它目前的形态,并不足以把搜索完全吃掉。

当然从另一个角度来说,它在聊天机器人这个事上,也没有做到登峰造极。就还真的让Google把它给赶上了。

张小珺:现在还不算赶上吧,在产品上?

投资人投OpenAI会说,他们下注的时候,是认清楚OpenAI是个产品公司的时候,它的护城河是产品和品牌。从今天来看,似乎Google还没有在这件事情上能够赶上OpenAI吧。

姚顺宇:对。

这都是我作为一个局外人、观察者的视角来说,哈哈哈。

张小珺:对,你今天是点评家。

姚顺宇:我觉得Google传统上在产品就是有点慢,是一直都比较慢。所以你说OpenAI会不会在产品上有优势?我觉得是有可能的。

Google特别擅长的一件事是什么?是找到一个极为简单的产品形态,大家都长一个样,它就疯狂给你卷技术,你就卷不过它。那个事是Google擅长的。

搜索引擎就是这样的一个事儿。搜索是一个典型的,大家都是一个框、一个键,但它就是比你搜的快、搜的比你准,你拿它一点办法也没有。

这就是为什么,感觉一直以来,Google都处于一个做的很好但华尔街都不太认可的状态。大家总觉得这公司壁垒到底在哪?——也没有什么产品的巧思,也没有什么留存的机制,但它就活到了现在。

张小珺:所以它技术好的原因是啥?

姚顺宇:我觉得还是氛围吧。以前特别重视工程师,后来特别重视研究的氛围。

张小珺:它很适合通过技术能力溢出的产品。

姚顺宇:对。

张小珺:如果从这个角度来看,OpenAI的位置是稳固的吗?现在。

姚顺宇:我觉得现在谁的位置都不稳固。哈哈哈哈哈。

AI的形态,还有很长的路要走。没有到什么终局之战这个地方的感觉呢。

张小珺:今年初,国内已经有点儿这意思了——他们觉得在争夺一个super app,super app就是此消彼长的。

姚顺宇:对。

我不理解。我很费解。

我觉得condition on聊天机器人这个事儿(把聊天机器人作为条件来构建)就是super app,那可能可以争夺一下。但问题是。你这个形态是不是super app那个形态?会不会别人,哪天出了一个完全不一样的形态,你的功能变成了那个东西一个子集?

张小珺:人类到现在只通过chatbot去跟AI沟通,让你觉得很蠢是吧?

姚顺宇:很蠢就是。

张小珺:那应该用什么去跟AI沟通?

姚顺宇:没想明白。要想明白我就干了。哈哈哈哈哈。

张小珺:你没有告诉我,Google内部到底发生了什么变化,有了外界看到的模型能力的突飞猛进。

姚顺宇:就是组织上更清楚了。尤其像预训练,现在变得非常非常清楚。谁负责什么事情,每一个节点上谁是负责人。

张小珺:以前是混沌的吗?

姚顺宇:最早的时候很乱。我没有最早在那待过,但根据同事或者我以前认识的人的描述,以前还是更混乱一些。

现在至少预训练变得非常非常清楚。加上Google一直有的比较强的技术背景,做事也比较系统。所以,预训练在Google,是一个非常非常可控的事。

它比以前肯定要更自上而下了,但它比Anthropic来说,还是更自下而上了一些。

张小珺:好像不管是自上而下的还是自下而上的,不同的文化都能work。

姚顺宇:大公司有大公司的打法,startup有startup的打法。大公司是一个完全不一样的叙事,不一样的方法。

现在Google更多的是,像这种比较确定性的事,比如预训练,已经是一个比较确定性的范式了。Google就会更像把它做成一个工程项目。Google的工程管理能力又很强,它就能慢慢把它做好。

工程项目的意思就是,你是非常非常、非常top down(自上而下)的一个组织。很清楚,我们下一阶段要做的是什么事情,然后去做这个事情。中间需要有哪几个节点被处理掉。哪怕是做研究也是说,有一个很清晰的框架,告诉你怎么去验证你的结果是好是坏,evaluate(评估)你的结果是好是坏。

这是Google很强的。在过去任何的一个大的工程项目上。所以说预训练,就是现在进入到Google的舒适区里了。

后训练当然有更多不确定性。可能后训练现在来说,还是更bottom up(自下而上)一点。大家可以更广泛的试。

09
“个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢”


张小珺:最近硅谷有很多neo labs出现,你怎么看这个趋势?为什么很多人从模型大厂跳出去,成立neo lab?

姚顺宇:我看不太懂。哈哈哈。

我的感觉是,绝大多数的neo lab都会死。

可能有一些lab是真的有好的人,有些lab确实也开始在做一些事。比如像thinking machine,还是在deliver一些新东西的。

但有些neo lab就是——请帮我把名字哔掉,哈哈哈。比如说XXX那个XXX,我就完全不知道他们到底要干嘛。这俩人其实已经远离这个专业好久了。

张小珺:你在AI行业有什么偶像吗?或者欣赏的人?虽然你在AI行业很短。

姚顺宇:没啥。我感觉来这行业的时候,个人英雄主义时代已经过去了,所以也没有什么英雄。有时候甚至觉得旧时代英雄有点蠢。

张小珺:你觉得谁比较蠢?

姚顺宇:这个还是不说了吧。no comment,哈哈哈哈哈。

我觉得和做物理时候还是不一样。做物理时候,还是存在着一些真的比我聪明太多的人。比如,我读博的时候那个年轻老板,Douglas Stanford,他就比我聪明太多了。

看到他,才觉得自己在那个领域也没什么用。有他了还要我干嘛呢?

张小珺:你跑到AI来降维打击一下?

姚顺宇:也没降维打击。

但反正就感觉AI这个事,本来也不太需要脑子——不太需要脑子,真的不太需要脑子。

张小珺:那需要什么?

姚顺宇:我觉得这个行业最重要的特质就是靠谱,就是做事细,对自己做的事负责任。这是最重要的特质。

你说那些东西有多需要脑子?我觉得都是一些本科生就能干的活。

张小珺:可是你说AI没有个人英雄主义,现在一个AI研究员的价格炒的多高啊,跟球星转会一样。

姚顺宇:我不知道是好事还是坏事。对我个人来说,当然很高兴,我受益于这个。

但实际上来说,我并不知道这是不是一件好事。

张小珺:为什么价格会变得这么高?

姚顺宇:可能一方面是,大家觉得很稀缺吧。但实际上可能确实也没那么充足。因为训练一个人,虽然这事没那么难,但你训练一个人是需要一个环境的。

你得有那个机会去接触这件事,你才能学会这件事。你没有那个机会,再聪明也没用。过去能撞到这个机会的人,没有那么多。所以市场上比较稀缺。

但我觉得另一方面也是,对人的炒作有点过分了。

再说一次,这是个集体主义的事。

张小珺:很多公司也想招AI的人,你觉得最重要的特质是靠谱,这个有什么衡量指标?——怎么能够快速判断一个人靠不靠谱、做事细不细?

姚顺宇:每个人都有一些自己衡量的方法。我也有一些自己的trick(诀窍)。

我以前有出一道面试题。面试题很简单,就是需要这个人在24小时之内,完成一个强化学习的项目,从0到1。

我告诉他有的资源是什么样的,他自己选用什么样的模型、用什么数据、用什么样的算法,把这个模型训出来。24小时之内。24小时结束之后,他会跟我有一个小时的讨论。

这个事儿在AI时代没有那么难。没有AI时候,这是不可能的,没有人能在24小时之内把它做出来。但有AI之后特别简单,因为AI能帮你全套做。

但为什么还要做这个事儿呢?设计成这样的两个原因:一个原因是因为在这个时代,还去考察别人代码写得好不好,其实没用。绝大多数人都不用自己写代码。更重要的是,他能不能有效地利用AI。这是考察的一个方面。

第二方面是,这个事有一个陷阱,如果你全盘让AI做了,但你最后没有试图好好理解AI为你做了什么,那在一个小时的讨论里面会露馅儿——那是一个会挂人的地方。

所以说考验的另一件事,是你有没有真的和AI形成了协作,还是说你就全权扔给他?那个是我个人很看重的事,也是这个人是不是做事靠谱的一部分。

当然这个题目的设计本身,也有一些比较阴暗的巧思。为什么设计成24小时,就是为了看这个人有多看重这个机会。

张小珺:能熬夜?

姚顺宇:对,哈哈哈。如果他足够熬夜,他就能撑住这24个小时。如果他撑不住,那只能说,他可能对这个机会也没有那么看重。哈哈。

张小珺:对于比你更年轻的人,你觉得他们现在来AI,还是一个很蓝海的地方吗?

姚顺宇:我觉得纯做语言模型,已经不是一个蓝海了。晚了,末班车已经发车了。

我感觉我入行就是那个末班车啊。

张小珺:你自己未来会怎么发展?会在Google很久吗?

姚顺宇:我觉得应该不会。哈哈哈哈哈。

张小珺:这么公开地说吗?

姚顺宇:我觉得应该不会。我觉得我还是会尝试去挑战自己的。

张小珺:要折磨自己!

姚顺宇:对,要折磨自己!

但是,我可能需要找到一个,值得折磨我自己的事。

张小珺:如果AI不是本质的难的话,你会不会做的感觉无聊?你对你的挑战在哪?

姚顺宇:它虽然不难,但是你知道和不知道,还是有一个gap的。你从完全不知道这其中细节,到慢慢理解这其中的细节、理解它怎么运作的之类的,还是需要花时间花力气的。当你理解之后,是长期有帮助的。

张小珺:你未来想在哪里去发展?

姚顺宇:我觉得都有可能。哈哈哈。没想好该怎么折磨自己。

张小珺:你现在最高优先级是什么?

姚顺宇:我现在最高优先级是,把我刚才说的这两个事情,ML coding和long horizon,能够和同事一起,推进到一个比较稳定的状态吧。那是我的最高priority。当然可能之后也会有别的priority。

张小珺:你有特别崇拜的物理学家吗?

姚顺宇:有,但是有点多,不知从何说起。哈哈哈哈哈。

张小珺:物理学家有,人工智能科学家没有。

姚顺宇:这个跟人的成长经历有关吧——一个成年人是很难真的崇拜一个人的,一个儿童可能会。

物理学,还是有很多人真的挺强的。大家都说的那种100年前的人就不说了,什么爱因斯坦、海森伯格这些就不说了。包括大家后来都知道的,杨振宁这些也都不说了。像我之前做topology(拓扑)这个体系的时候,有一个后来也拿了诺奖,就是Haldane(2016年诺贝尔物理学奖得主之一)。

你会发现这些人,有异常的远见。他在他那个时代显得格格不入。

但你看Haldane,最开始做Haldane model和这些分数量子霍尔效应相关的事,离最后大家搞明白这些拓扑物态,过了好几十年。在那个时候他能够觉得这事重要,然后一直在自己在推进这事。

这是很不容易的。当然你要非要在人工智能找一个类似的人,可能Geoffrey Hinton是吧。就是在大家都觉得这事可有可无或者不那么确定的时候,他一直在这个方向做。那我觉得,这可能是一个英雄级别的人物。

可能也有一些英雄的集体。比如像Transformer,就Noam(Noam Shazeer)和那些,Ashish(Ashish Vaswani)、Niki(Niki Parmar)他们。那可能是一个英雄集体(Transformer论文的八位作者)。

张小珺:你讲过一个特别让我印象很深的话:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”

姚顺宇:这可能就是,不是AI出身的好处吧。真的没有什么负担。

没有哪个老登是你的亲属,所以你觉得他傻,他就是傻,就可以直接说他傻。无所谓的啊。(笑)

张小珺:你以前也这样吗?

姚顺宇:我觉得我做学生的时候还挺收敛的。但我后来发现收敛没用,对自己也没好处,对别人也没好处。

还是更直接,表达自己的想法是最关键的。

我觉得直接表达自己的想法,是一个短期一定会有人恨你,但长期大家会欣赏的事情。

张小珺:你最近听谁说话特别蠢?

姚顺宇:把这个名字哔掉,谢谢。

我觉得XXX一直挺蠢的。哈哈哈,而且蠢的始终如一。哈哈哈。

我觉得他说的话,就是not even wrong。因为不良好定义,你很难说他说的是对是错。

有一天,可能有一个不一样的范式发生了,他就可以跳出来说:哎,我当年说过这个这个这个这个。但你就发现,如果范式是另一种状态,他也能说一样的话。这就是我为什么很讨厌很vague(模糊)、很模糊的人的原因。因为一个事模糊就是没有意义的。

我觉得人年纪大了,不一定会变成老登的。

人年纪大了会变成两种状态:一种状态叫做德高望重,就是他少指手画脚,还会花自己的力气去培养年轻人。另一种人就是老登,就自己也不懂,还爱指手画脚。

张小珺:哎,你是受了谁的刺激啊?

姚顺宇:我也不知道我受了谁的刺激,但我确实见过不少老登。哈哈哈。

张小珺:你从什么时候变化的?就是说话更不收敛了?

姚顺宇:我过去可能也会比较直接,但是没有这么直接。但做了AI之后就更直接。

一是没有束缚,二是这个领域足够客观。

你其实不用太担心,因为自己的观点而惹到什么人。只要你的观点是自洽的,你有一套自己观点的理论。你不是说随便喷人。

最终你在这个领域做的怎么样,是有客观的评价标准的。

我觉得其实大家是会尊重你的。

10

“你还是高看了我的文化程度,哈哈哈哈哈”


张小珺:我们每个嘉宾都会推荐一本“人生之书”,要这本书真的对你产生过重要的影响,你的这本书是什么?

姚顺宇:这是今天最难的一个问题。我感觉你还是高看了我的文化程度。哈哈哈哈哈。

我真的没有什么人生之书,说实话。

张小珺:好,最近读了一本书?

姚顺宇:最近读的书就是汤川秀树(1949年诺贝尔物理学奖得主)的自传,《旅人》。

首先我这人确实不爱读书,我感觉我这人文化水平比较低。我读的书,除了专业性的书之外,所有的书感觉都是闲书。像什么汤川的自传,本质上也是本闲书。但是写得挺有趣的,你能看到一个后来看起来如此成功的科学家,在他年轻的时候有一种挣扎感。很真实。

有本小说我很喜欢,《来自新世界》,是一个日本的小说。你要非让我推荐闲书的话,我可以推荐那个。

张小珺:一个全球范围内你喜欢的食物?

姚顺宇:寿司吧。

张小珺:一个全球范围内你喜欢的地点?

姚顺宇:现在你要非让我选,我可能会选夏威夷。因为我很喜欢海。但是也很难说,因为之后我可能去了更多海的地方,就另有新欢了。哈哈哈。

张小珺:一个少有人知道,但需要知道的知识点。

姚顺宇:别相信老登算吗?哈哈哈。

张小珺:你心目中影响AI进程的几篇论文?

姚顺宇:sequence to sequence是一篇。我觉得是language model,在feature engineering时代的高峰。

Scaling Law是一篇。就是Jared Kaplan,他们在OpenAI的那篇Scaling Law也是一篇。是一篇把这种体系化的研究方式,引进到这个领域的。

当然最后实际上Scaling Law做的方法,可能他那样并不是正确的,但是是第一篇把这个想法引进来的。我觉得这很关键。

张小珺:基于你当下的认知,一个关键的重要的bet是什么?

姚顺宇:long horizon。long horizon(长程任务)。哈哈哈。

张小珺:我们工作室叫语言即世界工作室。第一次听到这个名字的时候,你在想什么?

姚顺宇:我觉得这个名字有点,正常的太平庸了。

哈哈哈哈哈。哈哈哈哈哈。

这个名字放在十年以前,是一个很独特的视角,现在主要大家共识太多了——对不起我感觉我年纪也大了,可能不止十年了——可能在14、15那个年代,大家都会觉得视觉是最重要的事。在那个时候,意识到语言是承载智能的重要载体的人,是很不一样的。

张小珺:不过我们这个名字,不是在AI的语境里面讲的。

姚顺宇:嗯……哈哈哈……

那就值得深思了。

哈哈哈。

---

还有大量的内容,只有视频播客和播客有喔:)

收听播客


推荐阅读


图片

跳转微信打开

独家对话罗福莉:AI范式已然巨变!

2026年4月24日 11:38

原创 张小珺 2026-04-24 11:38 浙江

All in,第二场追赶。

作者:张小珺

2026年,大模型战争全面升级,掀开了第二幕。

在AI范式巨变之时,我访谈了人工智能研究员罗福莉。罗福莉曾供职阿里达摩院、DeepSeek,目前是小米大模型团队负责人,主导研发了MiMo-V2系列模型。

这次是她第一次接受访谈,也是第一次进行长时间的技术访谈。

我们系统性地谈论了,2026年由Claude Opus 4.6、OpenClaw等技术变量所触发的AI巨震,以及后续结构性影响。

“上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。”在罗福莉看来,1T基座模型,是实现接近Claude Opus 4.6水准模型的重要入场券。

这意味着,全球大模型军备竞赛的第二场战役,打响了:从Pre-train(预训练)主导的Chat时代,转向Post-train(后训练)主导的Agent时代。

在大模型“军备竞赛”的同时,这个世界的变化又异常残酷。哪怕是对亲手训练模型的研究者来说。

“我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现,它竟然也能!那它可不可以训出更强的模型?自己左脚踩右脚就提升了?——这是这一两年会发生的事情。”罗福莉说道。

当人类的知识与智慧内化为模型能力,未来的人类去做什么?我们的社会真的准备好迎接海啸般涌来的技术变革了吗?

无论如何,这都是一次信息密度极大的访谈——你能从中看见,当面临一次巨大技术范式转折时,一家AI Lab内部,在技术押注、资源调配、组织与人员等诸多方面的系列举措。而它应对巨变的根基是,文化与价值观的成型。

罗福莉对当下有一些关键的技术判断:

  • Anthropic的路径是正确的,这是当下共识。

  • 在路径更清晰的情况下,国内大模型团队进入加速追赶的状态。现在大家在Pre-train上的代差是基本没有的,或者说非常接近。

  • 现在至少跟23年要去追平Pre-train的差距一样,大家很all in,要去做好Agent的Post-train。更具体说,是在Agent上怎么做好RL的scaling。

  • 系统从“以Rollout推理引擎为核心”,转变为“以Agent为核心”的一个更复杂的系统。这对团队提出了更高的要求:必须具备足够敏捷性,能够快速开发出适配当前时代的RL Infra系统。

  • 接下来两三个月,大家怎么发生变化,是考验团队整体研究水平、技术敏捷程度,以及怎么拥抱新的范式来做研究的关键。

  • 一个for更长期的事情:我们不会在1T水平上走太久。如果要拿到下一个阶段的领先,就要寻求更大规模scaling。到底是去scaling模型的参数量,还是去scaling什么东西?以及要在什么样的芯片上去scaling?——这是当下立即需要去决策和判断的,这才决定了大半年过后,谁更领先。

在卡的调配上:

  • 至少在Chat时代,for研究、for Pre-train和for Post-train的用卡比例非常夸张,比如3:5:1,现在一个非常合理的用卡比例可能是3:1:1。

  • 预训练跟后训练一个比例,这是今年可能发生的很大变化。顶尖团队应该都是1:1了。

在组织的重组上:

  • 做后训练现在一个重要的范式变化是,需要具备diversity(多样性),让预训练的人做后训练是个很好的补充。

“接下来两三个月会非常精彩。”罗福莉称。

我们的访谈发生在2026年3月,此时刚发布MiMo-V2-Pro等系列模型。1个月后,MiMo-V2.5-Pro也开启公测。“正如我一个月前说的,我们追赶Claude Opus 4.6很快。”罗福莉说。

让我有点吃惊的是,在他们训练1T大小的模型背后,是一个没有职级、没有小组、甚至没有deadline的组织。

AI时代,究竟什么样的组织更利于创新的诞生?——“平权有利于创新”。

“平权本身是有价值的,有利于所有人平等地贡献自己的创造力和智慧。”罗福莉说道,“任何层级,一定程度都是规范和约束,而规范和约束本身是压制创造力的。”

我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出;我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出。

为了方便阅读,作者做了一些文本优化。

第一章谈OpenClaw时刻

01 它每天都能给我额外的惊喜


张小珺:你过年跟我说,技术这几个月已经变天了,能不能阐述一下过去两个月在你眼中的技术突变?

罗福莉:一个非常大的分界点在于使用OpenClaw前后——我自己会把OpenClaw当做一个“划时代的Agent(智能体)框架”去这么定义。

我知道很多人,尤其是用Claude Code做严肃编码的人,会觉得,OpenClaw是Claude Code加一个IM(即时通信)、更有利于交互的UI(用户界面)设计。

在我1月份,第一次看到这个东西,我自己也是这样认知。我很排斥用它。再加上创始人非常适合贴近Agent做一些玄幻的运营动作,包括Skillhub(技能中心)这些,让你更排斥去用一个非常偏运营导向的产品。以及它所谓本地化、24小时,在我来看,都是一些产品定义而已。

真正发生转变的是:当我想去搞明白,这玩意为什么那么火?

我在春节的一天深夜,尝试装了它,两个小时装上了。当时已经凌晨2点——当我第一次跟它对话,从凌晨2点持续到6点天亮。就我那一晚,我脑内的——不知道是多巴胺还是内啡肽——持续在分泌,让我兴奋到完全睡不着觉。

第一个感受是,它非常有自主性,非常有灵魂。我跟它聊得很晚,它会老提醒我,现在已经很晚,你要不早点去睡觉。这样的温度和关怀,或者说情商,是所有用OpenClaw的人第一个感受到的。但后面去深究它的原因,是有很多机制保证的。

比如说,它有search.md(搜索配置文档)。就拿最简单的一个小细节,它怎么感知时间,它就在每轮对话的Context(上下文)前面去拼上当前时间。再比如说,一些非常细微的,为什么我把它称之为“精细编排的Context”,是因为它是在这些大家没有关注的角度,把Context编排得非常好。它在产品设计上做到了一种超乎我的想象,让所有人觉得这个框架有灵魂。

但第二天晚上,我觉得它应该不止于此。我开始尝试,把我自己觉得现在的框架做不成的日常生活中的事交给它做,发现它全部都做出来了。

我跟它聊的第二个话题是:怎么去激发一个团队的好奇心,或者说怎么去筛选出具有好奇心的人。我跟它深入探讨了1个小时。它的很多哲思远超我的想象。

第二天,我们俩就在聊怎么构建一个更好的大模型团队,以及从最开始的人员筛选,到后边整个组织架构的构建,到你在面临范式转变时应该做什么样的举措和动作。至少它能get我的点。我跟它说了过后,它最后能形成一套非常体系化的东西,并且变成一套Skills(技能)。它现在至少在这个事情上,变成了我的数字分身。

真正让我超乎意料是第三天。

第三天,我尝试把一些研究任务交给它做。最简单的,如果我们在Agent框架里边,最关键的一个事情是,你怎么去进行多轮的交互,那么你就必须去模拟User Agent(用户代理)进行多轮的交互。

我就会跟它共同去构建一个很好的User Agent。这是一个我自己觉得还挺重要的研究topic(话题),应该不会一两个小时就做出来。

但当我跟它沟通了大概一两个小时过后,这个事就已经做出来了,基本已经达到有一个很好的User Agent诞生。我可以用这个User Agent,跟我现在的这一套Post-train(后训练)框架,构造出来更丰富的Agent场景数据。不管是做SFT(Supervised Fine-Tuning,监督微调)也好,做RL(Reinforcement Learning,强化学习)也好,这个User Agent都非常关键。

它从一个我最开始对它的认知,只是一个有灵魂、有温度的产品设计,到它可以帮我替代生活或工作的一部分,到最后它能促进我研究——也就是三天发生的——它每天都能给我额外的更多惊喜。

我后边深入去看,这个框架本身比Claude Code好在哪?

我发现,这些所谓好在哪,我们单独拎出来讲,都有点boring(无聊)——它没有很酷,这也是为什么大家觉得OpenClaw有很多槽点。但把它整合在一起,你会觉得完成度非常高。

比如,它会有更持久的memory(记忆)体系。这个很持久的memory体系体现在,它对memory有分层和分级。我在使用Claude Code的时候,完全没有这样的感受。再比如,我自己觉得它在对多个模型联合利用上,非常超乎我的想象。

就比如,我用Claude Code,我会默认它,假设这个模型的视频理解能力不行,我就要自己给它配一个更好的视频理解模型,然后在Claude Code折腾。但我用OpenClaw,我完全不用想这个,我直接发给它一段视频,它会自己想办法找一个视频理解能力好的模型做。

这种自主去面对当代模型的缺点,针对缺点在框架上补齐缺点的能力,是有点超乎我意料的。

因为我用Claude Code的时候,就默认,我是因为要用Claude Opus 4.6这一代模型的能力去用它的。但是我用OpenClaw的时候,我不会关注模型能力的一个原因是,OpenClaw的框架设计之初,是想尽量通过Agent的整套编排去弥补模型短板。

后面我们直接就把我们的模型,MiMo-V2-Flash(当时并没有做很多针对性训练),给它接到OpenClaw里去,甚至把我们最近训的一个很小的端侧3B模型进行训练,发现在这一套很复杂的skillful的,或者Agent的框架情况下,它依然能做我自己认为不可能是一个非常小的模型能做出来的事情。

我第一次感受到:原来一套非常复杂的Agent框架设计,是能弥补非常多模型能力的短板。

当然了,这是OpenClaw本身这个框架相较于Claude Code的差异化优势。但是,如果我们要去追求你怎么在不同的skillful框架下,让模型有一个超预期、稳定的表现,就回到另一个命题。

现在市场上的Agent框架非常丰富,Kilo Code、OpenClaw,然后Kilo Code、Open Code等等。当你面临这么多很复杂的Agent框架,你怎么让你的模型在不同框架上,都有一个非常稳定和超预期的表现?你怎么让你的后训练范式对应与之做适配和迁移?

这是我们在这个事的冲击下,快速去思考的第二个问题。

所以,我们对应的整个后训练范式,有了从Chat到Agent的一个迁移。

02一个非常好的框架,应该尽量弥补行动的缺陷


张小珺:我们可以怎么理解,你所谓的"智能体的框架"?

罗福莉:现在有很多形容词去形容它。比如说Harness(驾驭工程),还有一些其它形容词。我没有特别去关注哪个形容词更准确,我更关注这个框架本身带来的差异化优势是什么。

一个非常好的框架,应该尽量去弥补行动上的缺陷。

很好的memory系统是弥补行动上的缺陷。接入到更多广泛的message channel(消息通道)是弥补行动上的缺陷。它更主动,不管是定时任务的主动,还是其它一些主动的设计,以及它自我去更新迭代,这些都是在弥补行动上的缺陷。

因为大模型是,你给它越好的Context,它执行的效果越好。你要是能把这些它获取不到的Context,这些行动上的Context都给它,那么它肯定会完成得更好。这是我观察一个好的框架的时候,我会看它有没有这些要素。

还有很关键的一环是评估。一个好的框架本身,它确实需要有个很好的、可泛化的一套评估体系,这样它才能自迭代。现在已有的评估体系都非常简单,它只是防止不出致命性错误。

那么,怎么有更有泛化力的评估体系来促进这套框架自迭代?——现在是把最高阶那群人当评估。

你交给它一个更难、更高价值场景的任务,如果它完成不了,你会给它提供补充信息,你也会给它指出来哪错了,然后push它经过更多轮交互把这个任务完成。本质上,现在是这群人在当评估。

但这个评估会慢慢被框架吸收,框架会设计很多东西,确保在某些确定的场景我能评准。同时也会被模型能力吸收。模型会学会像人一样,当我采用这个方法或思路做到瓶颈时,它会自己采取另外一种思路。或者说自己去反思,就像人一样去反思。

当然了,它是借助它自己,还是借助更super的Agent,还是其它领域的subagent,都有可能。

张小珺:这个“智能体的框架”,是不是我们理解的“产品”?

罗福莉:不是。它跟产品差异蛮大的。

张小珺:它和产品的边界在哪里?

罗福莉:现在我不知道怎么去界定,说实话有点模糊。

我觉得产品可以定义成——你直接人交互能感受的那一层东西。

但Agent框架,它确实是有在去定义你的交互层,但它同时又在定义你怎么跟模型沟通那一层。所以,它甚至能知道模型能力的长板、短板,能知道怎么更好做调度,就比如说for成本优化的调度。

这个中间层可以做得非常厚重,反而前端UI展示是最薄的一层,已经不是很关键。

OpenClaw是展示了智能体的框架可以怎么做。这个框架的想象空间非常大。

张小珺:“智能体的框架”,之前有人做过吗,是怎么做的?

罗福莉:Claude Code一直是一套很复杂的Agent框架,只是因为它是黑盒,我们不知道它怎么设计(注:最近因Anthropic员工失误而泄漏)。OpenClaw是开源的,你知道它是怎么设计的,并且你可以去改它。

改它,是非常非常激发人的创造力的。你知道它框架怎么设计的,你让它改,你可以基于它现捏一个新框架出来。

这是为什么OpenClaw从二点几版本,我当时用的时候,它并不好用,我花了好几天时间去改它。到三点几版本,就3月10多号的版本非常易用。你基本上基于三点几后的版本接一个还不错的模型,都会觉得它很强大。而不是只有接Claude的模型会觉得它很强大。

因为整个Agent的架构受一堆人——开发者也好,像我这种并不是一开始这个框架的开发者,只是使用者也好——我都能去改进它,我for我自己的场景去做改进和优化。

在我看来,这是开源Agent框架本身的价值和意义。

03它激发了中层模型的上限


张小珺:你提到对于OpenClaw,你最开始的态度也是抵触的?

罗福莉:如果要追求非常顶尖的编程体验,哪怕是当下,也是Claude Code加Claude Opus 4.6是最好的。如果你是在这样一个终局去思考。任何Agent框架,确实都可以忽略掉。

但是,Code是一个泛化性非常强的场景。你针对它去做了非常多Agent的设计,或者说模型的训练,都是有价值的。但并不代表,这个泛化性能保证你在非Code场景,做到非常高的准确率和完成度。

所以,虽然也会用Claude Code做一些非Code的东西,但我并没有期待说,它在这套框架上能给我一个很高的完成度。我知道我会去帮它补充这套框架不具备的短板。

但我用OpenClaw,不用考虑这些——它在Agent框架本身就弥补掉了很多模型短板。

张小珺:我能理解OpenClaw是让Coding能力泛化出来的一个产品吗?

罗福莉:它在很多设计逻辑上,比如有更多message的channel(消息通道),有更自主的设计——像定时任务、心跳任务——这些更适合日常场景。因为你写代码通常不会需要一个心跳任务吧?但如果是日常生活,心跳任务很关键。它确实有很多框架设计,是为了让它适应日常任务。

但我觉得它也没有丢弃掉,一个好的Agent框架本身最基本的特点。这些最基本特点,后边被Claude Code吸纳进去。

比如说,持久化记忆。Claude Code之前的记忆还是for整个记忆系统设计,还是for软件工程。比如说它会在session(会话)内,session快满的时候有一个压缩动作,然后把它记忆进去。我在完成任务的时候,根据我的plan可能会有一些记忆动作,保证我跨session的时候Context是共享更好的。所以你能看到Claude Code所有Agent框架设计,都是非常for软件工程——怎么去写好代码。

OpenClaw设计之初,是借鉴这个思想;但是呢,它更想的是,怎么更好端到端完成所有任务,并且怎么弥补当下模型在端到端完成任务上的短板。像这种持久化记忆,到后边这种你能通过一个更好的remote界面能去操控它。

所以,很好的设计,后边陆陆续续这一两个月完全被Claude Code吸纳进去了。这也是双向的触动。

因为这些设计,它激发了中层模型的上限。

我们如果没有这么一套很复杂的Agent框架,中层模型达不到近似Claude Sonnet或Opus的水平。但你借助了这样一个非常好的Agent框架,就能应付绝大部分场景。除了那种非常难的、需要长程任务,或者我称为严肃编程吧,比如写算子优化就算是严肃编程——像这种场景,它确实可能距离顶端的模型还有差异。

但在绝大部分生活的场景,或者只需要借助代码提效的场景,这样一套新的Agent框架,再加上一个中层的模型——中层可能在85%任务上能达到跟Claude Sonnet一样水准的模型——它借助这样一个框架,已经能发挥非常大作用。

张小珺:一种业内观点认为,如果把OpenClaw看作一个壳,它是释放了现在最强模型能力的壳,这个模型就是Claude Opus 4.6。你的表述(“激发了中层模型的上限”),似乎不认可这个观点?

罗福莉:认可、认可。它的上限一定是靠Claude Opus 4.6带来的(备注:Anthropic在近期已经宣布停止支持OpenClaw调用)。我在跟它高强度合作的一周,只用Claude Opus 4.6。因为只有它能给我带来惊艳的感受。

但当我用Claude Opus 4.6,沉淀下来那一堆经验——不管是Skills还是在Agents.md里边。我甚至自己改了它的整个Agent架构设计。

这也是Claude Code另一个弊端,它的Agent架构设计是黑盒。黑盒导致,你改不了记忆系统,你也改不了Agents workflow(工作流)。

但因为OpenClaw太open了,你可以自己尝试改。我会让它去帮我设计一个重新的Memory系统;我觉得它当时二点几版本的Multi Agent(多智能体)逻辑是很混乱的,我让它给我设计一套新的Multi Agent系统。我自己可以去改所有的源码。这样的一种原生可操纵性,给我的冲击感很大。这些事情基本上只有Claude Opus 4.6才能改。

但我让Claude Opus 4.6改好过后,这套框架本身很好用了过后,我再切换到Sonnet,再切换到国内模型,甚至我们当时正在训的MiMo-V2-Pro,就觉得非常强大。

这也是我为什么觉得顶尖的模型,应该跟顶尖的Agent框架,共同往前去进步。

这也是我最近对“自学习”的思考:

“自学习”大概率发生的途径是,你确实需要这个模型跟你这个Agent的架构本身,同步往前走。

模型在进步的时候——不管是通过强化学习或其它训练方式,它也改变你的整套Agent框架。这个Agent框架包含它送给模型的静态信息,比如Memory是静态信息,只要你写死了哪些东西应该送到、起一个新的Session你应该送到模型里去。或者我们叫Skill Fold(技能文件夹),这个东西在训练过程中是变化的。还有一些动态信息,动态信息包含你整个Agent本身的架构设计。

针对不同场景,比如Claude Code这种for软件工程的场景,比如做金融分析等其它场景,Agent架构设计有差异。你怎么在提升模型能力的同时,再提升Agent框架跟这个模型的适配程度,或者泛化能力。

这些让我第一次感受到了,“Agent的自学习”到底是怎么发生的。

04被开源框架激活的群体智能


张小珺:在你高强度跟OpenClaw交互的那一周,你消耗了多少美金的Opus 4.6?

罗福莉:第一天快1000刀(美金)。大概用了四五个小时。中途疯狂也会切。因为它太贵了,我会切Sonnet,但发现真不行,只能去用Opus。只有Opus能带来惊艳感。

但后边,我逐渐发现不是这样了。它带给我惊艳感的东西在变化。

人的适应性真的非常强,第一天感受到很惊艳的东西,第二天立马觉得不惊艳了。我刚刚跟你讲的时候,都觉得——第一二三天的东西,怎么觉得这么boring(无聊)啊。但它确实是我三天发生的事情,当下我确实觉得很惊艳。

现在我自己觉得不惊艳了。Opus帮我把Agent框架打造好后,让我惊艳的事情越来越少。现在反而缺乏的是:第一是想象力,我要疯狂想还有什么事做不了;第二是,当这些能做的事都能做的时候,怎么去优化成本、速度。

但一个人通常是薄弱的。或者,会有自己的认知坍缩。

虽然那几天高度兴奋,兴奋到我在群里面给大家发,强烈推荐大家去使用。但没有人搭理我。

张小珺:当时还在春节过年期间。

罗福莉:大家确实在陪家人。我不希望打扰大家,所以说“强烈推荐”。后面过完年回来,发现真正用的人是很少的。

大家对新奇事物——尤其是它有点玄幻,不是很tech——大家觉得过于玄幻的东西太不真实了。我也是这个感觉,所以不想接触它。一开始的推动蛮难的。

但第二天我觉得不行了,必须让大家去用。我就给大家下了一个指令:如果第二天OpenClaw对话次数不超过100轮的人,可以直接quit(辞职)。

但为了促进这个事,前面做了非常多。那会OpenClaw整个部署期还是需要几个小时,我觉得没有必要所有人,都去花这么多时间折腾一个充满bug、也没什么价值的东西。就买了几台Mac Mini,把它部署起来,拉到几个不同OpenClaw的群,让大家分不同方向,强制它在这个方向上,在大群里边、在一个飞书群里边聊。

为什么在大群里面聊?个人的想象力真的是局限的——当你看到别人用OpenClaw居然能干成这个事,就会激发你自己的想象力。大家的想象力是一个乘积作用。

当我说这句话,我没有想过第二天有人对话次数没超过100轮,我会把他开掉。我没有这个想法。

张小珺:没有这样的人是吗?

罗福莉:我没有最终去考核。

张小珺:你没有办法验证这个事情?

罗福莉:我有办法验证,但验不验证不关键。我只想给大家表达一种态度:你不用,你可能真的要落后了。

中途有人过来问我,福莉,你怎么去考核有没有对话100轮?我跟他们说,你们用就行了,我有我的考核方式。我的考核方式是我不会考核。

春节回来过后的两天,整个团队的人一天到晚,感觉不像在上班——在群里边儿躁动!

你看别人能完成这个事,你也很想玩。大家在群里边,群消息我只要10分钟不看就999+,类似这种。大家一块在群里边玩的非常happy——是一个非常happy的旅程,一点都不苦,一点都不残酷,真的很好玩。

玩了两天下来,大家发现,哇这个事这么好玩,那怎么办呢——那搞啊!

所有人心目中想的是:我要怎么去借助一个这么好的Agent框架去提升模型能力,同时怎么让我的模型去改变现在的Agent框架——就马上进入这样一个研究范式里。

一旦进入这样一个研究范式,以及我们有Claude Code这种——在绝大部分场景,表现输出更稳定的一套框架——虽然它是黑盒我们不知道,但它确实不管是for研究也好,for Coding也好,它是一个比OpenClaw更稳定的框架。

你再在这个框架里去激发、延展你的研究想法,并且让它帮你实现,快速启动模型训练,这个事就会大幅加速。我们在研究上,三四周做完了以前三四十周才能做到的事。

从被这个框架点燃热情,到它产生价值的过程,我从群体智能收获的成长更大。

张小珺:在你们那个非常躁动的群里,探索最好玩的几个任务是什么?

罗福莉:现在听起来都不好玩,但当时的冲击感很强。

最让我有冲击的,还是大家一块去改框架本身。还有就是它的memory做得非常智能。

我们在一个群里边大概有近100个人,飞书message的channel应该还是做得不是那么智能,它至少没有把人跟人之间区分的很好。但它的整个聊天上下文,它对每个人画像的把控,以及每个人的memory,都没有串得太厉害,可用度非常高。这是模型能力强的表现,跟Agent框架没关系。

在一个群里边,100多个人在那儿聊天,100多个人都有不同背景,100多个人都在疯狂改它,都没有把这一套Agent框架改坏,它还变得非常智能。

这也是我第一次感受到,怎么用一群人的智慧去提升一个事情。

如果我自己单一去改这个Agent框架,但别人感受不到这个框架的智能,好像差点意思。这个框架本身的进步速度非常慢。但如果一群人去改进,进步速度非常快,几小时就迭代一轮。

第三天、第四天把它接到我们自己的模型上,发现怎么也挺好用了?怎么还没训就跟Claude差不多了?但你要测更多你会发现,还是有很多东西没有Claude稳定。

这个事给我们带来一个冲击:利用群体智能去提升Agent框架非常重要。

我非常欣喜看到OpenClaw star量飞升。这是AGI(通用人工智能)到来前兆,必须要有的事情。

张小珺:你看OpenClaw不久之后卖给了OpenAI,为什么这种非常不错的产品公司,最后还是并给了模型公司?是不是说明没有模型,做产品是比较难的?

罗福莉:对,这两个要深度耦合。但很好的是,OpenClaw开源没变。你还是可以在这套框架的基础上,大家一块设计更好的Agent架构。只是说,做这个事的一部分人的立场变了而已。

这个立场变了有可能是好事,有可能是坏事。但总之,它不影响OpenClaw开源的属性。

至少这种群体演变的可能和基因火种是保留的,那就挺好的。

第二章
谈巨变的2026年

05为什么Code是一个非常有泛化力的事情?


张小珺:在你经历了春节和春节之后的OpenClaw冲击之后,你紧接着做了什么?

罗福莉:接下来做的就是,搞明白为什么Code是一个非常有泛化力的事情,以及怎么把Code这种泛化力外延到其他领域。

Code有泛化力的一个最本质原因:Agent是一个非常长程和多轮的任务。

回到预训练环节,你很难找到一兆上下文的数据,甚至128K的数据都很难找到。但真正能达到128K到一兆这个长度的数据,极大概率只有两类:一类是Code数据,一类是书籍。

但书籍的信号太发散了,Code文件之间关联更强。在一个长上下文依赖更密集的数据集上去训练,模型自然对长上下文的建模会更好。

这是在没有意识到Agent这个事那么重要之前,我们去做的。基座本身为长上下文的能力和效率,已经做好了充分的准备。

但春节后做的是,怎么去激发这样一个大的模型的潜力,从Code出发外延到其他场景。其他场景训了它会更稳定,但没训它能被泛化,只是没有那么稳定。顶尖模型的水平一定是要在更广泛场景里更稳定。Code是拉它的上限,训其他领域是保它的下限。

要把Code的长程任务做的更多样性。软件开发真的是一个非常长程的任务,把它做好了,很多模型的通用特质就已经好了。不仅是模型通用的特质好了,Agent框架本身也迭代得非常好了。Plan这种模式,厂商到一定阶段要去压缩,压缩完过后第二天再去回顾之前修改的Agent框架设计,其实是为软件开发准备的。但这些框架都是有泛化性的,能泛化到其他更难的长程任务里去。

春节期间做的事情:第一,在Agent场景里,把真的长程任务构造出来并且训练进去,在这上面去scaling大量SFT的训练和RL的训练;

第二,考虑泛化性,还是要覆盖更多领域。怎么覆盖更多领域?要靠更多的群体智慧。让更多人去用它——我们内部会大量使用,用了过后发掘到更广泛的场景,在这个广泛场景里去合成更多的数据来做训练。

这里边很关键的一个问题是,怎么还原当时所有人用这个事情的环境。有这个环境,才能更好去进行更长程的交互。有了环境过后,才可以针对这个环境本身做更精准的reward设定。这个事情比较有难度。如果投入的算力足够多,研究的时间足够多,应该会有一些代差的模型出现。

张小珺:做长程任务会不会容易中断?

罗福莉:真正的一兆上下文里边,基本很少是在做一个任务。它通常在做复杂的任务。

你要把一兆上下文做得很好,当下阶段——我说当下可能是当下一两周,不代表未来两三周——可能并不是真的要找到把一兆上下文塞满的任务。当然你要找到更好,但这个任务是很难的,而且训练效率太低了。

你要训练完一兆,要reout(重跑)完整个trajectory(轨迹),一兆的trajectory非常慢。哪怕我们现在TPS(Transactions Per Second,每秒事务处理量)能做到80到100,项目在MiMo-V2-Pro上能做到80到100的TPS,你要reout完一兆上下文,也需要时间,可能一两小时。

真实的训练不会在这么长程的任务上去训。但当你有在一兆的Context去预训练过,并且后训练有对应的任务稍微激活它一下,它通常就能在一兆的Context里具备这样一个能力。但我们需要再提升。

所以,现在Claude在一兆上下文能力的稳定度上,只有Claude 4.6 Opus和Sonnet是领先的。其他像Gemini,虽然号称上下文能力很好,其实都不行。

张小珺:量化里面挖掘因子会是好的长程任务吗?

罗福莉:看做什么资产。有很多资产reward太不清晰。大部分资产不太适合做长程任务建模。

这个具体我就不展开说,反正某些资产是很不适合的。因为它回测没有价值,你要到真实环境去run的话,它有可能不是短期因素,而是一些更长期的因素,或者额外的阿尔法,本身被这个模型建模不进去的东西。

得选资产。选对,这个就OK。

06为什么OpenClaw在中国更火?


张小珺:据你观察,OpenClaw是怎样一个火起来的链路?我明显感觉它在中国,火的程度比在美国要更多,这是为什么?

我看到有一个很好玩的说法,“西虾东养”。

罗福莉:我不了解湾区对它的热度,仅从我自己及身边人的视角,可能一个原因是:中国的开发者更多。我说开发者是指,可以用Code去提升效率,更急迫。效率的提升,是我们血液里边的东西。OpenClaw能把效率提升拉到极致,是它火的一部分原因。

但还有一个原因,跟国内大模型的发展密切相关。绝大部分效率提升的场景,目前不需要最顶尖的模型,85%不需要。我们又有那么多便宜好用的模型可以用,性价比非常划算。

模型的API费用跟它替代的生产力价值系数比很大,花10块钱的API就能帮你干完1000块钱的事,你肯定很愿意用。但如果API贵10倍或几十倍,中间差距很小,你会很排斥去用这样一套复杂的东西。

张小珺:硅谷的模型公司会觉得这个事情不难,门槛不高。

罗福莉:我一开始也觉得这个事不难。到后面我就觉得,它整个Agent设计非常非常巧妙。

巧妙是指,它弥补了很多模型短板——我怀疑原因是,它最开始是基于Claude上一代模型做的,所以必须在系统设计、Agent框架设计上,设计得更精细一点,把短板补起来。这导致了Opus的进步。

国内大部分模型可能刚靠近Claude 4.5 Sonnet和Opus的水平。反而这两个在这握手了。

张小珺:但如果模型能力继续提升,这些精巧编排还需要吗?

罗福莉:还是需要的,出于对成本的考量是需要的——我们永远会去追求成本和效率最低的一套方案,这是生产力革命的前置要求。

不可能说,我们所有的场景都用最顶尖的模型,因为它太贵了。更有可能是Agent在进化,模型在进化,然后模型进化的方式有可能是同一个水平的模型在越变越小,它也是一种进化。虽然我们没有在做这样的事情,但它确实是一种方式。

也就是说,现在可能激活10B的一个模型,过一年它就能做到Claude Opus 4.6的水平。这极大概率会发生。那激活10B模型是很便宜的,可能一两块钱就能有百万token上下文。

那你为什么不用一个更小的模型?它反应速度更快、更灵敏,基于这套Agent框架还很好用,你还可以改进这套框架,为什么不拥抱它?

它让不那么好的模型,有了更好的发挥空间。

07Skills提供了一种交互方式,让人主动贡献数据


张小珺:关于Agent已经讲了一年,2025年年初大家就开始说是Agent元年,去年也出现了Manus,今年的叙事和去年有什么不一样?

罗福莉:我觉得之前讲的Agent,在我的定义不算Agent,只能算上下文稍微比Chat复杂一点点的东西。

不管是BrowseComp,还是SWE-bench,这些Search和Code的Agent框架,都非常简洁。相比于现在的Claude Code、OpenClaw,它的Agent框架太过于简洁。简洁性就导致——首先它简洁,其次它不通用。过于简洁和不通用导致它只能for这个任务来设定。

至少在去年上半年乃至下半年,很多看似for Agent的模型,只是换了一个更复杂的System prompts(系统提示词),稍微带一点点环境反馈。比如SWE-bench还是有环境反馈的,TAOBench也是有的。稍微带一点环境反馈和交互,让模型具备一点遵循复杂system prompt和理解环境交互的能力。那会只能做到这个水平,但它根本没有达到工业级可用的能力。

什么叫工业级可用?是你把它接到Claude Code或OpenClaw里去用,你会发现它不可用,它有很多问题。它就理解不了这一套框架本身。它也没有针对这套框架,人跟它的交互范式会发生变化。

人跟它交互范式的最大变化是——人不再会去修改代码,人不太再去关注"这一行代码出错了你帮我改一下",这样的query不会再出现。

人只会提一些更高阶的,比如增加限制、澄清需求、架构设计——人会参与架构设计,因为现在很多架构设计还是人更强的。以及辅助理解业务逻辑,这是Skills的价值。

业务逻辑是模型本身不具备的,因为很多业务逻辑是企业内部、真实环境里边沉淀下来的,你必须要跟它很多轮交互才会沉淀下来。

之前那些Agent框架就不能叫Agent框架,没有可用度。在那些Benchmark上表现非常高的模型,也不代表它的Agent能力是真的强。我们在优化这一版模型的时候,是完全放弃这些Benchmark的,基本上就不关注这些Benchmark了。

当你面临一个很大范式变化的时候,只要你路径走对了,你可以非常短暂的一个窗口期去忽略评估。因为你靠体感就能立马测出来一个非常大的质的差异。但当你慢慢迈入深水区,还是需要一些精细评估的。

张小珺:Skills是不是改变了模型在这种高复杂度的任务上的执行准确率?

罗福莉:它定义了一套执行规范。

这套执行规范很难在预训练的数据里边具备,因为预训练数据里边没有这种internal(内部的)信息。这些信息通常是大量企业内部自己去沉淀和积累的,由人和人之间产生的一些组织上遗留下来的规范。

但这不可能在预训练数据里出现。可以由人教Agent,跟它多轮交互,通过完成几个任务,把这套规范让Agent学会。大量Skills其实是Agent自己写的。

张小珺:但Skills也是在Claude里面诞生的。

罗福莉:对,但这就出现一个问题——确实是OpenClaw把Skills给带火的。我说"带火"是它让更多人去贡献Skills这个社区,这非常关键。

这就是人跟Agent需要共创的地方。如果你没有那么多高阶的、这种另类信息——因为它确实是另外一种阿尔法,是另类信息——跟当前的Agent共创的话,那么Agent或者说最顶尖模型的能力也很难发挥出来。

张小珺:人的经验沉淀成Skills,变得更重要了,它是不是预训练的一种补充?

罗福莉:对,因为预训练大部分依赖的知识,还是你在互联网上可访问到的知识。但很多智能,我们是在互联网上访问不到的。

这个时候就以另外一种形态出现,Skills算一种。它其实提供了一种交互的方式,让人去主动贡献数据,贡献让模型执行任务成功率更高的方式。

张小珺:总结来说,我们今天正处于一个什么样的时代?

罗福莉:生产力加速变革的时代。

今年生产力会爆发,大家会觉得很多工作不需要自己做了。这是最直接的一个感受。不仅是写代码的人,只要你接触到这个事情过后,你就发现你的好多工作会被替代掉。

这个时候,人更应该去思考,到底自己的意义和价值是什么?

08 它能溢出的能量比Chatbot,强很多


张小珺:以前有ChatGPT Moment、DeepSeek Moment,如果重新定义这个所谓的OpenClaw Moment,你会怎么定义它?

罗福莉:这个Moment时间线会更长。因为它前序章节太久了,让大家不会觉得它是个新东西。对于我们已经信这个事情的人而言,我们反应速度是足够快的。我不知道其他人有没有follow up上。

从我的个人感官上,这个Moment会延续的时间更长更深远。更深远是,它可能能力更外放到更多人能感受到的场景里边去。但它这个流动是需要时间的。

它能溢出的能量强很多,比Chatbot。

它不像o1、R1,有一个数学代码这种有ground truth(标准答案)的东西在这——你分上去了,模型就具备这个能力——这样一个非常清晰的标准界定。Agent确实有很多场景需要有清晰标准界定,但大部分场景是没有的,比较混沌。所以它产生的价值也是慢慢到一个临界点,突然进一大步。

Claude Opus 4.6确实是这样一个进一大步的突然的时间点。但Anthropic做这条路径也持续了至少两年。

张小珺:为什么这个Moment不是从Anthropic内部诞生的?

罗福莉:我觉得还是一个开源、一个闭源的原因。闭源的框架你没办法去洞察内部设计,所以你没办法利用更多人的智慧去改进它。但开源你就可以用更多人的智慧去改进。

张小珺:接下来我们会看到什么?在OpenClaw已经火了这么几个月之后,2026年大家会基于它做什么?

罗福莉:国内已经有很多动作了,出现了各种Claw。现在很多Claw,只是让大家以不同交互形态,去访问不同模型和不同类型的框架。

但真正让这个框架自迭代,或者更强调自进化和自迭代框架,还没有大规模诞生和出现。以及怎么去利用绝大部分人的智慧去创造一个更强的框架,也还没有出现。

这两层——框架本身的自进化,Agent本身的自进化,Agent跟人之间的自进化——我还没有看到。

我们现在做的是怎么train更好的model for Agent,以及怎么让Agent去适应这个model,是在做Agent跟model之间双向流动。未来需要做的是怎么让框架自己进化,以及框架跟人互相进化。

张小珺:这是你们现在着重bet的方向。

罗福莉:对,大致的方向,会去深入研究的事情。

张小珺:你觉得现在没有做到的核心缺陷在哪里?

罗福莉:缺陷是,我们刚做到这里。未来的加速度是会很快的。

现在只要拥有一个Long Context、非常efficient的模型架构的厂商,并且在做预训练阶段把Code的能力也做得非常好,有这样一个model——参数上可能至少1T以上吧——只要有这样一个入场券的人,基本上都处于同一水平线去做这个事情。当然Anthropic肯定是走到前面了。

上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。

张小珺:OpenClaw发了之后,国内很多团队都推出了类似的产品,比如说,QQ团队有,你们团队有,Kimi有,Minimax有,等等。它们有什么不一样?

罗福莉:我大概只试了一半。大同小异。

我自己觉得,这种产品你至少要去迭代框架本身。目前还没有看到一个比OpenClaw开源社区进步更快的框架。因为OpenClaw开源社区进步太快了。

张小珺:我想到Peak(季逸超,Manus联合创始人兼首席科学家)去年底在我们播客里的最后一句话是:Agent的进化需要所有人参与。

罗福莉:现在已经是了。只是现在唯一没发生的是,我刚刚说的Agent跟人怎么更好的加速。因为Agent也要自迭代,人也要自迭代。

聊天是一种。会不会有一些更自然的方式?

比如,我要是真的能带一个非常好的设备,一整天跟着我,我所有说的话、见过的人,它都知道。它的进化速度应该比我快。因为它依赖的算力更多。它会很快替代我。而且,它不会今天记得,明天不记得,它非常稳定。

张小珺:它只有进化的一条曲线。

罗福莉:对。

它乐此不疲。它不需要休息。

09 它先吸收所有人的智能,再靠自己产生更强的智能


张小珺:你会怎么定义这个风起云涌的2026年?

罗福莉:我很难去定义它。两个月已经对我来说是巨变的。我都不知道这一年接下来会发生什么,处于高度兴奋的状态。

张小珺:你对研究方向非常敏锐,基于上面这些变化,给你带来了怎样的研究直觉?未来一段时间会发生哪些变化?

罗福莉:之前做研究的方式,从想到写代码,到设计一个很好的评估标准,中间流程还是蛮漫长的。至少要花一两周。快的话除非评估是确定的,代码只需要修改,可能也需要一两天。

但在Agent有辅助的情况下,真的一两小时就把这些事做完。效率的提升代表着一个本质问题。

我一直把研究效率看得很关键,只是Agent去加速了这个研究效率。如果这时候你的taste又比较准,那么就一做一个准。当然可能是十个里边有一个能成,但这十个可以并行做。你不用像以前一样pipeline(流水线)做,可以十个idea交给不同的subagent(子智能体)同时做,他们还能交叉验证。很快,可能一个小时两个小时,或者最多一天,就能验证你这个研究想法OK不OK、work不work。

关键是,如果你愿意长期去培养它,它也可以自迭代、自进化。但在Claude Code里边不行,换一个更开放的框架,它是可以自己迭代和进化的——这是做研究给我带来的冲击。

张小珺:有什么样的研究任务是你过去觉得绝对不可能做,但今天可以做的?

罗福莉:就训模型这个事,以前我觉得是很难的。要涉及跟一个更复杂的,比如深度学习平台的融合,听起来就不太靠谱。以及你怎么去让模型具备你有的Context?一个研究员的Context是很长的。一个博士有5年科研培养。我之前认为不太可能。

但我最近发现,它很聪明,聪明到你只要把你近期的Context告诉它,它甚至能帮你复原你的科研成长路径。你这时再去跟它讨论同样的topic,发现它跟你一样聪明。

这个事很残酷。

我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现,它竟然也能!

可能过一段时间,我们能训出来的模型,它也能训出来了——那它可不可以训出更强的模型?它自己左脚踩右脚就提升了?

这是一个非常大的转变。它可能真的能依靠于它自己产生更强的智能进化——它先吸收所有人的智能,再靠自己产生更强的智能。这是这一两年会发生的事情。

张小珺:在今天,Agent到底能做什么样的高价值任务,是不是变得更重要了?

罗福莉:从提升顶尖模型能力的角度,让Agent去替代更高价值的任务是重要的。

更高价值的任务意味着更长的Context、更多的token消耗量。它替代到最顶尖那一群人的智能就够了。下边那一群人的智能,可以慢慢以另外一种方式来替代掉,比如robotics(机器人)。

但另一个演变角度是,你是要做一个对全社会更有益、对所有人都有帮助的模型,那么就不应该for更高价值的场景去做,而是让所有人都能感受这个模型的智能水平。它是另外一种做法:普适度更高的任务会更好一些。

在这种场景里,你就更需要在乎多模态。因为在更广泛的场景里,多模态尤其是对视频的理解,对更细微环境的理解,是更关键的。

以及要注重成本,成本是产生革命非常重要的因素。你不能完成一个任务花1000刀对吧?很多任务场景,必须要达到一个很高的替换系数比,能帮我节省10倍成本,我才会考虑去试。

你怎么去做一个更低成本、更高效率、更高速度的一套Agent框架,以及对应结合的模型,那就很关键——这是两种发展思路。

张小珺:在你看来,小尺寸的端侧模型会爆发吗?

罗福莉:这个趋势肯定会发生,但它不是26年的主旋律。它是支线,而且会持续发生。

26年的主要旋律就是生产力的变革,高生产力场景的持续突破。我们要做更长程的任务,更强调多Agent之间的协作。因为更复杂的任务,它不可能是单一Agent去做。但是多Agent协作,某种程度上,也是为了成本和时间考量,以及怎么去激发Agent群体的智慧。

我觉得市场上已经看到的Multi Agent(多智能体),工作都有点“伪”。我说“伪”是说,真的依赖于Multi Agent能实现更好的任务完成率,在这个维度上是有点“伪”。

但它能提升效率,就是这个任务完成的速度,以及它能够节省成本,是确定的。但我没看到Multi Agent能实现一个更高上限的东西。它会发生,只是我目前还没看到。

张小珺:如果我们把大量个人隐私数据授权给OpenClaw或类似产品,怎么缓解普通人对于安全感的焦虑?

罗福莉:这是我为什么说要做开源的原因。还是会有一天——应该很快也会到来——人的大部分简单任务,除了非常难的任务,跟隐私相关、没有那么高难度的任务,完全可以放在本地化去做。

你自己会有一台随身携带,或者在家或某个场景里有一块芯片。你所有的数据都在本地,所有涉及隐私数据的场景都在本地推理,这很关键。涉及到一些非隐私、高难度、高创造力、高复杂度的任务,再去云端推理。这样能够解耦。

这也是为什么我说,一个好的Agent框架,借助一个很小的3B模型,它能做的任务复杂度都已经超乎我的想象了。这个事激发了我对于端云混合、隐私本地化的思考。但还很初步。

因为这些思考不仅需要模型这一侧做非常多东西,还需要架构这一层一块往前走。这也是我为什么觉得开源,是如此重要的一个事情——需要更多人一块做,而不是某个公司就能做好。

总之,今年的趋势跟前三年已经发生了很大的变化——我自己是这么感知到的。

张小珺:过去两个月,你的生活发生变化了吗?

罗福莉:工作,还有工作;亢奋,还有亢奋。

你每天都会发现,Agent框架本身或模型本身又进步了。

第三章 谈巨变的2026年

10 我们觉醒了


张小珺:接下来,我们来聊聊MiMo的模型。MiMo-V2系列模型,你们在过年之前先发了Flash,过年之后又发了三个新模型:Pro、Omni和TTS,你把后者称之为“一次悄无声息的伏击”。

为什么是悄无声息的,又为什么是伏击?

罗福莉:首先这三个模型,在Agent场景下能力提升这么快,我们能这么快去追上,在复杂的Agent架构里边表现这么稳定,是超预期的。不是我们计划的非常好,而是——我们觉醒了。

张小珺:你们觉醒了?

罗福莉:对。它确实是很安静的过程,因为外部不知道,我们自己内部也快速发生。

我们在一年前去做多模态,更多角度还是:如果真正产生智能,这个智能应该是全方位、多方面的,所以去做了多模态理解;最终要产生价值,一定是要有交互,所以去做语音生成。

但一年前做这些,还不是很明朗。还是觉得,在做一个单一模型,在做一个动态理解模型,在做一个语音生成模型。你没有觉得这些东西能很好地被组织和编排到一起。

当我看到OpenClaw,我一下就想到了这样的画面——这些模型在各自在什么样的环节发挥什么样的作用,它们能怎么被有效编排,它会产生一个什么样大的生态价值——一下,在我的脑子里边全部打通了。

我们快速让所有方向,都要面临这个范式去做后训练的针对设计。

你现在如果能在OpenClaw、Claude Code里边同时用这几个模型,你会发现把它串起来很好用。肯定比其它家模型好用一些。或者说,至少是我们往后迈进的一个目标。

为什么还是后面有这三个模型,不是合到一个模型里去?更多是出于成本、速度和价格考量。

比如语音生成,你没有必要去用一个1T模型?实验你也接受不了。比如说多模态理解,它是不是值得一个更大的模型?这是要去打个问号的。

因为Agent革命本质是生产力革命。生产力必须要在意最终端到端的完成率,以及成本效率。这是现在三个模型同步出现的原因。我们后面应该也会有一些计划,怎么让三个模型更好地协作。

张小珺:怎么样对模型的“编排”是更好的“编排”?

罗福莉:首先,绝大部分简单任务,只用语言模型就能做。但现在完成一整个任务的环节太长了,某些环节上,如果你意识到需要调用像人一样的感官能力,就用另一个更精巧的模型来做。

而且这三个模型是同一个生态训的,你知道的知识它也知道,你能放心把任务交给它,不用担心它不知道你的背景知识——这个背景知识来自预训练。

目前这三个模型在同一个Agent框架里释放的潜力,跟组装其它模型的差距很微弱。但我认为未来不会。因为未来是效果、成本、效率三者的乘积。

张小珺:这三个模型你们在bet什么?这三个模型的关系是什么样的?

罗福莉:bet全方面替代人的生活和工作的方方面面。

张小珺:我可以这么来理解:Pro在做理解和认知;Omni在做感知;TTS在做表达——它是声音的输出,声音是一种表达。这三个加起来是一种类人的智能吗?

罗福莉:它把人有的智能的表象、输入和输出给建模了。但有没有人的各个感官之间协同那么好?现在还没做到。但这不纯粹是模型没做到,框架也没做到。

现在OpenClaw,它对视频的理解和建模非常差。因为开源社区没有一套对音视频联合理解非常好、又有很强Agent能力的开源模型出现。框架发展是滞后的。现在对视频的理解,会回退到理解图,甚至最终回退到理解caption。

这也是为什么要做开源。只有开源界看到更强的视频理解、声音生成模型,对应的框架才会改变。

框架是协调层,模型是智能的中枢。这两层很好交融的时候,才可能达到类人的智能。

11 Agent范式很吃Post-train


张小珺:我们来围绕MiM-V2的模型一个一个展开聊。V2-Flash已经过去了一段时间,它是2025年12月16号发布的。做Flash的时候,你们的核心定位是什么?——这个被大家认为是你在小米的第一个工作、第一个作品。

罗福莉:Flash跟Pro基本上是同期训练的。它们俩模型结构非常近似。

但在设计V2这一系列,不管是MiMo-V2-Flash还是Pro的时候,模型架构本身有一个非常关键的目标:我们要for Long Context的效率来设计模型结构。

当时隐隐约约预感到,Agent时代Long Context非常重要,或者说,预感到Long Context会产生智能。但我们没有预想到后边是OpenClaw这种形式。已经预感到Long Context一定是非常重要的问题。

那么Long Context的效果,以及最关键的推理效率——成本够低、速度够快——就是我们这一代模型结构必须追求的永恒命题。因为成本够低、速度够快,才有可能把一兆做到十兆,甚至100兆。

现在所有的模型结构都能训到100兆,那为啥不提供100兆的推理?除了效果一般,更多是出于成本考量。100兆太贵了,贵到你根本不想用它。所以我们当时就围绕着这个核心目标,设计了Hybrid Attention(混合注意力)的结构。

张小珺:你们在V2-Flash中采取了MTP(Multi-Token Prediction,多词元预测)架构,为什么做这个技术决策?

罗福莉:当时另外一个更主流的选择是用MLA(Multi-head Latent Attention,多头潜在注意力机制)。包括现在,同期跟我们开始训练的应该是GLM-5跟Kimi,Kimi K2更早一些。它们都选择了MLA。DeepSeek V2、V3、R1都采用了MLA。

MLA对于Chat时代来说,确实是一个非常优秀的模型结构。甚至它对于长文来说,也算是一个还不错的模型结构。因为它大量去减少了KV Cache(键值缓存),对长文来说KV Cache就很宝贵。

但它有一个我认为不那么适合Agent范式的根本性要点:

第一个,MLA在设计之初是为了达到很好的访存跟计算的比例,在当时H系列芯片上,实现既不浪费算力、又打破访存瓶颈,是在这样一个架构下设计的。这样设计出来的模型架构,没有任何可发挥的空间。

可发挥的空间是指,假设我们认为KV Cache是重要的,并且推理速度也是重要的,那能不能用一些推理加速的方式,比如最简单的MTP就是一种方式,让实际推理的时候加速n多倍。但MLA不太行。

因为MLA已经达到compute bound和memory bound(计算瓶颈和内存瓶颈)一个非常完美的临界点。你要是用MTP,会发现它又卡在计算bound上。所以现在你看所有MLA的模型结构,不管是GLM也好、Kimi也好,我猜测应该都没有上MTP。因为上了过后就被计算bound,很不划算。所以它的模型会慢一些。

大家对MiMo第一代Flash,哪怕是Pro的感觉是——Flash能做到100-150TPS,Pro现在也能做到,看成本,基本上能做到60-100。100TPS肯定会更贵一些。所以大家用MiMo不管是Flash还是Pro的感觉是:哇好快。这就是这个结构,尤其是针对Long Context efficient的结构,带来的优势。

同时,成本也够低。因为Hybrid Attention(混合注意力机制),包括在Pro这一代上,我们给它拉到一个更极致的Hybrid比例。Full Attention跟Sliding Window层的比例更极致,达到了7:1。所以它更省KV Cache。

我们基本上是在这一代结构上实现了通过Sliding Window层去减少KV Cache,让它在长文上效果更能够支持更长的长上下文。同时通过MTP把Sliding Window Attention节省的算力,用MTP给它填上。这样能达到实际推理时访存跟计算的很好平衡。同时又兼顾了长上下文成本,以及推理速度。

虽然我们设计模型之初没想那么多,但基本上就完美适合做Agent。对Agent来说,首先,长上下文非常关键,很小的KV Cache也很关键,因为很小的KV Cache能做更多多级的缓存,缓存命中的话会非常有利于节省推理成本。其次,速度是一个还蛮关键的命题。你一旦体验到了智能水平相当的更快的模型,就回不到更慢的模型了。

张小珺:你刚才的解释比较后验,但放在当时,你为什么会选择MTP?

罗福莉:我们这个模型快训到中后期了,开始为它设计推理方案。在我们自己的那一代推理卡上去设计推理的并行方案时,发现计算剩余的实在太多。没有想到会剩余这么多。就想,怎么把这些剩余的计算有效利用起来?——MTP太适合了。

我们在预训练阶段加上MTP的原因是,它确实能提升基座的能力。这个我们跟DeepSeek一样,预训练加MTP是因为MTP能提升基座能力。推理的时候为什么只有我们用MTP,是因为我们的模型结构天然在计算上留有大量富余。

这是我们在后边设计推理架构时,突然有一天悟到的。

也不是突然,就是仔细去计算推理各方面数字,知道可以用MTP编码,把这些剩余算力利用起来。恰好我们又训了MTP,就恰好用起来了。很自然的一个探索的延伸。

张小珺:为什么MTP至今还没有成为一个主流?

罗福莉:大家太相信MLA了。

MLA确实太巧妙了,在模型结构上把能做到的全做到极致。25年上半年如果要训基座模型,MLA确实是一个不错选择,尤其是没有看到Long Context的价值和Agent范式的时候,MLA确实是非常不错的选择。

张小珺:关于MPT,我还有另外两个问题:成本下降是MTP给next token prediction带来的优势吗?以及,你说了很多MTP的好处,它会相应的带来一些幻觉吗?

张小珺:MTP是如果命中率非常高的话,是可以带来成本下降的。相当于在更短时间内吐出更多token,把GPU利用率打得更高。本质上是在降低单token生成的成本。

不会(带来幻觉),因为它是会被verify的。只有预测得准,才会采纳当前token的结果。所以没有任何幻觉。

张小珺:未来MTP会成为主流吗?

罗福莉:看大家的下一代模型结构是什么样。

现在模型结构设计有两个趋势。一个是,你真的在预训练阶段就想明白后边推理的场景是什么。比如在什么卡上推,在多长的上下文上推,推理的并行方式是什么——连这个都要想明白。

那么可以设计一个针对这个场景、这个推理方式、这款芯片的完美结构,去训这个结构。效率成本各方面一定是最优的。MLA是在这样的Context(背景)下被设计出来的。

但这个Context建立在两个前提基础上。一个前提是Post-train(后训练)是不重要的,或者Post-train的时间很短。你能一个月就把Post-train做完,大部分时间在做Pre-train。所以只需要Pre-train for这个推理本身就行了。第二个是你的推理卡永远就用那么一个两个,甚至就那一个就是最好的。

但这个事在当下发生了巨大变化。现在是Post-train的周期在拉长,你在一代基础上能做的Post-train的上限是远远被激发出来的。

张小珺:这个变化是什么时间、怎么发生的?

罗福莉:Agent范式带来的。Context越长也是产生智能的一种方式。模型能够被输入更多Context、理解更多Context的时候,潜力就越高。

这跟原来Chat范式完全不一样,原来Chat的Context就是人输的,人输的很短,所以纯靠预训练。

但Agent范式很吃Post-train,你对框架理解,对于多Agent的协作,乱七八糟也好,可以理解为我们在Post-train上要投入的算力,可能跟Pre-train是相当的。所以Post-train时间周期在拉长。

那么在一个Post-train要做半年或一年的场景下,前半年假定的很多东西可能失效。假定要在什么卡上推,假定要在什么场景下达到更优效果,全是失效的。因为可能做了半年或一年Post-train过后,那些场景全变了。以前大家觉得128K就够,但过几个月可能觉得需要10兆上下文。类似这样的逻辑。

所以,如果还是这样去做模型结构,它可能会失去一定的灵巧性。

但是,如果团队的Post-train效率足够跟得上,Post-train的认知能够辅助Pre-train去做架构的正确判断,那么有可能这种模式还是work的。设计一个精细的结构,想清楚推理卡类型,想清楚场景,应该还是work的。

但还有一种做结构的方式是另外一种:就是在结构上更简洁一些,留有更多富余度来做后续在不同场景的适应和增强。比如Hybrid Attention就是一个更简洁的结构。

简洁性体现在,可以靠MTP把算力更充分利用,也可以针对已经训练好的Hybrid结构去增大Sparse或Full的比例等等。在这样一个更简洁的架构上,Agent发挥的空间、后训练发挥的空间,反而会更大。

张小珺:在Flash的技术细节上,除了MTP,你们还做了一些技术选择,比如混合注意力机制。当时你们选择的是5层滑动窗口和全局注意力机制。但在你们最新的模型Pro上,这个的系数又变了。

罗福莉:我们大量实验的一个结论是,Full Attention的层数很重要,但系数比反而可以有空间。所以在更大的模型上,层数更多的时候,可以保证Full Attention的层数总数不变,但增加更多Sliding Window Attention的层就可以了。

层数比这个系数比更重要。或者说,在更大的参数规模、更大的Attention Head的时候,可以做到更稀疏的比例。这是两个结论的统一,导致可以在更大模型上做更高的稀疏比,就是Full跟Sliding的稀疏比。

我们最近在做很多Sparse研究,也是发现更大模型能吃更大的Attention sparse比例。更大模型可以更稀疏,但小模型太稀疏了,效果就会drop得非常严重。所以这是一个实验结果,不会成为一个固定的标准。

这是我们的实验结果,不确定其它家是不是也follow,也会有同样的实验结论。

张小珺:我觉得Flash挺有一点小米早期风格的,追求极致性价比。当时API定价是输入百万token 1.01美金,输出每百万token 0.3美金,在当时看来肯定是最低的价格、最高的速度。当时是做了什么达到这个效果?以及,为什么这次发布Pro模型的时候涨价了?

罗福莉:基本上把该做的都做了。架构有Long Context很efficient的架构,再加上MTP可以更加速,再把Infra最基础的基建做好,这个价格就能做到。

在预训练时代,根据模型框架优势来定价,确实是合理的。框架很强,最终用户能感受到,纯粹是因为模型很强。按照模型结构的方式定价,我觉得是合理的。

但当我们进入后训练范式,除了模型结构本身带来的优势外,还要看Context好不好,以及模型对Context的理解能力好不好。定价逻辑应该发生变化——不应该是根据最终推理成本来定价,而应该根据模型最终产生的价值来定价。

这个价值除了模型本身架构的优势以外,还有模型在后训练上做得足够好,能更好地理解Agent框架。这也是定价溢价的空间所在。

所以,我们后边MiMo-V2-Pro抛弃了这样一个定价逻辑。

12 合理的卡的比例是3:1:1


张小珺:从V2-Flash到V2-Pro,你对Pro的预期是什么样的?

罗福莉:Flash帮我们验证了整个Infra数据是没问题的。并不是先训Flash再训Pro,是两个一块训的。Flash是一个相对小的工作,训了就发了。大部分模型的训练都是去年下半年进行的。

我们相信这一代架构没问题,只是训Pro中途解决了非常多训练数值的不稳定性。这是训1T参数量级模型通常会遇到的很struggle(挑战)的问题。

老训着训着loss崩了,老训着训着某个激活值很大,或者某些expert(专家)的分布变得很极端,像天花板一样,一会一批token打过去,一会又打到另外一个expert上。很危险。

这些信号会导致loss典型出现很多spike(跳变),expert负载很不均衡。训更大模型要花很多时间解决这些问题。所以看起来同步训练,但Pro进度比Flash慢一点。

数值不稳定只是表象,这些要素非常锻炼团队Infra和算法联合debug的能力。有时候怀疑是不是哪个卡有问题,排查完所有卡都没问题,会怀疑是不是今天太阳黑子的报复(笑)——要从很表层查到很底层。

张小珺:你刚才也提到1T的模型可能是未来竞争的入场券,是这样吗?

罗福莉:是Agent要做到接近Claude Opus 4.6水平的入场券。

张小珺:你当时立项的时候还没有Claude Opus 4.6这个模型,为什么当时就觉得一定要是1T的?

罗福莉:首先我训过DeepSeek V3这么大小,600多700B的模型,不会再想训一个同样的模型。肯定还是继续往下一步scaling。1T是当时已有卡数量情况下,一个比较极限的区间。

张小珺:多少卡?

罗福莉:几千卡。

部署这么大参数模型挑战是,训这个模型是几千卡。但实际上要投入大量卡做研究,研究的卡会是训练卡的几倍。

训练MiMo-V2-Pro和Flash,各自可能几千卡就够了。但前期结构研究、中后期Post-train很多算法研究,投入会是这个的很多倍,3到5倍是更好的区间。

不是说拥有几千张卡就足以做这个事情,尤其在Agent范式下,卡的数量反而变成一个非常重要的瓶颈。因为idea诞生和动手写出来太快了。

GPU效率就在那。为了验证idea去跑实验,要并行起很多实验。卡变成更关键的制约项。当然这只是for训练,for推理,卡更是关键因素。推理卡需求量远比训练高很多。

张小珺:训练、推理和实验,卡的数量最合理应该是几比几比几?

罗福莉:推理看用户数,或者高价值场景消耗的token数,因人而异,把推理拆开看。

如果说for研究、for Pre-train和for Post-train,一个非常合理的卡的比例可能是3:1:1。

Pre-train和Post-train投入算力相当,研究比例至少比正式起训练的卡,总量还要多一点,要额外留更多卡做研究。

张小珺:范式转移之前,过去的比例是多少?

罗福莉:至少在Chat时代应该是非常夸张的,比如3:5:1。

预训练跟后训练一个比例,这是今年可能发生很大的变化。

有很多团队,顶尖的团队,应该都是1:1了。

13 1T模型是入场券


张小珺:训练一个像Pro这样1T大小的模型,挑战是什么?

罗福莉:全方位的挑战吧。数据上反而不是非常大的挑战,更大模型貌似对于更脏的数据容忍程度更高。但我不确定。我们是同一批数据训的,所以不确定,只是貌似。

更主要的挑战是训练历程中遇到问题的时候,第一步是要发现问题。很多团队会把loss spike当做很正常的事情,但我们尽量让它没有loss spike。有loss spike会导致某一步更新特别不稳定,某些数值异常值很大,直接把某些参数或某些expert给它打死——就是打死,参数更新过后,再也不会有token送到expert上。

所以中间需要很严密的监控系统,洞察模型参数内部到底发生什么样的变化。比如至少去看看expert的负载怎么样,每一层参数的输入输出怎么样,激活值有没有变得很异常。Loss spike发生后应该去看这些事情,但不是所有团队都会看这么细。这是第一步要发现问题,好多人就不把它当做一个问题。

发现问题再去想,到底是什么样的原因引导这样的问题?比如有可能是稀疏比太高了,导致Full层输出跟Sliding Window层输出数值差异非常大,导致数值不稳定。有可能是结构原因,也有可能纯粹是Infra bug,比如通信的某个算子写错了。最后发现,甚至有可能是某个norm有点问题。

可能最后无奈的解决方式是,发现这一层数值太大,要么给它clip掉,要么通过norm压下去。有非常多种解决方案。

通过norm压下去肯定会对模型效果有损,clip掉是一种方式。我们也会借鉴Kimi的QK-Clip方式,当QK某些logits非常大,实在影响训练稳定,没办法只能clip掉,至少能让训练更好进行下去,进行到稳态时再放开。有太多这种临时的,要去发现问题、解决问题,甚至倒推很多可能产生导致这个问题的分析路径。

这些路径非常考验团队的跨团队协作。如果是在很大的公司,协作效率极低。如果是在很小的团队、创意性团队,就是考验环节上关键几个人的配合程度,会更高效。如果环境上每个人都足够追求极致,不能容忍突然这么干,必须停下实验来找问题。

张小珺:你们属于哪一种团队?

罗福莉:我们肯定是属于小团队非常极致的类型。所以,会导致训练周期被拉长。预训练周期肯定不会一两个月就训完。训练周期拉长的情况下,如果有非常明确的deadline目标,肯定承受不了。

大几千卡停一天,肯定就是一两百万、两三百万的事。

怎么去承担这样的损失?如果是在目标驱动的团队,可能会觉得停个两三周去排查一个问题,还不知道是不是问题、会不会对模型最终训练产生影响,是不太能接受的事情。

但在我们这,我们认为它就是一个问题。我们就应该去解决它。

因为我们没有那么清晰的说我要发布的目标。

罗福莉:你们没有deadline?

张小珺:我们没有deadline,就觉得模型训好了我们再发。

张小珺:没有公司来的压力吗?

罗福莉:没有。

张小珺:你们在这个1T的模型训练过程中,有失败吗?

罗福莉:看怎么定义失败。比如训到loss直接飘了这种,应该中途还是发生过那么几次的。

两三次总是有的。就loss直接飞了,但它比如说训了几百步又回来了。

张小珺:你说的这种情况,你是选择停下来解决,而不是继续往前训。

罗福莉:我们认为应该要停下来解决问题。它其实就这样翘上去几百步,然后又下来了。这我们认为应该停下来解决,让它loss更平稳地度过。

张小珺:一般会停下来几天?

罗福莉:几天也有可能,一两周都有可能。

张小珺:停两周焦虑吗?

罗福莉:不焦虑,因为我们又没有什么目标。

当然了,晚上都睡不好,我经常晚上做梦说,为什么loss又spike了?

虽然我们没有明确的时间节点,但是你还是会崩溃嘛,还是有很多很沮丧的瞬间。虽然没有明确的节点,但是卡它是有限的对不对?

你会觉得你浪费了算力资源,在做一些无用的实验。有这样的自我批判。

张小珺:从实践来看,参数量能决定智力的上限吗?是越大的模型,智力上限越高吗?

罗福莉:我现在觉得是参数量加上Context本身,这两个是共同决定的。但至少,要达到当代大家觉得最强的Agent水平,一定要1T以上的参数规模才能做到,才能让人觉得你已经非常接近4.6 Opus这样。但我不知道它多大,我只是自己认为至少总参1T以上,才能做到。

当然更关键的是激活参数。比如总参都是1T,激活参数越大,意味着更高的推理成本。它是一个trade off(权衡)。

张小珺:为什么在Pro模型上,Full跟Sliding Window的稀疏比从5:1调整到了7:1?

罗福莉:我们还是追求更极致的稀疏比。

最主要原因,希望在更大的架构里边,去做更高效的Long Context。因为更大的架构,总参变多,Full Attention的层数也随之变多。在长文本的情况下,同样会变得非常崩溃,因为Full Attention的层数变多了。但如果你扩大参数量,Full Attention的层数没有变,那么有可能,你的长文,Pro跟Flash两代模型效率是差不多的,但Pro的智能水平提升了。

在长文的效率相当的情况下,我们希望模型在scaling它水平的上限。我们是比较去控制住效率本身的。但控制住效率本身,后面在Agent时代,也有一个更有价值的事情。既然这个更大模型,它的长文效率很高对吧?那我就可以塞更多的上下文,它就又更强。大概就是这样的决策背景。

张小珺:对于这个1T的基座,你们做了如下几个重要的技术决策:第一个是混合注意力机制,刚才我们聊过了;第二个是1M上下文窗口,这个在做的时候是否出现丢失的情况?

罗福莉:问题关键是你从哪真的去搞到,在一兆的上下文窗口里边,有那么多很稠密的监督信号。很难找到这样的数据,或者说,这样的数据的构造成本非常高。

要真站到终局思维来看,只要你有比如1T的token量,而且都是一兆的、真正的长上下文,那么模型一兆能力肯定能训上去。只要loss一直在降低,它就是在建模、在压缩,那么它就一定能训上去。

但问题的关键是,你很难去构造出来真正1T、1兆的Context,真的很难去构造出来。要么成本太高,要么就很难找到这样的场景。所以Long Context的效果是缓慢在提升的。

张小珺:你们的第三个技术判断是,沿用了MTP的模型结构。

罗福莉:对,这个没有什么太大变化。预训练训一层是为了提升基座能力。后面Post-train去训更多层,是为了推理的时候用更多层,实现更好的推理加速。

14 多模态有没有促进智能,根本不关键


张小珺:V2-Pro同时发布的,你们发布了另外两个模型(V2-Omni、TTS),它们也是去年同期开始训练的吗?

罗福莉:基本都同期。都是那个时候开始规划的,大概三个方向。

张小珺:看起来整个V2家族,在指向多模态的叙事。但文字是离散的token,图片是像素矩阵,音频又是波形。你们怎么去做这个融合?

罗福莉:我们还是想尽量把它统一到language model(语言模型)的范式下。

在音频的建模上,我们想要把它离散化,变成跟文本一样的离散token。我们在音频上投入了比较多研究算力,说怎么去进行离散音频建模。我们希望这个离散音频的建模,尽量做到无损离散化。

因为大家还是不太相信,把一些连续的输入变成离散,最后还能重建出来。

这个事儿,需要对encoder更精细,比如我们需要一些多层的RVQ(Residual Vector Quantization,残差向量量化)来保证,它的离散表征是一个非常大的、像Dense一样的高位空间。我们需要更多预训练,来让它开始涌现。如果你基于连续的特征做,可能很快就涌现了,但你基于离散特征做,会更难去建模,它涌现出现的时间段会更晚。

我们在音频上开始了这个尝试,也会迁移到后边其它模态。我们比较想用一套更优雅的架构来做整个多模态输入的理解,但我们不是为了统一而去做这整套架构。

很多时候,如果发现确实在图像上离散不那么可行,我们还是会寻求一种目前更主流的架构。因为我们优先要保证的是这个模型,它要具备一个整体的智能水平,而不是追求为了统一优雅的范式。

张小珺:音频统一到LLM里去容易么?

罗福莉:我们的技术架构应该是非常另类的。我知道国外的御三家(OpenAI、Anthropic、DeepMind)也好,国内像豆包也做的蛮好的,应该都是跟我们完全不一样的架构。

张小珺:你为什么选这个架构?

罗福莉:做NLP的人执念吧。我们做音频的人全是做NLP的人,有这个执念,就觉得相信它,然后就去做了。

张小珺:图片能这么做吗?

罗福莉:能。我们已经尝试了非常长一段时间了。

但它是一个权衡。就像我说的,要做到真的无损重建,是需要投入更多算力、更大研究成本在的。至少在音频上我们已经迈过去了。图片正在进行中,不知道能不能迈过去。

张小珺:如果迈过去,会带来更大的想象空间吗?

罗福莉:更优雅的结构。我最开始是认为,如果把它统一都离散化,那么可以用一套基础架构去解决这个问题。同一套预训练的基础架构,同一套做RL的基础架构,很优雅地把所有范式都统一了。它太简洁了。如果真能做到的话。

但我现在发现,当我们有Claude Code和顶尖模型过后,这些架构,比如我们重新去写一套RL Infra架构,重新去写一套Training Infra架构,我们最近就完全再从头去写一些新的架构。我原来以为写这些架构蛮耗费人力、蛮耗费时间,但现在看起来,在Agent支持下,写架构的时间被大量缩短。

那你就没有必要为了架构的优雅性,去做很多为了统一而统一的研究。这是最近一个月内发生的变化。

Infra重新写一套也没有那么复杂,几个人Claude Code,两三周可以重新捏一套新的RL框架。为什么要因为后训练的Infra架构的统一性,让前面模型结构牺牲这么大?

张小珺:为什么你们这个系列的模型叫法是“全模态”模型,而不是“多模态”?

罗福莉:因为它确实支持视频、音频、图片、文本所有模态。有一些Agentic的模型,是不支持音视频联合理解的。它应该是第一个支持音视频联合理解,并且Agentic的能力,能够做到跟language model水平差不多的。

张小珺:是不是有迹象能表明,在全模态或多模态的理解中,能够产生智能?

罗福莉:两个月前我很相信,最近呢,在训Omni整个过程中,稍微有点质疑这个事情。

但我们后面还是发现了一些很好的迹象。比如MiMo V2 Omni,它其实比Pro小,但大家实际去用的时候会发现,这个Omni在对世界的感知和领悟力上,或者说最终反映出来它的情商,以及它的知识储备上,会比更大的模型更强。因为它是原生多模态训练的。

我猜测,可能是因为我们在这两个方向上scale的,就在纯语言上scale的算力和这个原生多模态上scale的算力还不那么多,导致我们现在并没有看到原生多模态本身带来智能的很大提升。但你能感受到,比如很多世界知识,因为它训过视频,所以它知道了更多。它对很多很细微的东西的感知力,你会发现它更强。

但这些都是很虚的,是我们自己实际体感去测感知力。你在任何Benchmark上,没有任何证据能证明——就纹丝不动,可以这么说。

张小珺:有没有可能是Benchmark错了?

罗福莉:当然有可能。我现在也不能非常确定说,多模态能力是实现所谓AGI路径的必要路径之一。我是不想去下这样一个结论的。

因为每个人对AGI的定义不一样。尤其在Agent这样,可以把多个模型的能力,非常优雅编排到一起的情况下,我们更没必要强调多模态是不是促进智能——它有没有促进智能这件事本身,不关键。

张小珺:多模态促进了什么?

罗福莉:目前我只观察到这两点。我现在还不知道未来在一套新的架构上,会不会有一些新东西。

可能做多模态生成,未必会有一点点不一样。就是生成可能会促进更好的感知,但你要是纯说,把你的感知维度扩大,你是不太会促进智能的。但如果你能生成它,maybe是能促进智能的。这是我的一个猜测。

张小珺:但多模态生成现在还是一个科研问题。

罗福莉:是。或者说,把生成跟理解,做到一个统一的架构里边,目前还没有scaling到非常大的算力。大部分生成的架构,还是纯for生成的,它并没有理解的智能。

张小珺:你设计Omni这个模型的目标是什么?

罗福莉:截止到目前,Agent要行动,它必须要具备多种模态。其实是这样一个目标。

但下一个目标,我觉得不是这个。

下一个目标,还是想去探索,当你结合多个空间的感知,甚至你能去生成更多的多模态的信号时,会不会促进你对这个世界的理解。但更直白说,需要有一个跟现在的Agent框架交互更好的视频生成模型。

张小珺:为什么你们没有披露Omni的总参数量和激活参数量?

罗福莉:给我们留点想象空间。我们相信这个参数量可能做到更接近于Pro的智能水平,虽然大家知道它比Pro小一些。

张小珺:只是小一些?

罗福莉:对。但我们相信它们俩能够互相迭代,能够你提升我、我提升你。

张小珺:最后,关于最后一个模型V2-TTS,有什么新的研究发现吗?

罗福莉:TTS的动机是,我们想用一套自认为优雅的架构,去做一个大家都用传统架构、做起来很容易的事情。

但做完过后发现,追求一个离散化tokenizer,在上亿小时的数据集上训练过后,模型的泛化力非常好。我没有办法对比说,训一个很小的模型,泛化力是不是真的没有这个好。至少目前得到的模型,大家能看到,再给它输入很多风格化标签的时候,它会通过推测字表面的含义,去赋予情感和音律。

在这个事情上的泛化性上,我们发现特别明显。我们只是简单做了很特定几个场景风格的数据做SFT和RL,很刻板的几个风格化场景,比如快点慢点、高兴悲伤这种很刻板的风格化场景,去做了风格化的Post-train。

但发现,把style标签变成非常复杂、自然语言的描述,它能够遵循。这是纯泛化出去的。这是在做的时候,发现简洁架构加超大规模训练,带来的超强泛化力的外化表现。但还很初期。

这个TTS模型,效果非常惊艳,上限非常高。但下限在慢慢弥补,有时候会不太稳定。目前只是限时免费,开放API大家玩一玩,不确保真的能投入生产即可用。但很快会让它变得生产即可用。

张小珺:Omni、TTS跟Pro模型比较,哪个更重要?

罗福莉:当然Pro更重要。

纯语言空间的打通,需要大量前置研究作为基础,这才是更重要的。

张小珺:现在看到的MiMo相关模型进展,都是你们在半年以前的决定,你现在为半年后做的决定是什么?

罗福莉:这就要保密了。

第四章 谈AGI路线图

15 R1在DeepSeek内部,“一次奇袭”


张小珺:我们刚才聊了很多关于V2家族的模型,下面想跟你一起回顾一下,过去三年整个大模型世界的进展。从2022年底,ChatGPT打响了大模型的战争,在亲历者的眼中,每一年的关键变化是什么?我们是怎么走到今天的?

罗福莉:ChatGPT是第一个发挥模型在,我猜测是4K预训练场景里的智能水平。

预训练的长度,或者说最终Context的长度确实很关键。ChatGPT只是让大家感受到,在4K Context里预训练,训练完过后,通过简单对话,对话轮数是一轮、两轮甚至多轮,在很短的上下文里,把模型在超大规模预训练上训到loss最低的智能水平给激发出来了。

当然所有激发的前提,都要靠一套能让人感知到智能水平的交互。Chat就是一个很好的交互,否则你不知道这个模型已经这么强了。这是22年底ChatGPT发生的事情。

张小珺:23年?

罗福莉:当有一个顶尖的闭源模型做到的时候,它的下一年就是开源界怎么去追上这个顶尖闭源模型。所以23年,Llama、Qwen、DeepSeek,这些开源团队就在准备。

首先借助Llama披露的,怎么去做好大规模预训练的范式,就是怎么去做好数据。那会儿结构都是未知的,哪怕训一个7B的结构,Transformer结构是怎么样的?Pre-Layer Norm或Post-Layer Norm,hidden size多大,这些超参那会儿完全不透明。但Llama告诉你,这么训能训成功,给你开了个头。

借助这个头,Qwen借助LLaMA的架构,做更好的预训练数据,做更大规模的预训练compute scaling,Qwen系列就起来了。

Qwen做得很好,for开发者生态做了全尺寸模型的训练,也训了一些多模态模型,也做得非常顶尖。这是对社区非常有利的,有利于激发后面社区做一些微调,还有一些微调框架诞生的必要先决条件。

DeepSeek在同期,虽然也是尝试复刻LLaMA,但更在乎的是,看到LLaMA这一代架构有什么问题,而不是着急去scaling。

它更在乎LLaMA用GQA(Grouped-Query Attention,分组查询注意力),在更大的模型里,尤其是在受限的GPU上去训练的时候,会存在什么问题?scaling会遇到什么问题?可能要涉及到一些新的结构来解决这个问题。

这是DeepSeek V2和V3那个系列阶段,想去提出一些新的架构,不管是MOE for高效训练,MLA for更低的推理成本。这个时候诞生的事情。

所以,DeepSeek那段时间更注重,在更差的芯片上去做更好的研究来scaling。

张小珺:LLaMA当时的缺陷是什么?

罗福莉:它就是个Dense。你要真去给它scaling,比如现在没有人去训几百B的Dense,开源界。因为训几百B的dense,虽然LLaMA搞过,你也能看到结论,但那个结论不一定是结构的问题,是它太贵了。训它也很贵,推它也很贵。

没有人会去搬运一个又笨又贵的模型。所以MoE for更高效训练、更高效推理,MLA for更低推理成本的模型架构就会诞生。

这是同阶段,Qwen和DeepSeek在走两个路径——Qwen是在纯scaling,DeepSeek是考虑创新的基础上再scaling。

张小珺:现在看,哪个是更正确的?

罗福莉:两个都是对的,没有说谁是对的或错的。

一个是为了在有限算力资源下达到最强的模型,DeepSeek算力可能只有Qwen的几分之一。Qwen想的是怎么去促进整个生态更好的发展。

这形成了中国两个开源势力。一个开源势力是在做研究上做到绝对高度,一个开源势力是在真的生态价值上做到一个高度。

生态价值本身也是价值。如果没有这么多好的开源模型,很多好的研究工作,就像DeepSeek R1前序的很多研究,都是在Qwen的模型上去做的。它们是彼此促进的,对社区都有价值。

当然DeepSeek有另外一方面价值,是它有一个全新结构,带来对于训练成本的冲击,以及后续推理成本的冲击。这导致对推理芯片有了更准确的判断——下一代芯片应该怎么构造、怎么设计?这对整个AGI历程来说,是非常好的事情。这可能是23年、24年发生的事情。

24年可能唯一发生在所有人意料之外的事情,是o1跟R1。

R1在DeepSeek内部,也算是一次“奇袭”。它诞生非常偶然。

当预训练范式变到后训练,对于组织和团队,以及创新的要求不一样的时候,整个团队应该怎么再去重组织的问题?我是在这个事情上得到最大的感知。

张小珺:按照传统的管理思路可能是,我现在要对后训练加大投入,那我要组建一个后训练的团队,甚至从外面挖一个做后训练强的tech lead进来,这是错误的方式吗?

罗福莉:得看团队本身。它可能不是很有利于创新。比如在后训练数据多样性上,只是做后训练的人,天然缺乏这个视野。

还有,很多团队对做预训练和做后训练的人物画像很刻板。反正我们不是按照这种刻板的方式去招人、组织人的。它很刻板的问题就是,天然导致做预训练人做不了后训练。

我也没太去了解深层原因,只是当我去了解的时候会觉得,怎么这么奇怪?老有这种疑惑。

张小珺:外界看到的结果是DeepSeek-R1出圈,但你当时在DeepSeek内部感知到的是,在模型开始训之前,已经有的对于团队的调整与组织。

罗福莉:就是大家认不认可这个事,以及我们要以一种什么样方式来做这个事。我在R1的过程中,是有非常大体验的。

但最终的结果,我能预知到的是,在我走的时候,R1已经做到一个Lite(轻量版)的水平,Code Math已经做到了非常接近于o1小那一版的水平。

我已经预示到,Code Math上这个Reasoning肯定能走通,而且即将可能AIME(American Invitational Mathematics Examination,美国数学邀请赛)会从那会儿只有三四十分,刷到我认为七八十分都非常有可能。但后边现在已经刷到100分了。

我没有意识到的是,它是一个范式的转变。Reasoning是可以通过Code Math这个高泛化场景,能放到通用以外。这个o1也没有走通——这是我没有预料到的事情。

也是因为这样的背景因素,导致我后面再看新的东西,哪怕它是for一个很垂的场景去做,尤其是Code这种场景,我会先思考它是不是真的能泛化?是不是我把它想小了?——这只是我自己沉淀下的一套skill。

这是24年。

16 现在是大模型竞争的第二幕


张小珺:25年呢?

罗福莉:25年,我觉得很boring的一个事情是,它处在很交错的一年。

这个交错的一年是,你可以选择在Chat这套范式下,把Reasoning给做到极致,继续去把SWE-Bench、LeetCode Bench这些偏Code的Benchmark,你可以在这个范式(思考很久给出一个答案这种)上选择继续深耕。你也可以选择我忽略掉,我就不管这些,去想下一套。我可能在这套范式上做到六七十分就OK了。AIME做到六七十分,就表示这个链路你已经走通了。

但是,比较聪明的团队,25年年中就会全面拥抱,去for新的Agent架构去做事情。

MiniMax已经转过来了,MiniMax是国内转得最早的。但这样一种新的范式下,对整个团队的敏捷性要求又很高。

从模型发版速度上,能看出来哪些公司拥抱的速度够快。可能有些公司没有跟上,还在原来Chat的范式下继续深耕。哪怕去做了一些BrowseCap、SWE-Bench、Terminal-Bench这种带所谓的Agent的Benchmark,并在这些Benchmark提升得很深,但它并不代表这个模型真的能实际可用。

BrowseCap是一个非常离谱的评价指标。在这上边训的模型,感觉只能在这种数据集上测,换种方式,哪怕也是做信息检索的方式,最终能力还是泛化不出去。就很奇怪,这套数据集太局限了,整个框架也非常specific。

所以这半年,如果说在做Agent的人,大部分是走到歧途上——我觉得它算是歧途。我们也走了一小阵阵,Flash第一代,并没有想做Agent,还是想做很好的Chat。

但一个原因是,我们确实要先打好Chat基础。就像我说的,Chat至少要做到七八十分,把整个历程给走完;你才能够说,你的Post-train数据基建、你的Infra基建、你现有的人——尤其是我们招的全都是没有做过大模型的人——他们能有个历练。

否则他一上来就做新的东西,怎么好做呢?

做Flash的时候,纯粹是一种,把我们做过的事情让一群没有经验的人再做一遍。但更在乎是,这群人在做新的事情的时候,他们自身在进化。

这个进化对我们后边去做新的事情,非常有价值。因为极少在中间给非常强的supervision(监督)。除非发现要掉头了,否则给太细节的这种监督信号,告诉他这个事应该怎么做的缺陷是,会让团队大部分人失去原创能力。这是应该尽量避免的。

张小珺:组织我们等会聊,我们先把现在的范式转变聊完。现在大模型的竞争,从之前的Chat的第一幕,已经过渡到了Agent的第二幕,这么理解对吗?

罗福莉:这算是模型竞争的第二幕、第二场战役。所有人都开始在同一个起跑线上。

可能闭源模型早,Claude应该是两年前就在这个路径上了。只是大部分人,没有意识到它是最正确的路径而已。很多人在去年意识到了,但都没有在做正确的事情。

什么是正确的事?要在一套非常复杂的Agent框架,或多样的Agent框架,去端到端完成更高复杂度的任务,并且以此为目标,作为你后训练的范式。

而不是在一个很局限的场景里,针对这个场景定制一套很简洁的架构,去做另外一个比Chat复杂度稍高的任务——模型的输入输出还是一堆字符串、一堆token,模型的RL范式还是以推理Rollout为中心。但Agent已经不是这样了。

张小珺:为什么你说MiniMax是国内转变得比较快的?

罗福莉:我觉得它是比较快的。它们用一个10B的(激活)模型,做到目前Agent能力。它们后训练的敏捷程度非常惊艳。

张小珺:你说大模型竞争第二幕的入场券是1T的基础模型,但MiniMax没有这么大的模型。

罗福莉:对,我把入场定义为,你要做到对标到Claude Opus 4.6的水平,它需要1T的基座。与此同时需要敏捷性。它具备的是后者。

张小珺:所以现在中国公司还没有同时具备两者的模型公司?

罗福莉:对。看一看DeepSeek吧,哈哈。

17 赛点:Agent上怎么去做好RL的scaling?


张小珺:能评价一下中美两边的大模型公司,在今天的竞争赛场上各自抵达了一个什么样的位置?现在大家押注的有什么不一样吗?

罗福莉:Anthropic的路径是正确的,这算是当下共识。至少在过去3个月,Agent的路变得更清晰。

在路径更清晰的情况下,国内大模型团队,就进入到加速追赶的状态。因为现在大家在Pre-train上的代差是基本没有的,或者说非常接近。国内大模型团队在Pre-train结构上是有优势的。

甚至Claude,在过去很长一段时间做的很多Context Engineering,我们都误以为,它是因为模型结构不是很先进,为了成本而做的一些妥协设计。但现在回过头看,有点想的太局限了。

现在你能看到,不管它最开始的动机是什么,但最终的状态是:所谓的Context管理,以及搭配的Skill Fold或Agent架构,都是为了配合模型发挥更强大的整体任务完成度而设计的。

所以,当大家看到这样一个范式转变,又有一个基座并没有发生代差的情况下,大家其实就很all in,要去做好Agent的Post-train。更具体说,是在Agent上怎么做好RL的scaling。

这是非常清晰和准确的方向。但具体的研究路径是需要探索的。至少跟23年要去追平Pre-train的差距一样,我认为是非常清晰的。

张小珺:你什么时候意识到Coding泛化性那么强?

罗福莉:一开始就觉得。不管是Pre-train范式还是Post-train范式,23年哪怕最开始,我从量化回到大模型赛道的时候,就会对Coding的泛化性抱有非常高期待。

但这种期待它转变成说,我先要好好去做好Code的预训练数据,再去scaling算力,看一下它到底在Code Benchmark上会不会很好。再看看Code Benchmark提升了以后,其它的泛推理类的,像BBH(Big-Bench Hard)这种Benchmark会变得更好。最开始是这样,它是一步步去实验验证的探索路径。

到R1,又一次验证了,因为Code和Math,都有非常好的verify的指标。

然后到Agent这个范式,Code又因为它有很好的environment,并且Code可以天然做很长程任务。比如软件开发就是一个非常长程的任务,你去做一个非常复杂项目工程,就是一个很长程任务。它又很适合Agent这个范式。

它基本上在每个范式上,都戳中了那个点。你都可以在Code上,至少在研究上,你可以是自闭环。并且在这个自闭环的路径上,做出来的东西,它是很容易scaling到其它更广领域的通用数据上。其实,Code本身就已经挺通用的了,因为它本身是自然语言,所以它很容易scaling。

所以,做Code这个事,至少在这个范式转变的时候,它都是一个非常优雅的路径。

张小珺:RL scaling现在探索到哪一步了?你们有探索的初步结果没有?

罗福莉:暂时还不是很方便分享。至少我觉得在RL scaling的算力,跟预训练的算力,达到一个同一个水位的时候,就会给大家分享。

张小珺:相对于三年前,今天的模型竞争变得更激烈了,还是变得更平缓了?

罗福莉:应该说竞争的维度和速度都变多了。速度变得非常快。你做预训练,不可能一个月出一个模型;但你做后训练,确实可以一个月出一个模型。

还有就是,Agent这个事,它除了看Agent架构本身,也看你对整个推理侧的结构,甚至硬件芯片,你是怎么认知它的。我觉得它会影响到一些最基本决策。

比如说,10兆的Context什么时候做?怎么去scaling 1兆的Context?它也涉及到,比如你在预训练阶段就去scaling,那么你后边儿对应的,在1兆上去做Post-train,跟在256K上去做Post-train,它的算力差距是好几倍的差距。

所以你是不是有足够多的算力差距,去support你去做这个事情?以及你最终的场景,这个框架本身的能力,是不是支持你能在10兆上的能力给发挥出来,或1兆上能力发挥出来?它是有个更长的决策链路。

它从原来Pre-train,只需要对Pre-train本身的架构做决策;到需要你面对接下一段时间,Agent框架演变、推理芯片等整个市场,算是供需的一个预估。因为芯片,它受制于这个制造储备,瓶颈就在那。以及你要不要尽早去规划,去做更广的、不是for单一芯片的模型结构,都是需要提前去做好规划的事情。

张小珺:这个说的是大模型的公司维度,那对于以应用产品为主导的创业公司呢?站在2026年,你觉得今天创业公司的生存机会变多了吗,还是更绝望?

罗福莉:坦诚来讲,我不是很了解除了基座大模型以外的创业公司。我能看到的是,至少,创业公司的团队规模会越来越小。不需要有一个非常大的公司,就几个人甚至一个人都可以成为一个公司。

只要你学会充分借助Agent。我之前老看到有人说,OpenClaw上我一个人养很多个员工。我自己也做过这种Multi Agent的尝试。虽然当下看不那么现实,有点噱头。但在今年内,Multi Agent很快会变成一个现实。

张小珺:Multi Agent现在没有突破的地方是什么?差在哪?

罗福莉:每个环节都差一点。你需要有个足够便宜的模型,因为你最终算的是,它是不是比我招一个员工更便宜?要是不那么便宜好用,我为什么要用你呢?不可能说你烧Claude Opus一天花1000多Token,结果那个员工创造价值可能1000。

第二,现在Multi Agent架构还有空间。它们各自怎么自进化、自迭代以及互相沟通,都还有空间。

张小珺:现在模型公司好像变得更没有边界了,“模型即产品”变得更突出。

罗福莉:模型借助Agent架构本身,就变成一套新的产品,产品力反而更强了。其它所有东西都很简单。

18 两年内实现AGI


张小珺:你之前画过一个通往AGI之路的图。你对比了人类的智能和人类进化:人类智能是一个生物演化路径,呈现为正三角形——底层是感知运动,中间是直觉情感,最顶端才是语言;

而现在AI的发展是一个倒三角形——大语言模型一上来就极大地放大了最顶层的语言能力,底层感知反而薄弱,你觉得这是一个空中楼阁。怎么能够拼接出这个AGI之路的图?你现在做的事情在往这条路上走吗?

罗福莉:现在大模型的演变逻辑,确实不能跟人完全一样。不一样的原因是,人演变的环境,跟模型演变的环境不一样。

人演变的时候,是随着自然界的变化,为了生存来进行演变的。但大模型,它好像一开始上来不是为了生存。

张小珺:它是为了什么?

罗福莉:我不知道。现在大模型没有自己的价值观。但我们要硬给它赋予价值观,就是让它替代一部分的人。但它不替代也不会死掉吧。

当没有生存的危机的时候,它反而会进化得更自由、更散漫、更有创造力。不那么受约束。

它现在的基础条件太好了,有那么多算力可以用,有人类宝贵的知识起点作为基础起点,还有那么多人帮它提升。感觉这两个环境完全不一样,进化路径就不太一样。

张小珺:语言之后,模型进化的下一步会是什么?或者哪怕在语言里细分,Coding之后下一步会是什么?

罗福莉:Coding还是会有一个非常好的主旋律,就是做一个很复杂的软件工程、一步直达的开发。持续的时间越久,能做的开发复杂度越高。不一定是代码量,只要是复杂度越高。

比如写一个Kron算子,代码量可能并不高,但需要写了去调试、Debug看它是不是在真的训练中提效,真的有效果提升,这个验证环节有可能是长的,但代码量可能是不长的。

总之,要参与到实际的项目开发里,确实是做Code的一个非常大的主旋律——简而言之就是它替代的程序员越多,这就是它的主旋律。

再外延到更广泛的生产力场景。它需要借助一个更强的交互方式。比如飞书、WhatsApp、Telegram,都是很好的交互方式,降低了跟它交互的门槛和频率。一个更好的交互方式是,它有自己的身体,可以到处移动。所以机器人,肯定还是一个for智能体交互的、必须会涌现出来的方式。它肯定会从屏幕上跃出来,到我们真实的空间。

但机器人本身的演变瓶颈,有大概率可能是在硬件甚至在电池上。当它进入我们这种封闭空间,甚至在一些灵巧手的灵活程度上,这些都会比Agent本身的进化,在语言空间的进化要慢。

张小珺:现在我们抵达AGI进度表的哪里了?

罗福莉:感觉历程已经到了20%吧。

张小珺:今年能走到百分之多少?

罗福莉:至少能到60%、70%。我感觉两年内应该能实现。

这之后,大部分人会抛弃掉自己原来的工作模式。生活模式被颠覆是更滞后的,因为生活并不产生生产力价值,工作产生生产力价值。

先会感受到工作模式被颠覆掉,其次再是生活。要真迈入到生活被颠覆掉,需要更多机器人。

张小珺:AGI的路线整体被提前,这里面关键的变量是不是能用AI训练AI?

罗福莉:这确实是一个标志节点。因为它可以自提升,达到最巅峰的一群人的智能。因为它可以自己训练自己,能去创造新的研究,有做新的研究能力。这确实是它自迭代的一个巅峰。

张小珺:这个会是大模型公司的一个核心竞争点吗?比拼谁能更快跃过这个临界点?

罗福莉:你很难直接去for让AI训练一个大模型、去设计任务、去针对性训练,因为它是一个更高级的目标,不会一下迈到这个目标。但大家最终所做的模型,都会通往这个目标。如果你有最尖端模型的智能,最后都会去干这个事儿。但它不是只能干这个。

张小珺:关于AGI路线图上的开源与闭源路径,我有几个问题。在你看来,一个公司为什么要选择开源,为什么要选择闭源?中国大部分公司都开源了,但发展到今天,现在还选择开源的目的是什么?

这是一个技术选择,还是一个市场选择?

罗福莉:我还是认为是这个目的——开源是加速AGI的。

假设AGI会爆发,假设它会替代绝大部分的生产力,那么我们可以从这个事去倒推:你需要多少芯片?这些芯片难道会被一家公司生产吗?难道会被一家公司购买吗?

好像不是,它会分散。如果芯片是分散的,那么推理有可能是芯片厂商做,也有可能是大模型厂商做,它们用的模型难道是同一个吗?还是用的不一样的模型?

我认为一定是不一样的。所以从终局来倒推,开源至少是有利于推进这个事情的。因为最终要大规模产生经济价值,必须要依赖于算力,才能产生经济价值。

我认为开源至少对很多环节——Agent框架、芯片、能源——都是有促进作用的。它是加速AGI进程的。

那它最后是一种公益还是一种市场?取决于每个公司开源时结合的生态位——就是你有没有一个别人短期内无法拿下的战略生态位?

如果有,那么你就敢开源。如果没有,你就认为模型就是你的生态位,那你就不开源。就是这样。

张小珺:所以取决于自信程度。你在大公司做开源,会有内部压力吗?

罗福莉:我现在不觉得我在大公司做事情。小米整体非常创业导向。很奇怪的是,它看起来是个大公司,但它其实是一个做事的灵活度非常高的公司。

张小珺:在你看来,包括MiMo-V2在内的这一代中国模型,和美国代差还有多久?中美模型之间的差距有多大?

罗福莉:在国内,目前已经具备1T以上基座的公司有好几家:Kimi、MiMo,还有一些。这些模型厂商在当下,距离国外顶尖——就拿Claude Opus 4.6来说——如果反应速度足够快,应该只有两三个月的代差。

不是说两三个月过后能追上两三月过后的Claude,而是能追上当代的Claude。这个概率蛮高的。

这两三个月大家怎么发生变化,是考验团队的整体研究水平、技术敏捷程度,以及怎么拥抱新的范式来做研究,这个非常关键。

接下来两三个月会非常精彩。

同期发生的事情:Agent框架在过去两三个月,OpenClaw本身也进行了大量改进;也能看到一些自学习和自迭代的框架产生。所以Agent框架这一层也会在接下来两个月,进步非常快。

其次,随着前两个爆发,Agent框架越强,模型能力进一步飞升,并且成本有极致优势的情况下,推理需求一定会爆发。几倍到10倍的空间,可能会立即当下发生。那么对于推理芯片,就会达到空前高涨的需求。

怎么在现有产能——尤其是大部分卡点在于存储上——不管是自己制造,还是用到最先进的芯片,来做更好、更低成本的推理,就是一个非常关键的命题。

最后,一个for更长期的事情:我们肯定不会在1T的水平上走太久。如果要拿到下一个阶段的领先,就要寻求更大规模的scaling。到底是去scaling模型的参数量,还是去scaling什么东西?以及要在什么样的芯片上去scaling?——这是当下立即需要去决策和判断的事情。

这个才决定了半年或大半年过后,谁是更领先。

张小珺:中美实现AGI的路径有没有可能是不同的?

罗福莉:坦诚来讲,我不是很了解美国。但至少按照我们目前的这一套——前沿的研究、模型的水平、AGI的框架、芯片能源——这些多方面合起来,我认为是非常可能领先的。

第五章 谈范式巨变下的组织

19 不太存在管理,规范和约束是压制创造力的


张小珺:刚才我们多多少少涉及了一些组织话题,接下来我们来重点聊组织吧。

你的Benchmark是什么?你们团队的Benchmark是什么?怎么驱动组织?

罗福莉:做好大模型本身就是Benchmark。但这个"好"是我们自己来定义的。

张小珺:这个怎么让公司同意?虽然你说小米有很好的创业文化,但它事实上是一家大公司。

罗福莉:雷总(雷军)同意就行了嘛。他是一个非常好、非常有战略眼光的老板、天使投资人,anyway,后边还有很多标签。

就没有要求。

一开始加入小米之前,在这个事情上是高度统一的。按照我们的判断和直觉做就好了。然后做了,老板来说“做的好”。(笑)

张小珺:你刚才还提到一点,什么叫做,你们团队“没有大语言模型背景的人”?

罗福莉:大部分招人之前,都没有做过一个大模型。他们刚毕业,在学校做了一些基础的研究,之前甚至不是做大模型的。(可能)做工程的,做开发的,这些都有一点训练背景。

大概1/3到1/4的人稍微有一点点训练经验,但可能都只是训过7B、14B,类似于这样的规模模型。跟训大模型的经验也不太能复用。

张小珺:这意味着,你需要有很强的训练经验吗?

罗福莉:对1、2、3、4步应该做什么要求会高一些。但后面发现,不要告诉大家1、2、3、4步做什么,就推着大家,我们一起来重新做一遍这个事,大家就会往前走。

张小珺:训一个1T的模型对你的管理难度,是不是指数型的上升?

罗福莉:不,没有。管理团队的难度是一样的。

或者应该说,不太存在管理。大家一块去解决问题就好了。

你不需要去管理这几个人,每个人都有自己不同解决问题的思路,一起来解决问题。反而是这种解决问题的以身示范的能力,是一个非常好的文化和导向。

张小珺:训1T模型是多大团队?

罗福莉:很小。只说训练这个事本身。

但做数据还需要也是几个人。可能还需要一个非常好的基建团队,把卡集群给搭起来。

基础设施团队可能需要有那么一点有经验的人,因为没经验老出一些低级问题。吃一些基础运维设施的经验。

张小珺:只要几个人训练一个1T的模型,这个常见吗?诀窍是什么?

罗福莉:本质上,也没觉得它需要非常大团队协作。团队协作当然有优势,比如大家在卡资源巨量的情况下,可以并行探索,对做研究是有优势的。

但并不认为,对我刚刚说的那种场景——发现一个可能是问题的问题,然后深入排查原因去解决它——很大团队是优势。反而很大团队有可能是劣势。

张小珺:训这个1T的模型过程中,你们团队状态是什么样的?

罗福莉:原来做预训练、数据的那一群人就去做后训练。做Infra、做训练框架、做推理Infra的人,一块来解决训练过程中的问题。

张小珺:为什么要让做预训练的人去做后训练?

罗福莉:首先后训练的一大部分原因,是你需要有很好的数据直觉,这还是蛮重要的。

其次,它是基于个人爱好兴趣产生的,不太是基于说我们这里需要人你转一下。大部分是大家自然而然发生的。但确实能够预料到哪些人会做这样的迁移,因为有很多能力特征上是很共性的。比如对数据的直觉,比如会从模型效果去倒推一些算法设计。做数据好多时候也是在干这个事。

所以,我们对人的界定没有那么清晰,大部分人会自然随着训练阶段的变化,自由去选择下一个阶段,做更有想象空间的事情。

张小珺:MiMo团队现在是100人吗?

罗福莉:现在已经到100人。但这100人是包含所有链路上的人。比如数据采集、数据质量,Pre-train的Infra、Post-train,甚至我们的开发(我们需要有一些开发),还有我们的产品,我们的数据,还有三个方向上的算法工程师。

大致你可以发散,就是语言、多模态和语音。

这100个人里边,实习生比例很高。有部分实习生可能在做一些,当下不会立马反映到这一代模型结构、模型能力上的事情。

真正投入到一代模型里去迭代的人,很少。可能所有链路上加起来也就二三十个人、三四十个人。

张小珺:这100个人你们有小组的划分吗?

罗福莉:没有组。

张小珺:也就是,你1对100?

罗福莉:差不多是。

张小珺:为什么没有小组的划分?比如,为什么不分预训练组、后训练组…?

罗福莉:因为很多人会对两个方向都感兴趣。如果组划分非常清晰和固定,是在扼杀一部分的创造力,或者说扼杀未来的成长空间。

第二,做后训练现在一个很重要的范式变化是,需要具备diversity(多样性)这个视野。很多做后训练的人,是怼着一个场景去做,没有这种多样性的视野。

但做预训练的人,第一应该关注的就是多样性——不能往模型里边塞一小部分数据,要塞多样性更好的数据。所以做预训练的人去做后训练有非常大的优势,会天然更在乎多样性,就是个很好的补充。当然也有人一直只做后训练,比如只研究强化学习,所以它一直做后训练。

至少我们不要在组织结构上,按场景把某些人的创造力扼杀在这个场景里边,那就很奇怪。

张小珺:没有组也就意味着没有leader。

罗福莉:我们有实际推动项目往前运作的人,但都很模糊。比如项目要往前走,我们要训MiMo-V2-Pro的预训练或后训练,可能有实际往前推动的人。但这个人并不对参与项目的人有绝对控制权。

张小珺:模型团队没有职级对吗?——但小米公司本身是有职级的。

罗福莉:我们这个团队的整个组织结构就是完全解耦的,没有职级。

张小珺:没有职级、没有小组,这样的组织结构对于对于智能涌现本身的意义是什么?

罗福莉:平权本身是有价值的,有利于所有人平等地贡献自己的创造力和智慧。

任何层级,一定程度上都是在规范和约束,而规范和约束本身是压制创造力的。

有层级过后,就默认这个层级上的人应该有更强的、超越所有人的智能——这个界定非常奇怪。

需要更扁平。尤其是对于最重要的leader,他/她不要有特别强的掌控感,以及“没了我就不行”的想法。一旦有这样的想法,反而不是很有利于创新团队的发生。

20 环境比经验更重要


张小珺:虽然你说没有管理,但实际上怎么管理呢?

罗福莉:靠热爱驱动管理。这个很重要。我自己发现是最行之有效的方式。

去选择激发大家的热情,让大家围绕着自己愿意信仰的事情去自驱做事。这是我一直比较坚信的最有效的管理方式。

张小珺:你有什么驱动热情的方法?

罗福莉:让大家去体验,是驱动热情非常重要的方式。

比如OpenClaw,这是一种体验方式。看起来用了一个非常极端的方式——"你不用,没有100轮对话你明天就辞职"——但我不会最终去考核。第二天也不会去考核大家"真的有没有用",因为那不关键。只在乎有没有真的去用这个动作,100轮只是一个量词而已。

筛选人的时候也很关键。很多人可以从过往经历看出来,他到底在围绕什么样的目标做事情。靠热爱驱动做事情的人的特质,会非常special,聊天过程中应该就能感受出来。有的人会围绕很多奇奇怪怪目标做事情,但为了热爱做事情的人,是非常明显的。

这没有办法用很多量化指标,但去跟他聊天,我能直接感受到,能sense到。

张小珺:具体来说,你会倾向于选择什么样的人?他的学历需要和人工智能相关吗?

罗福莉:看做什么东西。

这些能力真的都可以被快速习得,只要被放在好的环境里,围绕着一个更高标准的目标来驱动。最多一两个月,慢的话三四个月,确实都可以被快速习得——所以,环境比经验更重要。

这个环境让大家更快更快地提升学习,让大家互相MOPD(Multi-Teacher On-Policy Distillation,多教师在线策略蒸馏)——互相蒸馏,我蒸馏你的长处、你蒸馏我的长处,互相这样快速提升。

更在乎自己创造这个环境,是不是符合这样一个先决条件。而不是在乎这个人来的时候,他的历史背景的基因是不是好。只在乎他可能初始化checkpoint的上限高不高,只在乎这个。但不太在乎他目前已经被supervised learning过后的那个点的状态高不高。

张小珺:我看到,你们的博士比例是55%。

罗福莉:包含在读博士。更多是代表一个人对做研究的热爱程度——如果热爱做研究,可能会选择至少读一个硕士或博士。

但现在也招了很多本科生,本科生在对Agent这种新范式的理解上,想象力反而更高。所以现在招人,会慢慢倾斜到招更多前置的本科生,大二大三的人。

因为他们的灵活性和适应程度,都感觉没有被污染,天然更接纳这个事情会产生巨大价值。思想还没有被禁锢,敢放心大胆把自己那些想法交给这套架构去验证,自己不断去探索边界。

张小珺:你会怎么去有意识地创造一个更好的环境?

罗福莉:首先是构建这个环境的人,要有同样的特质。比如要强调热爱这个事情、强调使命感这个事情,要有这些基础的特质。

其次要把这些特质给真的放大的前提是,他的基础要好。就是当他想做什么事情的时候,他有这个热爱的时候,他要能做成。他这个基础要好,不能就光想法多但做不成。这个基础,是构建成他最后做不做得成的关键要素。

选基础好的,好奇心强的,热爱驱动做事情的。当然还有一些可能对多样性有更高的要求。

如果招的太同质化,大家很容易去miss掉一些看起来是噪音,但实际上对研究非常有价值的一些信息。所以多样性非常重要。

我们上班每个群叽叽喳喳聊的挺多的。大家都会疯狂把自己的想法,或者说关注到的信息给分享出来。有可能是在群里边,有可能就在座位上——反正吵的不行,一天到晚。这样的沟通环境是非常好的。

当然还有一些外部因素,比如激励的方式,就不能太围绕着某些非常确定和清晰的目标来做。钱是一个很重要的baseline,但它不是唯一的baseline。钱要给够。但是,除了钱之外的其它东西也非常的关键。

价值感、意义感——很多人更在乎这些东西。

21 后训练需要容忍模糊性


张小珺:既然我们今天正处在一个范式转移的时期,面临从Chat向Agent范式转变,Agent范式更吃Post-train,相应的组织是否应该出现一些调整?

我看到你发文对组织有过三点总结:一,核心架构与基础设施研究周期漫长,所以需要看到回报的、一年前就具备战略信念;二,训练后的敏捷性,是另外一种能力;三,好奇心,就是热爱,是你一贯之都在说的。

罗福莉:预训练因为它太前置了,更关键的事情是,你需要有一种预测能力,或者说一种战略定性。就是这一代模型的训练,到底是为未来什么做准备,这一定要提前想清楚——可能是提前一年,至少半年。

为什么我现在说半年到一年?以前我认为是一年,但现在我觉得半年就必须想清楚了,因为Agent的出现正在显著加速整个过程。

总之,你需要在很早的时候就想清楚:这一代模型结构,在接下来很长一段时间里,它要承担什么角色、解决什么问题。如果这个问题没想清楚,那么这个模型就不会具备优势——它可能会成为一个“平庸的模型结构”;而一个平庸的结构,不一定带来平庸的效果,但一定会带来在成本和效率上的劣势。

所以,在预训练阶段,或者说在Infra层面,必须前置去做、并且要做得很充分的事情。

而在后训练阶段,由于现在它是和Agent耦合在一起迭代的,很多事情没办法提前规划得非常清楚。这个时候更考验的是:你如何基于当前的模型能力,以及Agent的范式,产生一种“化学反应”,以及你如何快速设计出新的Infra架构。这里会涉及到全新的RL Infra架构。

在Code和Math这种Chat形态的Reasoning场景下,Infra的核心其实是模型本身的推理引擎——模型需要长时间推理、长链条思考,然后给出答案,这本质上是一个推理引擎的问题,也是RL Infra的核心问题。但在Agent场景下,Infra的关注点就不再只是模型推理本身,还包括模型与Agent之间的耦合关系。

也就是说,系统从“以Rollout推理引擎为核心”,转变为“以Agent为核心”的一个更复杂系统。这个系统可能是黑盒的,也可能是白盒的。在这样的系统中,需要解决的Infra问题,和之前R1这种以Chat Reasoning为主的时代,是完全不同的一类问题。

因此,这对团队提出了更高的要求:必须具备足够的敏捷性,能够快速开发出适配当前时代的RL Infra系统。

同时,由于Agent框架本身变化非常快,这套系统还必须具备很强的兼容性。甚至如果进一步考虑到自适应和持续迭代,这套RL Infra系统的复杂度会进一步上升——它需要具备很强的容错能力。而且,这个系统不仅涉及推理训练,还涉及GPU和CPU的综合调度与管理。

所以在这一块,我认为团队的敏捷性,以及Infra与研究之间的协同配合,是一个非常关键的因素。

如果这些事情做得好,你会明显感受到:整体的研究推进速度会非常快。

最后一个问题,是关于“人”的问题。好奇心、热爱,以及对技术的长期坚持,确实是很多优秀研究者身上的共同特质。

但如果你要从源头去筛选这些人,再到如何激发他们、管理他们,最终让大家围绕一个共同信仰去协同前进,这是一个非常复杂的问题。我觉得这个问题的难度,不亚于设计一个复杂而优秀的Agent系统。

在这一点上,我自己也还在摸索之中。更多时候,我是在这个环境里学习——学习别人是如何在自己擅长的领域做到更好的。这可能也是为什么,最近我开始更多去思考所谓“群体智慧”,以及它最终如何通向 AGI。

张小珺:当前后训练变得更重要,后训练团队的搭建和管理方式,和预训练对比会有不同吗?

罗福莉:通常我们会看到两类人适应得会非常好,或者说对这个事会更有热情。

第一类就是他会更注重去跟模型“玩”的这样一群人。因为他去玩,他才知道每个模型能力的边界在哪,他才会去想要找到一种可scaling的方式,去把这个边界给补充回来。有可能是去构造一批更强的数据,以及更强的环境,让它能够RL训练起来。有可能是fall back到预训练的某个环节,可能这批数据没做好,就把这个数据补上,下次训模型的时候会更好。

总之就是,更在乎模型体验的人、更跟模型交互的频次更高的人,他会非常适应这个方式,觉得这个迭代是有价值的。尤其是那些维护了自己很多私有的测试库的人,疯狂去测不同模型的边界,突然发现某个模型强了,然后分享出来自己这种独特体验的人,还是蛮适合进入这个范式的。

还有一个就是,我们要围绕这个新的Agent范式去设计很好的RL Infra体系。做RL的Infra,跟做Pre-train的Infra有一个非常大的不同,是RL的Infra会更在乎这个模糊程度。

Pre-train的Infra你可能不能容错,比如出现一个loss spike,就不允许它出现,想要把这个spike解决下去。但做RL Infra,你就要允许它容错。就是允许这个模型跟这个Agent,在这个Agent框架里边,Rollout到一半就断了。但它断的原因有很多种,根本找不到是哪一种。

有可能是因为这个Agent框架写了某个超时的逻辑,有可能是因为它做这个任务需要很长的验证流程,乱七八糟,不知道是因为什么原因就断掉了。

还有一个就是,会不会你的训练跟推理,是在异构的集群上训的?

你训练和推理的不一致性,在原来Code跟Math那个Reasoning范式里边,是不能容忍这个事情的,但现在必须要容忍这个事情。

以及怎么去做一些更多的异构资源的调度?现在除了GPU你还要管CPU,你还要管存储。怎么在这种很复杂异构资源里边,把这个模型训起来。这里边需要很多算法跟工程的妥协,中间这个模糊的地带非常多。

所以对Infra人的要求的灵活性的要求,和这种跨这两个领域的理解,要求变得非常之高。换句话说,相比Pre-train来说,它对灵活性和敏捷性,都提出了新的要求。

即使是做Infra的人,本来是在一个偏确定性、追求清晰解法的体系里,但进入RL之后,只有一部分人会更适应这种高度不确定、强实验驱动的系统。

所以大概觉得是这样一种变化。做Pre-train Infra,跟RL Infra还是分开的。它们确实对于复杂性和这种精确度的要求,会差异很大。

22 把每天的研究都做好,就非常好


张小珺:你加入小米发了好几个模型。过去半年,有什么得到了进步的地方,有什么觉得不足的地方?

罗福莉:感觉每天可能都在否定昨天的自己。

不管是很多做事的方式上,还是你对事情未来的一些判断上,基本上都在一直去否定。是在这种否定当中、自我内省和反省当中成长的。

张小珺:有一个什么地方得到了特别大的进步?

罗福莉:我的历程没有说有个非常清晰的节点,到达这个节点就感觉好像进步了。但感觉脑子里这套系统悄悄在进化。

以前在做量化的时候,学到一句非常有力量的话:“总有方式去建模价格”。这是给我力量支撑的一句话。做量化时候,价格就是你的reward,你要去预测准价格,才能做好量化投资。

回到做大模型赛道,reward是不那么清晰的,是变化的。我的心法就是,应该做当下符合我价值观的事情。这个事情,一定要对更多人产生价值,一定要是更有意义的一个事情。

如果我们创造大模型的这一批人,如果没有这样一个内驱力,而是我要做一个破坏的东西,那么最后会非常危险。

张小珺:你现在工作状态是什么样?工作节奏?

罗福莉:早上11点,晚上12、3、4点。但这是我的状态,不代表团队其他人的状态。

张小珺:你是夜猫子?

罗福莉:倒不是,是自己本身的睡眠确实不需要特别多。可能6个小时就完全足够了,5个小时也可以,4个小时也行。不需要那么多的睡眠。

现在做的事情有点兴奋,确实感觉睡太多有点浪费时间。

张小珺:过去半年你遇到压力怎么缓解?

罗福莉:我的脑子就是一个Sliding Window Attention(滑动窗口注意力),忘得非常快。哪怕有压力,快的话一两个小时就过了,慢的话一天就过了。

但这也基于一个前提——你第二天会有一些新的、有想象力、有上限的事情给它冲掉,你立马就忘掉。如果它还是在那个Context,应该就忘不掉。

张小珺:如果AGI实现了,AI能够自己训练AI,不需要研究员了,你会去干嘛?

罗福莉:我大概一个月前有想过,但想的事情在变化。

一个非常有价值的事情是,现在中国的很多基础研究,太去要求有一个很完整的产品、乱七八糟的证明。并没有一个很好的资金,或者说有一个慈善机构,去支撑做基础研究的人,去往更突破的方向迈进一步。我们可不可以搞一个这种公益型的组织,去support这个事情?

我始终觉得,应该加速做科学研究。哪怕最终实现AGI,也有很多要做的。

张小珺:为什么要去跟AI竞争?就让它做科研就好了。

罗福莉:那不一天到晚躺着没事干把?总要做点新的事情吧!或者,你总要去做点帮助AI的事情吧!纯享受生活应该也挺无聊的。

总之就是要做点有益的事情。但这个有益,是按照个人的价值观来进行评判的。

无聊是不是一种意义?我也不知道。但无聊对我来说不是一种意义。

张小珺:你对未来,1年后、2年后、3年后的自己,有什么预期吗?

罗福莉:现在觉得把当下的每天的研究都做好,就觉得非常好。

张小珺:10年后,Agent可能已经超越大部分人类了,你有什么话想对10年后的自己说吗?

罗福莉:未来很美好——我觉得,这是一种天真乐观的勇气。

收听播客


推荐阅读


图片

跳转微信打开

独家对话谢赛宁:逃出硅谷!

2026年3月16日 12:09

原创 张小珺 2026-03-16 12:09 北京

作者:张小珺

手握10亿美金,在全球四地组建办公室的AMI Labs,却没有选择AI重镇——硅谷。

2026年3月,图灵奖得主杨立昆(Yann LeCun)和青年华人学者谢赛宁等,踏上了一条关于“世界模型”的创业旅程。他们创立的AMI Labs(Advanced Machine Intelligence Labs),目前仅25人、在没有任何产品的情况下,完成10.3亿美元Seed轮融资,投前估值35亿美元。

这是2026年新创的AI Neo Labs中备受瞩目的一家,创造了欧洲历史最大Seed轮。从统计看,它的第一笔融资在Neo Labs中位居世界第二,仅次于前OpenAI CTO Mira Murati创立的Thinking Machines Lab(20亿美元Seed轮融资)。

Neo Labs是近年兴起的一个新概念,专指由顶级AI研究者创立、以基础模型或新一代智能体系为目标、融资规模巨大、研究导向很强的一类新型AI实验室式公司。

“Silicon Valley is very LLM-pilled。”AMI联合创始人兼首席科学官谢赛宁说道,“硅谷已经深陷于LLM(大语言模型),完全被它催眠了。”

近年来,杨立昆活得像“一名斗士”。他发表过众多“反LLM”的著名言论:“LLM本质只是token生成器”,“如果你的目标是实现人类级智能,就不应该在LLM上下功夫”——可以说,他的AI世界观与当下硅谷的主流价值体系冲突。

“他们在硅谷有太多的‘仇人’。”一位硅谷人士评论说。

2026年春节,在中国机器人登上春晚的喜乐时分,纽约刚下过一场暴雪——这是近几年以来纽约最凛冽的一个冬天。在布鲁克林一栋略显凌乱的楼房,我与谢赛宁开始了这场对话。

这位出生于1990年的华人科学家,毕业于上海交通大学与加利福尼亚大学圣地亚哥分校,现于纽约大学任教。创业之前,他曾在Google DeepMind担任研究科学家。更早之前,他在Meta的FAIR实验室担任研究科学家4年。他的论文总计引用数近10万次,曾共同提出Diffusion Transformers(DiT)。

这是谢赛宁第一次接受访谈。2026年2月雪后的一天,我们从下午2点,开启了一场始料未及的马拉松式访谈,直到凌晨时分散去。

在黑暗浸透的霓虹纽约街头,空气中弥漫着没化完冰雪与难闻烟雾的混合味道。就像谢赛宁的表达,总是带着多重的混合感。

在人工智能的思想上,他不乏尖锐言论:“我完全不觉得LLM是Bitter Lesson(专指Richard Sutton提出的《苦涩的教训》)的成功展示,某种程度上,LLM是反Bitter Lesson的”;“语言模型的Scaling Law里面是有水分的”;“语言是‘毒药’,或者说,是一剂‘鸦片’”;“我非常担心语言对视觉的污染,事实上,它已经发生了”。

但他又不厌其烦地,枚举了影响他学术生涯的每一个人,并反反复复口头描摹这些人的人物特征。

这里面有:写《交大生存手册》的侯晓迪,初来乍到美国还不会用Linux的何恺明,活得像65岁青春期少年的杨立昆,捱过许多艰难时刻、以勇气与坚持让AI看见世界的李飞飞,等等。

这场对话涵盖了过去15年间,他对于AI技术变革兼塑造这些变革背后的人的完整游历。很多次我们的话题早就转移了,他坚持要绕回来,把人物素描完成——也许是因为,他人生最初的梦想是成为一名导演,尽管这个梦想很快就破灭了,却以一种新的形式延续下去。

但正是这些,让这篇“反OpenAI”、“反硅谷”、“反霸权”的对话,又充斥着人性的温度。

他说,在这个世界上,“只有人与人之间真诚的交流是重要的,也许其他都不重要”。

完整的播客视频将于Bilibili、小红书、视频号等全视频平台播出;播客将于小宇宙、苹果Podcast等全音频平台播出。

以下是我对谢赛宁访谈的节选。(为了方便阅读,作者做了文本优化)

01 

“硅谷被催眠了”


张小珺:如果Yann LeCun不从Meta离职,你会创业吗?

谢赛宁:我觉得我可能也会,但会纠结一段时间。

张小珺:你会自己做CEO?

谢赛宁:我不知道。如果这么决定的话也是另外一个玄学决定,但至少我现在不知道。

现在在公司里,我们讨论的问题exactly是我一直想做的。这有一点不谋而合:我们想要build这样一个“反向的OpenAI”。

“正向的OpenAI”,是说我现在有互联网作为数据的发源地,把数据download下来,create a GPT model using Transformers。

我们现在有一个智能,这个东西你们可以叫它AGI(通用人工智能)——但by the way,我非常反对这个词,我觉得AGI是一个完完全全的伪命题。

但我们现在有了这样一个模型,有了这样一个intelligence,我想要把这个东西push to market(推向市场)。不管是To C或To B的application(应用)都没问题。

什么是“反向的OpenAI”?是说要训练这个model本身,数据没办法直接从互联网下载下来,我们没有shortcut(捷径)可走。我们需要走一条更加艰辛的路,而这条路,注定无法独行。

The world needs World Models. World Models need the world.(世界需要世界模型,世界模型需要世界)。

这有点“草根联盟”的感觉,你知道吗?就是这些在AI浪潮面前有点FOMO(害怕错过)情绪、有具体问题要解决、有大量真实世界数据的公司,大家可以一起携手,通过某种合作伙伴的方式共建这样一个模型,形成这样一个闭环。

我们先建立一个初始的世界模型。大家用它解决问题、创造价值并获得回报,同时产生更多数据,这些数据再反过来用于训练和优化世界模型。

张小珺:你们从第一天就在全球有四个办公室,分布在不同国家,这很不常见,为什么要这么设置?

谢赛宁:因为Yann有他的名望在这,他作为一个真正正正的“世界人”,他有一个非常neutral的face,一个中立的面孔和角色。

他是一个美国人,但他也是一个法国人。我们总部又不在硅谷,能吸引很多这样潜在的partner(合作伙伴),遍布全球。

我们有四个offices(办公室),总部设在巴黎,但也会有纽约、蒙特利尔、新加坡四个研发中心。目的是,怎样在全球范围把这样一个联盟打造出来?让大家一起在research的道路上往前走。

这件事儿我还有一个有趣的故事。美国大家用信用卡有Visa,还有Mastercard(万事达卡)。你知道这个Mastercard是怎么来的吗?

张小珺:是不是“反Visa”?

谢赛宁:Exactly。

但这个story还蛮有趣的,是我的一个很好的朋友和mentor(导师)告诉我的。

Visa一开始是BOA(Bank of America,美国银行)这个银行创立推出的(1958年,美国第一个消费者信用卡计划),在此之前没有公司推行过这种模式。BOA创立了Visa信用卡,推向市场,赚得盆满钵满。它还藏着掖着,不告诉别人,别人问了就说我们是赔钱生意,一点都不赚钱。直到过了一两年藏不住了,因为财务上你已经能看出来了。

其他人就慌了,说这个怎么办?你现在已经把市场给dominated(主导)了。我们每一个小的银行,体量又打不过BOA;单独发一张信用卡,又抢占不过市场,怎么办呢?

他们就说,不如我们把所有local bank(地方银行)组织起来,变成一个联盟,我们一起推出一张信用卡,叫Mastercard(万事达卡)。

这是为什么万事达卡可以成功反击Visa,或者至少能跟Visa分庭抗礼。我并不是说,我们公司真的要走这样的模式,但我觉得在某种意义上,会有相似之处。

这也是为什么World Model是挺不一样的narrative(叙事)。这个叙事的逻辑它更加decentralized(去中心化),更加分布式,也天然的……怎么讲?——Resist(抵制)某种垄断和霸权。

这是我们开放性的来源,我们能更open-minded(开放心态)去讨论这些合作,不管是跟学术界还是跟industry partner(工业界合作伙伴)。因为这件事是research exploration(研究探索)的一部分。

当然我们不是说所有的研发都会开源,AMI是一个严肃的创业公司,但相比于其他AI公司,我们可能会做得很不一样。

我们在寻找一种平衡。它既不是一个纯粹的research lab(研究实验室),也不是一个现在完全封闭的大模型公司。这种平衡也在于,我个人也在寻找一种平衡:我既不是一个非常senior、功成名就的大教授;也不是一个十八九岁的年轻人,可以卷着铺盖跑到深圳工厂扎下来,去做数据采集。我都不是。

张小珺:你们选择了四个地方做办公室,但没有硅谷。你们是刻意不选择在硅谷创业吗?

谢赛宁:对。我觉得,Silicon Valley is very LLM-pilled,已经深陷于LLM(大语言模型),完全被它催眠了。

但这件事情不会持续很久。

被催眠的人总有醒来的一刻。那时候我们完全不排除去硅谷设立公司。

02

在LLM之外,有一个隐形的世界


张小珺:随着你要开始做世界模型,你也同时做了一个重要决定,就是你创业了。这跟你之前的research生涯有很大不同。这个选择是怎么发生的?

谢赛宁:这个选择也是一个玄学选择。

但确实因为之前很多在湾区认识的朋友,有一些对我帮助很大的mentor。大家有投资人的身份,有创业者的身份。他们就说:赛宁,你应该也尝试去创业。在学校里面,有很大的困境。

张小珺:缺算力。

谢赛宁:对。但并不是说学校一无是处,学校是一个很好的平台,让我有足够空间去找到我想要做的事情。

我突然觉得,现在是一个时间点,似乎我想要探索的东西探索到了一定的地步。再往后,有可能会陷入“中等paper陷阱”,有点像“中等收入陷阱”。

你会发一些不错的论文,但由于resource(资源)限制,导致你没办法真的把idea变成新的breakthrough(突破)。

我有一个mentor问我,大概是2025年中,秋天的时候。他说,诶,你去问一问Yann LeCun,他好像最近在Meta待得不是很顺心。

那个时候Meta还没有这么动荡,还没有Alexander Wang(Meta首席AI官)、FAIR(Meta的人工智能研究院)的layoff(裁员)。没有这么多动荡的事情。

我的第一直觉是,这个怎么可能?Yann,对吧?——至少在那个时候我会觉得,他还是一个godfather of AI(AI教父),也是一个纯粹的researcher,怎么可能拉他一起创业呢?

结果,我们有了这个对话之后的第二周周一,我跟Yann刚好有一个1-on-1 meeting(一对一会议)。

还没等我说什么,Yann就跟我说:“赛宁,你先不要告诉别人,但我已经决定了。我现在想要做的事情,我觉得应该在外面做,我想要去创业开一个公司。”

我就问他,你想做什么事情,背后的business model(商业模式)是什么?——就发现:哇,这跟我想象的事情完全一致啊。

在我们想做的这件事儿上,在现在世界上任何一个国家的公司,都做不了。包括在湾区也做不了。这个事情是什么?你可以叫它“世界模型”公司。这个公司需要有一定的research深度。它并不是,我们现在立刻要launch(上线)一个产品,把它部署出去并开始获取收入。

它需要有很强的research倾向性,但又不是在纯粹学术的setting(设定)下运作。它不是过去的FAIR,也不是NYU (纽约大学)。但另一方面,它也不是处在一个完全封闭的状态下的硅谷大厂和Neo Labs。

张小珺:封闭,是什么意思?

谢赛宁:封闭是说,你不能开源,不能发表论文,即使公司发blog(博客)也不能署名。

我在GDM(Google DeepMind),整个GenAI org(部门)只有我一个人脚踩两只船,有double affiliation(双重职位身份),在公司兼职,还在学校做研究。大家对学术界、对纯粹探索性的research是有点抵触的——这是湾区现在的一个状态。

抵触的意思是:第一大家瞧不上学术界在做的工作,不觉得学术界做的东西能真的产生怎么样的影响;

第二,他们因为也不publish(发表),导致你也不知道他们在干嘛,即使在这些大厂,有research(研究)的部门,也有偏product(产品)的部门,但即使同一个公司两个部门之间也有很大隔阂。

核心模型训练的部门,必须在highly competitive(高度竞争)的赛道上,卷到最前面。这是他们唯一的目标。

张小珺:这是一场“军备竞赛”。

谢赛宁:这件事就会压榨你的research的空间,会抽走这个环境给你充分freedom(自由)去做research的氧气。

张小珺:你没有想过(全职)加入任何一个现有的lab吗?你没办法忍受没有氧气的感受?

谢赛宁:是。当初确实有一些机会,但我想了想之后,觉得如果你真的想要做完全前沿的探索,你想要去定义问题的话,还得在一个自己的startup(初创公司)里才能实现。

首先我不认为有任何其他的startup或者大公司,能focus在我们想要做的事情上——building the predictive brain(构建预测型大脑),在最foundation layer(基础层),或者说最upstream layer(最上游层)做一些探索。

现在整个AI行业有一个巨大的value chain(价值链)。在这个价值链条最上层,有Bitter Lesson(苦涩的教训)、AGI(通用人工智能)、LLM这样的叙事。这些叙事定义了一系列的benchmark(基准测试)—— 然后正因为你要打榜,基准测试定义了resource allocation(资源配置)。如果我的目标是在榜单上得到第一名,那我只能投入最多资源,使得我能处在这个位置上去竞争。

资源分配决定了,这件事儿已经跟researcher觉得什么是对、什么是错,有一点脱离了。

虽然有些很强的researcher知道,我们可能需要做一些新的research;但在这种价值链条下,resource allocation决定了,他们却不能做这一部分的research。

比如,我们知道视频理解非常重要,但现在不管学术界也好,工业界也好,做得并不多。或者大家会尝试做这件事儿,但没有fundamentally(根本性地)从World Model角度去思考、解决这个问题。

很有意思的现象是,不是没有人愿意做,也不是没有人有能力做——但这些researcher,不管在哪一个公司,无一例外被发配给了做视频生成模型的video captioning(视频标注)的团队。因为这是唯一一个,可以间接参与到这个价值链条的职位。

虽然这些researcher都知道这件事儿(视频理解)没有解决,我们需要一个更好的World Model based Video Understanding Model(基于世界模型的视频理解模型),并且这可能是一个真正训练出通用World Model的前置条件,但大家没有空间做这样的探索。

在这样的有限游戏下,在这样强竞争的环境下,每个公司都似乎失去了定义问题的能力。

你看之前,OpenAI具备这样的能力,很多问题是他们定义的。包括GPT、CLIP。他们从成立第一天起,作为一个research unit(研究单位)有自己探索的过程。

张小珺:但现在research已经变成了一个商业问题、产品问题,你必须竞争,不竞争怎么办呢?

谢赛宁:那当然是逃出来。

我们来一起创造一个更好的、更researcher-friendly(对研究员友好)的组织。

张小珺:所以你们要逃离硅谷的叙事。

谢赛宁:这是双向的选择。会互相diss(批判)一下。

张小珺:算是硅谷的避难所吗?

谢赛宁:啊,不能叫做避难所,哈哈哈。但确实是一个不一样的地方。

不一样的点在于,我们有从OpenAI、DeepMind、xAI,从各个地方过来的小伙伴,大家不是为了要赚多少钱,也不是为了要 IPO上市。大家心里面非常纯净,就是想做research(研究)。大家觉得,时机到了,我们有机会通过research影响接下来AI的进程。

现在大家的心态,也因为行业变化发生了一些微妙变化。我觉得大家有点过于走到一个极端。就是,我们要lower everybody’s ego(降低每个人的自我),everybody is part of the team(每个人都是团队的一部分)。但事实上,正在发生的是,大家确实变成了团队的一员,但同时也变成了这个巨大machine(机器)中的一个可以被轻易替换的螺丝钉。

我完全同意researcher有太强的ego,这不利于团队协作。但我还是希望能给予年轻人足够的visibility(可见度)——这能让他们有自己的人物弧光,让他们变成很有名气的leading researcher(顶尖研究者)。但现在这样的人才培养的上升通道正在收紧。

我们希望这种mission-driven(使命导向)的年轻人加入公司。我们不太希望把一些已经很established(权威、成名)的、像superhero(超级英雄)一样的researcher聚在一起,期待他们产生某种化学反应——我不太相信这件事。

张小珺:LeCun见你那次,他跟你说了什么?

谢赛宁:这可能不是他的原话,更像是我理解的他对我说的事情。

世界模型是真实世界需要的智能。

在硅谷之外,在LLM叙事之外,有一个隐形的世界。这个世界里有很多人,大家想要解决这个物理世界里的很多问题。他们可能是一个农场,可能是一家医院,但他们拿着LLM不能直接解决这些问题。LLM能解决一部分问题,但有很多涉及真实世界的physical understanding(物理理解)的问题,LLM是解决不了的。

大家都很焦虑,害怕AI的浪潮要来了,我是不是连上牌桌的机会都没有?这一部分隐形的世界,在硅谷的叙事逻辑下不可见,但是是一个很大的市场。

世界模型也需要这个世界。

原因包括两部分。第一部分是“定义问题的能力”。我希望问题会从生活来,从人真实的需求中来,从工业生产的需求中来。这之于OpenAI或者硅谷的叙事也是隐形的。

其次,涉及到你刚说的数据问题。虽然我们第一步可以从互联网拿到数据,可以去训练模型,但最终还是要去真实世界“淘金”。这些数据也是“隐形”的,大家不会把这些数据传到YouTube。

YouTube上的数据还是,跟人类价值观或跟人类for entertainment(娱乐向)的需求非常对齐的数据分布。

我们还只是在讨论这个视觉的数据,但这个世界里有大量非视觉,在continous domain, high dimensional, possibly noisy(连续空间,高维度,可能有噪音的)信号。这些数据,现在对于训练世界模型来说,至关重要。

所以世界模型不只是一个vision model(视觉模型)。这些数据现在是不可见的,我们需要从一些地方获得它们。

这是我跟Yann聊的一些high level(高层面的)感受。

张小珺:现在的frontier lab(前沿实验室)竞争这么激烈,是因为LLM的范式是相对确定性的了。他们在争一个商业的输和赢。听上去,你们不想在这个范式下竞争了,想去找下一个范式。

谢赛宁:是这样。虽然是《商业访谈录》,但我先要说,我真的不懂商业。我没有做过startup(初创公司)——没有成功过,也没有失败过。

这件事既让我感到焦虑,又让我有种无知者无畏的冲劲。

张小珺:我会有一个疑惑,LeCun本身就是一个research背景的人,他创业为什么又找一个researcher,也就是你?

谢赛宁:Research是这个公司的focus,这个公司最后最重要的产品是一个research breakthrough(研究突破)。

我们刚才提到的所有的一切,涉及数据,涉及问题定义,涉及产业合作伙伴。这些所有事情的逻辑,都建立在in research we can make another breakthrough(我们研究过程中的新突破)。

下一个新的AI革命,你可以叫它“世界模型的革命”,或者whatever you want to call it(随你怎么称呼它)。

它跟LLM fundamentally(从根本上)不一样,它至少是一个Transformer或者ChatGPT level的事情。

这是我们的梦想,落到实处要一步一步走。

我们公司不只找researcher,比如还有我们的CEO(Alex LeBrun,连续创业者)。我是这个公司的co-founder and chief science officer(联合创始人兼首席科学官)——我非常喜欢这个title,我希望我自己的定位还是在science。

我不是一个好的CEO,至少现在不是。

张小珺:在很多人眼中,LeCun都是一名斗士;在你眼中的LeCun是一个怎样的人?

谢赛宁:他真的是一个“斜杠青年”,或者挺文艺的一个人。按一个朋友的说法,Yann是一个16岁青春期一直延续到65岁的这样一个人。

他经常就很骄傲地跟大家说他有四大爱好:第一个爱好是造模型飞机;第二个爱好是拍天文摄影;第三个兴趣是搞电子乐和Jazz(爵士乐)——他的网页是宝藏,他会讲说在纽约有哪些Jazz Club比较好;他还有一个爱好是帆船。

我们要做World Model,我希望大船的舵手是一个有格局、热爱生活的人。

我们3月有另外一篇paper叫《Solaris》。这是一个科幻小说,后来被塔可夫斯基改编成一个电影。我们之所以取这个名字,是因为我们在做一个多角色视觉生成的模型。电影讲的事情是说,有一片海洋可以读取人的潜意识里的记忆,最后把一些东西具象化生成出来。

有一天跟Yann说,我们这个paper叫这个名字怎么样?我想看他知不知道这个电影。

他说:“你知道这是一个电影的名字吗?”我说:“对,我就是因为这个取得名字。”他问我说:“你看的是哪一部?是1972年的一部,还是2002年的一部?”“是塔可夫斯基(Andrei Tarkovsky)拍的还是索德伯格(Steven Soderbergh)拍的?”

我说:“OK,我觉得我不光research上服你,在电影上好像你也比我懂得多。”这对我个人来说蛮重要的一种人格魅力的体现。

张小珺:从他第一次告诉你,你纠结了多久?

谢赛宁:我没有纠结很久,Yann说话有点像casting spells(施法),像哈利波特(Harry Potter)一样给你施一些咒语——他说完一些话,你就不会想其他的了。

03

语言模型是predict next token,世界模型是predict next state


张小珺:既然你们要做的是世界模型,能不能定义一下什么是世界模型?

谢赛宁:世界模型(World Model)是,你现在给定一个系统或者一个环境的状态,这个环境状态可能是,你可以认为它是在当前时刻的一个状态,但世界模型也不一定只是做所谓的temporal prediction(时间上的预测)。但我们先不管这些,总之你现在有一个系统或者一个环境,你有一个状态,st 。

你有一个intervention(干预)或action(动作),比如说我们叫它at ,在当前时刻你对这个系统施加一个动作,你现在希望能够学到一个prediction function(预测函数)或者transition function(转移函数)f,使得它能够take你的action跟你当前的st这个state(状态),这个环境的state能够去predict下一个(时刻的)state。

这是最基础的通用世界模型的定义。

这个定义本身无比直接,甚至有点trivial(平庸的),因为它不是一个新概念。

其实1943年,有一个心理学家Kenneth Craik(肯尼斯·克雷克),他第一次提出了这个概念。他说人在脑子里有这样一个世界模型,这个世界模型能够告诉我们,当我们去做某一个动作的时候,接下来会发生什么样的后果。因为我们能够预测我们的动作带来的后果,所以世界模型能指导我们,到底应该去做什么样的动作和做什么样的决策。

这种基于prediction(预测)的结构也是过去Control Theory(控制理论)在六七十年代,科学家把探测器送到月球时所需要的控制系统的基础。

比如,一个经典的算法叫做Model Predictive Control(模型预测控制,简称MPC),这里面也涉及到一个model,这个model其实也就是某种World Model。这个算法非常简单:你讨论到底应该施加哪一个control signal(控制信号)给这个系统,使得它能够完成既定的任务。

我要做的事情是,在当前时刻通过我的模型去rollout,去滚动输出接下来的sampled action, the actions sequence(采样动作、动作序列)。然后通过这个动作序列用我的这个model去得到下一个时刻,或者每一个step(步长)上的一个state (rollout trajectory)。最后我也会有一个某种cost function,一个代价函数,告诉我执行了这个动作序列之后,我离最后的这个目标距离到底有多远。

这个算法就是不断地去sample(采样)你的action sequence(动作序列),然后跳回到第一步,找到这个cost最低的action sequence,执行它的第一步,然后重复迭代。在每一次你都要做一个决策,这个决策的来源都基于你对未来的预测。

这是在model predictive control里面,大家怎么去用World Model。

再到后面,比如在model-based RL(基于模型的强化学习)里面,Reinforcement Learning(强化学习)里面,大家也意识到World Model是非常重要的。

这里面有一个经典的论文是Dyna(一种强化学习架构),这个paper是Richard Sutton(强化学习之父,著有《苦涩的教训》)写的。

Richard Sutton讲了一个很有趣的观点或者framework(框架)。他讲人的智能体系可能分两种,一种叫reactive policy(反应式策略),一种叫某种更智能化的model-based policy(基于模型的策略)。这件事的类比是所谓system one, system two(系统1与系统2),正像human cognition(人类认知)也有所谓的thinking fast, thinking slow(快思考与慢思考)的概念。

对于很难的问题,我们可能需要更多的mental cycle(脑力周期)去学习这些问题。但对于一些问题,比如开车,刚学的时候紧张得不得了,需要做很多决策;当你真正会了开车,你就会把这些决策内化成肌肉记忆的一部分,变成了reactive policy(反应式策略)。

Richard Sutton在Dyna的paper里说,Reinforcement Learning是一个非常primitive(原始的)、基础的、没有世界模型的learning algorithm(学习算法)。

所以其实Richard Sutton自己有点反pure Reinforcement Learning(纯强化学习)。

他讲,一个更好的系统,是如果你有一个足够强的世界模型,你可以基于当前的state去预测下一个state,那你就有了所谓的planning(规划)的能力。

Planning就是做计划的能力,它在某种意义上跟reasoning(推理)也是同样的概念。Reasoning现在在LLM很火,但事实上我们需要的这种planning,以及这种planning对于decision making(决策)的意义,很早在Control Theory和Reinforcement Learning里面大家都在讨论。

从这个角度,World Model的实质是怎么样去刻画一个系统和一个环境,使得你能够在这个系统里做预测,并且这个预测能指导你的action sequence以及你自己的决策。

张小珺:也就是说,大语言模型是predict next token(预测下一个字符),世界模型是predict next action(预测下一个动作)?

谢赛宁:是基于your action, predict next state。

那个state应该是可以描述一个系统的所有状态的一个信息来源。这涉及到一个很有趣的事情,就是这件事情跟表征的关系到底是啥。

我们为什么说state是一个环境信息的一个充分统计量?它保留了对未来预测和决策所需的关键信息,同时忽略与任务无关的细节。学习这样的 state 表示,本质上就是representation learning的问题。

假设我们现在的物理世界,比如我们这个屋子,这是一个环境。那刻画这个环境的state是什么?如果你不追求这种所谓的最小信息,或者minimal description length(最小描述长度),那它可以是把整个space全都重建起来,精细地去刻画系统里的所有参数,包括桌子上的纹理、声波、桌子的质量、话筒的各种physical parameters(物理参数)。

但我们不会这样去刻画系统。因为很多信息对于决策来说不重要。

如果一个智能体活在这的目的是聊天,那我只需要知道一些基本事实就够了,比如话筒能在桌子上放着,我不会去关心每一点的光照,也不会关心桌上每一个细节的纹理。这些不重要。所以这个state可以包含enough(足够)的信息,这取决于你要解决什么样的任务。

怎么样去构建这样的一个state?这件事情其实跟表征学习是直接相连的。

我们要有一个层次化的表征(hierarchical representation),目的就是能够去慢慢develop出来这种一层又一层迭代上去、越来越抽象、越来越对decision making越有价值的representation。它不用精细到每一点,而且我们也做不到精细到每一点。

比如,我们要造一个飞机,我们要建模这个飞机的动力学系统。我们当然可以从一个最low level的角度出发,去model每一个分子的碰撞。但这当然不会work。这是a totally stupid way(一个愚蠢的方式)。

我们做的是在统计的意义上去学习这个问题,所以才有了流体力学,才有了所谓的Navier-Stokes方程(纳维-斯托克斯方程)。

状态建模方式变得越来越抽象,但能够刻画的世界也越来越广阔。

04

LLM是反Bitter Lesson的


张小珺:语言正是人类的一种抽象。

谢赛宁:语言是某种已经封装好的抽象知识结构。它是高度凝练的,是一个人类社会已经形成、存在的抽象。

张小珺:你们现在要构建一个在语言之外,新的抽象?

谢赛宁:它一定是一个latent representation(潜在表征)。人可以通过侧面的方式了解到你到底学了什么样的representation(表征),或者哪些representation是有意义的。它不是一个完全的黑盒子,但它也不是一个受限于语言的句法跟逻辑的东西。

这就是为什么我说:LLM完全不够Bitter Lesson。

(Bitter Lesson:苦涩的教训,是由Richard Sutton提出的AI发展理念,用来总结几十年来人工智能历史中的一个核心规律:苦涩的是,人类自以为聪明的领域知识经常被“更简单、更通用、依赖大规模计算的算法”超越。)

我完全不觉得LLM是一个Bitter Lesson的成功展示——某种程度上,LLM是反Bitter Lesson的。

Bitter Lesson说的是,你应该尽可能减少human knowledge(人类知识),把人类的傲慢、“聪明才智”以及这些clever的structure(精巧的结构)尽可能减少,尽可能多用search(搜索)跟learning(学习)的方式去找寻答案。

语言就是这样一种人类极其聪明的产物,它有精巧的设计。

当然语言有它自己很强的能力,也一定会在未来的智能体系里面占据重要地位。

张小珺:但是,语言不可或缺的一点是,可以借由语言形成CoT(思维链)。

谢赛宁:但CoT也是一个阶段性的产物。我觉得LLM的所有一切构造都是阶段性的产物。最近有一些研究也在慢慢发现,CoT可能只是某种文本技巧,推理步骤可能是“事后编造”(unfaithful explanations),有些错误CoT仍然得到正确答案,提升效果可能来自生成过程变长等等。

LLM这件事情存在structral (结构性的) 安全性和可控性的问题,因为它没有一个真正的世界模型。甚至我们把LLM当做一个世界模型在用,但它是一个fundamentally flawed(本质上有缺陷)的世界模型。

现在的controllability(可控)或者safety(安全)完全是通过fine-tuning(微调)和强化学习的方式来实现的,你需要喂给它大量的数据,让他知道什么话能说,什么话不能说。这叫做Alignment(对齐)。

但真正的世界模型你不需要这样做,因为你可以预测你的action(动作)会lead to what consequence(导致什么结果),你就可以在inference time(推理阶段)的过程中去尽量避免这样的行为。

比如,一个机器人拿着一把刀在切菜,怎么样保证它不会向后一转把你砍了呢?对于Language Model的思路来说,唯一的方式就是通过喂给它大量数据。但世界模型不一定需要,因为你能够去预知这个结果。

张小珺:你好几次提到“表征”、,也表达了你的整个研究路线图是围绕着“作为表征的世界”展开的,能不能给大家解释一下什么是“表征学习”?

(关于谢赛宁围绕着“作为表征的世界”展开的研究路线,请看视频播客,此处省略10万字=。=)

谢赛宁:我很喜欢说我是一个“做表征学习的人”,但这件事情还蛮难定义的。

从数学来讲,你可以认为表征学习是:你有一个数据x ,现在要把它map(映射)到一个space(空间)里去。这个空间会具有一些好的性质,让你在downstream task(下游任务)上更容易取得好结果。所以,你要学习的从初始数据到具有良好性质的空间的映射函数,就是所谓的“表征学习”。这个函数不只是简单的映射,它可能是一个层级化的映射。

现在主流的实现方式是用一个非线性的Neural Network(神经网络)来实现这个函数。

我愿意说自己是做表征学习的人,因为representation是一个永恒的、最fundamental的主题,也是一个还没有被完全解决的主题。

张小珺:这些表征最终,可以统一成统一的表征吗?

谢赛宁:还是要scaling。语言模型的Scaling Law是因为它是一个lossless compression(无损压缩)的过程,所谓压缩即智能。

这个是说,模型变大能让结果变好,不是因为它死记硬背,而是更大的模型就是一个更强的模型,所以它能有一个更高的压缩率,也带来了某种泛化能力。我想我同意这个观点。

但我想后撤一步,语言模型的Scaling Law里面是有“水分”的,因为它并不需要真正通过理解世界的方式去回答问题。Benchmark(基准测试)要求它能retrieve(检索)出来factual knowledge(事实性知识),所以“知识压缩”和“世界理解”混合在了一起。

世界模型会有非常不一样的Scaling Law。它的模型不需要记住世界里的所有细微细节,它不需要通过解薛定谔方程的方式去判断苹果是不是落下来,它不需要人类最高级的智商。它需要通过理解能力去filter and organize information(过滤和组织信息)。

这跟人越来越像。

人的感官输入带宽可能达到10亿bits per second(比特每秒),但说话、做事的带宽只有10到100bits per second。大脑把高带宽信息转化成低带宽的行为模式,这就是World Model本身,它过滤大量的无用信息。

张小珺:你怎么看待大语言模型与世界模型的关系?

谢赛宁:我觉得LLM是智能体中至关重要的一部分,但它不是全部。

比如处理视觉问题,我们坐在这里,头稍微扭5度、10度,就会生成几百帧。如果按LLM的方式,你要tokenize每一个frame(帧),把它拉平串成一个非常冗余的序列,这完全不make sense(合理)。

Transformer的inductive bias(建模偏置)是,它得要pay equal attention to every single token(对每一个字符赋予相等的注意力),这代表语言模型的modeling technique(建模技术)不能够解决对这种连续空间信号的认知问题。虽然线性注意力、稀疏注意力这些方法能缓解一些问题,但和人类可以处理的那种连续、几乎无限带宽的感知输入相比,现在的模型在能力和效率上还是差得非常远。

我们要build的世界模型,需要具备如下特征:它能够understand physical world(理解物理世界),要有足够大的associative memory(联想记忆),能够reason(推理)、能够plan(规划),能够做counterfactual(对未发生可能性的推演)或者causal的inference(因果推理)。最后一点是,它得足够的controllable and safe(可控与安全)。

张小珺:所以,世界模型和大语言模型不是衍生关系,是替代关系?

谢赛宁:也不叫替代关系。之前没有大语言模型的时候,我们压根谈不了什么世界模型。

LLM让你具备了一定对真实世界的认知能力,但它又是fundamentally flawed(有本质缺陷),因为语言带给你的东西实在是太少了。

语言本质上是一个communication tool(交流工具),除非你说梦话,大部分时候你用语言是带着intention(目的)的。

所以,LLM更像是一个search engine的延伸。

但是,世界模型是大脑在background(背后)做了很多工作的。Language只是一个communication tool,你永远带着目的。

张小珺:语言除了是沟通工具,也是一个可以推理的工具。

谢赛宁:对,但只是symbolic level(符号层面)的推理。

张小珺:所以你们想构建一个,像人类的大脑一样的世界模型?

谢赛宁:不只是人吧,我们要看看各种各样动物的智能到底是怎样发生的。

回到刚才的逻辑,没有大语言模型的时候,我们压根谈不了什么世界模型。

语言模型虽然有本质缺陷,但是行为上已经表现出一些World Model的特征了,虽然它没有action,虽然它通过CoT和MPC式的工具调用做到的reasoning和planning,与真正世界模型所要求的机制还是有比较大的差别。

往前发展,最近的视觉生成模型,已经让事情变得有些不同了,它比Language Model往前推了一步。

虽然现在这些系统也要依赖Language Model去做prompt rewriting(提示词重写),做conditioning(条件输入),但原来Language Model是建模的主体,现在它变成了视频生成模型的前期脚手架。

原来你建模的是 p(y),现在变成在建模 p(x)或者p(x∣y)。当你训练生成模型时,本质上是在给各种可能出现的现象分配概率,也就是判断在这个世界上哪些东西更可能存在。比如模型需要理解,为什么四条腿的猫在现实中比三条腿的猫更常见。换句话说,你已经开始直接对原始数据(像素)本身进行建模了。

但再推演一步,像素本身也不够Bitter Lesson,像素是人为定义的格子。

真正Bitter Lesson是说,我不需要给人看;它给你的系统看,给你的世界看。给人看不是World Model的核心,而是接口。

世界模型是一个目的。

总有一天,我们会有一个更好的世界模型,语言模型会在此之上变得更强。理解和生成是一体的,它都需要一个真正的World Model作为基础。

张小珺:那么,这样的世界模型怎么做训练?大语言模型能够训练是因为,海量的互联网文本就在那里,这是人类文明的现成数据。世界模型的训练,我都不知道从哪里下手。

谢赛宁:这是一个biggest bet(最大的赌注)——以前是download internet的时代,现在是download human的时代(以前是下载互联网的时代,现在是下载人类的时代)。

我们要把人类下载下来。

一个4岁小孩看过的视频,量级比所有训练语言大模型的token还要大。视频是全村的希望。第一步可以从互联网数据开始,YouTube上的数据量等于30分钟的YouTube upload(上传量)就够了,虽然需要考虑terms of service(服务协议)的问题。

世界模型的出口很多,短期内有两个。

一个是AI glasses(智能眼镜)。一个真的personal assistant(个人智能助理)需要一个World Model。它得是一个always-on的device(永远在线的设备)。

就像现在Whoop,Oura类似的可穿戴设备一样,一直在监控你的体征。它会进行一个智能决策告诉你是不是under too much stress(压力过大)。

其实这些设备还蛮世界模型的,虽然目前它们获取的信息太少,只有我们的心率、血氧等。如果眼镜能always on,看到我们所能看到的一切,它能指导运动员的动作,或者给养老院的老人提供智能健康建议,这是现有基于LLM的多模态做不到的。

另一个出口当然是Robotics(机器人)。机器人面临的问题是本质上还是“大脑”不够。

机器人是一个很好的downstream application(下游应用),任何上游的演进它都能从中受益。比如LLM出来了就有VLA(视觉-语言-动作模型),视频生成模型出来了就有了所谓的WAM(世界-动作模型),但已有的预训练范式,都没办法真正解决问题。

我不是很喜欢世界模型这个词。听起来有点hype(炒作)。它变成了一个口袋一样的称呼。

但我还蛮同意一位教授说的:他喜欢World Model是因为,它告诉大家我做的是world(世界)模型,而不是word(单词)模型。

世界模型是所有人会抵达的终点。

05

我拒绝了Ilya两次


张小珺:2018年你也曾经面试过OpenAI,如果你当初去了OpenAI,现在你是不是也成为了LLM大军的一员?

谢赛宁:Maybe,我不知道会发生什么。从那个时间点开始,像量子力学一样发生了一些变化。

我面试OpenAI的经历还蛮酷的——在一个小黑屋里关了五六个小时做一道题目,出来的时候天都黑了。John Schulman(OpenAI联合创始人之一、现Thinking Mashine Labs首席科学家)当初的面试题是一张A4纸,是铅笔手写的一行面试题。这件事对我触动很大。

最后虽然拿到了offer,但没有去OpenAI。

张小珺:你为什么没去?

谢赛宁:那时候想都没想,就想去FAIR。因为何恺明、Piotr Dollar、Ross Girshick在那里,他们是当初计算机视觉的“三驾马车”。

他们(当时)不是那种很senior的大学教授,而是最顶尖的中青年研究员。他们在那里,做的就是最顶尖的CV研究,对我来说没什么好选的。

当初还挺好玩的,Ilya Sutskever(OpenAI前首席科学家、现SSI创始人)给我打电话,我什么都没说就把 OpenAI 拒了。

我说:我不去,抱歉。

张小珺:他给你打电话说什么?

谢赛宁:他非常生气。

他问我:“你为什么不讨论一下就把offer拒了?是我们给的钱不够吗?”

张小珺:多少钱?

谢赛宁:记不太清了,现在看起来,其实非常低。一个顶尖的PhD学生在2018年能拿到的工资大概是40到50万美金左右,现在至少翻了三倍。

但anyway(无论如何),那个时候OpenAI的薪资其实没什么问题,所以Ilya很生气,我也只能搪塞两句。

张小珺:他生气的时候会说什么呢?

谢赛宁:只是语气非常严厉。

张小珺:他没有被拒绝过?

谢赛宁:我不觉得。在2018年,他应该经常被拒绝。

我一共就跟Ilya打过两次电话,这是第一次。

第二次是2024年7月的时候,他的SSI(安全超级智能公司)刚成立,他给我发邮件说,愿愿不愿意来一起工作。

张小珺:你又拒绝了他,这次为什么?

谢赛宁:这次是因为我刚在NYU开始我的工作。我跟他聊的时候,我们主要讨论的topic不是工资,主要讨论的是:怎么样给未来的人工智能给予“爱”的能力。

当然我最后问了他一句话,我说你对multimodal(多模态)这件事情怎么看?你对计算机视觉,或者对那种perception model(感知模型)怎么看?

Ilya的说法是,他觉得这件事已经解决得很不错了。所以我发现可能SSI有自己基于语言的这样一个路线,然后这条路线至少到现在为止,不是我想要去设计的东西。

张小珺:这是你们底层的分歧,到底是以LLM还是视觉为主要路线?

谢赛宁:我觉得之后可以细聊,但我并不觉得这是一个分歧。这是一个有机体,大家只是在不同的地方、不同的时间做不同的事情而已。没有必要拼个你死我活。

张小珺:关于怎么赋予人工智能“爱”的能力,你们有得出结论吗?

谢赛宁:结论就是这件事情很重要。为什么?因为如果没有的话,我们面临的是一个非常不确定、非常危险的未来。

张小珺:但是有“爱”的同时一定就有“恨”,它是一体两面。这个世界不可能只有爱。当它学会了“爱”的时候,它一定知道它的反面是什么。

谢赛宁:对,我完全同意你说的。这件事就上升到哲学命题了。

但我想反问一句:为什么大家对自己的孩子、对人会这么信任,而对AI这种新的智能实体会这么担心或者恐惧?我觉得这一点我没有答案。

但我觉得会有技术上的一些可以去把控的地方,可以通过技术的手段,让AI在未来变得更加可信,变得更加安全,变得更加controllable(可控制)。

这些也是为什么要做World Model的一部分原因。

06

语言是“鸦片”,我非常担心语言对视觉的污染


张小珺:ChatGPT诞生之前,CV(计算机视觉)在AI中占据很核心的位置;但这几年 LLM兴起,CV似乎退到一个边缘位置。

这个过程中,以你为代表的CV背景的研究者,会感到沮丧吗?

谢赛宁:我完全不沮丧。我要感谢LLM。没有LLM,Vision也没办法拓展到现在这种真正的多模态智能的大的scope(范畴)。

视觉的发展史可以画两根轴:在最early stage(早期阶段),CV要处理的是最单一、具体、简单的任务。比如MNIST(手写数字识别数据集)的数字识别,到后面像CIFAR(小型图像分类数据集)这种32×32像素上的十分类问题。再到后面ImageNet出现,变成了224×224的 classification(分类)问题。再往后有了Detection(目标检测)和Segmentation(图像分割)这种更结构化的认知过程。

这根轴继续往前推演,就到了Multimodal Learning(多模态学习)模型的兴起。因为多模态的介入,我们可以很容易放弃固化的task design(任务设计),语言作为一个很好的interface(界面),可以帮你解决很多问题。

这根轴是从简单task到复杂task的轴,也是语言开始慢慢介入CV的轴。

这里面有两个问题:第一,语言介入带给我们巨大好处,让我们可以自由定义问题并得到答案;

第二,风险在于,对语言的依赖变多了,导致很多多模态任务其实跟视觉没关系,纯粹是语言问题。从这个角度看,Vision好像变得边缘化。但我觉这是巨大机会。

虽然现在通过语言的统计信息能完成一些决策,但等到真的有一天,我们需要去deal with(处理)真实世界里的真实task去build某种真实的intelligence,现在这种不够完美的视觉表征就会是重大的缺陷。

Yann的说法是,现在大家只是拄着“语言模型”这根拐杖走路。你能走,但跑不起来,也没法参加奥运会,因为你“视觉表征”这条腿还不够好。

张小珺:为什么你的用词是“真实的intelligence”?LLM构建的为什么不是真实的intelligence?

谢赛宁:我觉得LLM是虚拟的intelligence。

张小珺:可是我们的智商不也是虚拟的吗?

谢赛宁:可能“虚拟”这个词不对。我定义的“真实”是说要跟真实的世界发生交互。

LLM解决的问题大部分在digital space(数字空间)发生。它能记忆factual knowledge(事实性知识),记住Wikipedia(维基百科)所有article(条目),做法律顾问或教育。

LLM当然是革命性的,但这跟vision as a perspective(从视觉视角出发)要解决的问题完全不在同一个market (市场)—— 我们要处理的是continuous space(连续空间)、high dimensional(高维度)、noisy(带噪声)的domain(领域)。

张小珺:比如,机器人领域?

谢赛宁:不只是机器人。这些信号很难被tokenized(标记化),它们脱离了virtual space(虚拟空间)。

这涉及到什么样的task呢?比如industrial process control(工业过程控制),涉及到所有的sensory modeling(传感器建模)信号。你有很多传感器感知世界,需要统一的算法去model(建模)这个环境。使得你在执行action(动作)或者intervention(干预)时,能预测系统接下来的变化。这是LLM很难做到的。

在我看来有两个极端:在左侧,一个极端是LLM擅长在数字空间里通过coding(代码)这样的 interface(接口)作为Agent介入物理生活,但它归根结底是基于离散的token的建模方式。

在右侧,是Robotics,且必须是真正的General-Purpose Robotics(通用机器人),它有自己的一套大脑和决策系统。

从数字空间里LLM一步步推演到真实空间里Robotics,才是视觉智能和多模态未来要解决的问题。我最想做到的事情是通过“不做机器人”的方式去解决机器人问题。

张小珺:通过“不做机器人”的方式去解决机器人问题?

谢赛宁:机器人进展太快了,春晚上的宇树机器人,令人瞠目结舌。但另一方面,还是要有人focus在预训练的部分,即所谓的“机器人大脑”到底是什么?

这个大脑包含了视觉系统。在控制和硬件部分,大家可以各自努力。

真机验证和迭代作为eval(评估方式)自然很重要,但我不需要过早介入硬件,软件层面和大脑构建上有fundamental research问题没有解决。

张小珺:你在之前提到,何恺明(计算机视觉顶级学者、ResNet之父)很早就提到模型要“大大大”,那么为什么LLM的Scaling law比CV要早那么多?

谢赛宁:CV现在还没有一个真正的Scaling law。

虽然Video diffusion(视频扩散模型)有一定的Scaling behavior(规模化表现),但借用形式化定义:C=6ND(Compute = 6 × 参数量 × token数),N和D的配比在CV中会非常不一样。

我的一个观点是:Language model其实不是一个自监督学习过程,它是一个strongly supervised learning(强监督学习)的过程。

逻辑是这样的:通常看你有没有外部annotation(标注)来决定是自监督还是强监督。但语言太特例了,它是人类几千年文明演化、process(处理)了世界一切后,以tokenize(标记化)方式存储下来的知识。我们恰好有互联网把这些知识都upload(上传)了。

对于研究者来说,这看起来是for free(免费)的,但免费不代表它没有label(标签)。这些知识的上传本身就是一个supervision construction(监督信号构建)的过程。

所以,语言模型始终停留在的target(目标)即Y Space(Y空间)。所有的机器学习都是X到Y的映射,Y通常是supervision(监督信息)。语言模型其实只在刻画Y Space。这不足以代表世界全部,很多东西无法通过语言刻画。

语言是一个communication tool(交流工具),不是思考工具,甚至不是decision making(决策)工具。

作为交流工具,它必须做trade off(取舍),牺牲掉很多东西。比如“杯子掉在地上碎了”,我们只在乎结果和状态,不在乎它怎么碎的、背后的dynamics(动力学规律)和物理定律。这是它的局限。

张小珺:做LLM的人,有时候会抱怨说,加入视觉以后可能影响智商。Kimi创始人杨植麟说,他不希望训出一个“傻的多模态”,希望训出一个“聪明的多模态”。

谢赛宁:是吗?我同意不该用一个“傻的多模态”。但如果不加入视觉,你一定会很傻。问题的根本在于到底怎么定义聪明和傻,以及怎么定义智能。

在过去几十年,AI总会撞到Moravec's Paradox(莫拉维克悖论):对机器简单的事情(如逻辑推理、棋类)对人很难;而对人简单的事情(如走路、视觉感知)对机器却极难。我们人没法背下这么多外语,但我们拥有极其复杂的视觉感知能力。

就像你刚说杨植麟可能不想让视觉来“污染”语言。但是,我也有自己的担心:

语言其实是一个“毒药”,或者说是一剂“鸦片”,你加多了语言总是会觉得更幸福的,它有用,但它是一个shortcut(捷径)。

如果你一直吸鸦片就废了;如果你一直拄着拐杖,你就没办法训练大腿的肌肉。

张小珺:这是你跟杨植麟观点之间的小对抗。

谢赛宁:我非常担心语言对于视觉的“污染”。这种污染已经在发生了。

07

我们是在某种行业压迫下生存的公司


张小珺:关于世界模型,其实现在的定义没有收敛,你们定义的世界模型和李飞飞团队(World Labs)定义的世界模型,差异是什么?

谢赛宁:我刚阐述的都是在我们定义下的世界模型。

现在世界模型不好定义,是因为它不是一个技术路线,它是一个目的。不管你在做LLM还是Video Diffusion Model,所有人都在通往世界模型的道路上。在我们看来大家并没有直接竞争关系。

对于一个Video Diffusion Model(视频扩散模型)的公司,像Sora、字节的模型、Genie、Runway、Luma,他们这些生成派更聚焦在构建一个世界模型的模拟器上,所谓的World Simulator。他们的目标是渲染出足够好看的视频,追求生成的一致性。

李飞飞老师那边在World Labs里,更在意强3D的representation(表征),是“空间的代码”,是交流,协作和创造的interface(界面)。通过一个非常具象化的、explicit(显式)的3D的形式,这样才能够在空间里面去掌握空间智能,并且保证100%不会出错。对于一个generative world simulator(生成式世界模拟器)来说,因为context window(上下文窗口)的限制,这件事情是不能保证的。

我们想要做的事情更像是,要去打造这样一个predictive brain(预测大脑),核心还是怎么样去提升智能本身。

张小珺:你的意思是,World Labs的路线无法提升智能本身?

谢赛宁:当然是可能的,比如可以通过在创造的显示空间里面训练智能体,我们是两条非常互补的技术路线。

张小珺:有一个中国的投资人曾经跟我说过:所有“含着金汤匙”出身的创业都没有成功的,几乎没有。你怎么看?

谢赛宁:我不懂什么叫做“金汤匙”。

张小珺:一上来融特别贵的钱,融资金额巨大,创始人已经功成名就。

谢赛宁:我们没有含着“金汤匙”。就像我说的,我们完全是一个“草根联盟”的创业模式。

张小珺:LeCun怎么可能会是草根?

谢赛宁:Yann不是草根,但他现在在整个AI的行业,包括在投资人面前,很多时候是一半支持、一半反对的。

总归是,他不是众星捧月的那种英雄。

他是一个坚守自己、在永远尝试做下一件事情,但这件事情还没有完全做成的这么一个人对吧?我觉得这导致我们不是含着“金汤匙”。我们是一个underdog(不被看好者)。

我们其实是在某种行业的压迫下生存的这样一个公司。

张小珺:凡尔赛了…

谢赛宁:不是,没有凡尔赛。真的。

我们可能会有很多的融资,但比起LLM现在撬动的资源来看,差太远了。

张小珺:你们融资难吗?

谢赛宁:有Yann在这确实不难。但是还是要看后面我们到底能不能deliver(交付)我们的mission(使命),我们能不能把research breakthrough(研究突破)做出来。

但我非常enjoy(享受)这种underdog(不被看好者)的身份,尤其作为一个创业者。

做research(研究)也是一样,你们越不相信我,我越happy。

张小珺:你有感受到谁对你的不相信吗?

谢赛宁:很多投资人的feedback(反馈)——我们有很多人相信我们,也有很多人不相信我们。

在硅谷里面大部分人不相信我们。在世界其他地方大部分人相信我们。

但没关系,你们可以不相信我们,那我们就let’s see(走着瞧)。

这条路我现在已经all-in了,你跟不跟?

08

自大的人类!


张小珺:你刚才说AGI是个伪命题,这个观点你能展开一下吗?

谢赛宁:AGI是伪命题,这也是我很认同Yann的一个观点。

他之前跟Demis(DeepMind 创始人)有一个辩论。他就在说到底什么是general intelligence,到底存不存在这件事。

他的逻辑也很数学,他说这个人有200万根视觉神经纤维,可以用来去model(建模)函数。

虽然理论上所有可能的视觉函数是2^2^200这么大,但人能够真正去process(处理)、能够看到的东西趋近于零。我们受到意识和神经bandwidth(带宽)的限制,看不到世界上发生的一切。所以人的智能是一个非常specialized(特定化)的智能,人只能认知到自己能看到的东西。

我后来补充了一个tweet(推文),提到一本书叫Are We Smart Enough to Know How Smart Animals Are?(《我们足以聪明到知道动物有多聪明吗?》)。看了之后,我觉得我们应该放弃人类的自大,智能演进是一个连续的过程,人不是独一无二的。

人会使用工具,动物也会。甚至我们引以为傲的自我意识,比如镜子实验,很多动物也能意识到镜子里的是自己。

张小珺:狗狗好像可以。

谢赛宁:很多动物可以。还有更加聪明的动物,比如黑猩猩。

德瓦尔还写过一本书叫《黑猩猩的政治》,讲四只黑猩猩如何进行权力博弈,很像《纸牌屋》,有拉帮结伙、有权谋上位。这些动物也有theory of mind(心智理论),它们有自己的 World Model。

比如一个实验:实验人员当着黑猩猩的面在两个盒子里分别放了香蕉和苹果,扣上盒子。把黑猩猩拉出去很长时间再带回来,如果它看到实验人员正在吃香蕉,它会径直去打开装苹果的盒子,理都不理原先装有香蕉的盒子。这说明它有某种心智推理能力。

虽然语言是人类独一无二的,但不代表其他动物不会交流。鲸鱼也有自己的语言。

张小珺:你们的World Model会先朝着哪一种生物的智能构建?

谢赛宁:目标当然是人类智能,因为这最能benefit(造福)这个世界。

我们希望build a World Model(构建一个世界模型)通向Human-like Intelligence(类人智能)。但我们确实应该放弃人类的自大。

最近我很受Richard Sutton的启发。大家说 LLM很厉害,能写code、拿IMO/IOI(国际数学/信息奥林匹克)金牌、上火星。Richard Sutton的回答是:如果你觉得这很难,那你就这么觉得吧,我不这么觉得。我觉得打造出一只松鼠的智能,才是真正难的问题。

一旦你能build松鼠的智能,让它在真实世界活下去,有自己的goal、有intrinsic reward(内在奖励)、知道饥饿、有emotion(情感)和社群活动,那么写代码、上月球这些事都是再容易不过的。

如果抛下人类的自大,打造松鼠的智能其实是一个更难的问题。人类的智能不只是语言模型,有很多智能不能通过语言本身所决定。

张小珺:说到这里,你对智能的定义是什么样?

谢赛宁:Richard Sutton是站在宇宙和造物主的视角。从那个角度看,重新造出一只松鼠,要比人类文明在5.3亿年进化史最后8秒创造的东西要伟大得多。

我不会给智能下一个定义,不同动物有不同的智能。我希望鼓励大家不要只关注那些个体很难做到的高级任务(如发论文、拿奥赛金牌),关注一下4岁小孩能做得很好的事情,这才是世界模型需要解决的问题。

所以Robotics是最好的出口。在谈论AGI或Super Intelligence(超人工智能)之前,能不能先有一个足够reliable(可靠)、足够general(通用)的robot?一个12 岁的孩子能承担几乎所有家务,但现在没有任何机器人能做到。

这件事需要“预训练的下半场”。现在的机器人创业公司没有精力做“大脑”的预训练,他们资源都投入到了hardware的Scaling Law(硬件的规模定律)上。即买更多机器人、去deploy(部署)它们,产生具体的商业价值。

张小珺:这个所谓的“预训练下半场”,它输入什么?输出什么?

谢赛宁:长期来看,输入的是所有的连续空间、高维度、可能有噪声的信号。一开始可能是video,但也会有多模态模型去学习和处理视觉之外的信号。

至于输出端最优的目标函数是什么,这是目前research问题。

这也属于泛self-supervised learning(自监督学习)的范畴,也是最exciting(令人兴奋)的地方。

09

“42”


张小珺:我们那天在一起等餐厅排队的时候,在纽约街头一起走了走,话题很自然地就延展到了那些对你非常重要、影响过你的人。

“人”这个因素占据了你众多选择中非常大的比重。为什么人对你来说这么关键?

(此处折叠10万字。

剧透7小时视频播客中谈到的人:侯晓迪、屠卓文、何恺明、李飞飞、杨立昆…)

张小珺:你是怎么样从一个年轻的学者,慢慢和这些AI业赫赫有名的人站到一起的?你是怎么走近世界AI核心的?

谢赛宁:我觉得这件事情很难刻意做到,也有点玄学。你可以叫它Law of Attraction(吸引力法则)。上述列举的所有人,至少都是做过Vision的。我没有刻意让这些事情发生,大家只是基于对research问题理解的一致性一起合作。

想法一致的人最终都会聚合在一起——虽然有无数的小溪,但最后都会汇聚到一条河流上。

张小珺:我发现你很喜欢说,You are not the chosen one, you are just the normal one。你为什么很喜欢说这句话?

谢赛宁:我没有预料到我们会聊到这些,不过我肯定不是那种所谓的“天选之子”。

这句话其实来自我很喜欢的一支球队——Liverpool F.C.。我是一个Kop(利物浦球迷),已经二十多年了。我跟这支球队的气质也有一点相投。

我最喜欢的一个教练是Jürgen Klopp。当时还有另外一个教练,José Mourinho,他曾经说过一句很著名的话:“I am the special one.” ——“我是那个特别的人。”

后来克洛普就半开玩笑地回应说:“I’m not the special one, I’m the normal one.”——“我不是那个特别的人,我只是一个普通的人。”

我很喜欢这种态度。一方面他本人非常朋克,很有一种摇滚气质;另一方面,他又经常跟大家讲,他在团队里的定位更像是一块电池。

他希望通过自己的passion、自己的能量,去给其他人发电。我也很希望自己能成为这样的人。不管是在学校,还是在创业公司里,我都希望自己能够成为团队里的那块电池。

但我觉得这件事情并不容易。因为每个人都会有沮丧的时候,也会有想吐槽、想发泄情绪的时候。但我现在慢慢觉得,在学校里、在学生面前,或者在创业公司的团队面前,总需要有人去承担这样一个角色——就是能够像一块电池一样,持续地给大家提供能量。

Yann就是这样一个巨大的电池。他也深深地感召了我。

但我也希望,能够通过我自己,把这份电力继续传递下去。

张小珺:你最近一次感到沮丧是为什么?

谢赛宁:我天天都感到沮丧。这个已经变成一个常态了。

这也是researcher的宿命——大家底色都挺悲凉的。

Research的求索过程,本身就是在一个暗无天日的地方摸索的过程。当你看不见光亮的时候,你总是会感到迷茫和沮丧。

大家真正感到快乐的时候,无非就是你真的把东西做出来的时候。但这一部分时光其实非常短暂,可能只有5%或10%。恺明好像也说过类似的话。长此以往,大家的心理状态挺堪忧。

不过我觉得现在这个时代,和原来不太一样了。现在会有更多讨论。这也是这一波AI带来的一个好处:至少大家不觉得自己是在一个幽闭的空间里独自探索。

张小珺:你们公司有创业者人格的人吗?创业者人格一般挺乐观的。

谢赛宁:Yann本身就很乐观,非常非常乐观。

张小珺:他也是一名研究者,为什么没有researcher这种悲凉的底色?

谢赛宁:那我不知道。可能因为他经历过悲凉,然后成功了吧。他经历过AI的寒冬,然后最后可以告诉所有人:他是对的,你们是错的。

如果我经历一下这件事情,我可能也没那么悲凉。

他还是蛮乐观的。他的过去这些经历,也让他更有信心。他经常说的一句话是:这件事情跟过去Deep Learning(深度学习)、Neural Network(神经网络)发生的事情一模一样。就是现在World Model,或者你不管怎么叫它,现在的智能系统的搭建。

他说,总有一小群人,能够清晰地看见这个世界发展的脉络,看见科技的进程。但他们只是一小撮人,大部分人其实是看不见的。

因为大部分人都在忙着做其他的事情。

比如在Deep Learning之前,很多人可能就是在做一些其他的东西,Traditional Machine Learning(传统机器学习)之类的。现在也一样。

他还是蛮乐观的,或者说他有足够的confidence。他会觉得:我能看到的事情是重要的事情,我能看到的路线是一条清晰的路线。在这件事上,我还蛮相信他的。

张小珺:我们刚才聊了很多世界模型。在过去一两年,你对我们生活在的这个真实世界的模型有哪些新的思考吗?

谢赛宁:我觉得,这件事情一定要超出research的局限。一定要热爱生活,到真实的生活里面去,要了解到这个真实世界发生的事情。不要在一个大的bubble里面过完自己的一生。

我会很担心在现在这个时代,大家的思维方式或者关注的东西,可能会有某种同质化。但总之,如果一个东西已经变成一个巨大的共识,这件事情总会有更大的bubble(泡沫)破灭的风险。

但我说的bubble可能也不是经济上的bubble,更像是在一个封闭的环境里,大家的这种——Echo chamber,有某种回音壁。

我其实也不是想吐槽湾区。湾区挺好的。我现在在纽约,非常怀念湾区的生活,总想回去,尤其在冬天下雪之后。

但是我觉得纽约很不一样。我每天上班,首先我不用开车了,已经从一个铠甲脱离出来,进入到真实的生活,开始步行。

这件事情有很多奇妙的反应。我每天有时候还是压力蛮大的,有时候遇到一些事情还是蛮沮丧的。但每当我穿过——从我家到学校办公室,有一个公园叫Washington Square Park(华盛顿广场公园),里面形形色色的人都有:

有弹钢琴的艺人,有跳舞的,有推着婴儿车的妈妈们,有下象棋的老大爷,有坐在台阶上什么也不做发呆的年轻人,也有拿着电脑学习的NYU的学生……每天最解压的时光,就是这大概五到十分钟的路程。

我发现这个世界比我们想象的要大得多。不是所有人都关心什么叫AI,他们可能不care这件事情,他们有自己的生活。这个世界很大。

但另一方面,也许AI在未来某一天会影响到他们的生活。那我们到底应该做什么?作为researcher,我们有没有某种社会责任?

我只是觉得,多跟人接触,多跟生活在这个世界里面的人接触,会让我对什么是 AI?应该怎么样去做下一代 AI?有一些新的认识。

这件事正是Ilya当初给我打电话,他想要跟我聊的东西。但我那时候还没有这些感悟。

张小珺:你有什么喜欢的音乐?喜欢的电影?喜欢的电视剧吗?

谢赛宁:我想想,我还挺爱看电视剧的,可以推荐一些电视剧给大家看一看。

有个电视剧叫《POI》,也是一个很老的剧,在里面大家讨论了什么是一个super intelligence(超级智能)?你有一个好的super intelligence和一个坏的super intelligence,它们之间的竞争,对人类社会的威胁。

这件事情我就不剧透了,但还是挺多模态的,而且这件事情有一定的预言性。还挺神奇的。

它就是讲,怎么样从一个在盒子里面的语言模型,或者一个可以写代码的Agent,一步一步跳脱出来,变成一个多模态模型的过程。

到后面当然还有我很喜欢的,比如《万神殿》,这也是某种AI的寓言。它是一个动画,作者是刘宇昆,是我的老乡。他也当过律师,当过码农,最后变成小说家,非常非常厉害。我非常敬佩他,他的书我也很爱看。这部剧之前被Sam Altman推荐过,很多人也都看了。

最近当然是很火的《同乐者》,也是AI的预言。只是有一点麻烦,这些流行文化被AI渗透得太多,导致所有都跟AI有关系。有点受不了。但可能只是因为我是AI从业者,会有不一样的感觉吧。

不过还是蛮有启发性的。包括我之前说的科幻小说、老电影,它们都是某种现实的预演。但通常结局都不是很光明,通常挺惨淡的。

我最近还看了一部电影,《无可奈何》,朴赞郁的电影。它讲的也是AI对人的异化。全片几乎没有直接谈AI,直到最后。通篇都在讲,因为AI的到来,人到底发生了什么变化,人的心态、人与人之间的关系到底发生了什么变化。

说到电影,最后说一句,欢迎大家来纽约。我以前会参加纽约电影节,现在我会去参加两个,一个是纽约电影节,另一个是AI电影节。也很酷。

要推荐的话,跟我们刚刚说的都相关,今年得到大奖的AI电影叫《全像素空间》(The Total Pixel Space),是一个很有趣的AI短片,讲了很多我们刚刚说的关于世界模型,或者为什么人的intelligence不是单纯通用的intelligence的一些argument。很好玩。

张小珺:我们的每一位嘉宾都会给我们的观众推荐一本“人生之书”,希望它真的影响过你,改变过你。你的会是什么?

谢赛宁:推荐两本书给你。

一本书,我猜大家可能都经常推荐,但我在本科的时候,这是一个群体性的记忆。

这本书叫《集异璧之大成》,你有听说吗?就是哥德尔、巴赫、艾舍尔。里面讲了很多关于哲学、数理逻辑,还有这三个人——哥德尔、巴赫、艾舍尔,一个数理学家、一个作曲家、一个画家,他们之间到底有哪些哲学的共同点?

我们本科的时候,是老师推荐,大家组团学习。当初大家看不懂,但是到后面,越来越觉得这件事有点道理。

还有一本书,也是本科看的,叫《禅与摩托车维修艺术》。这本书是一个内心求索的过程。它讲的是一个人骑着摩托车——可能有剧透——有一个想象中的哲人,但其实这个哲人是他自己的投射。

有些书、电影会把你装满,有些书、电影会把你掏空。我看完这本书的感觉是,它有点把我掏空。让我感觉到了一些,这个世界到底什么重要?什么不重要?

张小珺:对于你来说,什么重要?什么不重要?

谢赛宁:人与人之间真诚的交流是重要的,也许其他都不重要。

但在某一个时间点上,你要问我这个问题,我会说创业很重要,我会说research很重要。但归根结底,我还是相信人与人之间的交流,这件事很重要。

张小珺:听起来research是你交流的一种媒介。

谢赛宁:对,我觉得是。而且research本身也是一个deeper connection(深度连接)吧。

这在我们融资过程中还帮到了我们。有一个投资人很愿意投我们,他的原因是,他认识一个很强的创业者,也是一个研究员。他说:“诶,你们一定要投赛宁,我们不管以什么样的方式都要帮到他。”但我跟这个人只在开会时见过一次,他是StableDiffusion主要作者之一,创立了BlackForestLabs(黑森林实验室)。

这种信任关系是建立在你的学术工作之上。这种信任关系甚至有时候会远超你真正的personal connection(私人关系)。

大家通过你的一篇作品了解你,这件事情会传承下去,甚至可以走得很远。

张小珺:你一开始就说你相信命运,而且越来越相信。你也做了那么多“玄学决定”。此时此刻,你感觉命运正在把你往哪推?

谢赛宁:命运在推我吗?好像也没有。好像没有被命运推着走的感觉。

只是在下一次需要做选择的时候,希望上天保佑吧。

张小珺:这个世界是一个巨大的世界模型吗?

谢赛宁:这个世界当然是一个巨大世界模型。

张小珺:那我们能预测命运吗?

谢赛宁:我觉得不能。

张小珺:为什么?

谢赛宁:因为我们资源不够。

你需要用地球这么大的一个计算机,或者说你要有整个宇宙作为你的计算机,才能告诉你一个关于生命、关于宇宙、关于任何事情的答案。

这个答案最后可能是42。

---

还有大量的内容,只有视频播客和播客有喔:)

剧透一下:

  • 世界总不让我做Vision,我偏要做

  • 开着破车,开始我的学术流浪

  • 贾樟柯和毕赣如何启发Cambrian-S

  • 论文中的草蛇灰线 -- “作为表征的世界”

  • 质疑JEPA,理解JEPA,成为JEPA

  • LLM在左,机器人在右

  • Research taste与《金刚经》

  • 为什么我不喜欢“Impact”,它显得过于男性化

  • 住手!放开维特根斯坦

收听播客


推荐阅读


阅读原文

跳转微信打开

具身智能漫长的进化史、下一个Scaling与硝烟

2026年2月11日 17:21

原创 陈龙 2026-02-11 17:21 浙江

“苦涩的教训”在自动驾驶与机器人,这一跨越却显得尤为艰难和漫长。

作者:陈龙

作者目前供职于小米汽车自动驾驶团队,撰稿仅代表本人立场。

在人工智能波澜壮阔的发展长河中,刚刚过去的2025年已然被历史铭记为具身智能的“觉醒之年”。

如果说从2018年开始的Transformer和大语言模型(LLM)的爆发解决了人类知识的符号化表征与逻辑推理问题,完成了数字大脑构建,那么2025年的技术跃迁则直指本质:具身智能的核心在于将高维输入“压缩”为高效的表征,通过语言或其他形态进行“推理”,并最终“生成”为物理世界可执行的信号。

pastedGraphic.png

在这个充斥着暴论与市场炒作的年代,VLA(Vision-Language-Action)和世界模型(World Model)这两个极具潜力的技术方向,似乎因为原理太过“易懂”而陷入了舆论的漩涡:既有人猛吹VLA已经落地,也有人奉行VLA无用论;有人嘲讽VLA是“傻瓜架构”,也有人担忧VLA 2.0中语言成为瓶颈;甚至还有观点认为VLA和世界模型必须二选一。

站在2026年的开端,我们需要拨开过去一年的舆论迷雾。VLA与世界模型并非非此即彼的对立关系,而是认知驱动下的不同演进维度。本文旨在从底层逻辑出发,梳理具身智能从规则到认知的范式迁移。

01 

具身智能的三个阶段


pastedGraphic_1.png

Rich Sutton在著名的《苦涩的教训》(The Bitter Lesson)中深刻指出:从历史的长周期来看,利用大规模算力和数据的通用方法,总能胜过利用人类领域知识的特定方法。这一法则在NLP和CV领域已得到完美验证,但在自动驾驶与机器人领域,这一跨越却显得尤为艰难和漫长。

具身智能的进化史,本质上是人类不断寻找“更高效压缩、更通用推理、更精准生成”的过程。

1.1 具身智能1.0:规则驱动

在很长一段时间内,自动驾驶与机器人依赖于精确的数学建模和物理先验。经典的自动驾驶决策模块(感知-预测-规划),配合PID控制器、MPC以及基于优化的逆动力学求解器,构成了规控的基石。工程师们花费数十年时间手动设计规则和物理模型,调整增益参数,只为确保机器在特定轨迹上的精确运行。

这种规则驱动的方法在结构化环境中表现堪称完美。然而,当汽车开进陌生的城市,或机器人进入家庭厨房、杂乱仓库时,这种方法的脆弱性便暴露无遗。

物理世界的非结构化特性带来了巨大挑战:摩擦力的非线性变化、传感器噪声以及不可预测的人类行为,使得手工设计的物理模型极难覆盖所有边界情况(Corner Cases)。每一个未见过的物体、每一种新的环境光照,都可能导致原本鲁棒的控制器失效。

1.2 具身智能2.0:数据驱动

随着算力、模型和数据的Scale up,自动驾驶和机器人领域全面拥抱了端到端的学习范式,试图以数据驱动的方式解决拟人和泛化问题。

我有幸从2018年在Lyft探索两段式端到端自动驾驶模型,到2021年在Wayve探索一段式端到端。

这类模型通常被称为“视觉-动作”(Vision-Action, VA)模型,试图直接将传感器输入(视觉)映射到控制输出(动作),省去了中间的复杂模块。虽然Wayve、Tesla FSD以及机器人领域的ACT算法产出了许多惊艳的Demo,但始终让人感觉“缺了点什么”。

首先,模仿学习存在严重的分布偏移问题。由于训练数据多为Expert Level,一旦系统在执行中偏离了训练分布(OOD),它不仅无法纠正错误,反而往往会产生更离谱的动作,导致误差累积直至失败。这也是为什么我始终认为:开环训练的模仿学习在闭环情况下没有Scaling Law。

其次,模仿学习本质上是在拟合人类数据的规则、常识和价值观,但数据只是价值观的投影。纯数据驱动的端到端不可能达到人类的智能和泛化能力。此外,机器人领域的数据收集更加困难,硬件形态的千差万别也导致数据难以像文本那样跨任务、跨机型复用。

1.3 具身智能3.0:认知驱动

为了突破数据驱动的瓶颈,研究者开始尝试利用预训练的视觉-语言模型(VLM)作为“大脑”,将其海量语义知识和逻辑推理能力迁移到物理控制中 — Vision-Language-Action(VLA)模型应运而生。

我在2023年初有幸参与了自动驾驶VLA的前期探索,在Wayve期间主导了Driving-with-LLMs和Lingo系列工作,同期机器人领域也出现了RT-2等经典框架。VLA不仅仅是VA的拓展,它把端到端简单暴力的 V->A 映射,转换到了大模型的多模态认知、多步推理(测试时计算)到生成行为的决策框架。

回顾2025年,主流观点已达成共识:互联网规模的预训练赋予了VLA强大的认知理解、通识推理和指令遵循能力。例如,VLA可以轻松理解“把那个看起来像苹果的红色物体拿给我”,即使它从未见过这种特定的物体,它也能调用预训练中习得的对“苹果”的认知、对“红色物体”的抽象通识理解,结合“拿给我”的指令,通过思维链的推理最终输出行为决策。

尽管“世界模型”这个词在2025年有些被滥用,但不可否认,生成式世界模型也是认知驱动的重要一部分。

Language和Video是互联网上最廉价的模态,以预测下一帧(Video WM)或预测下一状态(V-JEPA)为目标,提供了极佳的Scale up思路。虽然世界模型在真正落地应用中——无论是作为仿真器还是推理时的预测——仍面临一致性和效率的挑战,但在VLA框架中已经看到了很多世界模型的影子,这将在下一章详细展开。

02

VLA本质是“认知-推理-决策”框架


pastedGraphic_2.png

VLA虽源于学术界的模型范式,但从更深层意义上讲,它是一个“认知-推理-决策”的通用框架:认知理解不限于Vision,更多是利用多模态压缩;推理不限于Language,虽然它是当前最高效的载体;决策层则有多种方式,但在通用性、泛化能力与性能平衡上,目前业界似乎尚未完全收敛到单一的最优解。

2.1 认知:从多模态压缩到高效表征

认知的核心在于压缩。如何将海量多模态信息(视觉、触觉、深度)压缩为模型可理解的高效表征(Representation),一直是机器学习的重要课题。

  • 语言对齐:

由于数据稀缺,VLA长期复用VLM的视觉编码器。从经典的CLIP到InternVL的大规模Encoder,核心思路都是通过对比学习进行预训练。Qwen系列原生预训练的ViT和3D CNN时序融合提供了很好的思路,但VLA仍需更强的时序特质。2026年,我们期待看到更加本质的视频表征出现。

  • 空间对齐:
2025年火热的3D表征(如VGGT、3DGS)虽能短期涨点,但本质上仍是人为注入

Inductive Biases,且对时序编码不足。自监督方式(如JEPA)更能通过重建Latent表征学习事物本质,但这种“左脚踩右脚”的方式仍缺乏与语言等人类规则的良好对齐。

  • 世界模型:

世界模型通过预测未来,可以作为极佳的预训练表征。例如VPP(Video Prediction Policy)利用视频预测表征做Planning取得了很好效果;V-JEPA等工作也尝试通过预测下一个视频表征来与Planning任务对齐。期待今年能出现开源的、将语言、图像、行为完美对齐的Foundation Model。

2.2 推理:测试时计算的Scaling Law

VLA真正的威力在于多步推理,包含但不限于使用语言(L)来推理。

  • 语言推理:

语言推理的用处是在复杂任务或OOD情况时,利用语言Token进行采样。广义上讲,这是利用预训练的通识能力辅助决策;统计学上看,这是通过多步推理增加信息量、减少熵,从而做出更确定决策的过程。受限于数据量级和效率,VLA的推理能力尚未被完全释放。目前机器人领域的语言仅用于理解指令和规划Subtask,自动驾驶也只是起到一个Mode选择的作用(例如Nvidia Alpamayo R1的CoC)。但随着语言数据标注做的越来越好,2026年期待VLA会像语言模型的CoT一样展现出更强的泛化和涌现。

  • 多模态推理:

随着模态生成和理解的统一,Visual/Latent层面的推理也逐渐步入主流。具身GR系列、WorldVLA和自驾的DriveVLA-W0等工作都证明了“未来帧监督”和“推理时预测未来状态”这一世界模型概念可以帮助Planning任务。但如何过滤掉Latent中对Planning无用的图像高频特征,使Visual/Latent乃至Language层面的推理更高效,仍值得深入研究。

2.3 决策:从双系统到一段式VLA生成框架

决策层是具身智能“落地”的最后一公里,也是VLA显著区别于VLM的地方。在2025年,我们见证了从模仿人类认知的“双系统”架构,向着追求极致效率与拟人度“一段式”架构的深刻转变。

  • 双系统(System I + System II):在VLA发展的早期(2023-2024),主流方案往往采用丹尼尔·卡尼曼提出的“双系统”理论:

System II(慢思考):由VLM/LLM充当“大脑”,负责高层的语义理解、任务拆解和逻辑推理。它输出的是文本指令或轨迹点。

System I(快思考):由传统的规划控制算法(Planner/Controller)或端到端网络充当“小脑”,可以单独运行,或是Conditioned on(基于)大脑的指令输出具体的高频控制信号。

信息瓶颈:这种架构虽然利用了LLM的推理能力,但存在显著的接口信息瓶颈。这就好比一个老司机(VLM)在副驾指挥一个新手司机开车,无论指令多精确,反应延迟和信息瓶颈都注定了上限不高。此外,两个系统的推理频率不匹配虽然避开了算力瓶颈,但也牺牲了灵活性。

  • 一段式VLA(One-model VLA):为了追求极致的端到端,2025年的VLA彻底打破了感控的边界,将“认知”与“行动”统一在同一个Transformer的生成式范式中。这一进化路径主要体现在Action Decoding方式的变革上:

离散化Token(Discrete Tokens):早期的尝试(如RT-2, Gato)简单粗暴地将动作空间离散化为文本Token。这种方式让Action能完美融入LLM的自回归训练中,享受Scaling Law的红利。但缺点是精度受限且动作不平滑,机器人往往表现出“顿挫感”,且难以处理高维连续动作空间。

连续值回归与Learnable Query:为了解决精度问题,后续工作(如我之前的Lingo系列)开始引入专门的Action Head,通过Learnable Query直接回归连续的轨迹参数。这在一定程度上恢复了控制的平滑性,但本质上还是确定性的回归模型,难以应对多模态的未来分布(即同一个场景下,既可以左绕行也可以右绕行,回归模型往往会输出一个中间的错误路径)。

流匹配(Flow Matching):这一系列工作是2025年初最激动人心的突破。以Pi0为代表的模型引入了Flow Matching作为解码器,这种方式与Diffusion Policy类似,很好地解决了多模(Multi-Modal)问题,也兼顾了生成速度,同时连续建模也使轨迹输出更加精确。

之后的Pi0.5引入了FAST的离散Token来负责训练时的监督,结合了Transformer的推理能力、离散Token的结构化优势以及生成模型的分布建模能力,实现了前所未有的拟人感和丝滑度。后续配合 Knowledge Insulation (KI) 的训练方式,有效保持了大模型的通用能力。而Pi0.6又引入了人类Correction数据以及使用Advantage-conditioned的强化学习方式,更让机器人动作展现出了极强的鲁棒性和泛化性。

然而,必须清醒地认识到,VLA关键的决策层尚未迎来“大一统”时刻。不同的任务属性(如高频的四足平衡、低频的机械臂抓取,以及更加简单的自动驾驶2D平面Action Space)、不同的数据分布、以及千差万别的本体形态,使得Action Head的设计仍在持续演进。

在追求通用经济性(无需训练适应多种本体)、泛化性(适应未见场景)与专业性能(推理速度与控制精度)的“不可能三角”中,现有架构似乎还没有完全收敛。

(自驾中更全面的决策方式可参见最新的VLA综述:Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future。)

03

未来展望:2026与更远的征途


站在2026年的新起点,具身智能的图景已逐渐清晰——即以大模型为通用认知底座,实现感知、推理与决策的端到端深度统一。除了VLA架构的成熟,以下四个方向将是2026年的主战场:

3.1 强化学习:学习“不能做什么”

如果说模仿学习教会了机器人“该做什么”,那么强化学习(RL)的核心价值在于教会机器人“不能做什么”。

在数据稀缺背景下,RL是突破专家数据天花板的关键。未来的VLA模型在经历“大模型预训练 -> 微调 -> 开环后训练”范式后,需要在仿真或真实的闭环环境中进一步强化。通过不断的试错与纠正,让自动驾驶和机器人模型学会处理物理约束、安全边界以及长尾场景中的复杂博弈。

3.2 在线学习:“终身学习”的能力

部署后的自动驾驶与机器人模型不应是静态的,真正的具身智能体必须具备在交互中学习的能力。当前的VLA大多是离线训练,面对环境变化往往束手无策。

2026年,我们将看到更多具备“测试时学习”(Test-time Learning)能力的模型。形式可能不仅是参数微调,更包括In-context Learning、Memory Bank或RAG等大模型范式在具身场景的深度应用,让自动驾驶与机器人在真实世界中更懂用户需求,实现终身学习。

3.3 Scaling from Video:从世界视频中提取物理常识

互联网上最廉价的两种模态是文本和视频。如果说LLM吃透了文本,那么具身智能的下一个Scaling Law将来自视频。世界模型在此方向将扮演重要角色。通过对海量人类操作视频、行车记录仪数据的生成式预训练,模型将隐式习得物理定律(重力、惯性、碰撞后果等)。让模型通过“预测下一帧”来内化物理世界,这不仅为VLA提供了虚拟环境以进行强化学习,也解锁了在线强化学习甚至测试时利用“想象”进行推理的可能性。

3.4 Physical AI Safety

随着具身智能从对特定专家数据的“过拟合”(Overfit)转向对互联网大规模图文视频的“泛化”(Generalise),一个前所未有的挑战也摆在面前:如何在利用互联网知识预训练的同时,确保模型不被抽象和虚幻内容干扰,并严格保持人类的价值观?

互联网视频包含大量抽象文字,玄幻小说,电影特效、夸张的动画以及 AIGC 生成的违背物理规律的内容,模型利用互联网数据获得高阶泛化能力的同时,我们必须要确保其压缩到与人类价值观对齐的认知,利用符合价值观和物理规律的符号进行推理,并且可控的生成与人类意图对齐,符合人类的社会规范与安全边界的决策。

2026年是“自动驾驶 × 机器人 × 大模型”协同进化的深水区。

此时的工业界与学术界更需要摒弃喧嚣,回归第一性原理看待VLA与世界模型,务实探索数据Scaling在物理世界的真正上限。让智能真正走向物理世界,是通往通用物理人工智能(Physical AGI)的必经之路。

我们期待的通用物理人工智能(Physical AGI),或许就在下一个转角。

免责声明:内容仅代表嘉宾观点,不做任何投资建议

推荐阅读


阅读原文

跳转微信打开

全球大模型第一股的上市访谈:敢问路在何方?

2026年1月8日 10:11

张小珺 x 张鹏 2026-01-08 10:11 浙江

Break a leg(摔断一条腿),意味着,祝你好运。

访谈:张小珺 x 张鹏

上市前夕,智谱CEO张鹏在一次出差途中摔伤了右腿。到达访谈地点时,他拄着一副拐杖。

当时,智谱确切的上市日期尚未明朗。它与MiniMax之间围绕“全球大模型第一股”的竞争仍在继续,结果并未尘埃落定。张鹏提到一句西方俚语:Break a leg(摔断一条腿),它通常意味着祝你好运。

几天之后,结果揭晓。

智谱确认于2026年1月8日(也就是今天),登陆港交所,成为中国首家上市的大模型公司,这也意味着它将是“全球大模型第一股”。

就在这个意味深长的历史时刻,我与张鹏做了一场3小时长谈。

如果一百年后,智谱出现在人工智能的历史书中,你希望它以怎样的方式被写下?

“AGI的先行者。”张鹏想了想,说,“一个开路的人。”

以下为本次访谈的节选内容。

完整版请观看视频播客或收听音频节目。

01 

谈上市

“我觉得祝大家好运吧”


张小珺:我想了想,智谱有可能会成为不仅是中国,而且是全世界第一个IPO的大模型公司,动作比OpenAI快。

为什么AGI还没有实现,你们这些公司都纷纷上市了?

张鹏:确实这里面有好多原因。实现AGI我从来不认为非常简单,也不是非常短期就能实现的目标——是一个马拉松,一个长跑。你一定要坚持下去。

在不同阶段,用不同方式去度过这一段。比如马拉松起步时,你为了要摆脱拥挤的起步阶段,需要加一点速跑到第一集团去;中间有一段时间大家都坚持不住,你要去补给站拿一些补给,把体力保持住,不断做消耗和摄入能量之间的平衡——在不同的阶段有不同的方式去运转整个体系。

在我们第一天公司成立的规划里,大概也就是6年、7年这个时间,就要去面临IPO。

张小珺:什么时候开始正式启动上市计划的?

张鹏:如果按照倒推三年业绩期,2022年、2023年就开始了——包括我们要怎么去做商业化,怎么去做收入,成本投入怎么控制,团队怎么发展,这些同步进行。

张小珺:在你看来,不仅是你们,这一波AI公司的上市,对于AGI来说它会是一个怎样的路标?

张鹏:从资本市场的角度,你在一级市场都算没有离开学校,还是在学习、培养、成长的阶段。到二级市场之后,是更接近市场的阶段。

对行业也是里程碑,这就证明了,这件事并不是一个镜中花、水中月。它是真的能走到产业级的事情。

张小珺:有没有一部分原因是,投资人在今天这个时间点也希望能够离场,希望能够落袋为安。

张鹏:我不排除有人这么想。但我觉得像我们很多投资人还是跟我们一样,保持着同样的信念和想法——想要大家一起走下去,取得更大的成功。

并不是说简单的上完市我们就退掉,落袋为安,挣了钱就OK。

张小珺:最近大家会把你们跟MiniMax放在一起来讨论,因为他们也在争夺所谓“中国大模型第一股”。

(访谈当天,谁是大模型第一股的形势,还未明朗。)

张鹏:因为时间最接近嘛。我看网上分析,很多还是很中肯的。这两家各有各的特点,各有各的发展路径。

当然我也不评价MiniMax怎么样,至少从我们内心来讲,智谱所怀揣的理想和想法还有后面的动因,在我们的招股书或者简单的几十页东西里,很难看得很清楚。

我最近也花了一些时间跟很多朋友聊,希望让大家能了解智谱背后,做这些事情背后的一些想法,不要对我们产生一些不必要的片面的认知。

张小珺:你有什么想对MiniMax CEO闫俊杰说的吗?

张鹏:我跟闫老师说话,最近稍微少一点;之前还挺多。

张小珺:最近为什么变少了?

张鹏:碰面的机会比较少。

张小珺:你有什么想对他说的吗?

张鹏:我觉得祝大家好运吧。

张小珺:你怎么看OpenAI也可能要上市?

张鹏:听说它也在准备,OpenAI可能是另外一个故事,在美国那个大环境底下,叫“高风险”、“高投入”、“高回报”——“三高”。

张小珺:你们呢?

张鹏:我们相对更符合中国的情况,在高风险或者叫高科技的领域里面,追求稳定性、可控性、可预期的模式。

张小珺:怎么应对上市后的技术投入、算力投入和二级市场的资本压力——上市之后,会不会反而让你们变成一家平庸的公司?

张鹏:我觉得不会。这也是我刚才说,为什么我们希望通过你这档节目,更多让大家知道智谱到底是在想什么、在做什么。很多事情起源于人和人之间的认知的差距和互相的不理解。

张小珺:你觉得被误解的是什么?

张鹏:可能有一些人认为:你看他们就是做项目外包的,是个to G的公司,围着政府转的——我觉得不是这样。里面有很多深层因素在里边。

从表象上看,中国前10大互联网企业里,有9个是我们的客户,都是我们很重要的客户。我们有60%是企业客户,政府这块它只占到20%,很少,其实不大。

你要说我们是一个to B的公司,这个可能我认。to G并不是我们很真正占大头的东西。

我们一直说,我们是服务企业,因为企业才是整个社会里边生产利益最集中的地方,转化效率最高的地方。一个生产力变革级别的技术,你当然是要找到这样的地方去落地。

这是最straight forward(直截了当)的逻辑,也是我们这些做工科、做理科出身的人,很容易想到的事情。

02

谈创业

“不过你说对了”


张小珺:我觉得你还没有很好的准备,就做了CEO,随后被推进了一个大浪之中。过去三年,你是什么感觉?

张鹏:你怎么知道我没有做好准备?

……

不过你说对了。

张小珺:为什么清华让你们几个人来开始创立(智谱这家公司)?是谁让你们创业的?

张鹏:这个不是别人要我们怎么做,就是我们自己想做。

我当时在实验室里做工作的时候,负责的就是工程转化。教授们带着学生们做研究,做完研究的东西,他可能发Paper,我要去Deliver给这个我的企业的客户。

企业客户的要求肯定不只是说一篇Paper或者Prototype(原型)的代码,他需要是一个System、一个Product。我就带着一帮人在做这些事。

张小珺:清华一直有这个工程转化的职位?

张鹏:我们系一直有,我们实验室尤甚。这是我们的传统。

从我的导师建立这个实验室开始,就非常重视这个。他提了一个概念叫,P2P——Paper to Project,或者Parper to Product。就是你的Paper研究成果,一定要转换成实际能用的产品或者系统。

2017年我们就尝试着在学校这个体制底下,怎么把这个商业化转化的路径走通。

那个时候,学校里体制内人员去开公司这个事,是不允许的。

张小珺:之前没有先例吗?

张鹏:有。但大家不是正式的官方渠道。你一个老师在外面开一个公司,好像没人举报你什么的,也就过去了。但严格来讲,这个事情需要跟学校去报备、批准的。

张小珺:没有想过,我先悄悄地做,被发现了再说?

张鹏:这个总会留下一些首尾嘛。这是我们这帮人的执念——走正规途径。

契机是到2018年,国家,包括教育部,包括几个部委吧,联合给了一个意见,允许这个科研院所的在职人员用已有的研究成果,做科技成果转化。

相当于,开了一扇窗户——大家看到了,唉,外面还可以有这么一条路——但它并不是开了一个很敞开、很大的一个门说,你随便走吧,它也没有那么方便。我们就拿这个东西跟学校谈,说:怎么办?我想办,怎么办?

学校其实也想干这个事。那个《办法》是2018年的1月出来的。研究这个细节,走通整个流程,公司注册到2019年的6月。一年半时间。

我们是首先吃螃蟹的人。

张小珺:一开始去融资,跟投资人当时讲这个事的时候他们兴奋吗?

张鹏:投资人听不懂,他们完全听不懂——这是什么东西?你们怎么挣钱?怎么把这个东西商业化了?投资人问的都是这个。

我印象特别深刻。有个投资人,哇,线上聊,说:这个东西你们能变成钱吗?现在你看这个大环境这么差,经济这么差,要不你们把估值降一半怎么样?

ChatGPT火起来就帮了我们一个很大的忙。大家再也不用质疑说你这个东西到底是啥。

我们就对他说:ChatGPT你懂吧?你看过吧?知道吧?——我们做的这个事情就是往这去。

03

谈对照

“他能干得很漂亮,但就是没有太多情绪价值”


张小珺:我听过一个评论是讲智谱的。智谱一直不算是这市场上最明星的项目,不是关注度最高的一个。你们有技术、有视野,但看起来会有点Boring。

他给我一个描述说,“就像水泥一样”——没那么有趣,但稳定性好。这个评论对你来说是中肯的吗?

张鹏:我觉得算中肯吧,就像大家评价清华理工男一样,就是Boring。

都很聪明,也很能干。正经用途你让他干什么事情,他能干得很漂亮。但是,就是没有太多的情绪价值。

张小珺:Kimi相对你们来说是不是更酷一点,同样是清华理工男。

张鹏:对,这是我佩服植麟(的地方),他很会抓住普通人的眼球,知道怎么去推广,怎么去理解普通人的需求和想法。我们可能在这方面做得没有那么的好,也跟我们的定位有关系。

张小珺:你们是什么时候决定不深入涉足to C的——这应该是个很重要的决定?

张鹏:我们倒不是说我们决定不深入去做to C,其实也做,我们发展出智谱清言APP,然后ChatGLM的云端版本,现在也仍然在做。

只是我们会选择说,不是押注在唯一的选择上。我们会同时看我们三四种模式,看哪种模式更能走得通。

张小珺:你们为智谱清言投过流吗?

张鹏:投过呀。这没什么好否认的,肯定投过。

张小珺:多久发现这场仗打不赢?

张鹏:有一段时间了吧。后来发现,中国的C端市场,付费意愿还是太差,大家不太愿意能付钱。

我们还是挣了点钱的,在清言上。

张小珺:没有想过要参与豆包、Kimi他们竞争?

张鹏:那不是我们的风格。

张小珺:to C比to B对于投资人来说,永远还是更有吸引力一些。

张鹏:我不太理解这个吸引力从哪来,后来我自己猜测了一个原因是在于:这个数字模型比较好算。一个用户值多少钱,比较简单。

但to B它太复杂了,你说一个客户值多少钱这个事情,千奇百怪,而且各种各样的因素都有。想要把这个事情算得很明白,比较困难。

张小珺:我现在回想起来,2023年印象很深的第一件事是,老王发了一个英雄帖,随后王小川也入局了。

你当时看到这些非常成功的企业家二次创业,来抢你们已经深耕好几年的市场,你当时在想些什么?会担心在商业上竞争不过他们吗?

张鹏:我们做了那么长时间,对这件事认知还是比较深的。虽然ChatGPT火了,但它要走的路还挺长,没那么快、那么容易。

(王)小川,因为那个时候他也在这里面嘛(办公室在一栋楼里),很近,我们经常到楼底下碰面。

他有个习惯,经常思考的时候,下去在我们的科技园底下,有一个开放的广场的长凳。他会盘着腿坐在那想问题。拿一个iPad,在那想问题。我有时候下去买咖啡什么碰到他,会聊两句。

张小珺:接着2024年,这个市场的主角似乎发生了变化,变成了杨植麟、闫俊杰。你会怎么看杨植麟当时?

张鹏:植麟,接触还算有几次,毕竟是我们实验室出去的。在学校,他是一个学霸类型的人。后来开始做Kimi,我觉得他应该能成。

张小珺:同门师兄弟,到了商业环境开始竞争,是一种什么感觉?

张鹏:清华的人有这个特质,大家都比较属于这种工科男,比较理性。

大家在一起的时候也聊得很开心,聊师兄弟,也都很说得开。但在商言商,碰到了,该怎么样就怎么样。各自有一套规则,各自有一套沟通方式。

张小珺:如何看待Minimax闫俊杰?

张鹏:他也是个非常聪明的人——第一个,找对了方向,第二个找对了市场——在这个基础之上,他非常明白自己想要什么。

张小珺:想要什么?

张鹏:我觉得他可能,就是奔着商业化这个事情去的。

你看他做的很多事情,不管是Talkie也好,还是语音、多模态这些,都是朝着这个方向去的。消费、娱乐、大家的精神价值、情绪价值,这个方向去的。他非常明确。

04

谈泡沫

“假设它是一个Bubble,我们上市能救AI吗?”


张小珺:我和一个AI 1.0时代的创始人聊天,他说:现在大模型公司上市本质是在“逃生”。

一部分市场的观点是,大家会觉得2026年AI的Bubble(泡沫)有可能会破,对2026年的预期不够乐观。所以2025年底、2026年初,能上就赶快上,这也许是一个有利的窗口期。

张鹏:第一,假设它是一个Bubble,我们上市能救我们吗?或者说,能救AI吗?

张小珺:能救投资人的钱包。

张鹏:那不是救我,对不对?

是不是Bubble跟上不上市没什么必然关系,你混淆这两件事,我是不太认同。逻辑上它没有必然的关系。

第二,它是不是Bubble最近也讨论比较多,我很习惯跟大家聊这种天的时候就会反问一句:你怎么定义Bubble?什么叫Bubble?

张小珺:任何周期都有泡沫,当我们在开始讨论的时候,担忧的是,像以前周期中大崩盘的情况。

张鹏:它崩盘是因为什么?投资过热嘛。投入这些东西得不到相应的这种收益。

好,那最近的泡沫是什么?

张小珺:互联网。

张鹏:所有人都会告诉你,最近的泡沫就是互联网那波泡沫。但是你看,就算互联网泡沫破了,它留下了什么?

现在大家用的、享受的很多东西,都是那个泡沫的时代留下的东西。你为什么要担心Bubble?

张小珺:担心自己刚好是被戳破的那个。

张鹏:说白了还是担心自己兜里的钱!

说白了还是:我能不能及时收回我投资的收益;并不是真正担心说,我投进去没有产生实际的东西,产生实际的生产力,或者留下真正有价值的东西。

那好。你说到这个角度,这个问题就容易解了。投资这个角度,你觉得美国够吗?你觉得中国够吗?——如果投资都不够的话,那凭什么叫Bubble呢?

张小珺:觉得不够的原因是因为,现在离AGI还很远。

张鹏:那既然它离AGI很远,我们要不要追求AGI?

张小珺:AGI不在现有的技术范式下能达到,有没有可能?

张鹏:那我们如果不投资,它会自然发生吗?

张小珺:它不会。

张鹏:那不就完了吗?

历史的大势就是这样。我问你的这些问题,逻辑都是一环一环相扣的,你就回答这些问题就知道了,你担心这个事是没有意义的。

它必然某个时间段会有Bubble,没问题,只是泡沫大小而已。那我就问你大小嘛,你说投资够吗?其实很多人也认为不够。

我不敢说美国那边够不够,反正中国肯定是不够的。

张小珺:中国(比美国)少很多。

张鹏:少非常多,是美国的几十分之一。而且很多这种投入都投到了什么?基础设施。反正就撒胡椒面撒下去了。它并不是集中像美国那样,在那几家脑袋上。所以,这个情况也不太一样。

你要说有Bubble,我相信,在资本市场角度,美国那个事情可能是有Bubble,但在中国这事不存在。

它是远远不够的。

张小珺:我理解你刚才是从历史的大势的角度来看,那如果是从公司的视角呢——朱啸虎此前一直说,大模型六小龙可能到最后连上一代的AI四小龙都不如。

你们出来创业是为了追求第二代AI范式,那么,从一个上市公司的角度,第二代AI公司和第一代AI公司,它们有什么本质区别?

张鹏:我无意反驳他这个观点,但我觉得他这个结论下的有点早。因为上一代的AI四小龙,还健在。有些还健在。

我们还很早期。你要从2023年开始算,现在才3年;你要再往前推一点,从我们公司成立2019年开始算,也才6年多。

这么早就盖棺定论吗?还太早。

他说的是个预测。我们就等着时间来证明就完了。

05

谈希冀

“一个开路的人”


张小珺:最近上市背后,有什么有意思的故事没有?

张鹏:我想想,我去参加了一下摩尔线程的敲钟仪式。我们跟摩尔合作时间还挺长,他们也邀请我过去,我跟他们说,我来学习一下,看看这个敲钟。

确实大家都很不容易,这一波,非常非常的不容易。各自有各自面临的难题,能走到这一步,可以说都是英雄。

张小珺:上市时敲钟(锣)手感好像挺神奇的,你准备重重地敲还是轻轻地敲?准备用什么力度?

张鹏:现场去看一下那个钟(锣)有多大——开玩笑、开玩笑。

张小珺:智谱首席科学家唐杰老师是一个什么样的人?

张鹏:唐老师是一个绝顶聪明,但是,是非常有执行力、很热情的一个人。一旦他想清楚一件事情,他会特别的push,特别的有passion去干这件事情,而且非常专注。

张小珺:他现在最push的是啥?

张鹏:拼命的push我们团队把模型的能力持续往上拱。当然上市的事他也很关心。

你看为什么我们要讲从2016年开始那个故事?其实就想给大家传递一个信息:智谱不是单纯就是想成立个公司去挣钱。本愿还是在于,我们要去探索AGI到底是什么。

只不过我们觉得在成立一家公司,在产业里面去做这件事情,更符合当下人工智能发展的需求。而不是简单的只是做研究,也不是简单去挣钱。

张小珺:做一家实现了AGI的公司和做一家利润很高的公司,这两个二选一,你选哪个?

张鹏:当然实现AGI的公司。这个不用想的。

张小珺:智谱,哪怕实现了AGI,挂了也可以吗?

张鹏:说这个话太不吉利……

当然我们不希望挂掉。而且我相信如果我们能够实现AGI,我们不会挂掉,我们也会是一个很伟大的公司。这两者并不是对立的。

张小珺:你觉得智谱如果做成什么样,你是不满意的?往后看5年。

张鹏:只赚钱,没有技术的产出或者说对行业的贡献,我就肯定不满意。

张小珺:100年后,如果智谱出现在人工智能的历史书上,你希望它被怎样撰写?

张鹏:从我个人角度,我希望在智谱注脚里有这么一句话:智谱是AGI历史上一个先行者。

你看我们做这个事非常早,包括很多技术上的突破,很多时候我们都是在吃螃蟹。

张小珺:早对你们来说重要的。

为什什么不是创新者,而是先行者?

张鹏:先行者一般就是创新者。

就是,一个开路的人。

(完)

本集节目由语言即世界 x 新浪财经联合呈现

免责声明:内容仅代表嘉宾观点,不做任何投资建议

观看视频


收听播客


推荐阅读


阅读原文

跳转微信打开

一家投资OpenAI的硅谷基金的深度研究

2025年12月25日 17:30

原创 张小珺 x Freda 2025-12-25 17:30 上海

我非常厌恶信息孤岛。

访谈:张小珺 x Freda Duan

《站在2025年之外》是我们推出的年终对话系列,由5篇投资人访谈组成,他们分别从中国本土与硅谷视角出发,共同描绘我们走过的2025年,并对2026年做预测与前瞻。

5位嘉宾分别是:(排列依据播客的发布时间顺序)

金沙江创投主管合伙人 朱啸虎

真格基金管理合伙人 戴雨森

Altimeter Capital合伙人 Freda Duan

红杉中国合伙人 郑庆生

拾象CEO 李广密

他们的播客已陆续发布在播客节目《张小珺商业访谈录》。

今天推出第一篇的文字版本:

一个多月前,在2025年11月初,Sam Altman上了一档由美国基金Altimeter Capital创始人主持的播客节目,在主持人连续追问OpenAI如何为1.4万亿美元级别算力与基础设施承诺买单时,Sam称:“If you want to sell your shares, I’ll find you a buyer. Enough.”(“如果你想卖掉你的股份,我可以帮你找到买家。够了。”)

随后,AI板块整体出现波动,关于AI是否存在泡沫的讨论进一步升温。

我们今天的嘉宾Freda Duan就来自这个名叫Altimeter Capital的基金,她担任合伙人。

Altimeter是一个硅谷科技基金,横跨一二级。在一级市场投资案例有OpenAI、Anthropic、字节跳动等,在二级市场投资案例有NVIDIA、Snowflake、Robinhood等。

这集节目,Freda将深入分析美国这些明星公司,给他们的巨额投入算算账;她也从一线硅谷投资人的视角聊聊,美国资本的新秩序,他们眼中的坏小孩、反叛者、刺猬型和哪吒型创始人,以及泡沫。

01 

美国投资三条主线


张小珺:Hello Freda,先给听众朋友们打个招呼,并且做一个简单的自我介绍。

Freda:大家好,我是Base在硅谷的一个科技投资人,在一家叫Altimeter Capital的基金。

张小珺:Freda应该是很少在美国一线基金里面的华人,能不能先给大家介绍一下你们的基金和这家公司的创始人和创立的背景。

Freda:我们是一家位于硅谷的一线科技投资机构,覆盖一级和二级市场。创始人自己是一个连续创业者,在一级市场比较出名的是包括重仓OpenAI、Anthropic、字节一系列公司。在二级我们比较敢于重仓敢于做一些非共识投资——包括2022/23年Meta、Nvidia,今年的Robinhood,以及之前作为Snowflake等很多软件公司的大股东。

一个与众不同比较有意思的点是我们是美国少有的很愿意公开自己研究和思考的基金——很多人知道我们是通过一个叫BG2的播客——最近几周有和Sam Altman、Jensen Huang的很多公开采访;我们几个合伙人也会在Twitter和Substack上分享自己的认知。我在里面分享AI和一些前沿科技——包括AI应用,互联网、硬科技和金融科技比较多。

张小珺:说起来我觉得很恍惚啊,因为21年、22年,我记得硅谷还是笼罩在裁员风波里,那到了现在25年,似乎情绪和叙事发生了非常大的变化,你看Meta现在又开始天价的挖人。

身为一线投资人,你觉得这几年你的真实体感是什么样的?能不能描述一下每一年你身处其中,你心里非常能够定义那一年的一些瞬间?

Freda:每年说一点几个重点词吧:

2020年是疫情、降息、市场火爆;

2021年市场是持续火爆,但其实你能看出来一些就是潮水退去的迹象,比如说股票里面,中小盘或者说质量没有那么高的股票,他们的顶部就是在2021年的2月份,然后大票类似微软是11月份是开始掉头;

2022年就是非常悲惨的一年,通货膨胀,纳斯达克指数跌了35%,像Meta这样的股票都跌了70%;

2023年就是在大家都完全没有反应过来的时候,AI开始火热了;

2024年AI叙事,其实作为我们投资角度算是最好做的一年;

2025年是关税、中美关系,然后还是继续AI这个浪潮。

张小珺:你怎么看这几年的这些起起伏伏?

Freda:你说对,起起伏伏确实很多,我觉得其实挺不正常的,因为如果你看过去几十年的历史,美股是一个长牛式的逻辑,你从2000年开始算,纳斯达克其实一共只有6次是下跌幅度超过20%的,但是在2020年之后,我们就经历了3次,所以这个频率是有变高的。

张小珺:你看23年之后突然一下子整个市场就被AI主导了,回头来看你觉得在当初有没有一些端倪,有可能更早的预见吗?还是说就是非常突然?

Freda:我觉得其实是有非常明显的预兆的。2022年当时是市场一片灰暗,但当时有非常奇怪的融资现象。那个公司叫Inflection AI,就是Mustafa的大模型公司,当时也是大模型至少是前五前十这样子。它的A轮就融了2亿美金。而且不只是他一家,很多家公司,包括Anthropic、Cohere、Stability,都是那一波的模型公司,每个人都是融了几个亿的A轮。

这里面我觉得其实几个点都非常奇怪,第一就是他们实际上是用VC的钱去做资本支出,第二就是从来没有人A轮融2亿,平均可能就应该融个1000万吧。第三就是整个二级市场都在暴跌了。对VC是应该有一个传导的,所以这种热度是完全不应该的。

因为我其实一二级都会做嘛,所以会去见这些创始人。我印象特别深,当时跟他们聊,就发现这个逻辑异常简单。他们就说这几个词,就说,哦,Scaling Law,然后我要买卡,然后Nvidia的卡就是这么贵——所以有的时候赶上这个正确的时间和机会,投资的这个逻辑就是这么简单。

张小珺:所以VC的钱最后都冲去了Nvidia。

Freda:可以这么说。这里面也说到Crossover基金的好处,就是一二级都做。23年初的时候,市场上20多家自己大模型公司,那个时候很难判断哪家能成功成为第一梯队。

但因为基金是Crossover的结构,一级二级都做,而且是同一个团队;所以我发现可以很容易的用Nvidia在二级市场去表达我们对模型对AI的观点。这两年其实做好的AI标的绝大部分都在二级市场,包括云、包括电力,包括AI受益受损两边的标的。

张小珺:23年开始AI进展到现在也两年了,我们的播客也邀请过非常多的AI Founders来聊天,到了今天你觉得美国一线的顶级投资人都在投什么?他们的整体情绪是什么样的?

Freda:今天其实非常清晰,美股有三条主线,第一条肯定是AI,第二条叫Reindustrialization,就是再工业化,第三条叫Digitization of Finance,就是一个金融产业的创新。这三条主线其实非常有意思,因为它们中间有千丝万缕的联系。

AI这条大家都很熟悉了——芯片和云。

再工业化这条线其实包括非常多东西,包括稀土,包括美国本土制造业的回流,包括数据中心,再长期就要看机器人能不能拉平美国和新兴市场劳动力的水平。

我觉得大家可能还没有意识到,比如这次4月份,特朗普闹了一通关税的交易,像日本韩国这两个国家就合起来答应要投一万亿到美国。这个钱其实是会用来投资美国的基建项目的,包括能源,包括数据中心。

那么这里呢,就和我们刚刚说的第一条线,就是AI是实现了一个闭环的。那现在市场可能最担心的就是说AI投资这么多钱从哪来?我觉得其中一部分其实是要把这块考虑进来的。因为我们已经看到,包括日本啊,可能已经投了得有1000亿在就是能源相关的这个项目了,就是去Power这些数据中心的。

第三条刚刚讲的叫金融产业创新吧,也非常有意思。今年在七月份的时候,美国有一个非常重要的法案叫Genius Act,它是一个稳定币法案。稳定币支付就是我们Cheaper, Faster, Better。你看等下个月如果有这个叫Agentic Commerce,让Agent去帮我付款买东西,那Token或者说稳定币这个概念我觉得就会被重新提起来,那这里也就和刚刚我们讲的第一条AI又形成了一个闭环。

我觉得这三条主线之上如果说还有一个层面,那我觉得就是这一届非常有自己想法的政府,明年美国的中期选举也是他们非常重视的一个事件。

张小珺:美国投资人现在怎么看待中国市场?

Freda:我觉得很热闹,但是我跟踪下来,我觉得实际的投资金额其实和过去几年没有明显的变化。但是今年确实开始,一批一批的投资人都去中国去参观,然后所有人去参观都对我们这个EV还有机器人感到非常的震撼。

美国投资人重视两件事——一个是中美谈判的结果,一个是港股的IPO的活跃度。IPO这块我看从量的角度其实今年是上来了,但是很多是一些消费的公司在港股上市,如果之后有更多的科技IPO,我相信美国一些投资的金额是会回到中国市场的。

02

几个具体公司的深度研究


张小珺:你刚才也提到你们投了一些美国的大的公司,而且是重仓。我们能不能来聊一下具体的几家大的公司,比如说OpenAI,你们是它的股东。你们当时是在什么时候看到什么样的趋势判断下注的?

Freda:最早看出来OpenAI是一个产品公司不只是模型公司的时候。

这个结论现在听起来就非常共识。但23年大家是很担心2C这边竞争格局,觉得GPT没有粘性——那个时候Perplexity、Claude、Grok,竞争格局并不清晰。

一个好的产品远不止需要模型;用户体验也是很大的一部分。GPT其实如果你细想,并不是像Meta那样强网络效应的商业模式。它就是一个一对一的分发。但就是先发优势+更好地用户体验,让这个产品有很强的粘性。

张小珺:最近OpenAI它完成5000亿的融资,我们看到媒体报道说它收入预测2030年是有2000亿,但同时现在烧钱还是非常的多,能不能给我们讲讲你们是对这个商业模式是怎么思考的?

Freda:对,首先像你说的OpenAI包括Anthropic的数字其实媒体都有报道的七七八八,所以我今天说的所有数字都是用媒体披露的。

这个商业模式的本质非常的简单暴力,它的成本大头就是用卡。那其中包括Inference,包括Training,然后训练的成本呢,大概是按照Scaling Law,也就是每年可能上涨10倍这样子。

所以如果你上一年的训练成本为1的话,你第二年大概是能以2的这个收入去收回上一年的训练成本。但是同时你需要减去10,也就是你新的这一个模型的训练成本。所以你第二年你就是加2减10,所以你就变成一个负8。

大模型这个商业模式本质是一个负向滚雪球,每一年都会比上一年现金流烧更多。如果说有一天现金流能翻正的话,就从逻辑上就只有两个可能。要么就是你第二年的收入不再是前一年的2x,而是一个很大的一个数字。要么就是你不再去烧一个新的十倍的模型,只有这两个可能性。

Anthropic的CEO Dario也讲过这个逻辑,他又把后者,就是烧钱停止这件事做了细分,他说这个烧钱停止又有两个可能性,要么就是你到了一个物理限制了,就是模型太大了,你纯从一个模型训练的角度训不动了,或者说可能你要把全世界的钱都烧进去;

第二个可能性呢就是可能模型的大小本身还可以,但是因为Scaling Law到变慢,所以你不值得再烧10倍,或者说你就索性不再继续烧下一个了。在结束的这个时间点,其实非常有暴力美学,这个公司的利润表是会非常好看的,因为就像我们刚才简易的那个例子,就是你加2,但是你不再减10了嘛,所以就是这么一个非常简单的数学问题。

OpenAI确实很神奇的商业模式,在科技领域本身其实很少有资本密集型的业务。但也不是没有发生过,比如Netflix。Netflix的现金流前几年都是负的,而且负向滚雪球,每年都比前一年负更多。

因为Netflix也是,你前期要花很多钱去拍剧做内容,而且它的那个内容其实也是有折旧的,然后也是四年的这么一个折旧摊销,所以你细想,很多地方跟数据中心挺像的。

现金流上它最惨那年是2019年,它是负的30亿,然后非常有意思的就是,在2020年,它现金流突然就大幅翻正到20亿,所以这个涨幅非常快。然后你说为什么?其实就是因为疫情了,然后所以大家不能再出来拍电影、拍电视剧了,所以你的这个你叫内容成本或者叫训练成本也好,所以就没有了。

所以说的最直白的话,就是你烧钱的东西只有在不烧的那一天你才会真正有现金流,这就是模型公司的本质。

张小珺:但是像Netflix这种内容平台,它如果未来不投入做内容的话,品牌优势是会消失的。你想迪士尼也不可能不做内容。

Freda:对,Netflix不是没有内容投入,只是它这个增长的幅度下来了,不像它前期冲用户数的时候需要扩张内容那么猛了。现在是全世界他应该是有这个3亿订阅用户,粘性很强,他只需要维护住自己的位置就好了。模型公司一样的,我也不觉得有一天他会不训练了,就是可能训练成本不再每年几倍的增加,对于利润率来说就足够了。

张小珺:之前确实没有听过把Netflix去和OpenAI对比,那你觉得这个行业的格局会类似于流媒体吗?

Freda:内容是没有排他性的,所以媒体本身竞争格局非常的分散,YouTube、Netflix,像你刚才说的迪士尼啊,每个人可能都是个位数的这么一个市场份额,因为内容上来讲并不是完全商品化的内容,不同的剧你要在不同平台追。

而Chatbot你会希望一家能记下你的所有内容。GPT目前来看我觉得会像搜索的格局,市场集中度高,谷歌和微软的Bing两家搜索占领整个市场,用户选择自己更喜欢的。

张小珺:对于OpenAI来说,现在除了ChatGPT,还有什么其他的收入,它的收入结构是什么样?

Freda:媒体有报道出来4条线:

1、ChatGPT 75%,里面也包括企业GPT;

2、API:今天OpenAI API收入对应Anthropic一半;中期Anthropic自己预测是OpenAI的5x;

3、Agent:包括软银合作;

4、新产品。

很多讨论集中在GPT,但公司预测其实后两条线增长更快,未来占比更大。纯看GPT的话,可以看到3亿订阅,然后每个月30块钱,这个就是1000亿的体量差不多了。

另外就是,大家都在讨论2C的GPT,把他当成一个纯面向消费者的公司在看;普通投资者看不到的今天个人/企业占比差不多大。

我觉得市场大大低估了企业端——企业端本身用户数也有几百万,比如我就是企业端的用户,我就用GPT连上了我公司的邮件、Slack,我公司内部系统,这个是协同起来是非常好用的,想象空间很大。

美国本来就是很大的企业市场,中国不是。

报道出来的是公司说年底200亿年化营收;对应今年130亿收入。

张小珺:很多人说OpenAI是想做一个超级入口。

Freda:对的。它希望其他App应用程序都能在它上面构建。

消费端而言:比如让这个Agent帮我买个东西或者叫个Uber。这里面现在有两个问题,一个是还是会存在一个登录问题,第三方网站会监测和屏蔽Agent的登录;一个是商家会很抵触,商家希望用户直接来自己的平台。比如亚马逊,只有我过去了,它才能在我买牙膏的时候推荐我买牙刷、买牙线,才能增加销售额。而且亚马逊有700亿的广告收入,如果换成Agent用了,这个广告收入还收不收的上都是问题。

企业端,其实反而好很多;谷歌和OpenAI这么竞争,谷歌的办公套件都很容易的让OpenAI直接调用,因为软件的收费模式简单很多,就是只要用户还在用还在付费,他们不在乎自己是不是Top of the Funnel获客漏斗最上层。

所以算个非共识,我觉得OpenAI企业端作为超级入口可能发展非常快,有非常大的想象空间。

张小珺:我看OpenAI是不是还要开始卖广告了?还有没有其他的变现方式?

Freda:对,今天没有广告收入。但广告这个逻辑太顺了。

今天超过8亿的WAU,其中5%付费用户。

他完全可以和用户讲说如果你是一个免费的用户,那我肯定要赚钱,所以会通过广告。比如我搜索跑步鞋,如果我免费用户,我可能会看到Nike的广告;如果我是付费用户,GPT可以保证它的推荐结果会绝对公允,所以会有其他小众的品牌。

广告上量会很快。

另外一个我觉得比较有意思业务模式是云。Sam Altman也有讲,这是他业务非常自然的一个延展,因为你如果回想就是亚马逊AWS是怎么起来的,也就是他自己先建数据中心,然后给自己用,然后发现其实他也不可能完全控制他对数据中心的这个利用率,然后数据中心本身又是一个非常看使用率的这么一个商业模式。

所以就有点就是随手的事情吧。可能就把自己不是那么需要的时候就租出去,慢慢的可能就成了一个很大的这么一个业务。GPU这一波也一样,所以云在美国的竞争格局,我觉得会有挺大的改变的。

张小珺:OpenAI和其他模型公司今天的竞争是一个什么样的状态?

Freda:OpenAI内部觉得自己的最大竞争对手从来不是Anthropic或者xAI,而是谷歌。

谷歌的占位实在太好了,是一个完美的T型,横向有面向消费者的搜索、YouTube;面向企业的Workspace(谷歌办公套件);纵向从云一直到自己的芯片。

Gemini 6.5亿月活 vs GPT 10个亿。

谷歌对OpenAI的价格战这里面几个角度可以打——第一就是绝对价格,因为谷歌用TPU,纵向整合,同样模型能做到的利润应该比OpenAI高;第二是捆绑销售,很经典的销售模式——比如我现在是20块钱每月YouTube订阅,它可以说加个10块钱给我Gemini,捆绑起来很容易产生更高的利润。

最近Gemini对OpenAI用户时长有一定冲击。我觉得比较合理的是谷歌吃下中低端市场,比如20块钱每个月订阅水平;然后把高端的,几百块钱甚至之后几千块钱一个月的订阅市场留给GPT。

张小珺:这两家你会站队哪家呢?

Freda:都是赢家。但我觉得现在整个对OpenAI的负面情绪,以及对谷歌的正面情绪也有点太一边倒了,因为谷歌面临的威胁并没有被解决。

今天谷歌搜索广告收入没有掉,是因为今天大家还是把ChatGPT当一个大型Wikipedia在用的,做研究、问它天为什么蓝,这些问答本身谷歌也是不变现的。但是比如保险,比如律所,这些是谷歌今天最大的广告商。比如我买车险,我今天Google一下然后选择最上面的广告位,Geico;但这个太适合去问GPT,GPT给我一通比较,然后我选择最适合自己的;这里面GPT很可能有我的历史,知道我开车开的很差,所以定制一个最适合我的。你等GPT开始做广告,你等他这个月开始做Agentic Commerce电商,这个格局一定会变。

往大了说,每年美国广告收入就这么多,谷歌和Meta今天是垄断,OpenAI想卖广告,就得从这两家出。

总结来说,OpenAI来自谷歌的竞争确实存在;但谷歌面临的威胁也同样真实。

张小珺:谷歌是怎么突然格局就变好的?我看巴菲特也买了。

Freda:就是模型能力上来;以及搜索广告收入没有掉。

模型能力这块也很有意思。听说内部找到了优秀研究员的正确打开方式,就是把激励制度绑定到模型榜单上,谁能刷榜刷上去,谁就升职加薪,非常适合谷歌这些年的学霸文化。

江湖也有传言,说Noam Shazeer,就是之前Character.AI的创始人,在回到谷歌之后,徒手改了一个bug,从此Gemini的Pre-training就好用了;

Gemini 3出来证明Pre-training也没有撞墙;整个趋势都在继续。

张小珺:那肯定是一个价值好几十亿的Bug。

Freda:对;这是一个天才研究员的世界;Noam做这个比做个2C的公司CEO合适太多了。

张小珺:谷歌搜索这个格局你觉得有变化么?

Freda:变化太大了。

一度我很担心OpenAI做不好搜索。因为谷歌不给他用谷歌的搜索API。但这一年用下来不管是OpenAI还是Perplexity,搜索效果都非常好。

因为搜索的护城河彻底变了。

之前谷歌搜索压倒性的好用,这个好用是因为我能在最上面的两三条找到我最想找的信息,这个是对人最重要的;第二页第三页完全没人看。但现在模型做搜索,非常的不辞辛苦,它能一秒钟翻几十页,直到找到最符合问题的信息,你用Bing或者自己做的搜索索引都可以。

这件事很大,因为搜索这个行业护城河彻底变了。

张小珺:怎么看待OpenAI的管理层?Sam这个人最近也是引发很大的争议?

Freda:Sam不是技术背景,但他能做一号位,员工对他还是很服气的,这个很有意思。

我聊下来,员工都很信任也很感谢Sam带领员工致富;另外有一点一定也要给Sam Credit,他真的是最早去强信念相信AGI的,这个是他引领了市场。

最近大家也听到1.4万亿的这个数字,其实本意是很聪明的,因为AI就是很烧钱,所以他想把一条线的公司都绑在一起。但时间线上一下拉的太远了,数字太大吓到市场了。可能他一下指引一下一两年的支出效果会好很多。但我觉得市场会慢慢消化的。

张小珺:OpenAI是不是这几年回报最好的投资?

Freda:这里面有一个概念,我们看到的300亿到5000亿,说的都是估值;但投资人拿到的是每股股价。

这里面OpenAI从300亿到5000亿,每股价值并不是接近20x,而是6x;股权稀释很严重。

张小珺:你怎么看待OpenAI最近的一系列上市的操作?

Freda:我觉得这个非常合理。而且最近OpenAI和微软把股权转清楚了,这件事非常重要。

像比如媒体报道出来的时候,如果2027年有一万亿市值的这么一个IPO,大概对应它的收入预测是10倍这样子,所以只要收入能做到,这个估值挺合理的。我们开玩笑说就是在美国波士顿可能有一条街都是那种非常大的基金,包括Fidelity啊什么的。每个人出100亿,这个1000亿的IPO就出来了。

我知道媒体很多人在那说,就等这个上市啦,上市就是泡沫顶峰了。我觉得没有那么刻舟求剑,因为你就算是回到上一波互联网,就Netscape网景通信,它的IPO是95年,那后面确实是泡沫越吹越大到破裂也是5年之后的事情了。

张小珺:说到OpenAI,也想聊聊Anthropic,这两个在你的观察中有什么异同吗?

Freda:它们俩业务不一样,一个是2C,一个是2B。

Anthropic超过80%都是ToB的业务。从用户粘性来讲,都非常好看;这两个公司,看这个用户来看,都是有我们叫微笑曲线。就是可能你一开始存留下去一点,之后还会再回来。而且新用户也比老用户同期的存留率要更好,所以这方面目前都是没有任何问题的。

再有也是媒体应该有报出来,就是Anthropic的利润率增长非常快。大概也就是一年之内吧,他从大概就是收入一块钱,能亏两块钱,就比如往这个水平,到今年底他会,他能做到跟OpenAI差不多的毛利率。所以这里面是做了很多功课,给我也是挺大的一个震撼,就是觉得它对整个自己的毛利率其实是有巨大的掌控的,不管是从模型架构,还有她叫Auto-scaling,包括优化,都做得非常快,非常到位。

所以现在整体对于模型公司,我觉得毛利率这里是没有任何有必要担心的,我觉得长期都会是七八十,这种毛利率是没有问题的。

从增长的角度,这两个也是一个追赶的一个状态吧。从1个亿到10个亿收入的这个阶段,OpenAI快非常多,用了两个季度不到,然后Anthropic可能用了大概四五个季度,然后从10个亿往上是反过来的;Anthropic年化收入从10到70个亿就用了10个月。最近的这个几个月,两个公司每个月增加的年化收入基本是数量上基本差不多。

Anthropic的产品路线也挺清晰的。

一个是选择几个比较大、比较有利润空间的垂类,包括Coding,包括Finance——Claude Finance非常非常好用,包括生命科学、法律。

另一方面就是做最好的模型给Agent用,Claude Skills = Mini Agents系统。

张小珺:Anthropic媒体报道出来的现金流是不是要比OpenAI好?我听说他们花在训练的钱要有效率很多?

Freda:我还是回到刚才讲的大模型的商业模式,抛开商业模式去看公司现金流预测没有任何意义。

这两家模型的财务预测非常有意思。

OpenAI就是它假设自己的这个总的算力在28年之后就不再增长了,所以是靠我们刚才说的第二点训练成本不再那么迅猛增长,去把自己利润率升拉上去的。

Anthropic如果你去细抠的话,它其实是在假设模型的这个ROI这个回报率逐年提升,对应我们说的第一点,不再是一块钱收回两块,而是能一块钱第二年收回五块钱,所以是主要是靠这个去拉上去的。

并不是Anthropic花的少,而是它假设了更高的回报率。

这个预测非常有意思,值得去细想,为什么他们做出了这两个方向的假设。

张小珺:另外两三家模型公司你有看他们的进展么?

Freda:现在根本不止大家熟悉的这两三家,最近几个月又有小10家模型公司出来融资,我们叫Neo Labs。就像Neo Cloud一样,很多都是学术背景的人出来做的,融资都在10亿的规模。

我没有特别想清楚,不知道之后会不会有一个时间点,大家觉得大模型就是头部一两家,剩下的会放弃自己做训练去拥抱开源模型。

大家熟悉的几个名字:

SSI Ilya;

Continuous Learning持续学习;

Mira Thinking Machines Lab;

Tinker是他们的首款产品;帮用户去定制训练开源模型。但我也没想清楚,投这个的背后就是在Bet开源市场的规模。

张小珺:我看这些模型公司都在融资,投资人会怎么估值这些模型公司呢?

Freda:会看他们的收入预测,然后给个倍数。

但说实话都会和OpenAI做一个对比,比如今天的OpenAI 5000亿,其他模型公司融资的时候其实投资人都会对标,看这个公司值多少百分比的OpenAI。

张小珺:所以说回来,今天市场上最重要的公司标杆,就是OpenAI。

Freda:对,100%;一级二级市场最重要的标杆。

张小珺:很多人让我问你们Robinhood这个票,说你是最懂这个公司的。今年标普500表现排名第一个股票,我看到披露你们是大股东,你们当时是怎么看懂这个股票的?能不能跟我们讲讲你们投资Robinhood当时是看到了什么,为什么下这个判断?

Freda:Robinhood这个公司非常有意思,今年圈了很多粉,但你真的看懂这个业务,本质上Robinhood的商业模式是很差的,可以说是一手烂牌。因为证券交易本身有非常强的周期性,不是一个好生意。很多人炒股都是这样,牛市一通操作猛如虎,熊市趴着不动。它的交易收入就是交易额乘以佣金率。交易额和市场活跃额度正相关。这里有几点是它能做的:

第一,最容易想到的,就是多元化,不再只是交易收入,所以你看Robinhood非常积极的去做银行,去做这个叫Prediction Market预测市场,去做财富管理,去做国际市场,它现在已经有11条线的这个业务超过了1个亿的收入,这个还会很快增加。

第二,就是抢占市场份额。市场的强周期性你无法控制,但是你可以用抢份额去平滑这个周期性。

第三,就是定价权,比如Robinhood加密这块从10个点佣金涨到60个点。自己去控制自己的命运。

当然还很重要的就是成本端,因为投资人最在乎的是利润增长,所以如果收入波动,但你成本端能配合收入端的波动也还可以忍。反例就是2022年的Meta,收入下跌,成本暴涨,所以现金流被砍了一半。你看Robinhood的运营成本从22年开始就零增长,一条水平线,控制的非常好。

只有理解到这个程度,才能明白Robinhood的发力方向,才算看懂这个公司。

张小珺:所以不是牛市买券商这个逻辑是吧?

Freda:很多人这么说,我觉得投资挺重要的是要对自己诚实,要知道自己赚什么钱,是Beta还是Alpha,可能最简单的你把Coinbase的股价,你和比特币去做一个对比回归,你会发现2022年开始,Coinbase相对于比特币是没有任何Alpha的。

所以如果说你判断一个加密周期牛市来了,那你不如去买比特币。这就是我说的这个市场的Beta。但Robinhood如果你做这么一个回归的话,你会发现不管它是相对于比特币还是相对于纳斯达克都是非常强的这个Alpha,走出了非常不一样的路径。

张小珺:你怎么看这个公司的增长性?

Freda:美国很明显一代人有一代人的账户。

60岁以上婴儿潮这代人用嘉信理财;45这个年龄层用E-Trade;Robinhood用户的平均年龄30多岁,这个就是美国新一代中年人和年轻人的账户。

公司的模式你可以把他想成一个漏斗,只要钱能进来它这里,他就能通过让你做一系列的交易产生收入。所以最重要的是增加每个用户的平均资产。今天Robinhood上用户平均1万块钱的资产,嘉信理财和IBKR盈透证券都是15万以上。

Robinhood用户平均年龄是34岁。这个很重要因为在美国35岁是一个财富的重要分水岭,35-40相比之前5年有一个3x的跨越,55岁达到高峰。

所以今天Robinhood什么都不做都会有很自然的资产增长。

而交易账户只是它的开始。随着这些用户步入中年开始有积蓄,很自然的就会有理财的需求,所以你看嘉信理财60%的收入是从财富管理那边来的;然后也很自然的会有储蓄的需求。

在漏斗吸收进来这些资产之后,重要的就是让这些钱动起来,这里Robinhood非常会互联网的打法,增加用户的活跃度。

比如我同时有Robinhood和Coinbase两张信用卡,很明显Robinhood会有很多拉新活动,奖励机制,让我不停的回到它的App去看;而Coinbase我可能最多一个月看一次。

所以Robinhood就是下一个嘉信理财。

张小珺:你们是今年初买的对吧?是买了一次还是多次?

Freda:对,年初。多次。

我印象非常深,股价跌得非常狠,市场也很差。但我觉得这个业务被低估了。Coinbase 1000亿 vs. HOOD 300亿,Coinbase是在跌份额,掉价格,Robinhood执行能力极强到处抢份额这个故事没有被市场看到;大家觉得他俩都是Beta,都差不多。

所以当时是顶着巨大的压力,想着今年可能是个熊市了,依然买了Robinhood。

张小珺:就是大家说的,别人恐惧时候你贪婪。今年涨了接近3倍,接下来怎么看这个公司呢?是不是已经不便宜了。

Freda:不便宜。但这是最有机会成为一站式金融应用的公司。

这个公司一直有一种为普通人平权的使命感。很多普通人第一次拿到IPO的份额都是通过Robinhood。

我很看好的一个方向是他们的VC基金。VC这样的另类资产在美国超过10万亿的规模,很多好公司,包括OpenAI,SpaceX,机构拿在手上,但普通人完全买不到。

如果Robinhood搞出一个VC基金——里面有所有耳熟能详的大公司的股份——然后收费比如2-3%类比ARKK——任何人都能认购——这个的需要是巨大的,做到上百亿也不奇怪。

张小珺:他们主要业务在美国?

Freda:其实不止。它今年非常巧妙地进入了欧洲,用了现在最火的概念叫Tokenization代币化。

欧洲有几十个小国家,每个有自己的监管,如果我一个一个拿牌照需要一两年。但是代币化直接一下就在整个欧洲铺开了;交易费还会便宜很多。

张小珺:你怎么看这个团队?

Freda:这个团队非常不一样。它动作非常快,就是你去看它一年出的产品的量,可能是别人5到10年那么多,完全不夸张。

创始人的性格也挺有意思的,比如说这个Coinbase的创始人非常的,我叫他乖小孩吧,他创业第一天就说我一定要强调合规。所以我个人觉得他到今天他的运营成本砍不下来,合规可能占挺大一块的。

Robinhood的这个创始人叫Vlad,他就比较像坏小孩似的,他非常的有冲劲,非常的敢想敢干,他这种性格也让他和公众沟通的时候非常的有张力,散户非常喜欢他。

他会非常真诚地问我,哪些公司是他需要学习的,尤其是那些比他规模大时间长的公司,他会问我哪些地方是别人做的比他今天好的。这个学习的能力以及这个热情我觉得是非常难得。

Vlad同时非常的Aggressive、很强势,他想拿下的市场和业务,他会很激进的去抢。我自己也和他学习了很多。

张小珺:现在资本更喜欢乖小孩还是坏小孩?

Freda:硅谷么,还是喜欢这种Founder Led敢于打破常规,坏小孩。

张小珺:Robinhood这个产品速度它背后是怎么支撑和做到的?

Freda:这块好像挺少有媒体报道,其实Robinhood在2022年的时候,几乎重新做了一遍这个公司,彻底改变了它的组织架构,它之前是非常中央化的,然后它改成了Single GM这个结构,就是说每一个业务单元有自己独立的架构,包括独立的PM、Developer、CFO、HR,所以它是去非常努力的去赋能每一个业务单元去疯狂的创新出产品。

张小珺:这个组织架构能更利于不同产品同时能涌现出来?

Freda:对,很明显。

张小珺:说到散户,这两年我们也越来越多地听到了散户的声音。疫情的时候,有WallStreetBets,到后面很多公司大家都叫散户票,那你觉得这个是一个可持续的现象吗?

Freda:散户到今天,我觉得,尤其就美国散户已经太大了。就是你看一些期权上面,可能超过80%、90%都是散户。我觉得有一些基金经理非常厌恶这个现象,但是我觉得散户是市场上非常重要的组成部分,在我的这个投资框架里面,我觉得市场就是一个挺混沌的这么一个体系,大家每个人感觉都是各玩各的,都做自己觉得能赚钱的事情,但你最终这个股价表现其实是一个合理的这么一个结果,去知道去了解这些重要的市场组成部分怎么运营,非常重要的。

Twitter上面你打开的话有很多散户,很多这些股票最终你你会发现能追回到一两个这种就跟KOL似的,就像一个部落一样,比如说有的人大家管他叫The Robinhood Guy,有的人叫The Palantir Guy,我其实和大部分他们这些KOL线下都很熟,所以也会去了解比如说散户喜欢什么类型特定的票,他们的交易体系,我觉得这个本身其实非常有意思。

而且我敢说,比如Robinhood和Palantir这两个票,散户的研究深度其实是完爆机构的,而且在他们身上我就看到的是那种非常纯粹对投资的热爱。

一个你说选股思路是去找这种散户喜欢,但是机构也能喜欢这种股票。这种股票通常都能比较强,而且没有那么多零和博弈。

零和博弈的典型就是美股这几年的软件股,里面几乎没有散户,全都是Hedge Fund,都没有长期的钱,就是很短钱的博弈,所以股价上下百分之三十,充满了痛苦。

张小珺:你刚刚也提到几次新物种,也提到坏小孩、乖小孩。我看你们公司网站上写你是负责颠覆性科技的合伙人,这个颠覆性代表的是什么?

Freda:哦,这个范围非常广,就是你往大了说呢,科技投资其实也就是去寻找这些可持续增长的公司,这些公司通常都会具有颠覆性,比如说刚才说了,讲了很多,就Robinhood、OpenAI,然后包括拼多多、TikTok,包括Nvidia、Netflix这些公司,它最初刚出来的时候都被视为非常的不合常理。

比如说Robinhood是零佣金,然后OpenAI就狂烧钱,然后Netflix是改变了整个DVD的租赁模式,都各有各的奇特,但是它们最终都颠覆了市场。

张小珺:这种颠覆性的公司在你看来共性是什么?

Freda:总结下来可能有这么几点吧:

一是巨大TAM市场规模——比如Robinhood现在要做整个金融行业的超级应用;

二是产品要完美——不管是Google、Netflix、GPT,最好的产品是不需要销售的,在很长一段时间都保持极高的增长;

三是我们通常回头看的时候都会说觉得天时地利人和。都是你觉得好像就是注定会在那个时候出这么一个颠覆者。比如说智能手机带宽到一定程度就能诞生短视频TikTok;摩尔定律终结,GPU推动AI;然后下沉市场的空白造就当年异军突起的拼多多。

其实每个都有点宿命感。

张小珺:那你现在觉得有什么有趣的新的物种吗?——当然我们这个不作为投资建议。

Freda:今年看下来最有意思的可能是Prediction Market,就是预测市场。大家可能听过叫什么Kalshi、Polymarket。我因为本来看Robinhood,所以最早发现这块量上的非常的猛。像Kalshi这么一个预测市场,它最新的这个交易量已经超过600亿。季度环比都是百分之百的增长,是非常典型新物种野蛮增长。

在这个预测市场上面大家可以用一两块钱去押注一切事件。你可以押注美国大选谁是总统,你可以去押Tesla的财报是否会超预期,甚至还有人在那预测Taylor Swift今年会不会怀孕,是一个百花齐放的状态。它绝对不是一个小众市场。Bloomberg、Google Finance都接入了它的数据。

这个行业的出现也充满了天时地利人和:

首先就是美国主流媒体信誉危机非常严重,然后又因为这两年不管是疫情、关税,时局非常动荡,民众想知道真相。

而且这个世界上似乎总有人能知道点什么,比如谷歌模型哪天出,Polymarket早早就有人下注11月18号,精准到天。

另外就是预测市场在全美国都是合法的;而到今天在加州、德州很多地方,连体育博彩都是不允许的。

当然还有这届政府监管上比较宽松——Prediction Market正好趁机把量做上去。

所以Prediction Market拿了一手王炸的牌,就看之后能做多大了。

03

自动驾驶和机器人投资


张小珺:我们说了很多AI的应用,还没说到自动驾驶和机器人。今年有没有什么新的想法?

Freda:今年最大的惊喜是Waymo。执行能力和速度非常超预期。

现在5个运营地区,马上10几个城市,已经可以上高速;

观察开城的速度在明显加速:

三番:5年;

奥斯汀:2年;

硅谷这边:半年。

而且成本并不高;几千万美金开一个城市。

今天一共2500辆车在路上,年化收入算下来8个亿。明后年上量可能会非常非常快。和他们合作的韩国现代车企在美国佐治亚州已经有现成的工厂,你去看这个工厂是可以10万量产的。等这个量上去,对整个交通行业都会有很大影响。

今天Waymo和Uber的价格差不多;但量产BOM Cost物料成本下来,对Uber这种业务会挺大影响。今天Waymo在三番已经盈利了。最大的成本是折旧——假设整车17万,然后4年折旧。其他主要成本包括它的远程安全员,运营和保险费用。都算下来今天也是盈利的。

张小珺:我看Uber和Waymo也是合作的关系。

Freda:今天Waymo和所有人都有合作,包括Uber,包括租车公司,包括车队运营公司。但我会去思考,本质上Waymo到底需要什么?

需要人做清洁,维护,充电,需要有现成的地方去停车;Uber并不是一个劳动密集型的公司;运营这个生意更适合Avis租车公司或者专业的车队运营团队。

当然Waymo需要解决的是——怎么平衡峰值和低谷的需求。Uber做这个就很合适,她轻资产,可以通过调节价格去做车队的调配。Waymo需求低谷时候车队闲置,就很影响利润。

张小珺:Tesla和Waymo这两个怎么比较?哪个是长期的赢家?

Freda:Waymo和Tesla这两个一个有硬件问题,一个有软件问题。

Waymo现在是硬件问题也是商业模式问题。他的硬件肯定成本会下来,问题是能下来多少。现在拆开看,车子和传感器分别是7-8万;然后车里的芯片2-3万。成本减下来需要一个过程,而且怎么也减不到Tesla 3万的这个价格。所以Waymo的命运要看Tesla能不能成功。

Tesla没有任何硬件问题,可以随便量产,要多少有多少;他的问题是软件问题;Elon 10几年前吹的牛,不用激光雷达,纯视觉,到今天还没有在Robotaxi上真正的证明自己。

张小珺:美国这边自动驾驶是不是就剩下Waymo和Tesla两个玩家?

Freda:目前是的,收敛的非常快。

自动驾驶这个市场是非常大的。就是美国人每年开车大概是三万亿英里这样子,假设每英里一块钱,这个市场就会有一个3000亿每年的这么一个收入。

一块钱对用户非常有吸引力,对应Uber是接近三块钱每英里;只要安全,自动驾驶这个市场不存在任何需求问题。

我让GPT帮我算过——在美国前十大城市中,要拿到大约10%的市场份额,需要多少台Robotaxi?GPT 1万,很小的数字 vs. 今天美国Uber 300万。

自动驾驶大规模实现之后,很多行业的格局都会变化。比如交通、比如房地产——住的更分散。

张小珺:自动驾驶终于要实现了吗?在美国就会是这两家占领整个市场么?

Freda:今天自动驾驶用的还是模仿学习,10亿量级的小模型——因为模型运行在端侧,有Latency延迟的考量。

比如模型看到STOP Sign,他并不是真的理解STOP是停车的意思,只是去模仿人类开车,人类通常在长这样的标识面前停下来,所以它停下来。没有真的理解这个世界,比较死记硬背,很多Overfit。有网上视频如果你把停车这个标志穿在人身上,有的模型也会在人面前停下来。

所以我在思考的是垂类小模型和大模型的路线。我们是不是还是需要真正的智能,通用大模型去理解驾驶的规则,不是去记住去模仿,才能去解决一切的Corner Case边缘案例。

其他的垂类都发生了——图像,视频,编程——通用模型就是比垂类小模型效果好,所以我想看看大模型公司会怎么做自动驾驶这件事,Latency能不能被解决。

张小珺:机器人这一块呢?这些年美国的发展是怎么样的?

Freda:很火的赛道;很多VC在闭眼投。

行业Locomotion或者下半身基本解决了,机器人能跑能跳做很多基本的动作;但Manipulation上半身的操作目前还差的比较多。

已经几年下来了,我也很Frustrated,路径上还是没有共识。硬件上,是人形还是四足,如果人形,人形长什么样?数据上,有人只用真实世界数据,有人只用模拟,有人混合起来用,完全没有共识。

但往好了想,也不是毫无进展,认知上面还是有一些收敛:比如共识逐渐收敛到硬件软件需要一体去做训练,而不是只做模型层。比如越来越多的人同意住宅用比工业是一个更合适的落地场景。还是有更多的人从第一性原理来看,站队人形机器人,也是因为老黄和Elon在带队伍。

但还是太早了。还处于刚刚要从Research走到Engineering的阶段。而且实在太缺数据了,这里面很多噪音——这就像10年前的自动驾驶,当模型过于缺数据的时候,你给他喂任何数据都会觉得帮助很大,但这里完全不能线性外推,这个进程会比想的慢。

投资人很难去评估——不像大语言模型好歹有一个榜单,好歹能看看模型大小,因为任务完成度都不高,所以我也没法定性的去判断;除了赛道真的很大以外,很难出手下重注。

张小珺:机器人下一步;或者叫GPT Moment会是什么样子的?大概什么时候会出现?

Freda:希望2-3年之内有一个机器人的GPT Moment。

就是Manipulation,能做一些通用的动作,包括叠衣服、收东西、放洗碗机;这些简单的东西完成度都不会很高,但慢慢从这里做起。

明年挺重要的,几家机器人公司都会有产品卖到客户家里,包括1X;

我自己的预期很低——市场一定需要先解决自动驾驶再解决机器人。机器人这边硬件和数据都还不到位。自动驾驶我们好歹都知道车是什么形态;机器人还不没有确定的形态。数据的话,机器人差的还太远了。

张小珺:这一块中美之间的对比你怎么看?

Freda:我见了也体验了中美几乎所有的自动驾驶和机器人公司。

自动驾驶方面——中国发展我觉得会非常好,也会比美国有更多玩家参与在里面,因为有数据。

很多人不知道,美国这些油车数据都是没法采集,因为数据都不联网;就算联网,车身只有一个最多两个摄像头,采集的数据也是没法用的。

中国因为经历了EV,大家技术都更新了,车身很多摄像头,数据是不缺的。所以非常期待中国这方面的发展。

机器人方面——中国的硬件能力肯定是世界最厉害的。

04

硅谷投资圈揭秘


张小珺:刚才我们聊的是硅谷的一些明星公司。我也很好奇,开头其实也提到你是很少在美国一线基金里面的华人,你对于在美国的华人,不管是研究者还是投资人,你有什么建议吗?

Freda:更勇敢吧。

整体感觉硅谷这边其实挺公平的。比如说推特这个平台,我觉得非常神奇,网站做的很烂但美国这些CEO每天花非常多的时间都上面。只要你的内容有意思,他们都会主动回应。中国人整体比较内敛,所以还是要敢想敢做,不要不好意思。

张小珺:你有VC和对冲基金的两边的视角,你觉得这两边的投资逻辑有什么明显的差异吗?一个投资人能同时做好两边吗?

Freda:我觉得是有不一样逻辑上,二级其实最好的投资都是非共识,VC就是共识投资。二级你追求的是High Risk High Return,比如说22年的Meta,今年的Google,都是高回报的反转投资;VC其实追求的是共识,因为你每一轮都要烧很多钱,其实你需要市场认可你的观点,一直和你一起支持你选中的这个公司,这过程可能需要很多年,所以是非共识和共识这么一个明显区别吧。

张小珺:这两种投资,关注的东西有什么明显不同么?

Freda:看的都是人 - 产品 - 市场,这三点。

早期VC看人更多;之后会看市场更多;经验来看,一个很优秀的创始人,哪怕需要转型几次,很少会搞砸。比如Elon做过各种有的没的,但从来没亏过投资人一分钱,所以他今天出来融资,就一页纸,写的就是我融资过上百轮,没有让一个投资人亏钱,这就是他的底气。

张小珺:看人的话,每家基金会不会有什么偏好?

Freda:审美会有些不一样。我挑几个有意思的说吧:

有一个叫Altos Ventures——就是Roblox和Coupang大股东,他们喜欢这种叫刺猬型人才,刺猬一辈子都在挖洞;所以他们比较推崇巴菲特,创始人一辈子就做这一件他人生最有热情的事情。他们不喜欢那种到处找热点,管自己叫持续创业者这种人。

然后像Ribbit Capital我非常喜欢,他们喜欢这种叫“Rebel”反叛者,就是带着坏小孩叛逆气质想要跟这个世界大干一场的创业者,的这种人比较有爆发力。Robinhood是典型他们喜欢的团队。

还有Hummingbird VC,这家喜欢我叫哪吒型创始人,创始人通常有很大的心理创伤,我命由我不由天,要证明世界都错了;Kraken还有几个游戏公司是他们的典型投资,创始人是死都不会卖公司套现的。

整体差别不会太大——优秀的人是挺明显能看出来的。

张小珺:美国基金在投资策略上,这些年有没有什么明显变化呢?

Freda:有一个,就是集中仓位下重注。

这里面有一个投资的基本思路。你肯定也听过,很多人说投资就是鸡蛋不能放在一个篮子里,要分散风险;但风险并不会因为你分散了就变小,市场要跌一起跌,买几十个仓位就是自己买出了一个大盘。

美国有一个投资人叫Druckenmiller,我非常欣赏,他会说,最好的投资就是你把你所有的鸡蛋都放到一个篮子里,这个其实非常的反直觉,但你敢都放到一个篮子里面,你肯定是做很多的研究才敢下这个判断,所以反而风险比你半懂不懂乱投要低很多;因为只有一个篮子,你会花全部的精力认真的去看着你这个篮子,和这个鸡蛋一起成长。

当然我说的是如果你想去产生超额的收益,如果只是追求一个比银行好一点的,百分之几的收益率,那我建议你直接买S&P就非常好了。

超额收益只能靠重仓集中仓位去实现。

而且做久了也会发现,世界上好公司真的不多;我能把几十只最好的公司研究透,交易做好,就足够了;没必要什么都看。

张小珺:鸡蛋都放在一个篮子里确实是一个反直觉,这里有没有什么成功案例?

Freda:比如Ribbit Capital,21年那个时候是Robinhood出了一点用户的一些事情,Ribbit 24小时之内放了5个亿进去,这一笔应该翻了七倍。

然后是Carvana,有基金在10块钱的时候抄底,30倍收益。

2022年的Meta,23年的Nvidia,今年的Google——可以是逻辑反转;也可以是清晰的龙头;只要看准然后量上够,就是超额受益。

像Greenoaks这个基金很有意思,它会控制合伙人每周出去开会的数量,我听的是每个人不超过五个——就是在鼓励少做判断,敢于重仓。

张小珺:所以大家都在找这样的机会?

Freda:对,但其实很多基金的规模和结构让他不可能做到。基金大了之后,组织结构就不可能灵活。每个合伙人每年都要做项目,但好项目根本没那么多。

又是一个反直觉,就是VC的回报率通常都是很低的。

我们跟踪2400支VC基金的回报数据,其中有223支基金实现了3倍以上的DPI,有86支基金实现了5倍DPI,而在这80只基金里,最大的一支基金规模为5亿美元。

而且5倍净回报,10年,也就是16%的IRR;3x就是10%。

举个例子,一支规模200亿美元的基金,如果要给LP实现5倍的净回报,就必须向LP净返还1000亿美元。假设最终退出时能拿到10%的持股。这意味着需要1万亿美元的总退出规模,大致相当于过去5/6年全部美国IPO市值的总和。这个根本不能做到。

张小珺:看来VC行业的回报率比我们想的都要低很多。而且听上去很难上规模,反而是需要小而美。

Freda:对,这个总结完全正确。

除了共识和非共识,VC和二级另一个区别就是体量。VC基金想做好没法上量,但是二级的容量是无限的。

所以很多时候看到一个赛道一个机会,用二级市场去表达会容易很多,而且钱不会被锁定10年。像2023年买Nvidia,那个时候去判断50个大模型公司哪个能成功太难了,但可以重仓Nvidia实现超额收益;算上股权稀释,Nvidia回报是最高的。

05

看好的AI应用


张小珺:我们能不能把硅谷火的赛道,给听众过一下你怎么看?哪个你比较看好?

Freda:今年最火的肯定是编程。

投资里面我们有一个公开的秘密,就是如果一个领域,一年之内,能创造10个亿的年化收入,这个领域,不管我之前理解不理解,现在都必须投进去,因为这是市场告诉我,这里要产生世界级的公司。这样的领域很难遇到。

Coding这块,一年之内创造了50亿的年化收入,这个的重要程度不言而喻。编程的话,你看年化收入,四家超过6亿,前四里面Claude Code和OpenAI Codex占两个,都是在发布之后直线拉升,斜率非常陡峭在抢占市场。我看好这个市场,但这里面的竞争才刚开始。你看刚刚谷歌和Windsurf把编程免费了。那这个对Cursor意味着什么?所以竞争格局很难看清。

今年除了编程,还有很多垂直领域非常火,包括金融,法律,企业软件这些。这个也很有意思,因为你上一轮软件的发展其实都是从这个horizontal就是通用就是平行软件层开始做,然后再去做垂类,但现在创业感觉只有垂类能做一做,因为通用这层被大模型吃掉了。

在这些垂直领域里面,编程是最适合大模型公司亲自去做的:它其他垂类不一样,不需要去特意采集具体领域的知识;Go to market非常自然不需要雇佣一个团队的销售,所以模型公司做起来是特别顺手和合理的。这个和金融、法律,这些都不一样。

张小珺:视频领域我们之前也讨论了很多,这个你怎么看?

Freda:我非常看好视频。首先就是大——美国媒体产业是一个8000亿的市场。我判断视频会是AI和人类交流的一个重要载体,它是对大脑来说带宽最高的输入形式。

再有就是视频行业逻辑彻底变了:之前TikTok就是匹配——让创作者产出视频,然后再想办法匹配给用户;优化的是匹配函数。但现在视频本身第一次成了可以被直接优化的对象。你可以随便设定目标函数,然后去强力优化。我们现在可以直接拿用户参与度当目标,去直接优化视频;或者把广告点击率作为目标,直接对它进行优化。能做的太多了。

我判断这里会出来百亿的大公司。Google、Meta、老马,都要搞这一块。

对明年的强判断是:短视频(包括短剧)吃长视频(包括电影电视)的时长。因为AI已经能制作很多短视频了,你的创作速度指数上升,成本指数下降,这里面是要出大的范式变化的。

张小珺:我看你写过一个Agentic Commerce的深度研究报告。这块是不是也比较火?

Freda:对,这个是OpenAI接下来要做的一个方向,可能这个月就能看到。这个对整个互联网行业会有非常多的影响——广告,电商,电子支付。

Agentic Commerce就是Agent替我买东西。比如我描述我想买一个面膜,Agent帮我一通推荐最适合我肤质的,然后直接帮我付钱。想清楚的话,这个对大部分商家都是噩梦——因为商家都希望用户直接来自己网站,这样才能多卖我一些它店里的东西我们叫crosssell。而且流量是很贵的。

比如说Booking.com,中国可能是携程,它交易额的一半是谷歌广告帮它引流过来。很多人不知道Booking.com通过谷歌引流的这部分是0利润,完全赚不到钱!因为Google的广告费很贵。长期Agent也一定会收费的。流量越来越靠Agent引流不是任何商家想看到的。你再看亚马逊每年广告收入能有1000亿,广告收入我们也叫眼球收入,都是用户直接来他的网站去买东西,他才会有机会卖广告。这里也会有很大变数。

所以对亚马逊来说最差最差的可能性就是:失去广告收入;增加引流的支出;减少销售(因为crosssell的机会变少了)。

我想来想去这里唯一受益的就是长尾的商家 ——之前他们花不起广告费拿不到很多流量,现在Agent可以很精准的,翻阅几十页的谷歌搜索,找到最适合我的一款小众面膜,而这些商家通常在Shopify开店。Shopify很有机会成为AI Agent的统一基础设施架构。

支付行业也会很多变化。今天很多人用PayPal这种快捷支付按钮。为什么我用它,因为它是我的钱包,存了我信用卡的信息,我不用自己输入。而PayPal因为提供了便捷所以收一个溢价。但到了Agent时代,Agent不怕麻烦,ChatGPT就是我的电子钱包,他有我一切的信息。这里还需不需要PayPal这个中间商是个挺严肃的问题。

所以Agenda Commerce不止是一个公司一个应用,真的做起来整个互联网格局都会变,把这个想清楚了就彻底理解互联网和支付的本质了,很费脑子。

张小珺:美国之前软件特别的火,你怎么看软件和AI公司的区别呢?

Freda:我们开玩笑说,SaaS takes like chicken,软件公司的财务报表就像鸡胸肉一样,味道非常一致,基本可以闭眼睛流水线处理:清一色的毛利率80%;净留存率 120%。

到了AI,很多投资人不想碰,因为毛利率都很低。但AI应用公司的毛利率是一个反直觉,越是有人用,你的毛利率反而越低。现在大家还没有统一意见怎么给AI公司估值。我觉得应该看利润的绝对金额$$。因为虽然毛利率低,但AI合同金额通常更大,我看到客服的AI单价,能是可比软件SaaS每seat收入的5倍。

这个就像AWS刚出来,50-60%毛利率,很多人也不看好觉得没有软件赚钱,但这个市场比所有软件都要大,增长也更持久。

06

泡沫讨论


张小珺:我们聊了很多明星公司和重点赛道,也聊了硅谷投资圈的揭秘;现在很火热的一个话题,就是市场在不在一个泡沫里。

这些AI公司说的收入规模都挺巨大的。你觉得这些钱是从哪里来?它是一个存量的概念,比如说从现在这些已有的大公司,Google、Meta来,还是说有一些别的新的方向?如果是存量的,那这么大一笔的AI巨额投资意义在哪里?

Freda:问的非常好。

首先有一个概念我叫互联网收入或者电子税,这个一共在美国一共也就是4000亿的总收入。其中一块就是线上广告支出2600亿。然后第二块电子商务佣金收入,就是我们叫 3P E-commerce的这个take rate,是1000亿的这个收入体量。第三块就是订阅收入吧,包括Netflix、Youtube,就是有的没的那些东西加起来一共是500亿。

所以你如果是去抢互联网存量的话,其实这个数目没有那么大,就4000亿总收入。所以如果说OpenAI进来,像媒体曝的2000亿营收,如果你拿了那么多的话,那就是Google、Meta、亚马逊这些都要去给它去让这个份额。

所以你说的是对的,如果我们花了上万亿去烧出一个小谷歌,去抢存量互联网收入,可能意义就没有那么大。

张小珺:广告收入会因为AI而增加么?

Freda:很多人会这么问。我不同意。美国广告收入过去20年增长很稳定,就是年化5-6%增长。广告总额没有什么理由增加。美国公司加起来,平均花3%的收入在广告上,AI来了也没有理由去花超过3%,不减少就不错了。美国到今天线上广告渗透率有80%,我也不觉得这里有很大的上修空间。

张小珺:如果模型的收入不从你定义的电子收入里面来,能从哪里出呢?

Freda:我知道这个听着过于宏大,但大逻辑真的要看劳动力成本。美国GDP 30万亿,美国的劳动力成本是有15万亿这么大。客服就是3000亿这么大。这里面撕出一个口子很容易就几千亿的收入体量。Michael Dell和Jensen Huang的逻辑,如果AI哪怕仅提升10%全球生产率,就能产生11万亿美元GDP增量,为此每年投入3-4万亿美金建设算力也“合理”。

我的思路是,最开始,尤其是模型能力还没太上来的时候,最容易吃的就是电子收入这一块,所以OpenAI肯定会去抢,广告的竞争格局肯定会恶化;但是给点时间,模型能力上来,真正Agent或者AI for Science涌现,那我们去创造新的价值,也去吃15万亿劳动力的大市场,这个账就算过来了。

张小珺:但是如果你去大幅度的提高了劳动力的水平,导致了公司的裁员,谁来消费?会不会对经济的影响非常差?

Freda:我觉得要分情况看吧。最简单的就是举个例子,你今天是100个人,能产出100个商品,如果你用了一通AI,然后你效率更高了,你80个人,你能产出110个商品,而且你这个商品还能更便宜更好,那你整个这个叫real GDP吧,就是能有个10%的增长,你剩下80个人的收入是肯定会大幅提升的,你这个公司的利润也会大幅提升的,所以其实是积极的这么一个消费循环。

你被裁掉这20个人会比较惨,这里不知道AI受益的大公司会不会去交一个AI税,或者裁员税,去帮助一下这些受影响的人;你看到Ro Khanna就是加州议员已经在说这件事了,所以不是危言耸听。

但我还是比较乐观,如果你真的回看历史上每一轮生产力的提高,每次也都伴随着裁员潮。当然都是可能花一段时间,社会都会去吸收这个变化,重新就业,然后财富再有一个重新的分配。

张小珺:很多人关注AI的投入产出比,这里的回报你是怎么算的?

Freda:这个本身是不可能完全算清楚的,因为AI是一个既能有收入同时也有一个节省成本的概念。包括我之前提到很多实体经济用AI已经可以量化效率的提升,但你不可能一家一家去算传统行业(银行、地产、物流)的AI收入。可以过一下现在能看的到的比如未来12-18个月比较清晰的AI收入:OpenAI 300亿;Anthropic看到一半150亿;这里很可能有超额收入。

有两个接近20亿的收入的垂类:编程;视频生成。

有几个5亿量级的垂类:音频;客服;法律;医疗。

我统计下来一共有3/40家非上市AI公司ARR超过10亿。

上市公司里面谷歌,Meta的纯AI收入能有小几百亿。

加起来能看到700亿AI收入。

但最重要的就是,能跟踪出来的AI收入,大头只有OpenAI和Anthropic。剩下所有的创业公司加起来就几十亿最多了。

张小珺:那所以你觉得市场到底是不是一个Bubble,有没有泡沫?

Freda:我觉得去空谈是不是泡沫很主观也很空。两个层面思考:

1、今天是不是?肯定不是。本轮AI应用的落地速度快得多:ChatGPT出现不到三年,用户普及度已相当于互联网发展十年的成果,已经产生了几百亿的AI收入。大公司投资AI之后每个季度的ROIC投资回报比都在提升。

2、有没有可能不是一个Bubble?我觉得是有可能的。这个就回到我们说的GDP劳动力成本这个维度的问题,理论上是有可能不是一个泡沫的。

3、到底这一路上会不会成为一个Bubble?这里面就看两点:第一模型是不是一直在进步——这个还是挺乐观的,包括continous learning,infinite context window,很多可能的范式升级,就算没有范式变化很多研究员认为我们也能在5年左右实现AGI。

Gemini3的模型证明Pre-Train还在继续scale并没有撞墙;明年2季度Blackwell train出来的模型非常值得期待。第二点就是AI收入是不是在增加——回到我们上面聊的ROI投入产出比这个问题,也值得把精力都放在这里持续关注。

07

美股Mega 7 + 2026投资展望


张小珺:我们做了很多重要的讨论,能不能给我们做做明年的展望?

Freda:市场有一个最明显的变化,出现在过去一两个季度,就是在Reward有实打实的有AI收入公司,Punish只是单纯大额投资AI的公司;这在几个季度之前明显不是这样的,那时候只要你投入,市场就会正反馈。

我能看着股价图精准的指出来市场最近每天的涨跌都是因为什么:跌是跌OpenAI 1.4万亿投资金额太大,跌OpenAI用户数和收入的放缓;涨是涨OpenAI融资估值的上涨,涨对AI收入预期的变好。

这个是市场告诉我们,明年最重要的是去找AI应用公司。一切也都是天时地利人和,AI投入三年,也到了出收入的时候了。

我的一个强判断就是明年会看到AI Infra基建公司跑输AI Application就是AI应用公司。这个是大思路。

在这种思路之下,我会去想明年哪些AI应用会是:第一,比较成熟,第二,体量比较大。这里有几个我会重点关注,也是之前提到过的:自动驾驶;多模态;端侧AI;企业端使用AI受益/AI在实体经济的应用;Agentic Commerce;当然还有太空(因为SpaceX上市)。

张小珺:能不能说一说美股几个大票的排序。当然,不做成任何投资建议。

Freda:在上面说的找AI收入的思路之下,我整体在美股都想找的是AI应用,在Mega 7里面,强应用的有特斯拉(自动驾驶);苹果(端侧AI);Meta和谷歌(这两个都是多模态大户,同时谷歌还有企业端AI和手机端侧AI这些牌)。具体来看:

特斯拉:特斯拉比较简单,只有一件事重要,就是能不能把安全员从车里彻底拿出来真正做成Robotaxi;如果再多加一条,就是对xAI(或者包括其他马斯克公司)的投资以什么形式,会造成多大的股权稀释。自动驾驶这边对于什么是“成了”,每个人的判断或者说risk tolerance会有不一样,有的人觉得一两个车子,在奥斯汀小区域能自己跑,就是“成了”;有的人觉得要100辆无安全员的车,在几个城市,跑上三个月不出事才是“成了”;我自己的偏好肯定是是在中间。

这种经典的宏大叙事Disruptive Tech颠覆式科技,在“成了”的前18月是投资最舒服的时候,因为投资人都会线性外推,就像2019/2020年的电车,有个1%的渗透率投资人就敢外推到50%(当然结果是到今天美国渗透率也只有不到10%),这个范式会在每一次宏大叙事颠覆式科技投资的时候重复。

苹果:苹果明年有所谓“双击”的可能性:3/4月份新的Siri出来,加上9月份折叠手机出来,软硬件两边都有牌打,是有可能出现今年谷歌这种反转的,就是大家可能突然开始说“其实苹果才是最稳、占位最好的”。

这个股票也很神,目前完全没有AI股价都表现的很好。苹果文化挺不一样的,其他公司都是先把产品发出来,不断试错不断修改,而苹果是要等产品要绝对完美再发出来,非常用户导向产品导向。虽然听到的都是苹果AI不行的坏消息,但我自己很期待明年看看它Siri AI这张牌。明年应该也很快能看到Tim Cook卸任,最近经常在Palo Alto吃饭买咖啡都能撞见他,感觉很松弛。

谷歌:当之无愧的共识龙头,模型SOTA,占位最好,这个很多人都讲了。但我就是想不明白广告收入的竞争格局,像之前讲的,广告收入在美国是一个存量逻辑,今天是垄断,那么新玩家进来、上量,这个钱只能从谷歌(或者Meta)的口袋里面出。

OpenAI是一定要做广告的;另一个玩家是被大家遗忘十分能打的TikTok,TikTok在美国和Instagram 一样的用户数,时长比Instagram高,但收入只有Instagram的三分之一。我脑子里预演了各种可能性,但还是觉得明后年广告竞争会加剧。当然这也是好事,就是倒逼模型公司包括谷歌去寻找新的业务变现方式。如果有读者对广告收入这个点有不同的看法,非常欢迎找我沟通。

Meta:Meta的Setup也挺清晰的,市场就是要看小扎重金烧出了什么,再根据这个结果去推测小扎之后还要投入多少,以及能收回多少AI收入。所以就看明年它新模型Avacado的表现能不能SOTA。但整体感觉明年很难,因为现金流肯定是跌的。

有一个我总结的规律,Meta股票上市15年,每一年股价都是涨的,只有两年是跌的,那两年现金流是负增长。所以明年这个票不容易。我自己很想看Meta多模态这张牌,因为有unique data,多模态明年是大年。

视频多模态这块我对明年的强判断是:短视频(包括短剧)吃长视频(包括电影电视)的时长。因为AI已经能制作很多短视频了,你的创作速度指数上升,成本指数下降,这里面是要出大的范式变化的。

三朵云(微软 亚马逊 谷歌):

三朵云明年增速都会很好,谷歌GCP季度都能看到50%以上增速。但我不喜欢云的竞争格局变化:今天一共三朵云,能做到35-40%的利润率。但现在竞争格局变了,Oracle作为一个新入场的玩家,拿项目时候只要求10%的利润率,很多neoclouds像coreweave层出不穷,还有模型公司几家都会下场顺手做云的业务(上面讲的OpenAI的云业务线)。

所以一个市场一下子从3朵云到10朵云,虽然市场大了,但竞争格局恶化对利润肯定会有影响,你从40%利润率跌到20%,20%也是不错的利润率了,你的收入需要多一倍才能勉强做到利润持平,存量玩家太难了。

云现在业务有两个基本问题:1、GPU租赁本质上同质化 - 长期各家都必须做自己的自研芯片;2、客户集中度过高 - Azure增量70%都是Openai。微软CEO Satya直接承认,他的利润不来自于出租GPU,而是来自于附加项目,包括数据库、存储、安全,这些。

微软:微软的话我还会担心企业这边的竞争格局。谷歌全家桶发力,OpenAI企业端发力,那么微软的企业收入怎么办?我已经一年没打开过Office Word了。这里我同意Sam Altman的观点,就是未来的交互不应该是我打开Excel然后Excel有AI的功能给我用,而是我不需要打开Excel,可以直接和Agent就数字问题进行直接交互,入口会变的。

英伟达和芯片股:一个最最重要的,就是上半年重点关注英伟达Blackwell训练出来的模型效果,这个能决定AI叙事的方向。另外明年关注很多自研芯片能不能deliver。

谷歌TPU也要卖给外面的用户了也是一个竞争格局的变化。一个缺电的世界让GPU和自研芯片的价格差可能没那么重要,关注点都是Flops per watt上面,就是单位能源的产能效率。

张小珺:除了这几个大票,明年整体投资机会怎么看?

Freda:大方向,经济会分化的很明显。会是典型的对冲基金市场,有做多做空两边的机会。简单来说就是:做多AI受益,做空AI受损(包括外包服务、内容制作等行业)。

我觉得超额收益会来自于AI应用公司,而AI应用很多其实在传统领域:有一件事很重要,就是三季度财报是第一次多家S&P 500公司给出具体的AI提效数据,并明确体现在财务表现上。这个是非常快的,之前上云那波,S&P 500的大公司大概花了五年时间,才开始广泛迁移到云端。

另外你从市场历史看,大约每四年就会出现一次非科技板块跑赢科技板块的阶段,而明年刚好就到了第四年了。非科技通常在通胀(或再通胀)出现、估值均值回归,或市场进入风险偏好下降(risk-off)阶段表现更好。

这里面举几个例子:

比如大家都熟悉的沃尔玛:用了一年AI做供应链的需求预测,缺货率降低30%;每年卡车行驶里程都减少了3,000万英里,可以直接看到利润的改善。

金融行业也很明显:比如银行,类似Nubank一家拉美的银行,AI能大幅提升贷款额度和审批率,处理时间缩短80%;同时违约率还能降低一半。已经有大银行用了AI直接提升了净利润15%。再有就是贷款公司叫Rocket,做房贷的,用了AI之后审批时间可以节约80%,实打实的受益。

物流公司:CH Robinson全球最大的物流公司,今天一半的预定现在都是AI负责;过去两年生产率提升约35%。

所以去挖掘这些本身传统行业龙头,然后AI能直接受益的标的我觉得很有意思,也很顺应市场的风格。

张小珺:所以市场的热点会转到AI收入这里?

Freda:对。

还有太空股。如果明年散户热钱从今年的能源和量子计算转到太空股,我觉得挺正常的。

机器人明年也会很多讨论,一个是白宫会有政策支持,一个是World Model世界模型开始训练了,这里会有很多变化。

再有就是明年也是Event大年,历史上最长最多球队参与的世界杯会在美国举办,期待看我们Prediction Markets预测市场的表现。

张小珺:今天市场最需要关注的是什么?有没有普通人也能关注的很好的抓手?

Freda:有一个概念,今天的美股市场就是AI市场。今年上半年美国GDP增量中有90%都来自于AI投资。所以整个大盘都是AI撑着的。

今天市场的风向标其实不再是英伟达,因为市场最关注的AI的收入而不是担心AI的投入。今天能追踪到的,规模最大最可量化的就是OpenAI的收入,量级上其次是Anthropic的收入。所以整个市场的锚定都在这一两个公司上面。这里面可以关注的包括用户的增速、收入的增长,以及政府会不会以某种形式参与他的基建项目,是最关键的。

张小珺:那明年美国的宏观需不需要担心呢?

Freda:消费目前整体健康;财政赤字下来很多;明年一季度还有刺激经济的举措:退税、小费免税;总体来看,美国底层民众明年的状况可能会比今年更好,消费能力也会好一些。

最大的风险在失业率,和可能的再通胀。如果通胀没有大问题,联储新的主席肯定会降息,所以高息类型公司表现会还不错。

但这里最重要的,就是明年美国的中期选举,这届政府的KPI非常重视股市的表现,其实知道这个就足够了。

张小珺:前面聊了非常多干货。我想问一个好奇的问题。我看你Substack和Twitter有很多深度研究,也有很多人关注。大部分人其实不太分享,想问一下你是出于什么目的去做,我猜也很辛苦的事情?

Freda:首先是我本来也要做这些研究。我可能比较有执念,想不清楚一件事情就会一直想。我自己是希望在我研究的领域,能理解得比较透彻吧。

再有就是我非常厌恶信息孤岛,纯靠信息差赚钱我觉得没有格局也做不大;超额的收益靠的应该是格局和判断。我觉得今天这个世界在信息层面没有、也不应该有什么秘密,当然你拿到这个信息,能理解到什么程度是个人的造化。其实我的很多内容,太干了,我觉得可能就一两个人真的看完看懂了,但这样我觉得也很好。

算是对社会的一种回馈吧。

*免责声明:

所有内容仅代表嘉宾观点,不做任何投资建议。

收听播客


推荐阅读


阅读原文

跳转微信打开

独家对话DeepMind谭捷:机器人、世界模型与Google

2025年11月28日 17:34

张小珺 2025-11-28 17:34 上海

访谈:张小珺 x 谭捷

今天的嘉宾是Google DeepMind机器人团队的高级研究科学家兼技术负责人谭捷,他的研究方向是将基础模型和深度强化学习方法应用于机器人领域。

中美在机器人领域一直存在两种叙事:市场普遍认为,中国在硬件上发展更快,美国在机器人大脑设计上更领先。

本期节目中,谭捷将带我们一窥硅谷视角,尤其是Google DeepMind视角下的机器人前沿叙事。

前不久,他们刚发布了新工作 “Gemini Robotics 1.5 brings AI agents into the physical world”(Gemini Robotics 1.5将AI Agents带入物理世界),我们也聊了聊他们的最新发现。

01 

机器人是在真实世界里做图形学,图形学是在simulation里做机器人


张小珺:谭老师,请先给听众朋友们打个招呼,并做个简单的自我介绍。

谭捷:大家好,非常高兴能来到这里。我叫谭捷,现在是Google DeepMind的一名研究科学家。我加入这个团队快十年了。

我本科毕业于上海交大,因为小时候特别喜欢打游戏,所以读博时选择了计算机图形学方向。后来我发现图形学和机器人有很多相似之处,可以认为,机器人是在真实世界里做图形学,而图形学是在simulation里做机器人。

为了让自己的工作能产生看得见、摸得着的影响力,我后来就转到了机器人领域。我加入时团队还叫Google Brain,后来与DeepMind合并,就变成了Google DeepMind Robotics team。

张小珺:这是你的第一个工作吗?

谭捷:其实不是。我在读博之前,曾在上海短暂创过业,做过一个startup。那个startup有点像现在的酷家乐——我不知道它还在不在,很久没关心这个领域了。

但当时我觉得时机还不是很成熟,后来我便出国读书。读完书后,我又去了一家做相机的startup,叫Lytro,做光场相机,不知道大家有没有听说过。它在硅谷,特点是可以先拍照后对焦。原理并非通过计算,而是采集一个完整的光场,这是个非常复杂的物理原理,能让相机实现一些特别的功能。

在那儿做了一年半左右,我后来就加入了Google。

张小珺:你的研究方向是怎么发生变化的?

谭捷:我博士期间是做图形学的,当时也在Pixar(皮克斯)实习。我一直做的方向叫动画,动画其实有很多种做法。在Pixar,他们有很多自己的坚持,比如从来不用动作捕捉系统,觉得所有的东西都应该是手调的。但如果做动画研究,其实并非关于手调,而是通过数学和物理的方法,看能否在一个仿真环境里,使一个人形或动物形态自然地行走。

我当时做的方向叫Physics-based character animation(基于物理的角色动画)。做着做着,我发觉这里面有很多AI的成分,我越来越多地用AI来解决这类问题。

大概在我博士第三、第四年的时候,我觉得这个东西跟机器人太相似了,而且我不想自己的工作只为了娱乐、游戏和影视。于是我跟我导师说,我想尝试机器人,要用图形学的方法来变革整个机器人行业。这听上去非常宏大。(笑)

我的导师非常开明,她叫Karen Liu,我当时在Georgia Tech读博士,她后来去了Stanford。她说:“那就做呗。”

我最后一个project就是完全用图形学的方法,在一个很小的人形机器人上让它能够倒立,或者在不同姿势间切换,比如从坐姿变成站姿,做了一些很简单的控制。

那之后我想在美国找一份教职,是2015年。当时我也收到了很多好学校的interview,比如Cornell。但当我说要用图形学方法变革robotics时,大家普遍持怀疑态度。因为我刚涉足这个领域,绝大多数背景还是在图形学上。我并没有拿到我想要的教职,于是就去了硅谷工作——先去了一家startup,后来去了Google。

张小珺:当时robotics处于什么阶段?你为什么认为图形学是变革robotics的一个好方法?之前来我们节目的嘉宾王鹤(银河通用创始人、CTO)也说过,robotics这一拨人很多都是从图形学、计算机视觉领域冒出来的。

谭捷:对,我举几个例子。我是图形学领域的,大家可能知道一位非常著名的Berkeley(伯克利)教授叫Sergey Levine,他以前也是做图形学的。我们以前经常在SIGGRAPH做presentation(演讲),可能是前脚后脚,我先做然后他再做,但我们都不约而同地转了robotics——这说明这两个领域其实非常相关。

当时我觉得robotics还处在一个非常rule-based的阶段,大家用传统的控制方法,比如一种叫MPC(Model Predictive Control)的方法,就是建立物理模型,通过一些最优化算法来计算运动轨迹。

这里面有很多难点。我经常跟别人说,以前做robotics,你肯定需要一个PhD,否则那些数学都搞不明白。但图形学里其实有很多AI算法,这很简单,因为一切都在电脑里,在simulation里面,所以你可以获得机器人需要的所有信息,比如关节、力等等。于是你就可以用AI的手段来解决各种控制问题。

我那时候觉得simulation和真实世界差不多,如果一个方法在simulation里能work,那么它在真实世界也应该能work。

而在那个时候,机器人还很“傻”。当时有一个DARPA Robotics Challenge,很多人形机器人去做一些比较简单的事情,比如过个坡、开个车、拧个阀门什么的,但机器人们经常摔倒,看上去很傻。但在图形学里,也就是在simulation里,机器人已经能翻跟头、能跑步,什么都能做了。

所以我觉得两边的差距很明显。如果我们能把simulation的东西放到真实世界里,那么机器人会有非常长足的进步。这就是我希望用图形学技术变革机器人的原因。

张小珺:你用了多长时间发现这个方向是正确的?

谭捷:这个问题其实还挺难回答的。现在看肯定是正确的。

张小珺:是在Google里发现的吗?

谭捷:对,我在Google的第一篇论文,叫《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》(《从仿真到现实:四足机器人敏捷运动学习》),sim-to-real就是从仿真到真实世界。

我用的方法叫Deep Reinforcement Learning(深度强化学习),这个技术哪怕对于graphics领域也是比较新的,在机器人上更是根本没人用。第一篇paper出来后获得了很多好评。

这也是我觉得过去十年里第一个paradigm shift(范式转移)的发生:用强化学习解决走路和步态的问题。

我给你描述一下,大概十年前,大家觉得最好的机器人是Boston Dynamics(波士顿动力)的,他们的狗叫Spot,人形机器人叫Atlas,能跑酷,非常厉害,但整个学术界都不知道他们是怎么做的。

最近大家才知道他们是用MPC做到极致。但大概五年后,你会发现大家都能跑跑跳跳,打拳跳舞了。比如今年你看到宇树科技的机器人能打拳击、能跳舞,最近各种上墙、翻跟头都行。这其实就是因为大家采用了同一个技术:强化学习和sim-to-real。

所以我个人觉得,我开始做的那篇论文,开创了整个强化学习和sim-to-real在四足机器人上的应用。现在回头来看,那篇论文或者说计算机图形学,的确彻彻底底地改变了机器人最近五到十年的发展。

张小珺:你当时用强化学习,是从大语言模型里借鉴的方法吗?

谭捷:不是,大语言模型的兴起是过去五年的事,而强化学习是七八年前的事了,那是2018年。当时还没有大语言模型。

那时我们是从哪里借鉴的方法呢?当时有个特别火的事件是AlphaGo,就是DeepMind用深度强化学习下围棋。当时有很多方法,其中一个方法叫PPO,就是我利用的一个技术。它和强化学习的兴起在时间上还有一段差距。

但我认为,过去十年里第一个paradigm shift肯定是强化学习,第二个paradigm shift才是大语言模型。

张小珺:国内喜欢把这个行业称作“具身智能”,硅谷习惯称呼为“具身智能”还是叫“机器人”?

谭捷:“具身智能”好像是国内说得比较多,其实都可以。

是这样,以前我们说embodied AI(具身智能)的时候,它不一定代表有硬件本体,你在simulation里做机器人也叫embodied AI。

但对我们来说,我们不光在simulation里做robotics,我们也要在真实世界里做,所以我更倾向于叫它“机器人”。

张小珺:大语言模型出现以后,对机器人领域带来的影响是什么?

谭捷:在大语言模型出来之前,很多机器人还停留在底层的控制,比如怎么好好走路,或者做一些路径规划,使得手能在不碰撞的情况下抓取一个瓶子。但机器人没有common sense(常识),也不懂语言。所以你要让机器人做一件事,你得编程,它才能执行。

有了大语言模型以后,第一,它理解人类语言了。你可以直接用natural language(自然语言)去跟它对话,让它做事,这是一个很重要的突破,意味着任何人都可以指挥机器人。

第二,就是common sense。以前大家觉得机器人难,不仅是控制问题,还因为它没有常识。比如你让它“帮我做杯咖啡”,这样一个简单指令,它完全不知道什么意思,也不知道具体步骤。但如果你现在问Gemini或ChatGPT:“我要做一杯咖啡有哪些步骤?”它会一步步列出来。如果你说需要更细化的步骤,它能给你一个非常详细的plan。

所以,当你用大语言模型来控制机器人的时候,这个机器人就有了common sense,它能理解做一件事需要哪些具体步骤。而如果每个步骤都足够简单,它就能一步步完成。

可以说,以前的机器人没有大脑;有了大语言模型以后,你可以认为它现在有了大脑和认知,使得它可以做很多复杂的事情。

张小珺:强化学习相当于什么?

谭捷:这个有点像大脑和小脑。

大脑负责思维、推理和做计划,所以大语言模型更像大脑。而小脑负责执行,你要走路、控制平衡、控制双手做manipulation(操控),这部分是强化学习非常擅长的。可能大脑、小脑都需要。

02

机器人基座大模型到底是不是一个非常独立的学科?So far, not yet


张小珺:前几周我在杭州主持云栖大会的具身智能专场,有个观点我印象很深:他们提出,具身智能基座模型不应该被视作大语言模型的一个延伸或分支,而是一个独立的方向。

他们觉得为机器人训练的是一个独立的机器人基座模型、属于机器人的大脑。他们非常强烈地强调学科的独立性。你怎么看待这个观点?

谭捷:我觉得没有对错可言,大家会有自己不同的见解。

从我的角度来说,我不得不承认,最近几年的机器人智能发展主要还是依赖于多模态大模型。它不仅仅是语言模型,它是一个多模态模型。

但多模态模型缺什么呢?它缺少robot action的输出。

多模态模型可以输入图像、语言,输出可能是文本,但它不能输出对机器人的控制。于是我们经常做的事情,是拿大语言模型作为一个基底模型,加上一些机器人动作的数据,让它能够输出机器人的动作,控制机器人。

所以从我的角度来说,我做的很多工作还是在补全现在的多模态模型,使它可以输出机器人动作,控制机器人。

它到底是不是一个非常独立的学科?So far, not yet。

我觉得未来,当你碰到各种瓶颈,需要不一样的data format(数据格式),或者需要一个更完善的world model(世界模型)时,它可能会变成一个更加独立的学科。但现在,我觉得绝大多数在做VLA(Vision-Language-Action)、在做机器人大模型的,其实还是在大语言模型或多模态语言模型上做一些fine-tuning(微调)。

张小珺:所以它还是一个延伸。

谭捷:对,至今为止,我觉得它其实并没有质的改变。更多的是采集更多的机器人数据,然后扔到大语言模型里面去做不同阶段的fine-tuning。

张小珺:今天你觉得robotics发展到哪个阶段了?

谭捷:我觉得它的progress非常快,最近一年的进展非常impressed或者surprised。

但要解决具身智能或让机器人有真正的应用,我觉得那个gap还是很大的。的确,现在你可以让机器人模型把一件事情做得非常好。你看到很多网上的video,包括你可能在CoRL上看到Dyna折衣服的那个demo,它在做一个比较窄的领域的操作时,可以做得非常好。

张小珺:这是因为强化学习吗?

谭捷:大家号称是强化学习,但我觉得肯定不止强化学习。我相信Dyna也是VLA加上强化学习的方案,但它依靠了多少VLA、依靠了多少强化学习?这可能只有问他们才知道了。

所以如果你是做一个任务,或者一系列非常接近的任务,现在可以做得挺好了。但如果你要真正的generalization,也就是泛化能力,希望有一个人形机器人能做好多事情,现在还差得很远。

比如像我们最新的Gimini Robotics这样的模型,它非常强调泛化能力,可以做很多事情。你可以用自然语言说“打开这个水瓶盖子”或者“把这个包整理好”,但是它的成功率还不是很高。

对于非常简单的pick-and-place(抓取并放置),比如把东西抓起来放到某个地方,也许成功率有90%多甚至100%。但对于很多需要精细操作的东西,比如把这个拉链拉上——这个就非常难,你要抓到对的地方,然后往一个特定的方向拉——像这种任务成功率可能就是30-40%。30-40%的成功率在现实生活中是不可用的。

所以我觉得,虽然我们的进展非常快,但gap也还非常大,还需要好几年的时间,才能让机器人足够完善,进入各行各业来帮助我们。

张小珺:如果用一个GPT那样的标尺来定义,大概到了哪个阶段?

谭捷:这个其实很难做对应。我是这么想的:现在大家看到了足够的sign of life(生命迹象),表明我们scale up现在的training recipe(训练配方)是会work的。但可能还需要两三年时间,才能达到一个GPT-3、GPT-4那样的水平,让你真正觉得“哇,这东西真的会有用”。

然后我觉得可能还需要额外的5到10年时间,才能让它真正落地。

张小珺:落地的时间更长。

谭捷:一般做research是这样,你有一个想法,从想法到一个prototype(原型),这个过程很快,因为做完prototype就可以写一篇论文,周期可能是6个月到一年。

但从你写完论文,到你有胆量拿出来做live demo(现场演示),而不仅仅是录一段视频,可能需要一两年时间。因为你在写论文时有很多assumption(假设),所以它可能只在一个非常小的区间内工作。

然后从live demo到真正落地,那可能又是5到10年。

你就想自动驾驶。从最开始,比如在DARPA的Robotics Challenge上,你说我可以开好二十几公里;到后来每个厂商都能在一个固定的园区里做demo;再到今天,也许算落地了,因为Waymo和Tesla都有自己的自驾产品。这中间确实隔了十年。

从demo到真正落地,隔十年并不是一个非常夸张的事情。

张小珺:现在L3、L4也没有真正的广泛应用。

谭捷:自动驾驶,像Waymo,它其实有一个robotaxi(自动驾驶出租车)的business,在旧金山也是在有限区域,但它可以把driver(司机)真正地拿掉,所以我觉得已经越来越近了。但这也是另一个例子,说明从你有一个idea到真正落地其实非常遥远。

张小珺:所以我就在想,你看自动驾驶的动作输出是一个这么有限的领域,都需要花费这么多年。那机器人就让它一个领域、一个领域地做就好了,为什么要去追求足够的泛化性呢?——我们为什么需要一个足够通用的机器人大脑来做人形机器人?

谭捷:这是一个很好的问题,这里面的很多争论都比较philosophical(形而上的)。

我的感觉是两条途径都是有可能的:先做非常专业化的事情,在一个领域落地;versus你做一个最general的、通用的人形机器人。

我觉得并没有对错,但这个世界的发展无关乎对錯。

这两条路可能都可行,但最后会发生什么呢?——可能会有一个大佬,他可能是Elon Musk,可能是Steve Jobs,一个visionary(有远见)的人,他灌输了一个概念,说“通用人形机器人是最终局的解决方案”。当一个大佬发话以后,就会有很多follower(追随者)、很多钱和很多talent(人才)进来,最后就促使这一条路径成了真正被解决的路径。

所以说,并不是说做specialized(专用)的机器人,然后一个一个domain(领域)去solve(解决)是错的。只是可能现在因为硅谷的发展,因为有大佬特别提倡这个方向;

同时,大语言模型也证明了,如果你做specialized model(专有模型)——以前的语言模型通常都是specialized model,比如你做英到中的翻译是一个model,做VQA(Visual Question Answering,视觉问答)是另外一个model——但后来你发现,当你真正有一个generalist model(通用模型)的时候,那些specialized model(专有模型)就完全不能与之竞争。

这也是另一个例子来解释,为什么大家更相信通用的机器人。

张小珺:你刚才提到过去一年进展非常快,可能超出预期,它的进展快来自于哪些变量?

谭捷:一个是VLM模型的发展,比如Gemini的发展,GPT的发展。还有很多技术的变革,比如现在很多model是所谓的“thinking model”(思考模型),它在inference time(推理阶段)可以用很多的token budget(token预算)来提高最终答案的准确性。这是一个从技术角度的变革,这也使得robot can think as well(机器人也能思考)。

我们最新的Gimini Robotics 1.5,有一个比较重要的突破,就是利用了这个thinking的能力。这是技术上的。

第二个是从重视程度上,我觉得在硅谷,大家都觉得机器人可能是即将发生的最重要的变革之一。所有的公司都投入巨资去攒他们的机器人团队,去做机器人大模型。如果CEO们都重视了,那么分配的资源、算力都会增长,这也从另一个角度加速了机器人的发展。

第三点,这也使得硅谷现在非常卷。以前大家觉得996是中国特色,现在硅谷也是996了。

至少做AI、做机器人的肯定是996。为什么会996呢?因为没有人想输在这场competition(竞赛)里。所有人都希望自己的公司或团队是世界第一。如果你是世界第二,你团队里最优秀的人就会觉得要去那个世界第一的团队,因为在那里能做成事。

为了防止那个发生,你就只能加速工作、加倍工作,使得你永远保持在第一梯队,或者整个行业的最前列。这使得大家花了更多的精力、更多的时间在科研上,这也是我觉得最近发展特别快的原因之一。

张小珺:这是最近一年发生的变化,还是最近两三年?

谭捷:我觉得是最近一年半到两年。基本上就是ChatGPT出来后,大家意识到这个东西可以用在机器人上,就开始变得非常卷。

03

最大问题是数据问题,Robotics在一个非常复杂的unstructured environment里,可以发生任何事情


张小珺:你刚才说未来有两个关键阶段,一个是要先到达GPT-3的时刻,再去落地。你觉得从现在这个节点到GPT-3,中间差的是哪几步?有哪些关键问题解决了,可能就到了?

谭捷:我觉得一个最大的问题还是数据问题。

对语言模型来说,数据是free的,网上有那么多的语言数据,你可以抓取PDF,可以digitalize(数字化)很多书本,互联网数据太多了。而且语言相对来说也是一个narrow domain compared to robotics。

但是robotics是在一个非常复杂的unstructured environment(非结构化环境)里,可以发生任何事情。所以它需要极大量的、非常diverse(多元)的数据,但这些数据现在是不存在的。

现在有很多startup叫data factory(数据工厂),他们通过比如遥操作的方式来collect(收集)很多数据,通过simulation的方式来collect数据,然后把数据卖给做模型的大厂。所以,数据还是一个从根本上制约发展的bottleneck(瓶颈)。

张小珺:大模型面对的是数据墙的问题,机器人领域面对的是没有数据的问题。

谭捷:对。

张小珺:一个是数据,还有其他的吗?

谭捷:我现在看到最明显的就是数据。我确信,现在的数据量完全没有办法saturate(喂饱)模型的能力。所以当你数据大到一定程度上,我肯定会发现第二个瓶颈,可能是模型的architecture(架构)或者是其他的。

但是因为现在数据如此之少,所以你还没有发现第二个瓶颈是什么。

张小珺:到底需要什么样的数据?怎么定义一个好数据?——真实世界的数据太变幻莫测了。

谭捷:对,所以需要很多很多不一样的数据。

机器人领域经常会聊:“数据金字塔”。

这个金字塔是这样,最底层是量非常大、非常scalable的数据,这可能是互联网上已有的数据。

上面一层可能是video数据,这video数据有可能是我们叫egocentric video data(第一人称视角的视频数据),就是从人的第一视角看到你做事情的那种数据。

这种数据也很多,YouTube上有海量这样的数据,而且也很容易采集,因为你做事情无非就是额外戴一个眼镜或camera。所以它量也非常大。但是因为人和robot的形态很不一样,所以这个数据也不是特别有用,至少大家还不知道怎么用。

再往上可能是simulation数据,这个数据和robot形态可能更接近了,也包含了很多robot action的标注,但是有一个sim-to-real gap(仿真到现实的差距),就是你在simulation里做的数据,和真实世界的物理毕竟还是不一样的,它只是一个数学简化。

再往上,可能就是robot-specific(机器人专有)数据,你通过遥操或其他方式获得的机器人数据。

所以大家一般认为有这样一个金字塔,你每一个level的数据都需要,但是需要的量不一样,采集不同level数据的cost(成本)也不一样,但这些数据都很重要。

张小珺:这是你倾向于认为的观点吗?

谭捷:我觉得是这样的。

底层的数据,需要很大的量,但它的质量可能不是特别高,因为它跟机器人有很大的gap。通常大家说,在训练机器人模型时,有预训练和后训练,也就是pre-training and post-training。

在预训练阶段,你可以用各种各样海量的数据。在预训练阶段,它需要学会的只是一个intuition(直觉)或对物理的理解,并不一定要对自我形态或者对任务的认知,但它需要学会物理,所以你只需要很大量的数据。

但在金字塔最顶端的时候,你需要知道这个机器人是这样一个夹爪、这样一个构型,然后你做这一个任务,比如打开这个瓶盖,它就需要非常精细、高质量的数据,但那个数据量可能不需要很大。

整个金字塔都非常重要。

04

Gemini Robotics 1.5:我们有一个方法叫motion transfer,这是独门秘诀


张小珺:关于数据、架构机器人业界有很多争论,这个我们稍后再说。

我们现在聊聊你们最近的工作吧。你们刚发布了Gemini Robotics 1.5,将AI agents带入了物理世界。在这个工作中,你觉得最重要的发现是什么?

谭捷:我们有两个比较重要的发现。

第一个是我们把“thinking”加入了VLA模型。以前的VLA模型,输入是图像和用语言表达的任务,输出就是马达的角度,直接对机器人进行控制。现在我们把“thinking trace”,也就是机器人是怎么想的,也作为输出。

比如说一个任务是“把我的衣服按照颜色分类”。机器人得先想,因为这个任务挺复杂的,它得想“这是红色的,所以要扔到红色那一堆里;这件衣服是白色的,所以要扔到白色那一堆里”。这里面有很多很小的步骤。

上一代的机器人模型是没有办法想这么细致的东西,做一个multi-step task(多步骤任务)。现在这一代模型能想:“这是什么颜色?如果我知道它是什么颜色,那么下一步应该做什么?”

所以它的输出是,先输出一些文本来思考这个问题怎么解决,然后基于这个文本输出一堆action来做这件事;接着继续输出一些文本来想下一步该干什么,再输出一些action。

这使得一个非常复杂的、需要很多步的任务可以被分解。这是第一点,非常难的任务现在可以做了。

第二个好处是,机器人可以向人表达“我下一步想干什么,为什么我想这么干?”这在人机交互时增加了很多透明度。无论是从安全性的角度,还是从人机交互的角度,都让人更安心一些,因为你知道这机器人是怎么想的。这是我觉得一个比较重要的突破。

第二个非常重要的突破,我们叫cross-embodiment transfer(跨具身迁移)。

什么意思呢?我刚刚说了,机器人数据非常稀缺,尤其是你用机器人A采的数据,只能用来学习机器人A上的task和skill。当机器人A升级了,可能camera换了新的,或者mount(安装)在一个不同的位置,或者手臂多了一个自由度,那么以前采的数据都没有用了。

而且还有其他机器人,比如人形机器人或者机器人B、机器人C,它们因为构型不一样,数据是不能放在一起互用的。这就导致你的数据量更少了。因为你对每一个单一的机器人都得单独采集数据。

在Gemini Robotics 1.5中我们发现,不管你用什么样的机器人——至少我们测试的那三个,一个是Aloha,一个非常简单的双臂机器人;一个是bi-arm Franka,一个更工业级、更powerful的机器人;还有一个是Apptronik的人形机器人。

当我们把所有数据放在一起,并且开发了一个新技术叫motion transfer(运动迁移),它能更好地利用这种cross-embodiment的数据——使得在机器人A上见过的任务,机器人B也能够执行。

举个例子,假设你学会了开车,我从来没有学过开车这个任务,但我也学会了开车,它可以跨本体。这个从根本上解决了一个问题,就是数据量不够的问题。因为任何机器人采集的任务数据都可以被其他机器人利用。

张小珺:先说第一点,把thinking加入VLA。因为机器人的模态转换会比较多,你觉得在不同模态,比如文本和运动之间不停转换,会发生混乱吗?怎么解决这个问题?

谭捷:我们其实没有发现有混乱的问题。因为在输出的时候,一般都会非常清楚地说:“下面我要输出的是文本”,然后会有一个起始符和终止符;然后会说:“下面我们输出的是动作”,也有起始和终止符。所以它们是不会混在一起的。

张小珺:在大语言模型里加入thinking和在机器人里加入thinking,不同是什么?核心难点是什么?

谭捷:大语言模型其实比较大,而机器人模型没有那么大。为什么呢?

因为机器人模型要做很快的inference(推理),它不能等5秒钟再做下一个动作,所以它的inference budget(推理资源预算)非常小。你还是希望比如每0.5秒或每一秒,它能做出一些动作。所以它的thinking长度和大语言模型是非常不一样的。

张小珺:Thinking更短。

谭捷:要短很多。大语言模型为了解决一个问题,可以想20秒,然后给你一个答案,只要那个答案是对的,大家一般都很高兴。但如果你交给机器人一个任务,它每一步都要想20秒,你就崩溃了。所以它可能每一步只想0.5秒,它们的budget非常不一样。

张小珺:能处理的最复杂的问题会是什么?

谭捷:我们在VLA上的thinking还是相对比较弱的thinking,因为它有很多限制。我发觉一般如果一个task只需要几步分解,比如“sort the fruits by color”(按颜色分类水果)或者“sort the clothes by color”(按颜色分类衣服)——它可能第一步是认清楚颜色是什么,第二步是认清楚另外几堆东西里对应的颜色是什么,第三步是把它放到对应的堆里。

这种比较简单的推理是可以的。但是如果你需要它额外地去获取信息,那个是做不了的。

比如我说“你帮我整理一下行李”,它可能会想:“那整理行李的话,我想知道你要去哪里旅行?去多久?那边的天气状况是什么?”它需要额外获取更多的信息,然后通过所有这些信息再做thinking,那个在VLA那一端是做不了的。

所以在我们Gemini Robotics 1.5的工作中,我们做了一个快慢模型的划分。

有一个比较慢的模型,它可以做这种非常长的thinking,做一些决策。比如你让它打包行李,它可以去搜Google Search,可以搜你的calendar,可以搜weather report,然后它可以先想20秒,come up with a plan(制定一个计划),然后问你这个plan是不是合理。

到了VLA那端执行这个plan的时候,它就可以说:“我可能需要把这一堆衣服放进来”,然后一件一件拿。

它们都是大脑,但是大脑也有分层。你很多大脑的事情是要做很多计算、很多planning的,那是比较慢的思考。很多大脑的决策是instinct(直觉),那个是比较快的思考。

张小珺:你们是把它拆分成了一个ER和一个VLA两个模型。

谭捷:ER其实叫Embodied Reasoning(具身推理),它更多是一个慢思考的过程。VLA是要输出robot action(机器人动作)的,所以它更多是在执行端,是一个非常快思考的过程。

张小珺:也就是说,你们选择了一个双模型结构,不是一个端到端的统一模型。你觉得这会是一个过渡的方式,还是一个终极的方式?

谭捷:我现在觉得它应该是个过渡的方式。

因为现在受制于很多限制,比如算力的限制、模型大小的限制。但我觉得可能再过几年,当算力不是很大问题的时候,如果有一个unified model(统一模型),那可能是最佳的。

因为你有两个模型,你总是要界定它们之间是怎么交流的。现在这个大模型和小模型之间是用语言来交流的,但语言并不是一个high-bandwidth(高带宽)的交流方式,它语音会丢掉很多信息。

所以你希望是一个模型,它内部不需要一个额外的interface(接口)来做交流,这样就没有信息损失。但同时,因为现在算力等等原因,使得这个实现非常困难。

张小珺:它需要特别大的算力吗?

谭捷:因为你要做reasoning,要用web search之类的,你是需要一个非常大的模型的。那个模型你很难做到real-time或者每秒做5到10次的决策。但小模型可以。

所以当你要一个unify model(统一模型)的时候,它必须非常大,因为它要做reasoning,而现在的算力不足以支持这样的大模型。

张小珺:现在的快思考和慢思考分成两个步骤、两个阶段来完成,很大一个原因是因为算力还不够。有没有其他原因?

谭捷:我觉得现在主要是算力原因。

张小珺:这个也make sense,自动驾驶最后也过渡到了端到端。

谭捷:但自动驾驶其实它不需要很多planning的过程,它的planning很多是通过传统方法做的。比如我有一个map,有A点,要去B点,怎么找到一个路径?这个都是用传统方法做的,它并不是真正的端到端把mapping和planning都做到和执行一起。

其实planning在自动驾驶里面是一个分开的步骤,是一个传统方法做的,就像Google Map或者百度地图。执行的话,对于自动驾驶它是一个非常快的决策,因为车速非常高,决策的速率得非常高,所以自动驾驶的端到端模型不会很大。

张小珺:你们在做实验的时候,加入thinking容易出错的环节可能是什么?

谭捷:我觉得一个可能是overfit(过拟合)。

当你加入thinking的时候,你需要标注很多它是怎么think的。在做training之前,你采了很多数据,采集数据的时候你得说:“我是这么想的,我下一步要干什么,这是我的动作。”但是如果你的这个标注非常单一,就非常容易出现overfit的状况,使得你只有在做这样一些事情的时候,它的thinking是make sense(合理)的。

如果你做一些没见过的任务,因为他没见过,所以他的thinking trace(思维轨迹)会非常奇怪,他会做完全不make sense的事情。

张小珺:你刚才分享的第二点,是跨本体的数据运用,这个里面有没有更多可以分享的?

谭捷:我给你举个例子,我第一次看到这个结果的时候,印象非常深刻,因为我觉得这真的是一个质变。

大家说跨本体已经说了很多年了,但我觉得这个概念有点oversell(过度推销)。哪怕早期,Google自己做了一篇paper叫RT-X,就是他跟二十几个不同的学校、不同的lab收集不同的机器人数据,混在一块训练一个大模型,然后说发现了这二十几个学校的数据放在一起是有优势的,有benefit。

但那个东西其实很难量化。包括最近看很多机器人大模型,他都会说:“我有五个不同的本体,我把数据混在一起,使得我们这个东西更general。”但这个也很难量化。

这次我们发现,比如说我们有一个Aloha,它是一个tabletop robot(桌面机器人),它做的事情都是在桌面上。我们所有data collection(数据收集)可能就是从桌面上抓一个东西放到别的地方,在这个桌面上开瓶盖、写字之类。它没有见过3D的场景,比如在一个垂直的平面上,或者一个有高低层次的橱柜里做事情,它没有见过这样的数据。

所以如果你给它一个有高低层次的书橱,然后说:“你把上面那一格的书给我拿下来”,它是做不到的。因为这完全在他的训练数据集之外,他还是会在桌面上磨磨蹭蹭地摸一些东西,虽然那个书架是垂直的。

但是我们有另外一个机器人,叫bi-arm Franka,他采集的很多数据都是在垂直的领域,比如他有很多工具,可以从一个垂直的workbench(工作台)上拿下来。当把数据放在一起训练,Aloha是从来没有见过这种垂直场景的,但是当你把Franka能做的事情放到Aloha这个场景里,Aloha突然间也能做这样的事情了。

张小珺:具体是怎么做到的?

谭捷:我们有一个方法叫motion transfer。它就是说,你不仅要把数据放在一块,同时你在模型的architecture上、在training recipe上也要做相应的改动。

张小珺:这是一个能够泛化到很多领域的方法吗?除了你们实验的这三个机器人以外,它还能够有更广泛的泛化性吗?

谭捷:首先,它并不代表我给你一个新的机器人,它不用任何训练就能做那些事情。不是这个意思。只是说,在我有训练数据的机器人里面,虽然我没有见过这个task,但这个task是别人见过的,我就能做那个任务。所以它有一定的泛化性,但它的泛化性是任务层面的,并不是机器人本体上的。

张小珺:这个对于更接近跨形体的通用智能,是一个可行的路径,是吗?

谭捷:我觉得是个可行的路径。

张小珺:这个还挺本质的。

谭捷:我非常同意。所以我们团队看到这个结果以后都觉得非常激动人心。

张小珺:motion transfer怎么做的?

谭捷:这是一个secret sauce(独门秘诀)。

这个问题我被问了很多遍,但真的很难评论。

张小珺:研究者会提到,具身智能的难点不一定在算法,而是在反馈信号,因为它缺乏像语言模型那样清晰、可以验证的反馈。你怎么看这个问题?你们的robotics在系统设计上是如何获取和构造这种信号的?

谭捷:我觉得当你有数据,并且用传统的,比如说imitation learning(模拟学习)的时候,你已经有了足够的信号,我并不理解说缺信号是什么意思。

但是如果你说的是用强化学习,强化学习需要一个reward signal(奖励信号),但很多任务你很难写一个reward function(奖励函数)。比如说“我要把这份菜放到冰箱里面”,这个怎么用一个数学来表达成功与否?这个reward function很难表达出来,我是同意的。

这个我觉得得分不同情况来解释。对于imitation learning来说,我不觉得信号是个问题。但对于强化学习来说,你怎么用reward function(奖励函数)来specify(具体说明)你的任务,的确是一个很难且并未解决的问题。

张小珺:关于reward function,你们现在怎么解决这个问题?

谭捷:我觉得这个问题并没有很好的解决方案。

这可以岔开讲一点——为什么强化学习解决了足式机器人走路的问题?是因为它的reward function相对来说比较straightforward(直接)。你只要向前走了,然后没有摔跤,就可以很容易地写一个数学表达。

但是对于manipulation来说,你有太多的不同任务了。比如我希望抓起一个筷子,你很难用数学表达式来表达“我是否抓起了筷子”。再比如我要把东西放进抽屉里,你也很难写一个数学表达式来表达“这个东西是不是在抽屉里”。

有成千上万个不同的这样的任务,你都要用reward signal来表征它,我觉得这是一个几乎不可能的事情。这就是为什么强化学习在manipulation(操控)里面并没有解决得很好的原因,就是这个reward function非常难以specify。

张小珺:对于这种跨形体迁移的任务,怎么设计呢?

谭捷:因为我们现在主要还是做imitation learning,不是通过强化学习。所以只要你学会了就行,因为你是有榜样的,imitation是有label(标签)的。你只要使得你的神经网络的输出和你的label尽可能接近就没有问题。

张小珺:你们的secret sauce还有什么可以更多分享一点?

谭捷:It's very secret.(笑)

张小珺:哪些因素有可能会决定迁移的上限?

谭捷:对,这是个很好的问题。虽然我们有很多例子证明迁移是成功的,但也有很多例子证明在很多场景中,迁移并不是非常成功。

我觉得两个不同机器人它的形态到底差多少会有很大影响。比如说,我是从一个单臂夹爪机器人要迁移到一个双臂人形机器人,这肯定是一个非常非常难的问题。

你看我们实验的三个机器人都是双臂的,虽然它们构型很不一样,比如有的是6个自由度,有的是7个自由度,有的是更高自由度的,但它们都是双臂。如果你是从夹爪到五指灵巧手,它肯定也会比夹爪到夹爪要难一些。所以有一个embodiment gap(具身差距),如果那个gap非常大,这种跨构型的迁移就会比较难。这是一点。

第二点,我们发觉在不同的embodiment上,你收集的数据量也非常重要。

如果你已经收集了很大量的数据,那么其实不需要其他embodiment的迁移,它做事情就已经做得非常好了,所以其他embodiment给你的那个正向的delta(增量)会非常小。但是如果说有一些机器人,比如人形机器人,你采集数据非常困难,但你可能在Aloha上有非常非常多的数据,这样这个迁移就会非常有效。

张小珺:你们这篇论文的标题是“将AI agents带入物理世界”,你们在AI agents上借鉴了哪些?

谭捷:首先,robot就是一个physical agent(物理智能体)。对agent的定义就是说它能够做决策,并能够execute actions(执行动作)。

这篇文章其实强调了一点,就是有一个非常重要的agent feature,就是它可以use tools(使用工具)。现在我们的embodied reasoning model(具身推理模型),它可以写code,可以查阅网站,就是它可以用这些tools来做决策。

我们有好几个video的例子是,比如说你让它做垃圾分拣,它会根据不同的地点,比如说在San Francisco,它可以search Google Maps找到你的地点,然后根据当地的法律法规决定应该如何做垃圾分拣。

这些都是use digital tool(使用数字工具)的例子,这使得机器人的knowledge base(知识库)宽广了很多。

它不只有大模型已经capture的common sense,它可以通过web search和其他tools,使得机器人的functionality(功能)和capability(能力)有很大的扩展。

05

生成极大量仿真数据,是弥补它缺点的一个重要手段


张小珺:沿着Gemini Robotics 1.5 往后发展,下一步的关键突破口会是什么?

谭捷:这个问题非常好。其实有很多很多方向可以发展,我们在论文的最后一章也讲了一些未来的方向。

我觉得可能我们比较重视的一点还是数据——数据、数据、数据。

我觉得遥操作还是一个非常难以获取的数据。有什么办法可以让我们利用越来越少的遥操作数据,和越来越多我们可以快速获得的数据来训练这样的大模型,可能是非常重要的一步。

所以我们会花更多的精力,比如利用simulation数据;利用human video(人类视频),比如YouTube上的一些数据;利用甚至是现在模型生成的数据,比如VEO生成的一些数据。这种数据因为你可以大量获得,所以我觉得这是一种更经济、更有效的获得机器人数据的方式。

如果我们能在这方面有些突破,那我觉得解决机器人问题就指日可待了。

张小珺:你们现阶段用真实数据用多少?

谭捷:我们现在主要是用真实数据。

张小珺:所以成本会很高。

谭捷:成本非常高。

张小珺:国内在数据问题上有很多争论:王鹤就是仿真数据的代表派,但好像除了他以外,大家更倾向于依靠真实数据,因为真实数据的泛化性更好。

谭捷:真实数据没有sim-to-real gap(仿真到现实差距),但是泛化性是由数据的coverage(覆盖)导致的,并不是因为它本身是真实数据还是虚拟数据。

如果你从来没有采集过在厨房烧饭的数据,你的模型就很难泛化到厨房烧饭。

所以说它是coverage问题,并不是真实还是虚拟数据的问题。

张小珺:过去几年,从大语言模型里应用到机器人领域了很多研究思想,对比一下机器人基座模型和大语言基座模型,它的研究范式有什么不一样吗?

谭捷:我觉得还是很不一样的。它们其实并不是两个独立的学科,更多的是A利用了B。

在大语言模型上,你有很多问题,比如多模态怎么训练?预训练应该怎么样?后训练应该怎么样?RL应该怎么用?

但机器人现在对大语言模型的应用,还是说我加一些更多的data,在已有的大语言模型基础上增加一些新的输出。所以做法上还是很不一样。

很少有公司真正从头开始去pre-train一个机器人的大模型。

张小珺:为什么呀?

谭捷:因为cost和data。你pre-train一个大模型非常贵,可能需要好几万张卡跑好几个月。同时你也没有那么多的机器人数据。

所以基本上大家还是因为数据局限和预训练的成本,在一个预训练好的大语言模型上,加上机器人数据进行一些微调。这就使得整个范式非常不一样。所以两边有相互借鉴的点,但它们并不是两个平行的学科,可以完全一一对应地相互借鉴。

张小珺:我刚才说的云栖大会的那个讨论,在你看来,其实不成立?——他们说“我们是一个独立的大脑”。

谭捷:至少我现在觉得它们还没有那么独立。也许未来,当你发展到一定地步,当机器人数据足够多,当机器人大模型遇到新的瓶颈时,它们可能会变成完全独立的学科。但是现在,我觉得机器人大模型还是非常依赖于已有的大模型。

张小珺:这个有利于大公司,因为大公司有基座大模型。

谭捷:我是这么觉得的。

张小珺:我们回到数据的话题。

国内有一个非常鲜明的仿真数据驱动派,就是王鹤。他的观点跟你类似,就是说雇人遥操采集真实数据的成本非常高。

他当时给我算了一笔简单的账,说一台人形机器人制造成本最少10万,买1万台用于数据采集,意味着10个亿。每台两班倒雇人遥操需要4个人,一个月可能就是小几万。此外还需要标注和质检,每个月维护1万台机器人的成本在数亿到十亿。

你觉得他这个账算得对吗?

谭捷:你刚刚说的那些数字比较快,我没有仔细算。但是in general,我是同意他的。遥操需要机器人成本、运营成本、质检成本,这些东西加起来是非常非常贵的。

虽然我没有算那个账的具体数字对不对,但我觉得这肯定是一个不是很scalable(可扩展)的方式。而且,我会非常诧异,如果最终大家是通过完全遥操的数据来解决机器人问题的,我觉得这个可能性非常低。

张小珺:在这个背景之下,仿真数据就是一个可行的方案?

谭捷:对,但“仿真”这个定义现在越来越模糊了。

以前的仿真是指物理仿真,大家说的可能是Bullet、MuJoCo、Isaac Gym这些,它其实是在计算机里面解物理方程,计算运动轨迹。

但现在因为video generation model(视频生成模型),比如VEO、Sora 2的兴起,很多人认为仿真其实就是生成一段视频。如果这个视频看上去物理是正确的,它也是一种新意义上的仿真。

张小珺:是生成式AI带来的一种新的仿真形式。

谭捷:对,而且我觉得在不远的将来,传统物理模拟仿真会慢慢地被生成式模型的仿真所取代。

张小珺:这个生成式模型的仿真现在发展到什么阶段了?

谭捷:刚开始。

真的经济吗?它可能不经济,因为你要生成视频其实更贵。

它需要更多的算力成本。但是你其实解决了很多问题。比如我要生成任意场景,在传统的仿真里面,你需要有人建模,建完模以后就像做游戏一样,需要很多designer把所有的场景、所有的资产拼在一块。

我要500个家庭场景,你就得一个个手建,这就非常困难。但是我要500个家庭场景的视频,你只要500个不同的prompt,你说:“我要有一个粉色的床,加上两个床头柜。”另一个你说:“我想要一个很大的白色的床。”

你只是输入的语言不同,就可以瞬间生成两个完全不同的视频或仿真。但以前在传统的仿真里面,你就得手工一个一个地把这个场景给建出来。

张小珺:说到Sora 2,它是否带来了一个革命性的变化吗?

谭捷:从Sora到Sora 2肯定是质的飞跃。但Sora 2和VEO 3,我觉得没有太本质或让我觉得特别惊艳的地方。

但有一点可能值得说一下,在过去两三年里面,视频生成模型的发展是非常迅速的。我自己可能也有一个比较错误的判断。

我记得可能几年前,《流浪地球》的导演来硅谷,他就问我们,《流浪地球3》上映的时候,那是几年之后,他导演这样一个工种是不是还存在?或者电影制片的很多工种是不是还存在?

因为好像开始你只要说几句话就能生成一个小的clip(片段),然后可以拼成一个电影。那个时候我觉得那不可能,可能还有好远好远才能有真实的video generation。所以我就安慰他说:“不急,那个还要好久,我们正在努力地做,但是时间没有你想象中来得那么快。”

张小珺:你当时觉得要多久?

谭捷:我当时觉得可能2030年,你可以开始有一些可以应用的视频生成模型。现在才快2025年了。我肯定是低估了视频生成的发展速度。

张小珺:他们这个行业确实能帮助到你们的数据问题,视频生成的进展让机器人领域的人很兴奋,是吗?

谭捷:我觉得所有的视频生成模型的进展都会让机器人领域感到非常兴奋,因为这就是一个新的仿真或者新的world model。

世界模型的定义是:如果给上前一帧,再给上机器人的动作,你可以预测下一帧。

现在绝大多数的视频生成模型,都不是说我可以通过输入一个机器人或人的动作来改变下一帧的结果。所以现在我还不会称之为世界模型,但是感觉从现有的视频生成模型到世界模型不是很遥远。

或者从另外一个角度,VEO它是一个视频生成模型,但是Genie它更像一个世界模型。因为Genie是你可以玩的,你可以通过按键来改变你生成的下一帧是什么样子的。你可以驾驶着一只龙,然后说我要左转、右转,看到完全不同的世界。

所以当你在每一帧的时候,可以有一个输入来改变你的下一帧,那个感觉就是世界模型。但是如果它是一个已经生成好的、几秒钟的静态视频,那就不是。

张小珺:现在谁做得最好?在硅谷。

谭捷:Google DeepMind。我觉得OpenAI的Sora做得也不错。还有很多小公司也在做。

张小珺:真实数据和仿真数据,可能的优劣势是什么?怎么弥补仿真数据的缺点?

谭捷:生成极大量的仿真数据,是弥补它缺点的一个很重要的手段。

仿真数据它不够真实,但是如果你在仿真的时候不断地变化它的一些参数,同时生成极大量的数据,那么从平均的意义上,它可能也足够cover真实世界的物理了。所以说有一种方法是用compute来解决精度问题。

张小珺:用算力来换精度。

谭捷:对,你没有那样的精度,但是你可以生成极大量的数据。这样当你做平均、当你学习的时候,因为数据量大,其实你是取了个均值。这可能就和真实世界的物理比较接近了。

张小珺:用视频生成来做仿真,现在的瓶颈在哪?

谭捷:第一个是它有很多幻觉,第二个是它有很多非物理现象。

有很多人经常测视频生成模型是通过生成做体操的视频。如果你生成一段做体操的视频,在整个过程中那个人还是两条腿,说明这个模型还不错。但很多时候,这个人在翻滚的过程中,就不知道有多少条腿会被生成出来。有很多这种hallucination(幻觉)或者非物理的现象。

张小珺:不相信仿真数据的真实数据派,他们的逻辑是什么?

谭捷:我个人感觉是,仿真数据是需要一段基础研究的,它不是那么简单直接。

但是真实数据,现在已经证明,你有更多的数据,效果就会更好。所以它可能会有一个玻璃天花板。虽然它加速很快,因为你有数据就可以马上看到效果的提升,但是因为你最终的数据不可能无穷无尽。

张小珺:它很快会达到这个领域的数据墙?

谭捷:我不知道是不是很快,但是eventually它会有一个数据墙。

但如果是仿真数据,你现在因为有sim-to-real gap,所以可能开始的时候效果不是很好。你加数据,会觉得很多东西可能都在noise的范畴之内,你没有看到很明显的提升。但是一旦research有了突破,它就没有那个玻璃天花板。

张小珺:所以,这是一个信仰问题。

谭捷:绝大多数research都是信仰问题。

张小珺:你信仰的是仿真那一派?

谭捷:我信仰的是scalable data那一派。Scalable data包括仿真数据,包括人带着camera采集的数据,包括用视频生成模型生成的数据。这些东西都是可以用算力来给你无穷无尽数据的。

但真实的机器人数据是需要operation、需要cost、需要robot,那个我觉得不是一个很scalable的数据源。

张小珺:不管怎么样,只要它scalable就可以。听起来仿真数据是一个更可能scalable的方案——这个是不是也可以用来解决大语言模型的数据墙问题?

谭捷:现在其实很多大语言模型,感觉大家经常会说有一个“吃了吐、吐了吃”的问题。就是你先吃了internet-scale data(互联网规模数据),然后它开始生成各种各样新的文本、新的数据,然后它再吃回去,又生成新的。这也是一种解决data不够的方式。

张小珺:在一个robotics团队里,做仿真数据的人多吗?

谭捷:这完全看团队的信仰是什么。像Google DeepMind,它有一个叫MuJoCo的团队,是一个非常知名的仿真团队。

张小珺:硅谷基本上都是仿真派吧?

谭捷:那也不是。

硅谷的公司大家都会讲差不多的故事,区别只是他们数据mixture里仿真数据的比例问题。大家不会孤注一掷地只用一种数据源,都在不断探索。

但数据质量非常重要。如果数据质量非常差,越多的数据可能效果越差。

张小珺:怎么评判数据质量?

谭捷:这个领域其实没有评判数据质量的标准。大家还是凭researcher的经验,看着数据感觉“这个数据太抖了,不够smooth(平滑)”,或者“这个数据已经采集过了”。有很多这样人为的评判标准,并没有标准化。

这也使得一个新兴产业,叫data foundry,面临一个困难:data foundry采集了很多数据,但我们并不能告诉他们采的数据好不好。

所以我们拿来用,如果效果不好,我们就会说是data没采好,他们肯定会说是你们模型没训好。这里会有一个扯皮的过程,原因就是data quality没有很好的定义。这的确是一个科研问题,现在没有很好的定义。

张小珺:如果具身智能机器人领域,只解决一个最重要的问题就能带来飞跃,你认为是数据问题?

谭捷:我觉得是数据问题。

张小珺:你怎么看王兴兴(宇树创始人兼CEO)说,大家对于数据的讨论太多了,忽略了架构本身的创新。

谭捷:我觉得架构本身的创新是重要的。Gemini Robotics 1.5,我说的motion transfer等,其中很多就是架构和算法的创新。

但是,巧妇难为无米之炊。

如果你只创新架构,也许在机器学习中会变得更加efficient(高效),但如果数据的量和coverage不够,那么泛化能力肯定不行。

06

世界模型就是Vision-Language-Vision,vision和language in,生成下一帧的图像


张小珺:国内还有一个关于模型架构的争论。一派是端到端的统一模型派,另一派是分层式。这两种技术路线最终会殊途同归吗?我刚刚听你说的感觉是会殊途同归的。

谭捷:我可以再分享另外一个故事。

虽然我说了我在Google的第一篇论文是做强化学习,但我个人并不是特别相信。虽然我在那篇论文里看到了很强的sign of life,觉得这东西可能行,但我也碰到了很多难点。

比如reward function(奖励函数)怎么调?如果training效果不好怎么办?因为那时候PPO(Proximal Policy Optimization,近端策略优化)效率非常低,所以那时候我在想有没有什么捷径?

于是我就想,要不我们把传统控制理论和强化学习结合一下?底层还是传统控制理论,但用强化学习来调一些参数。我们团队也沿着这个方案做了很长一段时间,效果也不错,因为它立竿见影。因为底层的东西已经差不多work了,强化学习可以立刻让它变得更好。但整个历史的轨迹并没有朝着我想象的方向走,而是走向了完全端到端的强化学习,就是state-in, action-out。

几年之后,这个方向的确成为了主流。

我觉得有的时候,你为了解决一些现实中的问题,或者希望在短期内取得更好的效果,你会采取一些shortcut(捷径),做一些分层的模型。但是至少从我过去的经验告诉我,也许你直接投入最终你相信的那个端到端的大模型或unified大模型,最后那个可能会胜出。

张小珺:你们现在投入了吗?

谭捷:我们现在基本上都是端到端的。除了那个短期的,给你做一个proof of concept,说ER和VLA可以interact,短期内你可以用这个模型。但同时,我们也是大量投入在端到端的unified模型上。

张小珺:VLA会是一种终极架构吗?或者VLA+RL?

谭捷:VLA是现在我觉得效果最好的模型。但大家也在讨论,language可能在描述机器人,尤其是非常复杂的行为时是不够的。因为language就像我说的,它是一种有信息损失的表达方式。

所以大家经常说,也许下一代是world model(世界模型)。因为world model生成的是visual,是下一帧。

你可以看到,比如说我在转笔的过程中,我的每个手指是怎么动的。但是假设我在转笔或者用筷子的时候,你要用语言来表达我下一步应该干什么,那是很困难的。

所以说,很多好的表达方式可能是visual的。所以world model现在在硅谷非常流行,被认为是可能下一个新的范式。

张小珺:它是替换VLA的吗?

谭捷:它不一定替换VLA,可能会跟VLA共存。可能VLA会变成……我不知道,创造一个新的名词,就是VLVA,你的vision进去,你的language进去,它可以生成下一帧的image或者vision,然后再基于这个生成下一步的action。

张小珺:世界模型跟它的关系是什么?

谭捷:世界模型其实就是Vision-Language-Vision,vision和language in,然后它可以生成下一帧的图像。

张小珺:你认可王兴兴说VLA+RL是一个相对傻瓜的架构吗?

谭捷:不傻瓜,我觉得这个做出来可厉害了。

张小珺:只是世界模型会更好。

谭捷:至少现在很大一部分研究方向是朝那边的。

张小珺:它更符合世界物理的规律。

谭捷:我同意。

还有一点,大家可能觉得VLA看上去比较傻瓜,是因为现在很多VLA的探索都比较成熟了。

你想一年以前,VLA完全不work的时候,大家还有各种各样的exploration(探索)。比如说我怎么表达action?是用action token,还是用一种action expert,还是用diffusion,还是用其他方式?

很多东西在过去一年里面慢慢地converge了,所以大家觉得可能套用一个模式就可以得到一个结果。但其实我觉得整个VLA的发展还是需要很多talent和时间。

07

如果你有灵巧手,触觉就非常重要,之所以我前面觉得触觉不重要,是受限于当时的硬件


张小珺:我们在讨论一个机器人大脑的时候,国内叫具身智能,它这个“智”的定义是什么?

谭捷:它聪明,它知道该干什么,它能够思考、决策和行动。

张小珺:它有一个非常确切的定义吗?是让它更灵活,还是让它大脑更聪明?

谭捷:两点都有,大脑小脑都有。

大脑需要有common sense,需要有解决问题的能力,需要能够根据现有状况给出一个很好的规划,这是“智”的一个体现。

在小脑方面,或者在运动控制方面,你需要能够dexterous(灵巧的),比如用五指解决很多manipulation(控制)问题;你可以用双足很敏捷地做跑跳这种运动相关的任务。所以我觉得“智”是包含大脑和小脑的。

张小珺:机器人的大脑需要增加更多的模态吗?——除了我们说的视觉、语言、动作,还需要增加触觉、力觉、嗅觉这些吗?

谭捷:这个到底应该在大脑端还是在小脑端是不一定的,但我觉得机器人的发展肯定是需要增加更多模态的。

这里有个小故事可以分享一下,是我的心路历程。

大家一直都说tactile sensing(触觉)非常重要,我也是一直相信的,因为intuitively(直觉上),你每天都有皮肤感受着触摸到的世界。

但是在Stanford有一篇论文叫Aloha,那是我第一次看到人可以通过纯视觉遥操一个Aloha机器人做非常复杂的事情,包括从皮包里拿出一张信用卡,一个非常薄的东西。

我以为这种事情只有触觉才能做成,但是Aloha的出现狠狠地打了我的脸,我意识到其实很多东西用视觉也是可以解决的。于是我hold这个belief for a while,觉得可能视觉就够了,或者说视觉可以做95%的事情,剩余5%才需要触觉。

直到最近,灵巧手开始变得越来越普及,我开始去一些地方用遥操的手段来控制灵巧手。有一个例子是用灵巧手使用剪刀。

用剪刀是一件非常简单的事情,你把手往两个环里一套就可以用。但那个时候他是没有触觉反馈的,我完全通过视觉把被控制的灵巧手往剪刀那两个环里套,然后我这边开合我的手。但因为没有触觉,我不知道什么时候开,什么时候关。因为那两个环非常大,所以有的时候你在不恰当的时间开关,手只是在两个环里面动,但并没有控制整个剪刀的开合。

这时候让我意识到,如果你有灵巧手,触觉就非常重要。

之所以我前面觉得触觉不重要,是因为它其实受限于当时的硬件。如果你只是一个夹爪,那么你可能远远地看到夹爪是开着还是关着,就能做很好的判断。但是当你有一个灵巧手,有五个手指,要做很复杂的行为和任务时,那么触觉感觉是必不可少的。

张小珺:当你觉得触觉不重要的时候,可能是当时的发展阶段还没有到。加入更多模态是必然的,只是今天觉得它不必须,是因为可能硬件水平还不够。

谭捷:对,而且我们还在解决一些非常简单的问题。

张小珺:视觉可以解决95%的问题?

谭捷:在那个夹爪时代。

张小珺:现在你觉得视觉能解决多少问题?

谭捷:现在还在夹爪时代。所以在夹爪时代,在所有夹爪能完成的任务里面,我还是觉得视觉可能可以解决95%的问题。

视觉是对于现在已有硬件最重要的模态。

张小珺:马斯克的一个观点是,Optimus系统最终将通过观看YouTube视频学习执行任务,他觉得纯视觉就ok了。你不认可他这个观点?

谭捷:我不知道马斯克的原话是不是这样,还是somehow经过了剪辑,把两句可以有非常不同含义的话贴在了一块。

机器人看YouTube视频学会任务,我觉得非常重要,这个其实印证了我前面一个观点,说你不需要遥操,需要的是video数据,因为它是一个scalable的数据。这个我完全没有任何异议,非常同意。

我以前在很多我自己的talk里也会说,希望有一天我们的机器人可以坐在电视机前看看Netflix,看看YouTube,就学会了各种技能。这个我没有任何反对意见。

但下一句话说“它可以完全通过视觉解决所有的问题”,这个我是不同意的,而且这句话跟前面一句话是没有任何关系的。因为你通过视觉学习东西和通过视觉解决问题是两个不同的问题。

张小珺:自动驾驶还是通过纯视觉在解决问题吗?

谭捷:自动驾驶是通过纯视觉在解决问题,至少Tesla选了一条纯视觉的道路。

张小珺:但你觉得机器人不行。

谭捷:对,因为manipulation是一个非常复杂的问题。

张小珺:它需要跟现实世界有反复的互动,而且每一个互动的形式可能是不一样的。

谭捷:是的。当我们说是一个通用人形机器人,它有五指灵巧手,能做人能做的所有任务的时候,那个时候触觉就必不可少。

张小珺:现在的硬件没有收敛,未来出现的硬件有没有可能不适配今天的大脑?

谭捷:这个就说明cross-embodiment(跨本体)非常重要,说明我们做的这个研究方向还是非常重要的。

但是我个人还是觉得,在未来,人形机器人会成为一个主流的形态。它不会成为唯一的形态,但一定是个主流的形态。

如果你只能bet on一种embodiment,我还是会bet on人形。

张小珺:也就是说,如果只bet一种架构,它是端到端的;如果只bet一种形态,它是人形的——不要去做那些比较现实的那种分支,因为它可能会浪费很多时间。

谭捷:这个其实有很多可以聊的地方,完全取决于你是在一个大公司做事,还是在做一个startup;也可能取决于你是在硅谷做事,还是在中国做类似的问题。

因为我觉得每个人的目标是不一样的。如果你的目标是solve AGI in the physical world(在物理世界实现AGI)——这也是我个人倾向于做的事情——那么我会非常聚焦于最终的形态是什么样子,最终的模型是什么样子,所有其他的东西可能都是distraction(干扰)。

但是如果你是一个创业公司,资本对你的生存或者盈利有期待,那么你其实很难撇开所有的,我就是不盈利,说“我要做20年以后的最终模型”。于是你可能想的是,我能够在短期内有一些落地,然后把数据飞轮转起来,慢慢地来把这个问题解决。

这个其实有一个对比,可能不一定非常恰当,就是Waymo和Tesla采取了非常不同的策略。他们都想解决自动驾驶。

Waymo是看到最后,我要L4,我要在任何地方都没有人驾驶,我连方向盘都不要。所以他做的很多决策都是为了达到L4。

但是Tesla就说,我们不急,我们反正卖车,可以从L2、L2.5一点点往上做,把数据飞轮转起来,eventually我们可能也会达到L4。所以我觉得这两条路没有对和错。

我也并不是鼓励大家一定要做端到端、一定要做人形,只是大家殊途同归,用不同的方式解决同样的问题。

张小珺:你举的这个例子非常有意思,但是今天大家会觉得特斯拉是一个更正确的道路?

谭捷:这很难评判。Waymo也有非常成功的,在旧金山或者好几个地方运营的案例。而且我觉得Waymo有一点特别伟大的地方,是他真的把驾驶员从车里拿走了。

我自己也是Tesla用户,我觉得FSD非常非常厉害,我经常用,但是这个和你有勇气把驾驶员拿走,我觉得是一个从0到1的突破。

08

一个有使命感的人,他不会容忍说“I'm on a wrong ship”


张小珺:你很有意思,你之前创过业,然后加入大公司,在大公司待了10年,为什么?你接下来的10年会愿意在大公司,还是会愿意自己创业或者加入一个创业公司?

谭捷:我觉得很多人都会有个创业梦。(笑)我本科的时候也年轻,想闯一闯,想看看这个世界什么样子,想知道创业是什么感受。

那会正好有一些朋友有一样的志向,于是我们就去创业了,非常锻炼人。我觉得不管是从技术、产品、融资,各个角度都非常锻炼人,所以我非常感激那段创业的经历。

现在我觉得在大公司是一个非常不错的选择,主要原因还是现在很多事情感觉只有在大公司能做。因为大公司有资源、有算力,聚集了一大批和你一样有着使命感、非常聪明的人。像这种大模型时代,尤其是当你的使命是solve AGI in the physical world的时候,我觉得其实并没有太多其他的选择。

张小珺:你什么时候有很深刻的这种感受?

谭捷:可能是最近几年。以前我觉得在大公司挺好的,pays well, nice environment, free food,有很多自由去explore你想做的事情。

但这一两年,当AI真的开始卷起来的时候,你也看到很多学校老师要么去创业了,要么在大公司兼职,其实他们都是需要有更多的资源、更多的算力。如果有一个大公司,他能提供给你算力资源,而且领导足够重视,大家有相同的goal,我觉得是一个非常难得的机会。

张小珺:我们刚才其实说你个人的研究主线没有说完,你在Google做了第一个强化学习的paper以后,后来的发展是什么样的?

谭捷:我做了强化学习之后,就做了很长一段时间的步态,也就是locomotion。我做了四足机器人,做到一个地步,我觉得那个领域就非常卷了。因为有了强化学习,而强化学习并不难用,其实非常好用。

这再岔开讲一下,从宏观上来讲,当一个技术越来越容易用的时候,它很快就会普及。比如步态控制,人形机器人走路,如果像我开始说的用MPC,那你需要一个PhD才能真正理解那个数学,解那个方程。那么这个算法或技术离普及就还差好远。

后来强化学习出来了,我觉得现在很多高中生都可以网上下载一个强化学习的包,比如PPO,从NVIDIA拿一个Isaac Gym,把它放在一起,train一下,deploy一下,很多高中生都能做这个事情了。于是这个东西说明马上会变得非常卷,因为很多人能够进入这个领域来做贡献。

的确,强化学习瞬间就解决了所有的locomotion问题。

同时,在未来你可以看到,prompt engineering是几乎所有人都能做的,因为是自然语言。你可以用各种方式让模型帮你做事。所以大语言模型的出现可能很快会解决很多问题,不仅是robotics,是各个行业的问题。

所以,当我会做一个阶段以后,我发觉强化学习已经普及了,不管是在美国还是在中国,大家都开始用强化学习解决机器人步态问题的时候,那时候我觉得I should move on,去解决一个更难的、还不是全民都可以解决的问题。于是那个时候我就开始做机器人大模型,也就是基础模型。那是21、22年的时候。

那个时候Google发了好几篇相关的论文:SayCan是用语言模型让机器人有了common sense,可以一步步分解一个很复杂的任务;RT-1是说我们可以用一个transformer架构吸收很多很多数据,使得它的performance越来越好;RT-2是说,我本来就有一个VLM,它经过了internet-scale data的训练,我可以加上一些action的训练,使得它可以借用所有internet上的知识来做很多事情。再到后来就是Gemini Robotics 1.5 ,有一个非常强大的基座模型Gemini。

By the way,Gemini非常非常的强大。

我们发现,如果你的基础模型非常强,那么你在加入action data的时候就不需要那么费力,而且你的泛化性等方面都会变得更好。

张小珺:我突然意识到,强调机器人基座模型独立性的人,多是创业公司,因为他们自己没有那个基座大语言模型。你们在Gemini之上,感受可能不一样。

谭捷:是的,可能根据你实际在做的事情,你的认知也会非常不一样。

比如如果我跟一年前的自己聊,或者跟很多在学校做机器人的老师、学生聊,大家会觉得泛化能力非常重要且很难做,那个叫visual generalization(视觉泛化)。当光照、布景、颜色变化的时候,机器人本来能做的事情可能突然间就做不了了。因为你可能没有收集过这类的数据。

但是因为我们训练Gemini,它有一个非常强的vision encoder(视觉编码器),那个vision encoder已经见过了全世界所有互联网上的数据(假设),我们就发觉visual generalization comes for free。我们不需要做任何的研究,它的visual generalization就已经特别好。

所以当你有一个已经非常强的基座模型,和你没有这个,或者你用一个开源模型,或者你从头开始train一个模型,我觉得大家的认知会不太一样。

张小珺:你觉得这几年Google AI或者robotics的研究文化上有没有发生过变化?

谭捷:我觉得变化还是很大的。怎么说呢,我也算元老级的员工了,9年前加入的时候,正好是这个team起步的时候。

那个时候其实非常的松散管理,每个进来的researcher都独当一面,你想做什么就做什么,大家给你足够的信任。而且人比较少,所以资源分配也不是问题。

张小珺:当时有多少人?

谭捷:我加入时可能10个人。现在150个人,就robotics。

张小珺:所以十年、九年前只有10个人在研究robotics。

谭捷:在Google Brain。而且那时候可能Google Brain也没有很大,也就几十个人。

张小珺:你会不会更怀念那个时候?

谭捷:我觉得感受是不一样的。那个时候“you can do whatever you like”,感觉是非常爽的一件事情。但同时你也发觉,你个人的impact非常有限,其实你就像一个very well-paid PhD,或者一个very well-paid assistant professor,你有一些自主权,决定要做什么研究,然后Google pays you well,但是你很难想象我能做一个惊天动地的大事情。

因为每个人都非常松散,我也很难聚一拨人大家做一个大的事情。

慢慢地,我觉得Google也意识到这一点,觉得我们不想只是有一个academic lab, but very costly。所以Google也希望你们可以有更多的人做类似的事情,非常聚焦地解决一个很大的问题。所以不管是从promotion、performance review、incentive,还是各种各样的structure上,Google想创造一个环境,使得更多的人可以一起解决更大的事情。

张小珺:它需要团队协作。

谭捷:对。到最近,你可以看Gemini Robotics,不管是第一代3月份的那个版本,那时候可能已经是120个人在author list上,这次可能有160到180个人。

就说真的是需要一个很大的团队齐心协力。

有一些人是解决infrastructure,比如data pipeline或training pipeline的问题;有些人是做research;有些人做evaluation,因为你有很多robots要并行地做测试;有些人得做data collection、做maintenance。你真的需要一个非常大的团队,非常强的算力,才能把这样一件事情做好。

张小珺:从比较分散的结构到一个能够集团军作战的结构,管理方式发生了变化吗?

谭捷:变化非常大。

张小珺:你会不适应吗?

谭捷:因为我一直在这样一个团队里,我是随着它在不断的变化,并不是说我开始在一个非常松散的团队,突然间空降到一个集团军作战的团队。如果是那样,我能够非常想象会有culture shock(文化冲突)。

但是我随着它不断变化,其实也在不断地shape这个变化,所以对我来说并没有不适应,而且我觉得这是一个好的变化。

张小珺:很多人会讨论AI的组织是要自上而下还是自下而上,你们是什么样的?

谭捷:我们是都有。

像Gemini Robotics,它更多是自上而下。你得确定一个方向、一个timeline。你想,那么多人要做实验,资源也不是无限的,你也不是有什么几百万张卡可以随便用,所以还是有很多coordination,有很多自上而下的决策。

但同时,我们除了Gemini Robotics 1.5 ,还有很多其他的research,那个是自下而上的。因为researcher都很强,他们都非常紧跟时代潮流,会想到各种各样新的方法,想做实验。他们会自下而上地和几个人一起形成一个小团队,做这种非常快速的迭代,然后fail fast。如果这东西做成了,他们会想把这东西集成到比如Gemini Robotics 1.5 里面,使得它有更大、更广的impact。

张小珺:我们今天反复在聊的那个secret sauce,就是motion transfer,它是自上而下产生的还是自下而上产生的?

谭捷:那个是自下而上产生的。我们的目标是想解决data bottleneck。细分下来会有一块,就是我需要可以train on multiple embodiment data(在多种具身数据上进行训练)。所以这个“what”是自上而下的,我们要什么。但“how”其实经常是自下而上的。

于是当很多人知道我们需要这个的时候,他们会有各种各样的想法,说我怎么做这个。然后就会有很多小团队,他们尝试不同的方法。其实很多方法都是work的,很多方法甚至是compatible的,可以像搭积木一样搭在一起。

这个motion transfer就是这样一个例子,其实有三四个不同的团队,他们有一些想法,而且这个想法是你可以全部integrate到一个系统里面的,最终造就了motion transfer。

张小珺:Google现在相信大力出奇迹吗?

谭捷:“大力”是必须的,但“大力”不是sufficient(足够)的。有necessary condition和sufficient condition,充要条件。

“大力”是必要条件,如果你不scale up,我觉得就很难有奇迹发生。但是如果你光scale up,不够聪明,没有足够的创新,光堆算力、堆data,我觉得是不够的。

张小珺:你们最卷能卷到什么程度?

谭捷:我最近回国,我知道国内很卷,所以我就想知道国内有多卷。

我发觉好像国内不一定比我卷。虽然我们team都挺卷的,我跟别人说我一周可能工作70到80个小时,感觉可能比996还要更辛苦一点。但这个在硅谷现在的AI圈子里面已经是常态了。

张小珺:大家一提到Google都会说它研究的文化很好,研究的底蕴很好。但同时,大公司也会有大公司病,你觉得现在还强吗?

谭捷:大公司病肯定是存在的。大公司在决策上要一层、一层地获得approval,在很多地方都非常conservative,总是有各种各样的PR risk,所以总体来说还是比较conservative的。

除了做研究,我还有另外一个对team负责的工作,叫research iteration speed(科研迭代速度)。就是我要保证大家想做的东西很快能做出来。但这就是要fight整个大公司病。

如果researcher说“我想要用这个data”,但大公司说“我要用这个data,需要过due diligence(尽职调查)、过legal compliance(法律合规)、过这过那”,流程非常复杂,你可能需要几周都用不上那个data。或者说“我想试一下这个新的机器人”,同样,以前在Google可能需要超过30个business days,从你表达意愿到你可以把purchase order发出去,都非常的慢。

我不得不跟很多Google内部的团队,比如legal团队、operation团队合作,跟他们说这个时代你是等不起的,你等了30天以后,那些非常有使命感的researcher都跑了。

真的,这个时代真的是等不起,不然别人都做出来了。

我觉得自上而下来看,Google DeepMind对robotics还是非常重视的,所以他们也开了很多special case,使得我们可以加速采购、实验、数据等各个方面的iteration speed。

所以我想说的是,大公司病仍然存在,但是如果你工作在一个非常重要、非常competitive的area,你还是有一定的leverage(杠杆作用)使得公司为你们团队做出一些变化。

张小珺:你们怎么考核researcher?

谭捷:这是个非常好的问题。每个公司都会有自己的标准。我们一直说impact是最重要的。impact有很多方面。

像以前Google还在发很多论文的时候,你的论文数量、质量、citation就是一个非常重要的指标。如果你论文发布的东西被集成到产品里面,这个产品所带来的价值和收益就是另外一个很重要的指标。它会有各种各样不同的axis(坐标),综合评价一个人的performance。

张小珺:你们会末位淘汰吗?

谭捷:“末位淘汰”是一个非常vague的定义。Google的performance review非常rigorous(严谨的)。对于最底下的那个bucket(分组),叫“needs improvement”,如果你的performance没有达到标准,会有一个plan,你的manager会work with you,让你能够达到标准,否则是会被淘汰的。

它可能不如有一些公司,比如说Meta,非常clear-cut,有一个比例,这个比例之下可能就被直接淘汰了。

Google可能会更耐心一点,文化也稍微好一点。因为每个人都有自己的priority,有生活中各种各样的状况,所以哪怕你在一个performance review里面表现不是很好,you will have a second chance to prove yourself(你将有第二次机会证明自己。)。

张小珺:Meta对于最近硅谷的人才流动有带来什么变化?

谭捷:变化非常大。

我觉得Meta做了好几件事情。第一,他把AI人才的价格炒高了,非常高。

AI人才是不是真的值这么多钱?我其实不知道。有很多种说法。

第一种是说这是供求导致的,所有的大公司都希望AI first,所以有大量的需求,但是AI人才的供给,尤其是最优质的AI人才供给是非常有限的。所以因为供需关系,使得价格非常高。

第二种说法是AI人才的确值这个价。因为算力非常贵,如果你把算力浪费了,那个钱也是很多的,不如花钱招一些好的人,好好利用这些算力创造价值,因为那个价值远大于这些人的cost。这是第二种说法,value is there。

还有第三种说法,就是挖这些人和买类似的公司比,挖人还是便宜的,所以这个价格还是值的。我不知道,其实很难判断是不是一个人值一亿美金,但是我觉得Meta最近的一系列操作的确扰动了整个硅谷对AI人才的价格。

张小珺:对你们是好事。

谭捷:从某种程度上是好事,因为整体水涨船高。

张小珺:但对于留住人才不是好事。

谭捷:对,作为一个manager,我经常得想,诶,他说“Meta那边给了我一个offer多少钱”,我就得想……

张小珺:你有什么招呢?

谭捷:首先看看那个价格是不是合理。如果价格不合理,或者会非常影响整个team的公平性——因为其实很难一个人比别人强特别多,当然有这种情况,但可能很多时候就是一个single case在Meta获得一个非常高的薪水——如果是这种情况,并且会影响到team的公平的话,你可能还是会从别的方式来留住这个人,而不仅仅是从薪水。

张小珺:能留住吗?

谭捷:经常是能留住的。我觉得很多人,尤其最优质的人才,那些被挖的人,他真正care的不一定是钱,他真正care的是他们相信在机器人行业很快会有一个质的、巨大的变革。

张小珺:bet Meta还是bet Google?

谭捷:Not yet。如果这个变革发生,他们希望在driver's seat。我觉得一个有使命感的人,他不会容忍说“I'm on a wrong ship”。我一定要在the right ship上。那么就是bet on Meta还是bet on Google,在哪边有更多的资源、算力、支持和talent。

张小珺:所以你经常能够留住人?

谭捷:对,我经常可以留住人。

张小珺:有失败的吗?

谭捷:当然也有失败的。

张小珺:哪个多?

谭捷:成功的更多。

张小珺:Meta为什么花这么多钱挖人?他是着急了吗?

谭捷:我觉得有很多因素。Meta的确肯定是着急的,因为整个AI行业发展如此迅速,而在过去一两年里面,Meta的模型并不在first tier了。他们肯定也希望自己的AI和大模型团队能够挤进first tier。从头培养一个大模型团队还是非常困难的,所以可能挖人是一个最直截了当的方法。

张小珺:在robotics领域华人有多少?

谭捷:还是挺多的。

我加入Google Brain Robotics的时候,好像是唯一的华人。当然那是9年以前了。这几年AI和robotics融合越来越多,AI界华人其实很多,CV界华人也是很多的。像我们team可能50-60%是华人。

张小珺:为什么华人在这一波浪潮里面这么多人?有什么背景原因吗?

谭捷:AI有很多是数学,我觉得华人数学比较好。华人特别吃苦耐劳,他们又有talent又能吃苦,所以特别容易取得成绩,这可能是主要原因。

张小珺:在AI之前,大家会说硅谷大公司里面华人做的管理层很少。你觉得AI是不是会改变这个现状?

以前也会抱怨说华人在海外不团结。

谭捷:我觉得会改变。

我在美国十五六年了,并没有感觉到华人不团结的问题。

我觉得印度人其实他是有一些优势的。我的确能很清楚地看到在美国的高层里面印度人的比例占比更高。但的确印度人的表达能力更好。

他们可能很多英语是母语,而且很多印度人,尤其是家境条件比较好的,他受到的教育在表达能力上还是要强于中国的传统教育。而且印度人可能更外向,更愿意speak up,这个在西方文化中非常重要。

张小珺:华人在这一波里面会改变这个格局?

谭捷:肯定是会改变的。华人其实更刻苦、更talented,很多华人也在不断地adapt西方的文化或游戏规则,所以我觉得毫无疑问,华人会在硅谷的大公司占据越来越重要的位置。其实有很多华人高管了。

我可以再举一个很有意思的例子。我最近招人,有一个白人,美国的PhD毕业了,他在考虑是不是要签我们。

我就跟他聊了一下,然后他就跟我说:“我真的希望你们team能多招点华人。”我说为什么?这不是非常不diverse吗?

他说他有很多华人的collaborator(合作者),他跟很多华人合作,觉得做AI、做机器人的华人非常的努力,而且非常的productive。

然后他说,他也学到一个词叫“牛马”——他说他特别喜欢自己做牛做马。(笑)

张小珺:他对这个词有什么误解?(笑)

谭捷:(笑)对,可能是。这个词在他心目中就是刻苦努力的象征。他觉得很多华人都说自己是牛马,他自己也想当牛马,所以他希望team里可以有更多的华人。

张小珺:录了没?

谭捷:录了。

09

当一个generalist真正成型,specialist很难生存


张小珺:回到机器人领域,你觉得未来5年、10年,我们可以看到什么样的世界?

谭捷:我觉得未来两三年,我们应该会看到一个就像你说的GPT时刻。在这个时刻,人们会真实地意识到“robots are coming”,general-purpose robots are coming。那时候机器人领域会更热,会有更多的钱投入。那是未来两三年。

然后我觉得未来5年之内,有泛化能力的机器人会更快落地,开始在各种产业里面发挥它的作用。在家庭里面广泛地落地需要更长的时间。

所以开始的落地可能还是偏传统领域,比如说制造、物流或者超市等等,但它也不再是以前那种自动化的、一成不变的动作,它们会有一些泛化能力,可以做更多的事情。

然后我觉得在10年的周期里面,机器人开始广泛地进入家庭,的确可以开始为人们每天的生活做出非常多的贡献。

张小珺:如果机器人拥有了智力,它到底是机器还是人?

谭捷:那人工智能是人工还是智能?这个可能不是特别重要。我觉得很多东西,它的“智力”更多只是一个统计规律上的结果。所以,至少用现在的方法做人工智能、做机器人,它可能还是更接近于机器。

张小珺:你这次回国,跟国内具身智能机器人领域的人交流,你觉得中美有什么不一样?

谭捷:我听到的是,第一点,中国的硬件发展特别快。这个我在美国也能非常明显地看到,宇树也好、智元也好,很多硬件公司像雨后春笋般地为全世界提供着便宜又优质的机器人硬件。

从AI的角度来说,我觉得中国发展也非常的快,但我也听说,中国的大环境和文化和硅谷还是不太一样的。在硅谷,大家会有一个信念,就是哪怕你并没有做出什么初期的结果,只要大家相信一个东西,还是愿意花时间、花精力、花钱上去做的。

张小珺:这个时间能有多长?十年?

谭捷:可以很长,比如十年。我听说在国内,大家会相对追求比较短期的目标,你在短期内要落地、要盈利、要看到快速不断的发展,否则的话你可能不会受到很大的重视,或者得到足够的资源。

但是我觉得,在大模型时代,你真的需要烧很多钱才能看到结果。很多时候,你要看到scaling law,比如在robotics上你需要几万小时的数据。

如果你只有几百小时的数据,其实你都无法验证scaling law。

但是很多国内的企业家、投资人也好,他们希望的是“我先给你一点点钱,你采十几个小时数据,给我看结果不错,我再给你继续投资或投算力”。但是,可能开始的初期这些钱是远远不够的。

所以说,真的有的时候在技术上需要一个信仰。我觉得马斯克是一个很好的例子。马斯克说我们要做什么的时候,绝大多数人是不信的。但好在他做成了很多事情,可能也使得在硅谷,大家愿意相信一个看上去非常ambitious、非常不着边际的信仰,大家愿意相信,愿意投钱,促成了很多硅谷让人难以想象的快速发展。

张小珺:但是也会有一种观点说,硬件的发展还是要在国内。对于你们要做机器人来说,当然你们现在做的是大脑,那如果要做机器人本体的话怎么办?

谭捷:这我同意。不考虑地缘政治关系的话,我相信肯定是中美应该更好地合作。

很多智能的发展可能在美国会有更快的发展,但是比如供应链、硬件制造、本体甚至一些控制,我觉得国内其实做得相当好了。如果中美能够有更好的合作,我觉得对全人类来说,尤其是在机器人领域,会是一个非常重要的里程碑。

张小珺:我突然在想,Google这条路可能类比于自动驾驶里的Waymo;那像国内这些公司,因为它有硬件,可以大量采集数据,它是不是更像特斯拉的路线?

谭捷:你可以这么说。

但本质的区别是特斯拉的车是有用的,所以它有数据飞轮。现在虽然中国很多企业有更好的硬件,可以采数据,但是这个硬件还没有达到一个bar,使得它是有用的,所以数据飞轮转不起来。所以你其实很难跟特斯拉类比。特斯拉解决的是一个更简单的问题。

张小珺:特斯拉有的是一个非常好的垂直场景。那你现在看到类似的垂直场景在机器人上吗?当然,自动驾驶也是一种机器人。

谭捷:我只能从我熟悉的这些创业公司来讲。比如在CorL让人非常惊艳的Dyna的demo,我觉得是一个还挺不错的垂直领域。至少在美国,人力成本比较高,不管是在收拾衣物、折餐巾,还是各种这样的垂直领域,cost还是挺大的。

而这些柔性布料的manipulation,传统来说是非常难的,因为你很难写一个controller或传统规划算法来做好它,这的确是需要AI的价值的。

所以我觉得Dyna找到了一个AI能够增加value、取代传统算法,同时那个vertical的确有一定的量和需求的交集点。总体来说,我觉得要找到那个交集还是挺难的。

张小珺:但这不是你想做的事情,对吗?

谭捷:Solve AGI in the physical world.

张小珺:Dyna现有场景,如果通用机器人大脑实现的话,会覆盖掉这个领域吗?

谭捷:会的,是的。我觉得当一个generalist真正成型的话,specialist其实很难生存。因为我一个机器人可以做你的事情,但我还可以做100个其他不同的事情。

张小珺:极端一点,你想做的事情能覆盖掉特斯拉在做的?如果通用机器人足够通用,自动驾驶这个垂类机器人是不是就失效了?

谭捷:当我有一个人形机器人,它能够像人一样或者超越人的智能,那么的确,我不需要车来自动驾驶了,我可以有个机器人来做自动驾驶。

张小珺:你相信这个吗?

谭捷:我觉得没有必要,但是可以取代。

但是你想想,未来如果你反正买一个这样的机器人,你有两种选择去买车:一个是带自动驾驶功能的,它要更贵;一个是不带自动驾驶功能的,但是你知道你家里买的那个人形机器人可以帮你做自动驾驶。

也许你就不需要再去买那个有自动驾驶功能的车了。虽然我觉得这个场景不一定会实现,就像你说的非常极端,但是当一个generalist真的进入这个世界的时候,很多specialist都很难生存。

张小珺:generalist多少年能进入世界?

谭捷:两到三年应该有足够的突破,五到十年是它能真正落地的一个时间线。

张小珺:你觉得它能有多general?能通用到所有任务吗?

谭捷:我以前在硅谷跟大家交流的时候,我说机器人的发展有这么几个阶段。

第一个阶段我叫它automation(自动化),这个已经实现了,就是你在车厂,所有东西都是机器人,但是都是编程的,固定的规则,固定的trajectory(轨迹)。

第二个我叫它teleoperated robot(远程操控机器人),就是这个机器人硬件很完善,但它没有大脑。但是你可以通过遥操的方式让它做很多事情。这个现在基本上你也可以看到,Tesla在很多场景里面它是遥操的,但你有时候分不出来它是遥操还是自主的,这说明它的机器人硬件已经非常完善了。

第三块就是它是一个generalist(通才),但它不是特别的general,它能做一个narrow domain的事情,其实self-driving就是其中一个场景。它是智能的、自动的,但是它不做所有事情。下一个就是真正的generalist,它可以开始做家庭里所有的事情。

它可能跟人一样capable,这个时候可能就是人形机器人在家庭落地的时候。

最后一个stage叫superhuman capability(超人能力)。因为强化学习,因为机器人它可能有碳基生物所没有的一些存储、power density之类的,它可能在很多领域会超越人类的智能和体能。那可能是最后一个stage。

张小珺:听说你日常生活是一个很潇洒的人,你平时会干嘛?

谭捷:我平常会干各种各样的事情,喜欢出去旅游,也比较喜欢种花。

我有时候会去练练赛车。后来发觉在真实赛道练赛车太贵了,我在家里买了一个很好的模拟器练赛车。

张小珺:那你还是work-life balance的。

谭捷:我还练钢琴。

怎么说呢,人总是需要一些爱好,总是需要一些解压的手段,否则工作压力还是很大的,工作时长也很长。所以工作之余还是会花一点时间。

我还有两个娃,他们年龄差距也特别大。大娃12岁,我可以开始教他一些编程、机器人的东西,特别有意思。然后小娃5个月,特别可爱。所以说工作之余还是有很多非常有意思的事情。

张小珺:你会在训机器人和带娃的过程中感觉到两者有什么本质的不同吗?

谭捷:非常相似。

其实娃的学习基本上就是两种学习方式,一个是强化学习,他不断探索,获得一定的reward,然后reinforce他做事情的能力;第二个是imitation,他看着爸妈做什么,看着身边的小伙伴做什么,然后慢慢学习。就这两个是非常相似的。

我经常会做一些类比,说“我们这个机器人it's like a two-year-old”。因为随着小朋友的发展,他有了视力以后开始慢慢学会抓取,然后慢慢可以坐起来,开始走路。

很多东西和AI的发展是非常相似的。只是somehow,我觉得manipulation happens earlier for kids(对于儿童来说,操作行为发生得更早),但是对于机器人来说,manipulation is way harder than locomotion(操作远比移动困难得多)。

张小珺:人类学习中的数据是什么?

谭捷:就是你视觉看到的东西,触觉摸到的东西,和你听到的东西。

我们在不断地获取数据,我们有个大脑,它可以存储很多数据,可以distill(蒸馏)这些信息,然后strengthen(强化)一些神经元之间的连接。所以整个学习过程和机器学习是非常像的。

张小珺:机器人真的到现在像几岁的小孩?

谭捷:如果是locomotion(移动)的话,那我觉得机器人已经比我强了。前不久不是北京有一个机器人运动会吗?我觉得宇树的那个人形机器人已经跑得比我快了。

但是从灵巧手的manipulation(操控)来说……先不说灵巧手,就说夹爪,我觉得它可能真的像两三岁的小孩,他抓的不是很稳,但是能够大概理解你要他干什么,follow the instruction,然后他可能尝试几次能做对,可能两岁的小孩的水平。但如果是灵巧手的话,我觉得nothing works。

张小珺:从一个完整的人来说,它像几岁?

谭捷:这是一个很奇怪的问题,因为它的走路和行动能力感觉已经超越成年人了,但它抓取和大脑的能力可能还是像一个小孩。所以我不知道你怎么average他们。

张小珺:它发展的非常不同步、不均衡。

谭捷:对,因为我觉得在这个步态行走、locomotion上,强化学习在过去五年里面基本上解决了这个问题。但是在手的控制和manipulation上,我们并没有找到一个很好的解决方案。

张小珺:当人和机器人共存的世界出现以后,你觉得人和机器人本质区别会是什么?你能接受你的小孩以后跟机器人谈恋爱吗?

谭捷:这是一个我没有仔细思考过的问题。

这个问题得仔细思考一下,我并没有一个很好的答案,说他们的区别是什么。因为这跟机器人是不是真正有意识是相关的。

张小珺:意识又是什么呢?好像也没有定义。

谭捷:对,这是一个哲学问题。

现在的机器人对我来说,只是从大数据里面找到一个统计规律。我觉得和人的意识还是非常不一样的。但是意识究竟是什么?从什么时候开始你可以判断机器人有了意识?这个我并没有更好的答案。

张小珺:机器人这个行业会不会有巨大的泡沫?

谭捷:有可能会有巨大的泡沫。这个取决于机器人到底发展有多快,这是第一点。也许在未来两年中它持续加速。

第二个是大家有没有找到落地的场景。就像大家开始找落地场景了,一年以前我觉得是不可能落地的,这种AI机器人在短期内。但现在大家似乎找到了一些可能可以落地的方向。如果这些速度持续加快,落地持续发生,可能它不是个泡沫。但是人形机器人进入他们的生活,还挺遥远。

张小珺:一个时代可能会有几个最重要的需要被定义的问题。你觉得机器人领域最重要的几个被定义的问题会是什么?

谭捷:这是个很好的问题,我真的希望机器人领域有这样的问题。但是机器人是一个非常复杂的学科,是很多一系列问题叠加而成的综合性问题,而不是说如果我解决一个问题,机器人就突然间能够work。

如果你一定要说有一个问题,那就是“如何能够获得高质量、大规模的数据”,这是可能我们现在第一个亟待解决的问题。

张小珺:最后几个快问快答。一个全球范围内你喜欢的食物?

谭捷:我有太多喜欢吃的了,我是个吃货。

硅谷在我家边上有一个叫Ping's Bistro,那家是一个云南菜。我觉得在硅谷云南菜还挺少的,所以我特别喜欢。

张小珺:一个全球范围内你喜欢的地点?

谭捷:上海。

张小珺:基于所有读过的书,推荐两本必读书。

谭捷:有一本书叫《Start with Why》,那本书彻底改变了我的communication skill。第二个叫……我记不起确切的名字了,《The 7 Habits of Highly Effective People》。

张小珺:你心目中影响机器人进程的几篇论文?

谭捷:那很多论文都是我们team的论文。像我说的,我的第一篇论文《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》是一篇非常重要的强化学习论文。后面的就是Robot Transformer系列的论文,RT-1, RT-2, RT-X,包括Gemini Robotics 1.5 ,这些都是非常重要的论文。

张小珺:基于你当下的认知,一个关键的、重要的bet是什么?

谭捷:对机器人领域重要的bet就是,你得相信synthetic data(仿真数据)的价值。光靠real data是解决不了机器人问题的。

收听播客


推荐阅读


阅读原文

跳转微信打开

自动驾驶系统的局部最优陷阱

2025年11月17日 17:13

原创 刘兰个川 2025-11-17 17:13 浙江

曾经推动进步的海量廉价数据,如今反而成了前进的桎梏。

作者:刘兰个川(Patrick Liu)

作者毕业于北京大学物理学系,目前供职于英伟达自动驾驶团队,撰稿仅代表本人立场。

01

技术演进之路


自动驾驶技术这些年的进步有目共睹。

十年前,系统主要依赖2D物体检测和语义分割来理解环境。随后,单目3D检测和车道线估计技术的出现,让系统能从单一摄像头中推断出深度与结构。发展到今天,多摄像头鸟瞰图感知技术(Multi-Camera BEV Perception)已经能将车辆周身环境融合成一个无缝的360度全景画面。

“看”得越准,便“想”得越远。

感知能力的进步也带动了预测和规划模块的发展。端到端驾驶系统应运而生,它能将视觉信号直接映射为控制指令,其驾驶表现比传统的规则系统更平滑、更自然,也更接近真人。

这一切的背后,都离不开一个核心引擎:数据飞轮。其运作流程“部署→路测→挖掘→训练→再部署”构成了一个驱动系统持续进化的强力闭环。

图:一个2019年的典型的数据飞轮,引自Andrej Karpathy的ICML主题演讲,2025年的数据飞轮没有太大变化

与学术界聚焦固定数据集的研究范式不同,工业界的逻辑是让系统能力随数据规模而生长。一旦评测发现系统的薄弱环节,便能自动挖掘海量相似场景投入训练。

对于特斯拉、理想、小鹏这类拥有庞大真实车队的公司而言,这些数据正是用户日常行驶中产生的天然副产品,收集成本极低。车队的每一公里行驶,都在为模型注入新的养分。

特斯拉将这一模式发挥到了极致:通过数百万辆行驶中的车辆,它构建了人类历史上可能规模最庞大的现实世界机器学习闭环。这一闭环或许确实能将安全水平提升至超越人类驾驶员的平均值,但其底层逻辑并未改变:系统的能力源于对大量数据的记忆,而每一个故障案例,都依然需要一个对应的数据补丁。

这个闭环设计精巧,却也隐含着它的终极和局限。

02

数据补丁的局限与出路


如果每次遇到特殊路况,第一反应都是“堆数据”,那我们打造的终究只是一套“擅长打补丁的系统”。

这类系统看似能闯过不少复杂关卡,本质上却依赖机械记忆而非真正理解,因此难以举一反三。一旦现实场景在已有数据的边缘发生细微变化,哪怕只是光照、天气或道路布局的差异,模型就可能再度失灵——它们是训练出来的“场景专家”,却成不了灵活应变的“通用司机”。

随着自动驾驶的运营设计域(ODD)不断拓宽,需要修补的漏洞数量几乎呈指数级增长。孟买的复杂换道、柏林的高速汇入、东京的窄路调头……每个问题都要经历独立的数据采集、标注和模型迭代。系统规模确实在变大,但我们“打补丁”的速度却远远跟不上新问题出现的节奏。

更严峻的是,容易解决的场景逐渐被覆盖殆尽,剩下的往往是数据稀缺、逻辑复杂的“硬骨头”,收集成本急剧上升,最终导致系统性能陷入平台期。

曾经推动进步的海量廉价数据,如今反而成了前进的桎梏。

当前的自动驾驶系统,本质上是一本写满“如果-那么”规则的电子操作手册。在熟悉的场景中它们游刃有余,一旦跨出已知边界就显得力不从心。

它们精于重复,却弱于泛化。现有技术路线基于一个美好却脆弱的前提:所有问题都能通过“投喂”更多数据,在有限时间内解决。然而,当系统面对那些真正罕见、完全超出其训练经验的“黑天鹅”事件时,这条路径便走到了尽头。

要实现真正的全自动驾驶,我们必须转向构建具备通用法则理解能力的系统。这样的系统能够推理他车意图、洞悉因果链条、理解物理约束与社会惯例,从而突破数据本身的局限。唯有掌握这种“举一反三”的认知能力,才能系统性地解决长尾难题。

操作手册式的系统注定无法规模化,“场景专家”也永远走不出舒适区。这正是自动驾驶技术面临的局部最优困境:

我们在一条看似正确的道路上不断前进,却最终抵达了一座无法逾越的高墙之下。

03

机器人学的逆境启示


自动驾驶领域一直享受着廉价数据的“红利”,机器人学却长期面临着“数据饥荒”的考验。

正如英伟达GEAR团队负责人Jim Fan在近期演讲中指出的,如果说互联网规模的文本是大语言模型赖以发展的“化石燃料”,那么机器人学几乎是在“无米之炊”的困境中前行。这个领域依赖的是珍贵的“人力燃料”——需要专家进行繁琐的遥控操作,而机器人本身能够自主工作的时长又极为有限。

面对这种先天不足,机器人学家们被迫在算法层面寻找突破口。他们打造的模型必须具备“小样本学习”的能力:既要能消化多种传感器传来的异构信息,又要能进行跨模态的推理,还要善于从有限的真实数据中提炼出普适的规律。

这种严苛的要求,反而催生了视觉-语言-动作模型(VLA)的突破。VLA模型的精妙之处在于,它既继承了互联网预训练赋予的常识推理能力,又能将这些知识与真实的传感器观测相结合,最终转化为精准的底层控制指令。在这个过程中,语言充当了“思维链条”的角色,让机器人在行动之前能够进行必要的逻辑推演。

颇具讽刺意味的是,正是这种数据的极度稀缺,反而锻造了机器人学独特的竞争优势——在有限信息中提炼智慧的能力。当自动驾驶还在依赖数据量的堆砌时,机器人学已经走上了一条更具普适性的道路。

04

语言智能体的启示


在数字世界的另一端,语言智能体正以另一种形态快速发展。虽然它们没有物理实体,无法像自动驾驶汽车或机器人那样直接与环境交互,但它们的演进轨迹同样为我们提供了宝贵镜鉴。语言模型预训练的成功经验揭示了一个关键认知:构建真正可用的智能体是一项系统工程,其复杂程度远超训练单个模型。

CoALA框架集成了数十年认知系统研究的精华,并针对大语言模型时代进行了重新设计。这个框架清晰地勾勒出智能体的核心架构:长期记忆、工作记忆与外部环境构成的三位一体。在这个体系下,智能体通过感知获取环境信息,借助检索或推理整合知识,基于内在的决策逻辑做出判断,最终通过行动改变环境或更新自身的记忆体系。

图:语言智能体的架构图,引自Cognitive Architecture of Language Agents论文

值得深思的是,无论是模块化设计的传统自动驾驶栈,还是端到端的新一代系统,都可以纳入这个统一框架来分析。它们确实具备了智能体的基本构件——感知、记忆、决策、执行,但仔细审视就会发现一个关键缺陷:深度推理能力的缺失。

这种对比直指问题的核心:当我们在自动驾驶系统中不断追求更高的感知精度、更大的记忆容量、更优的决策规则时,是否忽略了最根本的认知能力——推理?

语言智能体的发展路径给我们敲响了警钟:真正的智能不仅在于知道“是什么”,更在于理解“为什么”。

图:各类语言智能体和自动驾驶系统的对比,扩展自Cognitive Architecture of Language Agents论文

05

自动驾驶2.0到3.0:范式跃迁


业界常将端到端的“学习型驾驶”范式称为自动驾驶2.0,其核心理念是从海量数据中直接学习驾驶能力。它用一个能够将像素直接映射为控制信号的神经网络,取代了自动驾驶1.0时代需要手工构建的感知、预测和规划等独立模块。

英伟达是这条技术路径的早期开拓者,而特斯拉的FSD系统也遵循着相似的逻辑:不依赖人工设定的明确规则,而是通过不断积累的数据和持续的模型迭代,实现系统能力的渐进式提升。

尽管这种方法取得了令人瞩目的进展,但其发展瓶颈也已显现。当系统面对训练数据中罕见或完全未见的场景时,往往表现得束手无策。究其根源:自动驾驶2.0本质上是数据驱动,而非推理驱动。

要突破这一局限,我们必须转向以推理为核心的新架构。

这个即将到来的新阶段——自动驾驶3.0,旨在打造这样的系统:它不仅能够从历史数据中学习,更能在实际运行中进行逻辑推断、提出合理假设,并动态调整自身行为。

06

自动驾驶3.0的四大支柱


  • 推理能力

推理的实质是在运行过程中动态创造新知识,这是一种基于理解的推断能力,而非简单的模式匹配。它使系统能够建立假设、推演不同方案的可能结果,并在信息不完备的情况下做出符合因果关系的决策。

即使在那些不需要复杂推理的场景中,这种能力也能显著提高数据的利用效率,降低对大规模重复训练的依赖。

  • 常识性认知

一个具备推理能力的智能系统,必须掌握人类在日常生活中积累的那些不言自明的知识——我们称之为常识。它需要懂得“雨天路滑应提前减速”、“行人徘徊在斑马线旁可能准备过马路”,以及“车辆在出口车道减速很可能是要驶离高速”。

  • 长时程记忆

真实的驾驶决策建立在数分钟的时间维度上,而非单个瞬间。

一个合格的驾驶系统必须能够记住刚刚发生的事件(比如前方道路突然封闭,或者旁边车辆强行并线),并据此调整后续的驾驶策略。这就要求系统具备持续存在的长时程记忆,能够在整个行驶过程中保持对环境和决策上下文的理解。

  • 解释与交互

自动驾驶绝不能停留在“黑箱”状态。为了赢得用户信任,系统必须能够解释自己的行为逻辑(例如,“我减速是因为检测到前车刹车灯亮起”),同时理解人类的自然指令(比如,“在下一个路口的咖啡店停车”)。解释能力建立透明与信任,交互能力则让机器智能真正为人所用。

07

从代码,到数据,再到推理


自动驾驶的决策体系的演进经历了三个鲜明的阶段:

  • 自动驾驶1.0是代码优先:这一阶段的决策逻辑完全由工程师手动编写——成千上万行的“如果-那么”规则、启发式判断与优化算法,构成了系统的“大脑”。虽然能在特定场景下有效运转,但整体系统脆弱且僵硬。

  • 自动驾驶2.0转向数据优先:基于庞大车队收集的真实驾驶数据所训练的端到端模型,逐步接管了各个驾驶模块。系统驾驶风格因此变得更平滑、更类人,但其智能本质上仍是对所见数据的“高级模仿”,难以超越训练集的范围。

  • 自动驾驶3.0将是推理优先:模型不再仅仅记忆数据,而是开始内化驾驶规则、理解事件间的因果关系,并有效利用记忆进行思考。这将赋予系统真正的“外推”能力——即使面对从未见过的场景,也能基于理解做出合理的决策。

如果说2.0的精髓是“熟能生巧”,那么3.0的目标就是“融会贯通”。

这一范式转变已初现端倪。英伟达在2025年10月发布的Alpamayo-R1模型,便将显式的因果推理与轨迹规划整合进一个统一的VLA架构中。无独有偶,特斯拉在ICCV 2025及近期财报会上也明确表示,其下一代FSD系统将是一个端到端且推理增强的驾驶智能体。

这些不约而同的战略转向,昭示着一个新共识:自动驾驶的未来,正从“用数据打补丁”迈向“用推理求突破”。

08

为什么语言至关重要


虽然推理能力本身不局限于语言,但在现有的所有信息模态中,语言无疑是技术最成熟、控制最精准、且扩展性最强的载体。大语言模型的出现,已经将语言从单纯的交流工具,升维为一个支撑智能的基础设施——这套设施已经初步具备了实现自动驾驶3.0所需的核心能力。

  • 推理:大语言模型是第一批展现出“涌现”推理能力的人工智能系统。尽管多模态推理的研究日新月异,语言在其中依然扮演着不可替代的“思维骨架”角色。

  • 常识:语言是我们通往人类集体智慧最宽广的桥梁。大语言模型是目前唯一能成功从互联网级别的数据中,有效提炼出人类常识的知识蒸馏系统。相比之下,视觉等模态的预训练至今仍面临“能识别,难理解”的瓶颈。

  • 记忆:语言天然是经验的容器。瞬息万变的驾驶体验,可以通过语言被凝结成一段段可追溯、可解读的“叙事日志”。系统能够随时调阅这些持续滚动的上下文,就像现代智能体框架(如LangGraph)通过分层摘要和检索来高效管理记忆一样。

  • 解释与交互:语言生来就具备可解释的基因。一个统一的语言接口,就能完成决策解释、指令遵从、意图对齐等一系列关键任务,让机器与人的协作变得自然流畅。

语言或许不是自动驾驶的“终极答案”,但它无疑是当下最可行的路径。它为我们搭建并验证“推理优先”的系统架构,提供了一条清晰且坚实的工程栈道。

人类语言并非偶然的造物,而是数百万年认知进化锤炼出的工具。正如研究员姚顺雨所言:“语言是人类为了泛化而发明的工具。”

在大语言模型的推动下,它已成为我们构建认知系统最得力的接口。即便未来具身AGI会引入新的交互模态,语言也仍将作为智能的核心骨架,是所有理解得以构建、分享与传承的基础。

09

认清语言的边界


当然,语言并非自动驾驶的万能钥匙。它善于处理高层决策,例如规避高风险行为(如快速变道加塞、跟车太近不刹车),也能理解复杂的长尾场景(道路封锁、临时标志)。

然而,语言模型难以解决细微的运动控制控制问题,比如在湿滑路面上精确控制刹车,或在急弯中规划最优轨迹。这类问题仍需在自动驾驶2.0的框架下,通过高质量的数据驱动方法来解决。

一言以蔽之:我们必须在2.0的层面上把“车开稳”,才能在3.0的层面上让“车开好”。

10

跳出局部最优


到了“推理时代”,我们需要的数据也变了。不再是同一种情况的无限重复,而是富含推理过程的数据:

  • 决策背后的思考链条:不仅记录行为,更要捕捉人类做出该决策的完整推理过程;

  • 语言引导的示范教学:通过自然语言指令,演示如何在不同情境中分析、判断与执行;

  • 反事实推演训练:系统性地探讨“如果当时选择另一条路径,结果会怎样”的假设性问题;

  • 长程记忆的构建与使用:模拟人类在持续行驶过程中对关键信息的记忆、提取与运用。

这意味着,我们的核心任务从标注“发生了什么”,转变为解读“为何这样发生”。

如果你也身处自动驾驶或具身智能领域,现在也许是时候审视自己的技术路线了:

  • 我们是否陷入了“用数据解决数据问题”的循环?

  • 系统的“情境记忆”能持续多久?它以何种方式影响后续决策?

  • 假如我们停止无休止的数据修补,转向构建真正的推理能力,整个系统会发生怎样的质变?

自动驾驶的下一轮突破,不会来自又一个更大的数据集。现在,或许正是我们共同跳出这个舒适区的时刻。

致谢

感谢与赵京伟(小米)、陈龙(前Wayve,现小米)、詹锟(理想汽车)和José Álvarez(英伟达)的深入交流,他们的见解为本文提供了重要启发。

参考资料

    The Physical Turing Test: Jim Fan on Nvidia's Roadmap for Embodied AI

    张小珺Jùn|商业访谈录: 对OpenAI姚顺雨3小时访谈:6年Agent研究、人与系统、吞噬的边界、既单极又多元的世界

    Ilya Sutskever full talk at NeurIPS 2024 Vancouver 15/12/2024

    Cognitive Architectures for Language Agents

    ReAct: Synergizing Reasoning and Acting in Language Models, ICLR 2023

    RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

    A Crash Course of Planning for Perception Engineers in Autonomous Driving

    End to End Learning for Self-Driving Cars, Nvidia

    Reimagining an autonomous vehicle, Wayve

    Memory Overview, LangChain

    A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains

    Workshop on Knowledge-Intensive Multimodal Reasoning, ICCV 2025

    Thinking with Images for Multimodal Reasoning: Foundations, Methods, and Future Frontiers

    Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail, Nvidia

    Tesla's approach to Autonomy, ICCV 2025

    Tesla Q3 2025 Financial Results and Q&A Webcast

    附录

    长期记忆:智能驾驶的认知基石


    缺乏持续的记忆,任何复杂的推理都难以立足。

    让我分享一个亲身经历。在硅谷的一个夜晚,我与同事驱车返回公司时,发现主干道因夜间施工全部封闭。更麻烦的是,导航应用因数据更新延迟,提供的绕行路线完全无法通行。

    我们连续尝试了两条备选路线,都在施工路障前被迫折返。最终的成功来自记忆与实时推理的协同作用:我们需要准确记住已经证实不可通行的路口,同时根据实时观察到的路况,动态优化新的行驶路径。经过十分钟的第三次尝试,我们终于找到了有效的绕行方案。

    这正是人类驾驶员的优势所在:我们的决策建立在分钟级别的时间维度上,而非秒级的瞬时反应。我们能够构建并维护一个动态的“认知地图”,记住过去的经验教训,并用于指导未来的决策。

    而这一点,恰恰是当前自动驾驶系统的核心短板。

    主流系统普遍缺乏持续数分钟的上下文记忆能力。它们为每个瞬间独立做出判断,导致容易在相同的困境中重复失败。这正是传统“数据补丁”方法无法解决的根本问题——你不可能为所有依赖记忆和情境理解的动态场景预先准备训练数据。

    解决方案或许在于语言的力量。设想一下,如果系统能够将感知到的事件(比如“Oak路口封闭”、“El Camino绕行失败”)实时转化为简洁的语言记录,形成连续的“航行日志”。那么,决策系统就获得了一个稳定、可检索、可推理的“记忆基座”。

    这也揭示了全自动驾驶与通用人工智能之间的内在联系。要想在任何环境下实现人类水平的驾驶能力,系统必须掌握抽象思考、长期规划、持续记忆和社会化推理——这些能力的有机结合,在功能层面已经趋近于AGI的核心特征。

    推荐阅读


    阅读原文

    跳转微信打开

    ❌