铃阅时讯
❌

阅读视图

Palantir的成功难以复制:这五大核心依赖条件,你有吗?

原创 风叔 2026-03-16 20:02 上海

以本体论为底层核心思想,构建差异化壁垒;以四大平台为核心的完整产品体系,提供坚实工具支撑;以CEO工程为突破口,锁定超高客单价;以全球顶尖的FDE团队,确保方案落地交付;以硅谷顶级大佬组成的创始团队,提供长期资源与资金背书。

如果要评选近三年全球科技圈最逆袭的公司,Palantir绝对稳居前列。2023年之前,它还被贴上长期亏损、小众政府承包商的标签,股价长期在个位数徘徊;但短短两年时间,它实现了史诗级爆发——2025年股价涨幅逾10倍,市值突破3000亿美元,跻身美国市值前20的科技公司行列。营收同样亮眼,2025财年达44.75亿美元,同比激增56%,其中美国商业部门收入猛增109%;全球客户数突破950家,较上年增长34%,而收入增速远超客户数增速,彰显单客户价值的大幅提升。

从默默无闻到万人追捧,Palantir的崛起令人惊叹。很多人将其归功于AI浪潮的风口,但真正的答案远比踩中风口更深刻。为什么偏偏是Palantir,能在数据杂乱、需求复杂的政府与大型企业市场中脱颖而出?

答案藏在它五大核心依赖条件的协同发力中:以本体论(Ontology)为底层核心思想,构建差异化壁垒;以四大平台为核心的完整产品体系,提供坚实工具支撑;以“CEO工程”为突破口,锁定超高客单价;以全球顶尖的FDE团队,确保方案落地交付;以硅谷顶级大佬组成的创始团队,提供长期资源与资金背书。

这五大条件环环相扣、缺一不可,共同铸就了Palantir的成功。

一、核心基石:以本体论(Ontology)重构数据价值,打破传统数字化困局

Palantir成功的最根本前提,是它跳出了传统数字化软件的思维定式,将本体论这一源于哲学和计算机知识表示理论的概念,转化为可落地的企业级解决方案核心,成为其区别于所有同行的压舱石。

Palantir语境下的本体论,不是晦涩的哲学概念,而是为企业构建一套数据世界的语法规则——它不只是简单整合数据,而是定义数据背后的“事物是什么”(语义层)、“可以做什么”(动力层),以及“如何智能决策”(动态层),本质是打造企业的数字孪生+决策中枢,让分散在各个部门、格式杂乱的数据,形成有逻辑、可联动、能决策的有机整体,让AI和人类都能读懂数据背后的业务关联。

它的核心作用,是解决传统数字化最大的痛点:数据孤岛与决策脱节。过去几十年,企业数字化的思路都是按部门、按功能建系统——财务有ERP、人力有HRM、生产有MES系统,每个系统都囤积着大量数据,但这些数据彼此孤立,就像一个个信息黑盒,无法联动分析,更无法支撑企业级的复杂决策。

本体论与传统数字化软件的构建思路,有着本质区别:

传统数字化软件:“你给我什么数据,我就处理什么数据”,只关注数据本身,不关注数据之间的业务关联;比如财务系统只记录订单金额,生产系统只记录生产进度,两者互不联通,无法回答“订单延迟会导致多少财务损失”这类核心问题。

Palantir的本体论:“我先定义你的业务逻辑,再整合所有数据”,关注数据背后的业务关系;它会先梳理清楚“订单-生产-供应链-客户-财务”的全链路关联,再将各个系统的数据嵌入这套逻辑中,从而实现牵一发而动全身的联动分析与决策。

更关键的是,很多传统软件解决不了的复杂问题,只有本体论才能破局,这一点在真实案例中体现得淋漓尽致。

案例一,Tampa General医院面临患者安置效率低下的问题,传统医院管理软件只能分别统计床位、医护人员、患者病情等数据,无法实现三者的动态匹配,导致患者平均安置时间过长。而Palantir基于本体论,构建了涵盖“患者病情-床位资源-医护配置”的全关联模型,明确了各类患者与床位、医护的匹配规则,最终将患者安置时间减少83%,大幅提升了医院运营效率。

案例二,Lear公司作为全球知名汽车零部件制造商,拥有复杂的供应链和生产体系,传统ERP系统无法联动生产、采购、物流等环节的数据,难以定位成本浪费的核心节点。Palantir通过本体论,将生产损耗、原材料价格、物流时效等数据纳入统一的业务逻辑中,精准识别出供应链中的冗余环节,仅2025年上半年就为Lear公司节省了3000多万美元成本。

这些案例的核心的共性的是:传统软件只能处理数据,而本体论能理解业务。它让数据从孤立的数字变成有逻辑的资产,这也是Palantir能切入政府、大型企业核心场景的根本原因。

二、工具支撑:完整的产品体系,将多年实践转化为可复用的积木

本体论是核心思想,但思想的落地,离不开一套强大、完整的产品体系。Palantir的成功,绝非靠单一技术或产品,而是将过去20多年在政府、军事、企业场景中积累的最佳实践,全部整合进标准化的产品工具中,形成了“四大核心平台+N个应用工具”的完整生态,就像一套功能强大的积木,能根据不同客户的复杂业务需求,快速组合出定制化解决方案。

这套产品体系的核心是四大平台,它们各司其职、协同联动,覆盖了从数据整合、部署管控到AI决策的全流程,再搭配应用层工具,形成了无死角的解决方案能力:

  1. Gotham(哥谭):面向政府与国防客户的核心平台,也是Palantir的起家产品。它诞生于2008年,专为情报分析、国家安全等场景设计,能够整合海量异构情报数据(如电文、卫星图、人员信息等),基于本体论构建关联模型,帮助用户快速识别隐藏的规律和风险。最著名的案例,就是协助美国军方整合300万份电文、17万张卫星图,将72小时的资金流追踪压缩到12分钟,为锁定本·拉登藏身之处提供了关键支撑,如今已服务于五角大楼、CIA、FBI等全球多个国家的政府机构,仅Maven系统就服务了2万多名军事用户。

  2. Foundry(铸造厂):面向企业客户的核心平台,聚焦企业数据运营与业务优化。它能整合企业内部所有部门的异构数据(ERP、MES、CRM等),基于本体论构建统一的数据语义层,让企业员工无需技术背景,就能通过简单操作实现数据联动分析、业务流程优化。无论是制造业的供应链管控、金融业的风险排查,还是零售业的用户画像,Foundry都能快速适配,是Palantir开拓商业市场的主力军,也是2025年美国商业收入爆发的核心支撑。

  3. Apollo(阿波罗):负责所有产品的部署、管控与更新,是Palantir产品体系的运维中枢。它解决了大型企业和政府机构的核心痛点——多场景、多终端的统一部署与安全管控。通过Apollo,客户可以在本地、云端、混合环境中快速部署Palantir的所有产品,同时实现权限管控、版本更新、安全审计等功能,确保数据安全与系统稳定,大幅降低了客户的运维成本和使用门槛。

  4. AIP(人工智能平台):Palantir的AI赋能核心,也是近几年爆发增长的关键引擎。它将大语言模型与本体论深度结合,打造了“AI+业务”的闭环能力。AIP的核心价值,是让不懂技术的业务人员也能使用AI做决策,比如企业高管可以通过自然语言提问“为什么上一季度欧洲区利润率下降”,AIP能快速联动所有相关数据,追溯到具体原因,彻底打破了AI与业务之间的壁垒。

除了四大核心平台,Palantir还提供了map(地图可视化工具,用于地理空间数据展示与分析)、contour(数据分析可视化工具,用于快速生成报表、呈现分析结果)等多种应用层工具,这些工具就像积木的配件,与四大平台协同,能够快速适配不同行业、不同客户的复杂业务需求——无论是政府的反恐情报分析,还是企业的供应链优化,都能通过这套积木快速搭建解决方案,既保证了标准化产品的高效性,又兼顾了定制化需求的灵活性。

三、增长引擎:自上而下的CEO工程,直击核心决策层,锁定超高客单价

有了核心思想和产品工具,如何将它们卖给最有决策权、最愿意付费的客户?Palantir给出的答案,是一套颠覆传统企业软件销售模式的策略——自上而下的CEO工程,这也是它能实现超高客单价、快速盈利的关键原因。

传统企业软件的销售模式,都是自下而上:先对接企业的IT部门或业务部门,演示产品功能,逐步推进试点,再争取高层审批,这种模式周期长、决策慢,而且容易因为部门利益、预算限制而失败,客单价也普遍偏低。

而Palantir反其道而行之,采用自上而下的策略:不对接基层部门,直接对接客户的CEO、董事会等核心决策层,聚焦解决CEO最关心的核心问题——增长、风险、效率,用业务价值打动决策层,而非用产品功能说服基层,这种模式不仅缩短了销售周期,更直接锁定了超高客单价。

Palantir的客单价有多高?数据最有说服力:2024年,其平均每客户收入约580万美元;而顶级客户的价值更惊人,前20大客户年均贡献超5000万美元收入。2025年,仅第四季度就签下18笔千万美元以上大单,全年签约总合同价值达42.62亿美元,同比增长138%。能实现这样的超高客单价,核心在于它精准抓住了CEO的核心痛点——对于大型企业和政府机构而言,解决核心问题的价值,远高于节省成本,而Palantir的方案,恰恰能解决那些其他软件解决不了的核心难题。

而CEO工程的关键落地载体,就是Palantir独创的workshop模式,这也是它打动CEO的核心手段。这种workshop不是传统的产品演示,而是一场价值验证会,流程简单但极具冲击力:

  1. 前期调研:提前深入了解客户的核心痛点,比如CEO关心的“供应链风险管控”、“营收增长乏力”等,收集客户的核心数据;

  2. 现场实操:邀请客户的CEO、核心高管参与,Palantir团队现场将客户的数据导入自己的产品体系,基于本体论构建分析模型,实时演示如何解决客户的核心痛点。比如,当场展示如何通过数据联动快速识别供应链中的风险节点、如何通过AI决策优化企业的资源配置,提升营收。

  3. 价值承诺:现场给出可量化的价值预期,比如“通过我们的方案,预计能帮你降低20%的供应链成本,缩短30%的决策周期”,用眼见为实的效果,直接打动CEO。

最典型的案例,就是一家医疗设备制造商,在参加Palantir的AIP工作坊后,亲眼看到了产品解决自身业务痛点的能力,短短5个月内就将年度合同价值扩大了8倍以上。这种眼见为实的模式,彻底改变了企业软件的销售周期,也让Palantir能够快速获得CEO的认可,签下长期、高溢价的合同——毕竟,对于CEO而言,只要能解决核心问题,高单价从来都不是障碍。

四、落地保障:全球顶尖的FDE,一个人顶一个交付团队

如果说本体论是核心、产品体系是工具、CEO工程是渠道,那么FDE(Forward Deployed Engineer,前沿部署工程师)就是Palantir成功的最后一公里保障。Palantir的方案再先进、产品再强大,若无法落地到客户的实际业务中,一切都是空谈。而FDE,就是确保方案落地、实现客户价值的核心力量,也是Palantir最独特、最难复制的竞争力之一。

先明确,FDE不是普通的工程师,也不是传统的实施顾问,而是“技术+业务+沟通”的复合型顶尖人才,他们的核心角色,是Palantir产品与客户业务之间的桥梁。FDE长期驻扎在客户现场,深度理解客户的业务逻辑,将Palantir的产品体系,精准适配到客户的实际业务中,解决落地过程中的所有问题,确保方案能真正产生价值。

Palantir的FDE,堪称全球最顶尖的工程师天团,其招聘标准之高,堪比谷歌、Facebook:

  1. 学历与专业:优先录取MIT、斯坦福、哈佛等顶尖名校的计算机、数学、工程类专业毕业生,不仅要求具备扎实的编程、数据分析能力,还要有一定的业务理解能力;

  2. 综合能力:既要懂技术(能快速调试产品、定制化开发),又要懂业务(能快速吃透客户的业务逻辑、痛点需求),还要懂沟通(能与客户的CEO、基层员工等不同层级的人高效对接);

  3. 抗压与适应能力:需要长期出差、驻扎在客户现场,面对复杂、多变的业务需求,能快速响应、高效解决问题,甚至需要一个人应对多个复杂任务。

据Palantir内部资料显示,早期负责技术招聘的联合创始人Stephen Cohen,曾面试过4500多名候选人,只为维持FDE团队的顶级水准。能在Google或Facebook工作的顶级软件工程师,才有可能进入FDE团队。

而FDE在客户现场的交付模式,更是体现了“一个人顶一个团队”的核心价值。传统软件公司的交付,往往需要一个庞大的团队:技术工程师负责调试产品、开发定制功能,业务顾问负责对接需求、梳理逻辑,项目经理负责协调进度、对接客户,分工明确但效率低下,而且容易出现技术与业务脱节的问题。

但Palantir的FDE,一个人就能完成这所有工作:

  1. 需求对接:直接与客户的核心决策层、业务负责人对接,精准捕捉客户的核心痛点和需求,无需中间环节;

  2. 方案适配:基于客户需求,利用Palantir的产品体系,快速搭建定制化解决方案,甚至进行简单的定制化开发,确保方案贴合客户业务;

  3. 落地实施:负责产品的部署、调试、员工培训,解决落地过程中的所有技术和业务问题;

  4. 价值迭代:长期驻扎客户现场,跟踪方案的使用效果,根据客户业务变化,持续优化方案,确保方案能持续为客户创造价值。

举个例子,某大型制造业客户引入Palantir的Foundry平台,负责对接的FDE,仅用1个月时间,就吃透了客户的供应链、生产、财务全流程业务逻辑,完成了产品部署、数据整合、定制化适配,还培训了客户的核心员工。后续又根据客户的业务调整,持续优化方案,最终帮助客户降低了25%的生产损耗。这样的效率,是传统交付团队无法企及的。

可以说,FDE是Palantir-CEO工程的核心落地保障:CEO签下高溢价合同后,FDE能确保方案真正落地,实现承诺的价值,从而形成“签约-落地-复购”的良性循环,这也是Palantir净留存率能达到139%、远超行业平均水平的核心原因之一。

五、底层支撑:硅谷顶级大佬背书,忍受长期亏损,筑牢发展根基

前面四大依赖条件,看似独立,实则都离不开一个核心支撑——Palantir的创始团队,以及背后的硅谷顶级大佬资源。如果没有这些大佬的支持,Palantir可能早在多年的亏损中倒闭,更无法搭建起本体论、产品体系、FDE团队这样的核心竞争力。

Palantir的创始团队,堪称硅谷梦之队,核心成员均来自PayPal、斯坦福等顶级圈层,拥有强大的政府、企业资源和资金实力,这也是它能长期坚持、稳步发展的根本:

  1. 核心创始人:Peter Thiel(彼得·蒂尔),硅谷传奇投资人、PayPal联合创始人,也是Palantir的主要资金支持者和资源背书人。Peter Thiel不仅为Palantir提供了早期的启动资金,还凭借自己在硅谷、美国政府的深厚人脉,为Palantir对接了大量核心客户——包括CIA(美国中央情报局),这也是Palantir的第一个客户

  2. CEO:Alex Karp(亚历克斯·卡普),拥有哲学博士学位,与Peter Thiel是斯坦福同学,他的核心作用,是坚守Palantir的技术路线,拒绝短期利益诱惑。在Palantir成立后的前15年,公司长期处于亏损状态,很多投资人都劝Peter Thiel放弃,但Alex Karp坚持深耕本体论和复杂场景解决方案,拒绝为了短期盈利而降低产品标准、放弃核心技术,这种长期主义,正是Palantir能积累核心竞争力的关键。

  3. 其他核心成员:包括Joe Lonsdale(LinkedIn联合创始人)、Stephen Cohen(斯坦福人工智能领域专家)、Nathan Gettings(PayPal前工程师,负责开发反欺诈系统),这些人不仅具备顶尖的技术和商业能力,还能为Palantir对接更多的资源和人才,比如FDE团队的搭建,就离不开Stephen Cohen的严格筛选和人才背书。

这些硅谷顶级大佬的核心价值,不仅在于提供资金和资源,更在于忍受长期亏损,坚持长期主义。Palantir从2003年成立,到2023年才实现持续盈利,中间经历了近20年的亏损,累计亏损金额超过数十亿美元。如果是普通公司,早就因为资金链断裂而倒闭,但Palantir凭借创始团队的资金支持和资源背书,不仅熬过了长期亏损期,还持续投入研发,搭建了本体论核心、完整的产品体系和顶级的FDE团队。

更重要的是,创始团队的背景,为Palantir的CEO工程提供了天然的信任背书。当Palantir的销售团队对接客户CEO时,“Peter Thiel创立”、“服务于CIA”这些标签,本身就自带高端、可靠的属性,能快速获得CEO的信任,降低销售难度。毕竟,对于大型企业和政府机构而言,选择一个有顶级大佬背书、长期深耕核心技术的公司,远比选择一个追求短期利益的小公司更靠谱。

最终总结:Palantir的成功,是体系化能力的协同胜利

回顾Palantir的成功之路,我们会发现,它的崛起从来不是单一因素的作用,而是五大核心依赖条件环环相扣、协同发力的结果,形成了一个“底层支撑-核心思想-工具支撑-增长引擎-落地保障”的完整闭环,这也是它难以被复制的核心护城河。

硅谷顶级大佬组成的创始团队,是这个闭环的底层支撑——它确保了Palantir能忍受长期亏损,持续投入研发,同时对接核心客户资源,为CEO工程奠定信任基础,拿到超高溢价的项目;

以本体论为核心思想,是这个闭环的灵魂——它打破了传统数字化软件的思维困局,构建了与微软、谷歌等科技巨头的差异化优势,让Palantir能切入其他软件解决不了的复杂场景,成为客户的刚需选择;

而自上而下的CEO工程,则是这个闭环的增长引擎——它精准对接核心决策层,锁定超高客单价,让Palantir的核心竞争力,快速转化为营收和利润,实现爆发式增长;

全球顶尖的FDE团队,是这个闭环的落地保障——它确保了CEO工程签下的高溢价项目,能真正落地到客户的业务中,实现承诺的价值,形成“签约-落地-复购”的良性循环;

完整的产品体系,是这个闭环的工具库——它将多年的实践经验转化为标准化、可复用的产品,为FDE团队提供了强大的支撑,让FDE能快速搭建定制化解决方案,提升交付效率。

说到底,Palantir的成功,不是因为它踩中了AI的风口,而是因为它在风口来临之前,用近20年的时间,默默搭建起了一套“思想-产品-渠道-交付-资源”的完整体系。真正的科技巨头,从来不是靠短期风口崛起,而是靠长期主义的深耕,靠体系化能力的构建。

这才是Palantir留给所有科技公司的最宝贵的启示。

跳转微信打开

  •  

独家对话谢赛宁:逃出硅谷!

原创 张小珺 2026-03-16 12:09 北京

作者:张小珺

手握10亿美金,在全球四地组建办公室的AMI Labs,却没有选择AI重镇——硅谷。

2026年3月,图灵奖得主杨立昆(Yann LeCun)和青年华人学者谢赛宁等,踏上了一条关于“世界模型”的创业旅程。他们创立的AMI Labs(Advanced Machine Intelligence Labs),目前仅25人、在没有任何产品的情况下,完成10.3亿美元Seed轮融资,投前估值35亿美元。

这是2026年新创的AI Neo Labs中备受瞩目的一家,创造了欧洲历史最大Seed轮。从统计看,它的第一笔融资在Neo Labs中位居世界第二,仅次于前OpenAI CTO Mira Murati创立的Thinking Machines Lab(20亿美元Seed轮融资)。

Neo Labs是近年兴起的一个新概念,专指由顶级AI研究者创立、以基础模型或新一代智能体系为目标、融资规模巨大、研究导向很强的一类新型AI实验室式公司。

“Silicon Valley is very LLM-pilled。”AMI联合创始人兼首席科学官谢赛宁说道,“硅谷已经深陷于LLM(大语言模型),完全被它催眠了。”

近年来,杨立昆活得像“一名斗士”。他发表过众多“反LLM”的著名言论:“LLM本质只是token生成器”,“如果你的目标是实现人类级智能,就不应该在LLM上下功夫”——可以说,他的AI世界观与当下硅谷的主流价值体系冲突。

“他们在硅谷有太多的‘仇人’。”一位硅谷人士评论说。

2026年春节,在中国机器人登上春晚的喜乐时分,纽约刚下过一场暴雪——这是近几年以来纽约最凛冽的一个冬天。在布鲁克林一栋略显凌乱的楼房,我与谢赛宁开始了这场对话。

这位出生于1990年的华人科学家,毕业于上海交通大学与加利福尼亚大学圣地亚哥分校,现于纽约大学任教。创业之前,他曾在Google DeepMind担任研究科学家。更早之前,他在Meta的FAIR实验室担任研究科学家4年。他的论文总计引用数近10万次,曾共同提出Diffusion Transformers(DiT)。

这是谢赛宁第一次接受访谈。2026年2月雪后的一天,我们从下午2点,开启了一场始料未及的马拉松式访谈,直到凌晨时分散去。

在黑暗浸透的霓虹纽约街头,空气中弥漫着没化完冰雪与难闻烟雾的混合味道。就像谢赛宁的表达,总是带着多重的混合感。

在人工智能的思想上,他不乏尖锐言论:“我完全不觉得LLM是Bitter Lesson(专指Richard Sutton提出的《苦涩的教训》)的成功展示,某种程度上,LLM是反Bitter Lesson的”;“语言模型的Scaling Law里面是有水分的”;“语言是‘毒药’,或者说,是一剂‘鸦片’”;“我非常担心语言对视觉的污染,事实上,它已经发生了”。

但他又不厌其烦地,枚举了影响他学术生涯的每一个人,并反反复复口头描摹这些人的人物特征。

这里面有:写《交大生存手册》的侯晓迪,初来乍到美国还不会用Linux的何恺明,活得像65岁青春期少年的杨立昆,捱过许多艰难时刻、以勇气与坚持让AI看见世界的李飞飞,等等。

这场对话涵盖了过去15年间,他对于AI技术变革兼塑造这些变革背后的人的完整游历。很多次我们的话题早就转移了,他坚持要绕回来,把人物素描完成——也许是因为,他人生最初的梦想是成为一名导演,尽管这个梦想很快就破灭了,却以一种新的形式延续下去。

但正是这些,让这篇“反OpenAI”、“反硅谷”、“反霸权”的对话,又充斥着人性的温度。

他说,在这个世界上,“只有人与人之间真诚的交流是重要的,也许其他都不重要”。

完整的播客视频将于Bilibili、小红书、视频号等全视频平台播出;播客将于小宇宙、苹果Podcast等全音频平台播出。

以下是我对谢赛宁访谈的节选。(为了方便阅读,作者做了文本优化)

01 

“硅谷被催眠了”


张小珺:如果Yann LeCun不从Meta离职,你会创业吗?

谢赛宁:我觉得我可能也会,但会纠结一段时间。

张小珺:你会自己做CEO?

谢赛宁:我不知道。如果这么决定的话也是另外一个玄学决定,但至少我现在不知道。

现在在公司里,我们讨论的问题exactly是我一直想做的。这有一点不谋而合:我们想要build这样一个“反向的OpenAI”。

“正向的OpenAI”,是说我现在有互联网作为数据的发源地,把数据download下来,create a GPT model using Transformers。

我们现在有一个智能,这个东西你们可以叫它AGI(通用人工智能)——但by the way,我非常反对这个词,我觉得AGI是一个完完全全的伪命题。

但我们现在有了这样一个模型,有了这样一个intelligence,我想要把这个东西push to market(推向市场)。不管是To C或To B的application(应用)都没问题。

什么是“反向的OpenAI”?是说要训练这个model本身,数据没办法直接从互联网下载下来,我们没有shortcut(捷径)可走。我们需要走一条更加艰辛的路,而这条路,注定无法独行。

The world needs World Models. World Models need the world.(世界需要世界模型,世界模型需要世界)。

这有点“草根联盟”的感觉,你知道吗?就是这些在AI浪潮面前有点FOMO(害怕错过)情绪、有具体问题要解决、有大量真实世界数据的公司,大家可以一起携手,通过某种合作伙伴的方式共建这样一个模型,形成这样一个闭环。

我们先建立一个初始的世界模型。大家用它解决问题、创造价值并获得回报,同时产生更多数据,这些数据再反过来用于训练和优化世界模型。

张小珺:你们从第一天就在全球有四个办公室,分布在不同国家,这很不常见,为什么要这么设置?

谢赛宁:因为Yann有他的名望在这,他作为一个真正正正的“世界人”,他有一个非常neutral的face,一个中立的面孔和角色。

他是一个美国人,但他也是一个法国人。我们总部又不在硅谷,能吸引很多这样潜在的partner(合作伙伴),遍布全球。

我们有四个offices(办公室),总部设在巴黎,但也会有纽约、蒙特利尔、新加坡四个研发中心。目的是,怎样在全球范围把这样一个联盟打造出来?让大家一起在research的道路上往前走。

这件事儿我还有一个有趣的故事。美国大家用信用卡有Visa,还有Mastercard(万事达卡)。你知道这个Mastercard是怎么来的吗?

张小珺:是不是“反Visa”?

谢赛宁:Exactly。

但这个story还蛮有趣的,是我的一个很好的朋友和mentor(导师)告诉我的。

Visa一开始是BOA(Bank of America,美国银行)这个银行创立推出的(1958年,美国第一个消费者信用卡计划),在此之前没有公司推行过这种模式。BOA创立了Visa信用卡,推向市场,赚得盆满钵满。它还藏着掖着,不告诉别人,别人问了就说我们是赔钱生意,一点都不赚钱。直到过了一两年藏不住了,因为财务上你已经能看出来了。

其他人就慌了,说这个怎么办?你现在已经把市场给dominated(主导)了。我们每一个小的银行,体量又打不过BOA;单独发一张信用卡,又抢占不过市场,怎么办呢?

他们就说,不如我们把所有local bank(地方银行)组织起来,变成一个联盟,我们一起推出一张信用卡,叫Mastercard(万事达卡)。

这是为什么万事达卡可以成功反击Visa,或者至少能跟Visa分庭抗礼。我并不是说,我们公司真的要走这样的模式,但我觉得在某种意义上,会有相似之处。

这也是为什么World Model是挺不一样的narrative(叙事)。这个叙事的逻辑它更加decentralized(去中心化),更加分布式,也天然的……怎么讲?——Resist(抵制)某种垄断和霸权。

这是我们开放性的来源,我们能更open-minded(开放心态)去讨论这些合作,不管是跟学术界还是跟industry partner(工业界合作伙伴)。因为这件事是research exploration(研究探索)的一部分。

当然我们不是说所有的研发都会开源,AMI是一个严肃的创业公司,但相比于其他AI公司,我们可能会做得很不一样。

我们在寻找一种平衡。它既不是一个纯粹的research lab(研究实验室),也不是一个现在完全封闭的大模型公司。这种平衡也在于,我个人也在寻找一种平衡:我既不是一个非常senior、功成名就的大教授;也不是一个十八九岁的年轻人,可以卷着铺盖跑到深圳工厂扎下来,去做数据采集。我都不是。

张小珺:你们选择了四个地方做办公室,但没有硅谷。你们是刻意不选择在硅谷创业吗?

谢赛宁:对。我觉得,Silicon Valley is very LLM-pilled,已经深陷于LLM(大语言模型),完全被它催眠了。

但这件事情不会持续很久。

被催眠的人总有醒来的一刻。那时候我们完全不排除去硅谷设立公司。

02

在LLM之外,有一个隐形的世界


张小珺:随着你要开始做世界模型,你也同时做了一个重要决定,就是你创业了。这跟你之前的research生涯有很大不同。这个选择是怎么发生的?

谢赛宁:这个选择也是一个玄学选择。

但确实因为之前很多在湾区认识的朋友,有一些对我帮助很大的mentor。大家有投资人的身份,有创业者的身份。他们就说:赛宁,你应该也尝试去创业。在学校里面,有很大的困境。

张小珺:缺算力。

谢赛宁:对。但并不是说学校一无是处,学校是一个很好的平台,让我有足够空间去找到我想要做的事情。

我突然觉得,现在是一个时间点,似乎我想要探索的东西探索到了一定的地步。再往后,有可能会陷入“中等paper陷阱”,有点像“中等收入陷阱”。

你会发一些不错的论文,但由于resource(资源)限制,导致你没办法真的把idea变成新的breakthrough(突破)。

我有一个mentor问我,大概是2025年中,秋天的时候。他说,诶,你去问一问Yann LeCun,他好像最近在Meta待得不是很顺心。

那个时候Meta还没有这么动荡,还没有Alexander Wang(Meta首席AI官)、FAIR(Meta的人工智能研究院)的layoff(裁员)。没有这么多动荡的事情。

我的第一直觉是,这个怎么可能?Yann,对吧?——至少在那个时候我会觉得,他还是一个godfather of AI(AI教父),也是一个纯粹的researcher,怎么可能拉他一起创业呢?

结果,我们有了这个对话之后的第二周周一,我跟Yann刚好有一个1-on-1 meeting(一对一会议)。

还没等我说什么,Yann就跟我说:“赛宁,你先不要告诉别人,但我已经决定了。我现在想要做的事情,我觉得应该在外面做,我想要去创业开一个公司。”

我就问他,你想做什么事情,背后的business model(商业模式)是什么?——就发现:哇,这跟我想象的事情完全一致啊。

在我们想做的这件事儿上,在现在世界上任何一个国家的公司,都做不了。包括在湾区也做不了。这个事情是什么?你可以叫它“世界模型”公司。这个公司需要有一定的research深度。它并不是,我们现在立刻要launch(上线)一个产品,把它部署出去并开始获取收入。

它需要有很强的research倾向性,但又不是在纯粹学术的setting(设定)下运作。它不是过去的FAIR,也不是NYU (纽约大学)。但另一方面,它也不是处在一个完全封闭的状态下的硅谷大厂和Neo Labs。

张小珺:封闭,是什么意思?

谢赛宁:封闭是说,你不能开源,不能发表论文,即使公司发blog(博客)也不能署名。

我在GDM(Google DeepMind),整个GenAI org(部门)只有我一个人脚踩两只船,有double affiliation(双重职位身份),在公司兼职,还在学校做研究。大家对学术界、对纯粹探索性的research是有点抵触的——这是湾区现在的一个状态。

抵触的意思是:第一大家瞧不上学术界在做的工作,不觉得学术界做的东西能真的产生怎么样的影响;

第二,他们因为也不publish(发表),导致你也不知道他们在干嘛,即使在这些大厂,有research(研究)的部门,也有偏product(产品)的部门,但即使同一个公司两个部门之间也有很大隔阂。

核心模型训练的部门,必须在highly competitive(高度竞争)的赛道上,卷到最前面。这是他们唯一的目标。

张小珺:这是一场“军备竞赛”。

谢赛宁:这件事就会压榨你的research的空间,会抽走这个环境给你充分freedom(自由)去做research的氧气。

张小珺:你没有想过(全职)加入任何一个现有的lab吗?你没办法忍受没有氧气的感受?

谢赛宁:是。当初确实有一些机会,但我想了想之后,觉得如果你真的想要做完全前沿的探索,你想要去定义问题的话,还得在一个自己的startup(初创公司)里才能实现。

首先我不认为有任何其他的startup或者大公司,能focus在我们想要做的事情上——building the predictive brain(构建预测型大脑),在最foundation layer(基础层),或者说最upstream layer(最上游层)做一些探索。

现在整个AI行业有一个巨大的value chain(价值链)。在这个价值链条最上层,有Bitter Lesson(苦涩的教训)、AGI(通用人工智能)、LLM这样的叙事。这些叙事定义了一系列的benchmark(基准测试)—— 然后正因为你要打榜,基准测试定义了resource allocation(资源配置)。如果我的目标是在榜单上得到第一名,那我只能投入最多资源,使得我能处在这个位置上去竞争。

资源分配决定了,这件事儿已经跟researcher觉得什么是对、什么是错,有一点脱离了。

虽然有些很强的researcher知道,我们可能需要做一些新的research;但在这种价值链条下,resource allocation决定了,他们却不能做这一部分的research。

比如,我们知道视频理解非常重要,但现在不管学术界也好,工业界也好,做得并不多。或者大家会尝试做这件事儿,但没有fundamentally(根本性地)从World Model角度去思考、解决这个问题。

很有意思的现象是,不是没有人愿意做,也不是没有人有能力做——但这些researcher,不管在哪一个公司,无一例外被发配给了做视频生成模型的video captioning(视频标注)的团队。因为这是唯一一个,可以间接参与到这个价值链条的职位。

虽然这些researcher都知道这件事儿(视频理解)没有解决,我们需要一个更好的World Model based Video Understanding Model(基于世界模型的视频理解模型),并且这可能是一个真正训练出通用World Model的前置条件,但大家没有空间做这样的探索。

在这样的有限游戏下,在这样强竞争的环境下,每个公司都似乎失去了定义问题的能力。

你看之前,OpenAI具备这样的能力,很多问题是他们定义的。包括GPT、CLIP。他们从成立第一天起,作为一个research unit(研究单位)有自己探索的过程。

张小珺:但现在research已经变成了一个商业问题、产品问题,你必须竞争,不竞争怎么办呢?

谢赛宁:那当然是逃出来。

我们来一起创造一个更好的、更researcher-friendly(对研究员友好)的组织。

张小珺:所以你们要逃离硅谷的叙事。

谢赛宁:这是双向的选择。会互相diss(批判)一下。

张小珺:算是硅谷的避难所吗?

谢赛宁:啊,不能叫做避难所,哈哈哈。但确实是一个不一样的地方。

不一样的点在于,我们有从OpenAI、DeepMind、xAI,从各个地方过来的小伙伴,大家不是为了要赚多少钱,也不是为了要 IPO上市。大家心里面非常纯净,就是想做research(研究)。大家觉得,时机到了,我们有机会通过research影响接下来AI的进程。

现在大家的心态,也因为行业变化发生了一些微妙变化。我觉得大家有点过于走到一个极端。就是,我们要lower everybody’s ego(降低每个人的自我),everybody is part of the team(每个人都是团队的一部分)。但事实上,正在发生的是,大家确实变成了团队的一员,但同时也变成了这个巨大machine(机器)中的一个可以被轻易替换的螺丝钉。

我完全同意researcher有太强的ego,这不利于团队协作。但我还是希望能给予年轻人足够的visibility(可见度)——这能让他们有自己的人物弧光,让他们变成很有名气的leading researcher(顶尖研究者)。但现在这样的人才培养的上升通道正在收紧。

我们希望这种mission-driven(使命导向)的年轻人加入公司。我们不太希望把一些已经很established(权威、成名)的、像superhero(超级英雄)一样的researcher聚在一起,期待他们产生某种化学反应——我不太相信这件事。

张小珺:LeCun见你那次,他跟你说了什么?

谢赛宁:这可能不是他的原话,更像是我理解的他对我说的事情。

世界模型是真实世界需要的智能。

在硅谷之外,在LLM叙事之外,有一个隐形的世界。这个世界里有很多人,大家想要解决这个物理世界里的很多问题。他们可能是一个农场,可能是一家医院,但他们拿着LLM不能直接解决这些问题。LLM能解决一部分问题,但有很多涉及真实世界的physical understanding(物理理解)的问题,LLM是解决不了的。

大家都很焦虑,害怕AI的浪潮要来了,我是不是连上牌桌的机会都没有?这一部分隐形的世界,在硅谷的叙事逻辑下不可见,但是是一个很大的市场。

世界模型也需要这个世界。

原因包括两部分。第一部分是“定义问题的能力”。我希望问题会从生活来,从人真实的需求中来,从工业生产的需求中来。这之于OpenAI或者硅谷的叙事也是隐形的。

其次,涉及到你刚说的数据问题。虽然我们第一步可以从互联网拿到数据,可以去训练模型,但最终还是要去真实世界“淘金”。这些数据也是“隐形”的,大家不会把这些数据传到YouTube。

YouTube上的数据还是,跟人类价值观或跟人类for entertainment(娱乐向)的需求非常对齐的数据分布。

我们还只是在讨论这个视觉的数据,但这个世界里有大量非视觉,在continous domain, high dimensional, possibly noisy(连续空间,高维度,可能有噪音的)信号。这些数据,现在对于训练世界模型来说,至关重要。

所以世界模型不只是一个vision model(视觉模型)。这些数据现在是不可见的,我们需要从一些地方获得它们。

这是我跟Yann聊的一些high level(高层面的)感受。

张小珺:现在的frontier lab(前沿实验室)竞争这么激烈,是因为LLM的范式是相对确定性的了。他们在争一个商业的输和赢。听上去,你们不想在这个范式下竞争了,想去找下一个范式。

谢赛宁:是这样。虽然是《商业访谈录》,但我先要说,我真的不懂商业。我没有做过startup(初创公司)——没有成功过,也没有失败过。

这件事既让我感到焦虑,又让我有种无知者无畏的冲劲。

张小珺:我会有一个疑惑,LeCun本身就是一个research背景的人,他创业为什么又找一个researcher,也就是你?

谢赛宁:Research是这个公司的focus,这个公司最后最重要的产品是一个research breakthrough(研究突破)。

我们刚才提到的所有的一切,涉及数据,涉及问题定义,涉及产业合作伙伴。这些所有事情的逻辑,都建立在in research we can make another breakthrough(我们研究过程中的新突破)。

下一个新的AI革命,你可以叫它“世界模型的革命”,或者whatever you want to call it(随你怎么称呼它)。

它跟LLM fundamentally(从根本上)不一样,它至少是一个Transformer或者ChatGPT level的事情。

这是我们的梦想,落到实处要一步一步走。

我们公司不只找researcher,比如还有我们的CEO(Alex LeBrun,连续创业者)。我是这个公司的co-founder and chief science officer(联合创始人兼首席科学官)——我非常喜欢这个title,我希望我自己的定位还是在science。

我不是一个好的CEO,至少现在不是。

张小珺:在很多人眼中,LeCun都是一名斗士;在你眼中的LeCun是一个怎样的人?

谢赛宁:他真的是一个“斜杠青年”,或者挺文艺的一个人。按一个朋友的说法,Yann是一个16岁青春期一直延续到65岁的这样一个人。

他经常就很骄傲地跟大家说他有四大爱好:第一个爱好是造模型飞机;第二个爱好是拍天文摄影;第三个兴趣是搞电子乐和Jazz(爵士乐)——他的网页是宝藏,他会讲说在纽约有哪些Jazz Club比较好;他还有一个爱好是帆船。

我们要做World Model,我希望大船的舵手是一个有格局、热爱生活的人。

我们3月有另外一篇paper叫《Solaris》。这是一个科幻小说,后来被塔可夫斯基改编成一个电影。我们之所以取这个名字,是因为我们在做一个多角色视觉生成的模型。电影讲的事情是说,有一片海洋可以读取人的潜意识里的记忆,最后把一些东西具象化生成出来。

有一天跟Yann说,我们这个paper叫这个名字怎么样?我想看他知不知道这个电影。

他说:“你知道这是一个电影的名字吗?”我说:“对,我就是因为这个取得名字。”他问我说:“你看的是哪一部?是1972年的一部,还是2002年的一部?”“是塔可夫斯基(Andrei Tarkovsky)拍的还是索德伯格(Steven Soderbergh)拍的?”

我说:“OK,我觉得我不光research上服你,在电影上好像你也比我懂得多。”这对我个人来说蛮重要的一种人格魅力的体现。

张小珺:从他第一次告诉你,你纠结了多久?

谢赛宁:我没有纠结很久,Yann说话有点像casting spells(施法),像哈利波特(Harry Potter)一样给你施一些咒语——他说完一些话,你就不会想其他的了。

03

语言模型是predict next token,世界模型是predict next state


张小珺:既然你们要做的是世界模型,能不能定义一下什么是世界模型?

谢赛宁:世界模型(World Model)是,你现在给定一个系统或者一个环境的状态,这个环境状态可能是,你可以认为它是在当前时刻的一个状态,但世界模型也不一定只是做所谓的temporal prediction(时间上的预测)。但我们先不管这些,总之你现在有一个系统或者一个环境,你有一个状态,st 。

你有一个intervention(干预)或action(动作),比如说我们叫它at ,在当前时刻你对这个系统施加一个动作,你现在希望能够学到一个prediction function(预测函数)或者transition function(转移函数)f,使得它能够take你的action跟你当前的st这个state(状态),这个环境的state能够去predict下一个(时刻的)state。

这是最基础的通用世界模型的定义。

这个定义本身无比直接,甚至有点trivial(平庸的),因为它不是一个新概念。

其实1943年,有一个心理学家Kenneth Craik(肯尼斯·克雷克),他第一次提出了这个概念。他说人在脑子里有这样一个世界模型,这个世界模型能够告诉我们,当我们去做某一个动作的时候,接下来会发生什么样的后果。因为我们能够预测我们的动作带来的后果,所以世界模型能指导我们,到底应该去做什么样的动作和做什么样的决策。

这种基于prediction(预测)的结构也是过去Control Theory(控制理论)在六七十年代,科学家把探测器送到月球时所需要的控制系统的基础。

比如,一个经典的算法叫做Model Predictive Control(模型预测控制,简称MPC),这里面也涉及到一个model,这个model其实也就是某种World Model。这个算法非常简单:你讨论到底应该施加哪一个control signal(控制信号)给这个系统,使得它能够完成既定的任务。

我要做的事情是,在当前时刻通过我的模型去rollout,去滚动输出接下来的sampled action, the actions sequence(采样动作、动作序列)。然后通过这个动作序列用我的这个model去得到下一个时刻,或者每一个step(步长)上的一个state (rollout trajectory)。最后我也会有一个某种cost function,一个代价函数,告诉我执行了这个动作序列之后,我离最后的这个目标距离到底有多远。

这个算法就是不断地去sample(采样)你的action sequence(动作序列),然后跳回到第一步,找到这个cost最低的action sequence,执行它的第一步,然后重复迭代。在每一次你都要做一个决策,这个决策的来源都基于你对未来的预测。

这是在model predictive control里面,大家怎么去用World Model。

再到后面,比如在model-based RL(基于模型的强化学习)里面,Reinforcement Learning(强化学习)里面,大家也意识到World Model是非常重要的。

这里面有一个经典的论文是Dyna(一种强化学习架构),这个paper是Richard Sutton(强化学习之父,著有《苦涩的教训》)写的。

Richard Sutton讲了一个很有趣的观点或者framework(框架)。他讲人的智能体系可能分两种,一种叫reactive policy(反应式策略),一种叫某种更智能化的model-based policy(基于模型的策略)。这件事的类比是所谓system one, system two(系统1与系统2),正像human cognition(人类认知)也有所谓的thinking fast, thinking slow(快思考与慢思考)的概念。

对于很难的问题,我们可能需要更多的mental cycle(脑力周期)去学习这些问题。但对于一些问题,比如开车,刚学的时候紧张得不得了,需要做很多决策;当你真正会了开车,你就会把这些决策内化成肌肉记忆的一部分,变成了reactive policy(反应式策略)。

Richard Sutton在Dyna的paper里说,Reinforcement Learning是一个非常primitive(原始的)、基础的、没有世界模型的learning algorithm(学习算法)。

所以其实Richard Sutton自己有点反pure Reinforcement Learning(纯强化学习)。

他讲,一个更好的系统,是如果你有一个足够强的世界模型,你可以基于当前的state去预测下一个state,那你就有了所谓的planning(规划)的能力。

Planning就是做计划的能力,它在某种意义上跟reasoning(推理)也是同样的概念。Reasoning现在在LLM很火,但事实上我们需要的这种planning,以及这种planning对于decision making(决策)的意义,很早在Control Theory和Reinforcement Learning里面大家都在讨论。

从这个角度,World Model的实质是怎么样去刻画一个系统和一个环境,使得你能够在这个系统里做预测,并且这个预测能指导你的action sequence以及你自己的决策。

张小珺:也就是说,大语言模型是predict next token(预测下一个字符),世界模型是predict next action(预测下一个动作)?

谢赛宁:是基于your action, predict next state。

那个state应该是可以描述一个系统的所有状态的一个信息来源。这涉及到一个很有趣的事情,就是这件事情跟表征的关系到底是啥。

我们为什么说state是一个环境信息的一个充分统计量?它保留了对未来预测和决策所需的关键信息,同时忽略与任务无关的细节。学习这样的 state 表示,本质上就是representation learning的问题。

假设我们现在的物理世界,比如我们这个屋子,这是一个环境。那刻画这个环境的state是什么?如果你不追求这种所谓的最小信息,或者minimal description length(最小描述长度),那它可以是把整个space全都重建起来,精细地去刻画系统里的所有参数,包括桌子上的纹理、声波、桌子的质量、话筒的各种physical parameters(物理参数)。

但我们不会这样去刻画系统。因为很多信息对于决策来说不重要。

如果一个智能体活在这的目的是聊天,那我只需要知道一些基本事实就够了,比如话筒能在桌子上放着,我不会去关心每一点的光照,也不会关心桌上每一个细节的纹理。这些不重要。所以这个state可以包含enough(足够)的信息,这取决于你要解决什么样的任务。

怎么样去构建这样的一个state?这件事情其实跟表征学习是直接相连的。

我们要有一个层次化的表征(hierarchical representation),目的就是能够去慢慢develop出来这种一层又一层迭代上去、越来越抽象、越来越对decision making越有价值的representation。它不用精细到每一点,而且我们也做不到精细到每一点。

比如,我们要造一个飞机,我们要建模这个飞机的动力学系统。我们当然可以从一个最low level的角度出发,去model每一个分子的碰撞。但这当然不会work。这是a totally stupid way(一个愚蠢的方式)。

我们做的是在统计的意义上去学习这个问题,所以才有了流体力学,才有了所谓的Navier-Stokes方程(纳维-斯托克斯方程)。

状态建模方式变得越来越抽象,但能够刻画的世界也越来越广阔。

04

LLM是反Bitter Lesson的


张小珺:语言正是人类的一种抽象。

谢赛宁:语言是某种已经封装好的抽象知识结构。它是高度凝练的,是一个人类社会已经形成、存在的抽象。

张小珺:你们现在要构建一个在语言之外,新的抽象?

谢赛宁:它一定是一个latent representation(潜在表征)。人可以通过侧面的方式了解到你到底学了什么样的representation(表征),或者哪些representation是有意义的。它不是一个完全的黑盒子,但它也不是一个受限于语言的句法跟逻辑的东西。

这就是为什么我说:LLM完全不够Bitter Lesson。

(Bitter Lesson:苦涩的教训,是由Richard Sutton提出的AI发展理念,用来总结几十年来人工智能历史中的一个核心规律:苦涩的是,人类自以为聪明的领域知识经常被“更简单、更通用、依赖大规模计算的算法”超越。)

我完全不觉得LLM是一个Bitter Lesson的成功展示——某种程度上,LLM是反Bitter Lesson的。

Bitter Lesson说的是,你应该尽可能减少human knowledge(人类知识),把人类的傲慢、“聪明才智”以及这些clever的structure(精巧的结构)尽可能减少,尽可能多用search(搜索)跟learning(学习)的方式去找寻答案。

语言就是这样一种人类极其聪明的产物,它有精巧的设计。

当然语言有它自己很强的能力,也一定会在未来的智能体系里面占据重要地位。

张小珺:但是,语言不可或缺的一点是,可以借由语言形成CoT(思维链)。

谢赛宁:但CoT也是一个阶段性的产物。我觉得LLM的所有一切构造都是阶段性的产物。最近有一些研究也在慢慢发现,CoT可能只是某种文本技巧,推理步骤可能是“事后编造”(unfaithful explanations),有些错误CoT仍然得到正确答案,提升效果可能来自生成过程变长等等。

LLM这件事情存在structral (结构性的) 安全性和可控性的问题,因为它没有一个真正的世界模型。甚至我们把LLM当做一个世界模型在用,但它是一个fundamentally flawed(本质上有缺陷)的世界模型。

现在的controllability(可控)或者safety(安全)完全是通过fine-tuning(微调)和强化学习的方式来实现的,你需要喂给它大量的数据,让他知道什么话能说,什么话不能说。这叫做Alignment(对齐)。

但真正的世界模型你不需要这样做,因为你可以预测你的action(动作)会lead to what consequence(导致什么结果),你就可以在inference time(推理阶段)的过程中去尽量避免这样的行为。

比如,一个机器人拿着一把刀在切菜,怎么样保证它不会向后一转把你砍了呢?对于Language Model的思路来说,唯一的方式就是通过喂给它大量数据。但世界模型不一定需要,因为你能够去预知这个结果。

张小珺:你好几次提到“表征”、,也表达了你的整个研究路线图是围绕着“作为表征的世界”展开的,能不能给大家解释一下什么是“表征学习”?

(关于谢赛宁围绕着“作为表征的世界”展开的研究路线,请看视频播客,此处省略10万字=。=)

谢赛宁:我很喜欢说我是一个“做表征学习的人”,但这件事情还蛮难定义的。

从数学来讲,你可以认为表征学习是:你有一个数据x ,现在要把它map(映射)到一个space(空间)里去。这个空间会具有一些好的性质,让你在downstream task(下游任务)上更容易取得好结果。所以,你要学习的从初始数据到具有良好性质的空间的映射函数,就是所谓的“表征学习”。这个函数不只是简单的映射,它可能是一个层级化的映射。

现在主流的实现方式是用一个非线性的Neural Network(神经网络)来实现这个函数。

我愿意说自己是做表征学习的人,因为representation是一个永恒的、最fundamental的主题,也是一个还没有被完全解决的主题。

张小珺:这些表征最终,可以统一成统一的表征吗?

谢赛宁:还是要scaling。语言模型的Scaling Law是因为它是一个lossless compression(无损压缩)的过程,所谓压缩即智能。

这个是说,模型变大能让结果变好,不是因为它死记硬背,而是更大的模型就是一个更强的模型,所以它能有一个更高的压缩率,也带来了某种泛化能力。我想我同意这个观点。

但我想后撤一步,语言模型的Scaling Law里面是有“水分”的,因为它并不需要真正通过理解世界的方式去回答问题。Benchmark(基准测试)要求它能retrieve(检索)出来factual knowledge(事实性知识),所以“知识压缩”和“世界理解”混合在了一起。

世界模型会有非常不一样的Scaling Law。它的模型不需要记住世界里的所有细微细节,它不需要通过解薛定谔方程的方式去判断苹果是不是落下来,它不需要人类最高级的智商。它需要通过理解能力去filter and organize information(过滤和组织信息)。

这跟人越来越像。

人的感官输入带宽可能达到10亿bits per second(比特每秒),但说话、做事的带宽只有10到100bits per second。大脑把高带宽信息转化成低带宽的行为模式,这就是World Model本身,它过滤大量的无用信息。

张小珺:你怎么看待大语言模型与世界模型的关系?

谢赛宁:我觉得LLM是智能体中至关重要的一部分,但它不是全部。

比如处理视觉问题,我们坐在这里,头稍微扭5度、10度,就会生成几百帧。如果按LLM的方式,你要tokenize每一个frame(帧),把它拉平串成一个非常冗余的序列,这完全不make sense(合理)。

Transformer的inductive bias(建模偏置)是,它得要pay equal attention to every single token(对每一个字符赋予相等的注意力),这代表语言模型的modeling technique(建模技术)不能够解决对这种连续空间信号的认知问题。虽然线性注意力、稀疏注意力这些方法能缓解一些问题,但和人类可以处理的那种连续、几乎无限带宽的感知输入相比,现在的模型在能力和效率上还是差得非常远。

我们要build的世界模型,需要具备如下特征:它能够understand physical world(理解物理世界),要有足够大的associative memory(联想记忆),能够reason(推理)、能够plan(规划),能够做counterfactual(对未发生可能性的推演)或者causal的inference(因果推理)。最后一点是,它得足够的controllable and safe(可控与安全)。

张小珺:所以,世界模型和大语言模型不是衍生关系,是替代关系?

谢赛宁:也不叫替代关系。之前没有大语言模型的时候,我们压根谈不了什么世界模型。

LLM让你具备了一定对真实世界的认知能力,但它又是fundamentally flawed(有本质缺陷),因为语言带给你的东西实在是太少了。

语言本质上是一个communication tool(交流工具),除非你说梦话,大部分时候你用语言是带着intention(目的)的。

所以,LLM更像是一个search engine的延伸。

但是,世界模型是大脑在background(背后)做了很多工作的。Language只是一个communication tool,你永远带着目的。

张小珺:语言除了是沟通工具,也是一个可以推理的工具。

谢赛宁:对,但只是symbolic level(符号层面)的推理。

张小珺:所以你们想构建一个,像人类的大脑一样的世界模型?

谢赛宁:不只是人吧,我们要看看各种各样动物的智能到底是怎样发生的。

回到刚才的逻辑,没有大语言模型的时候,我们压根谈不了什么世界模型。

语言模型虽然有本质缺陷,但是行为上已经表现出一些World Model的特征了,虽然它没有action,虽然它通过CoT和MPC式的工具调用做到的reasoning和planning,与真正世界模型所要求的机制还是有比较大的差别。

往前发展,最近的视觉生成模型,已经让事情变得有些不同了,它比Language Model往前推了一步。

虽然现在这些系统也要依赖Language Model去做prompt rewriting(提示词重写),做conditioning(条件输入),但原来Language Model是建模的主体,现在它变成了视频生成模型的前期脚手架。

原来你建模的是 p(y),现在变成在建模 p(x)或者p(x∣y)。当你训练生成模型时,本质上是在给各种可能出现的现象分配概率,也就是判断在这个世界上哪些东西更可能存在。比如模型需要理解,为什么四条腿的猫在现实中比三条腿的猫更常见。换句话说,你已经开始直接对原始数据(像素)本身进行建模了。

但再推演一步,像素本身也不够Bitter Lesson,像素是人为定义的格子。

真正Bitter Lesson是说,我不需要给人看;它给你的系统看,给你的世界看。给人看不是World Model的核心,而是接口。

世界模型是一个目的。

总有一天,我们会有一个更好的世界模型,语言模型会在此之上变得更强。理解和生成是一体的,它都需要一个真正的World Model作为基础。

张小珺:那么,这样的世界模型怎么做训练?大语言模型能够训练是因为,海量的互联网文本就在那里,这是人类文明的现成数据。世界模型的训练,我都不知道从哪里下手。

谢赛宁:这是一个biggest bet(最大的赌注)——以前是download internet的时代,现在是download human的时代(以前是下载互联网的时代,现在是下载人类的时代)。

我们要把人类下载下来。

一个4岁小孩看过的视频,量级比所有训练语言大模型的token还要大。视频是全村的希望。第一步可以从互联网数据开始,YouTube上的数据量等于30分钟的YouTube upload(上传量)就够了,虽然需要考虑terms of service(服务协议)的问题。

世界模型的出口很多,短期内有两个。

一个是AI glasses(智能眼镜)。一个真的personal assistant(个人智能助理)需要一个World Model。它得是一个always-on的device(永远在线的设备)。

就像现在Whoop,Oura类似的可穿戴设备一样,一直在监控你的体征。它会进行一个智能决策告诉你是不是under too much stress(压力过大)。

其实这些设备还蛮世界模型的,虽然目前它们获取的信息太少,只有我们的心率、血氧等。如果眼镜能always on,看到我们所能看到的一切,它能指导运动员的动作,或者给养老院的老人提供智能健康建议,这是现有基于LLM的多模态做不到的。

另一个出口当然是Robotics(机器人)。机器人面临的问题是本质上还是“大脑”不够。

机器人是一个很好的downstream application(下游应用),任何上游的演进它都能从中受益。比如LLM出来了就有VLA(视觉-语言-动作模型),视频生成模型出来了就有了所谓的WAM(世界-动作模型),但已有的预训练范式,都没办法真正解决问题。

我不是很喜欢世界模型这个词。听起来有点hype(炒作)。它变成了一个口袋一样的称呼。

但我还蛮同意一位教授说的:他喜欢World Model是因为,它告诉大家我做的是world(世界)模型,而不是word(单词)模型。

世界模型是所有人会抵达的终点。

05

我拒绝了Ilya两次


张小珺:2018年你也曾经面试过OpenAI,如果你当初去了OpenAI,现在你是不是也成为了LLM大军的一员?

谢赛宁:Maybe,我不知道会发生什么。从那个时间点开始,像量子力学一样发生了一些变化。

我面试OpenAI的经历还蛮酷的——在一个小黑屋里关了五六个小时做一道题目,出来的时候天都黑了。John Schulman(OpenAI联合创始人之一、现Thinking Mashine Labs首席科学家)当初的面试题是一张A4纸,是铅笔手写的一行面试题。这件事对我触动很大。

最后虽然拿到了offer,但没有去OpenAI。

张小珺:你为什么没去?

谢赛宁:那时候想都没想,就想去FAIR。因为何恺明、Piotr Dollar、Ross Girshick在那里,他们是当初计算机视觉的“三驾马车”。

他们(当时)不是那种很senior的大学教授,而是最顶尖的中青年研究员。他们在那里,做的就是最顶尖的CV研究,对我来说没什么好选的。

当初还挺好玩的,Ilya Sutskever(OpenAI前首席科学家、现SSI创始人)给我打电话,我什么都没说就把 OpenAI 拒了。

我说:我不去,抱歉。

张小珺:他给你打电话说什么?

谢赛宁:他非常生气。

他问我:“你为什么不讨论一下就把offer拒了?是我们给的钱不够吗?”

张小珺:多少钱?

谢赛宁:记不太清了,现在看起来,其实非常低。一个顶尖的PhD学生在2018年能拿到的工资大概是40到50万美金左右,现在至少翻了三倍。

但anyway(无论如何),那个时候OpenAI的薪资其实没什么问题,所以Ilya很生气,我也只能搪塞两句。

张小珺:他生气的时候会说什么呢?

谢赛宁:只是语气非常严厉。

张小珺:他没有被拒绝过?

谢赛宁:我不觉得。在2018年,他应该经常被拒绝。

我一共就跟Ilya打过两次电话,这是第一次。

第二次是2024年7月的时候,他的SSI(安全超级智能公司)刚成立,他给我发邮件说,愿愿不愿意来一起工作。

张小珺:你又拒绝了他,这次为什么?

谢赛宁:这次是因为我刚在NYU开始我的工作。我跟他聊的时候,我们主要讨论的topic不是工资,主要讨论的是:怎么样给未来的人工智能给予“爱”的能力。

当然我最后问了他一句话,我说你对multimodal(多模态)这件事情怎么看?你对计算机视觉,或者对那种perception model(感知模型)怎么看?

Ilya的说法是,他觉得这件事已经解决得很不错了。所以我发现可能SSI有自己基于语言的这样一个路线,然后这条路线至少到现在为止,不是我想要去设计的东西。

张小珺:这是你们底层的分歧,到底是以LLM还是视觉为主要路线?

谢赛宁:我觉得之后可以细聊,但我并不觉得这是一个分歧。这是一个有机体,大家只是在不同的地方、不同的时间做不同的事情而已。没有必要拼个你死我活。

张小珺:关于怎么赋予人工智能“爱”的能力,你们有得出结论吗?

谢赛宁:结论就是这件事情很重要。为什么?因为如果没有的话,我们面临的是一个非常不确定、非常危险的未来。

张小珺:但是有“爱”的同时一定就有“恨”,它是一体两面。这个世界不可能只有爱。当它学会了“爱”的时候,它一定知道它的反面是什么。

谢赛宁:对,我完全同意你说的。这件事就上升到哲学命题了。

但我想反问一句:为什么大家对自己的孩子、对人会这么信任,而对AI这种新的智能实体会这么担心或者恐惧?我觉得这一点我没有答案。

但我觉得会有技术上的一些可以去把控的地方,可以通过技术的手段,让AI在未来变得更加可信,变得更加安全,变得更加controllable(可控制)。

这些也是为什么要做World Model的一部分原因。

06

语言是“鸦片”,我非常担心语言对视觉的污染


张小珺:ChatGPT诞生之前,CV(计算机视觉)在AI中占据很核心的位置;但这几年 LLM兴起,CV似乎退到一个边缘位置。

这个过程中,以你为代表的CV背景的研究者,会感到沮丧吗?

谢赛宁:我完全不沮丧。我要感谢LLM。没有LLM,Vision也没办法拓展到现在这种真正的多模态智能的大的scope(范畴)。

视觉的发展史可以画两根轴:在最early stage(早期阶段),CV要处理的是最单一、具体、简单的任务。比如MNIST(手写数字识别数据集)的数字识别,到后面像CIFAR(小型图像分类数据集)这种32×32像素上的十分类问题。再到后面ImageNet出现,变成了224×224的 classification(分类)问题。再往后有了Detection(目标检测)和Segmentation(图像分割)这种更结构化的认知过程。

这根轴继续往前推演,就到了Multimodal Learning(多模态学习)模型的兴起。因为多模态的介入,我们可以很容易放弃固化的task design(任务设计),语言作为一个很好的interface(界面),可以帮你解决很多问题。

这根轴是从简单task到复杂task的轴,也是语言开始慢慢介入CV的轴。

这里面有两个问题:第一,语言介入带给我们巨大好处,让我们可以自由定义问题并得到答案;

第二,风险在于,对语言的依赖变多了,导致很多多模态任务其实跟视觉没关系,纯粹是语言问题。从这个角度看,Vision好像变得边缘化。但我觉这是巨大机会。

虽然现在通过语言的统计信息能完成一些决策,但等到真的有一天,我们需要去deal with(处理)真实世界里的真实task去build某种真实的intelligence,现在这种不够完美的视觉表征就会是重大的缺陷。

Yann的说法是,现在大家只是拄着“语言模型”这根拐杖走路。你能走,但跑不起来,也没法参加奥运会,因为你“视觉表征”这条腿还不够好。

张小珺:为什么你的用词是“真实的intelligence”?LLM构建的为什么不是真实的intelligence?

谢赛宁:我觉得LLM是虚拟的intelligence。

张小珺:可是我们的智商不也是虚拟的吗?

谢赛宁:可能“虚拟”这个词不对。我定义的“真实”是说要跟真实的世界发生交互。

LLM解决的问题大部分在digital space(数字空间)发生。它能记忆factual knowledge(事实性知识),记住Wikipedia(维基百科)所有article(条目),做法律顾问或教育。

LLM当然是革命性的,但这跟vision as a perspective(从视觉视角出发)要解决的问题完全不在同一个market (市场)—— 我们要处理的是continuous space(连续空间)、high dimensional(高维度)、noisy(带噪声)的domain(领域)。

张小珺:比如,机器人领域?

谢赛宁:不只是机器人。这些信号很难被tokenized(标记化),它们脱离了virtual space(虚拟空间)。

这涉及到什么样的task呢?比如industrial process control(工业过程控制),涉及到所有的sensory modeling(传感器建模)信号。你有很多传感器感知世界,需要统一的算法去model(建模)这个环境。使得你在执行action(动作)或者intervention(干预)时,能预测系统接下来的变化。这是LLM很难做到的。

在我看来有两个极端:在左侧,一个极端是LLM擅长在数字空间里通过coding(代码)这样的 interface(接口)作为Agent介入物理生活,但它归根结底是基于离散的token的建模方式。

在右侧,是Robotics,且必须是真正的General-Purpose Robotics(通用机器人),它有自己的一套大脑和决策系统。

从数字空间里LLM一步步推演到真实空间里Robotics,才是视觉智能和多模态未来要解决的问题。我最想做到的事情是通过“不做机器人”的方式去解决机器人问题。

张小珺:通过“不做机器人”的方式去解决机器人问题?

谢赛宁:机器人进展太快了,春晚上的宇树机器人,令人瞠目结舌。但另一方面,还是要有人focus在预训练的部分,即所谓的“机器人大脑”到底是什么?

这个大脑包含了视觉系统。在控制和硬件部分,大家可以各自努力。

真机验证和迭代作为eval(评估方式)自然很重要,但我不需要过早介入硬件,软件层面和大脑构建上有fundamental research问题没有解决。

张小珺:你在之前提到,何恺明(计算机视觉顶级学者、ResNet之父)很早就提到模型要“大大大”,那么为什么LLM的Scaling law比CV要早那么多?

谢赛宁:CV现在还没有一个真正的Scaling law。

虽然Video diffusion(视频扩散模型)有一定的Scaling behavior(规模化表现),但借用形式化定义:C=6ND(Compute = 6 × 参数量 × token数),N和D的配比在CV中会非常不一样。

我的一个观点是:Language model其实不是一个自监督学习过程,它是一个strongly supervised learning(强监督学习)的过程。

逻辑是这样的:通常看你有没有外部annotation(标注)来决定是自监督还是强监督。但语言太特例了,它是人类几千年文明演化、process(处理)了世界一切后,以tokenize(标记化)方式存储下来的知识。我们恰好有互联网把这些知识都upload(上传)了。

对于研究者来说,这看起来是for free(免费)的,但免费不代表它没有label(标签)。这些知识的上传本身就是一个supervision construction(监督信号构建)的过程。

所以,语言模型始终停留在的target(目标)即Y Space(Y空间)。所有的机器学习都是X到Y的映射,Y通常是supervision(监督信息)。语言模型其实只在刻画Y Space。这不足以代表世界全部,很多东西无法通过语言刻画。

语言是一个communication tool(交流工具),不是思考工具,甚至不是decision making(决策)工具。

作为交流工具,它必须做trade off(取舍),牺牲掉很多东西。比如“杯子掉在地上碎了”,我们只在乎结果和状态,不在乎它怎么碎的、背后的dynamics(动力学规律)和物理定律。这是它的局限。

张小珺:做LLM的人,有时候会抱怨说,加入视觉以后可能影响智商。Kimi创始人杨植麟说,他不希望训出一个“傻的多模态”,希望训出一个“聪明的多模态”。

谢赛宁:是吗?我同意不该用一个“傻的多模态”。但如果不加入视觉,你一定会很傻。问题的根本在于到底怎么定义聪明和傻,以及怎么定义智能。

在过去几十年,AI总会撞到Moravec's Paradox(莫拉维克悖论):对机器简单的事情(如逻辑推理、棋类)对人很难;而对人简单的事情(如走路、视觉感知)对机器却极难。我们人没法背下这么多外语,但我们拥有极其复杂的视觉感知能力。

就像你刚说杨植麟可能不想让视觉来“污染”语言。但是,我也有自己的担心:

语言其实是一个“毒药”,或者说是一剂“鸦片”,你加多了语言总是会觉得更幸福的,它有用,但它是一个shortcut(捷径)。

如果你一直吸鸦片就废了;如果你一直拄着拐杖,你就没办法训练大腿的肌肉。

张小珺:这是你跟杨植麟观点之间的小对抗。

谢赛宁:我非常担心语言对于视觉的“污染”。这种污染已经在发生了。

07

我们是在某种行业压迫下生存的公司


张小珺:关于世界模型,其实现在的定义没有收敛,你们定义的世界模型和李飞飞团队(World Labs)定义的世界模型,差异是什么?

谢赛宁:我刚阐述的都是在我们定义下的世界模型。

现在世界模型不好定义,是因为它不是一个技术路线,它是一个目的。不管你在做LLM还是Video Diffusion Model,所有人都在通往世界模型的道路上。在我们看来大家并没有直接竞争关系。

对于一个Video Diffusion Model(视频扩散模型)的公司,像Sora、字节的模型、Genie、Runway、Luma,他们这些生成派更聚焦在构建一个世界模型的模拟器上,所谓的World Simulator。他们的目标是渲染出足够好看的视频,追求生成的一致性。

李飞飞老师那边在World Labs里,更在意强3D的representation(表征),是“空间的代码”,是交流,协作和创造的interface(界面)。通过一个非常具象化的、explicit(显式)的3D的形式,这样才能够在空间里面去掌握空间智能,并且保证100%不会出错。对于一个generative world simulator(生成式世界模拟器)来说,因为context window(上下文窗口)的限制,这件事情是不能保证的。

我们想要做的事情更像是,要去打造这样一个predictive brain(预测大脑),核心还是怎么样去提升智能本身。

张小珺:你的意思是,World Labs的路线无法提升智能本身?

谢赛宁:当然是可能的,比如可以通过在创造的显示空间里面训练智能体,我们是两条非常互补的技术路线。

张小珺:有一个中国的投资人曾经跟我说过:所有“含着金汤匙”出身的创业都没有成功的,几乎没有。你怎么看?

谢赛宁:我不懂什么叫做“金汤匙”。

张小珺:一上来融特别贵的钱,融资金额巨大,创始人已经功成名就。

谢赛宁:我们没有含着“金汤匙”。就像我说的,我们完全是一个“草根联盟”的创业模式。

张小珺:LeCun怎么可能会是草根?

谢赛宁:Yann不是草根,但他现在在整个AI的行业,包括在投资人面前,很多时候是一半支持、一半反对的。

总归是,他不是众星捧月的那种英雄。

他是一个坚守自己、在永远尝试做下一件事情,但这件事情还没有完全做成的这么一个人对吧?我觉得这导致我们不是含着“金汤匙”。我们是一个underdog(不被看好者)。

我们其实是在某种行业的压迫下生存的这样一个公司。

张小珺:凡尔赛了…

谢赛宁:不是,没有凡尔赛。真的。

我们可能会有很多的融资,但比起LLM现在撬动的资源来看,差太远了。

张小珺:你们融资难吗?

谢赛宁:有Yann在这确实不难。但是还是要看后面我们到底能不能deliver(交付)我们的mission(使命),我们能不能把research breakthrough(研究突破)做出来。

但我非常enjoy(享受)这种underdog(不被看好者)的身份,尤其作为一个创业者。

做research(研究)也是一样,你们越不相信我,我越happy。

张小珺:你有感受到谁对你的不相信吗?

谢赛宁:很多投资人的feedback(反馈)——我们有很多人相信我们,也有很多人不相信我们。

在硅谷里面大部分人不相信我们。在世界其他地方大部分人相信我们。

但没关系,你们可以不相信我们,那我们就let’s see(走着瞧)。

这条路我现在已经all-in了,你跟不跟?

08

自大的人类!


张小珺:你刚才说AGI是个伪命题,这个观点你能展开一下吗?

谢赛宁:AGI是伪命题,这也是我很认同Yann的一个观点。

他之前跟Demis(DeepMind 创始人)有一个辩论。他就在说到底什么是general intelligence,到底存不存在这件事。

他的逻辑也很数学,他说这个人有200万根视觉神经纤维,可以用来去model(建模)函数。

虽然理论上所有可能的视觉函数是2^2^200这么大,但人能够真正去process(处理)、能够看到的东西趋近于零。我们受到意识和神经bandwidth(带宽)的限制,看不到世界上发生的一切。所以人的智能是一个非常specialized(特定化)的智能,人只能认知到自己能看到的东西。

我后来补充了一个tweet(推文),提到一本书叫Are We Smart Enough to Know How Smart Animals Are?(《我们足以聪明到知道动物有多聪明吗?》)。看了之后,我觉得我们应该放弃人类的自大,智能演进是一个连续的过程,人不是独一无二的。

人会使用工具,动物也会。甚至我们引以为傲的自我意识,比如镜子实验,很多动物也能意识到镜子里的是自己。

张小珺:狗狗好像可以。

谢赛宁:很多动物可以。还有更加聪明的动物,比如黑猩猩。

德瓦尔还写过一本书叫《黑猩猩的政治》,讲四只黑猩猩如何进行权力博弈,很像《纸牌屋》,有拉帮结伙、有权谋上位。这些动物也有theory of mind(心智理论),它们有自己的 World Model。

比如一个实验:实验人员当着黑猩猩的面在两个盒子里分别放了香蕉和苹果,扣上盒子。把黑猩猩拉出去很长时间再带回来,如果它看到实验人员正在吃香蕉,它会径直去打开装苹果的盒子,理都不理原先装有香蕉的盒子。这说明它有某种心智推理能力。

虽然语言是人类独一无二的,但不代表其他动物不会交流。鲸鱼也有自己的语言。

张小珺:你们的World Model会先朝着哪一种生物的智能构建?

谢赛宁:目标当然是人类智能,因为这最能benefit(造福)这个世界。

我们希望build a World Model(构建一个世界模型)通向Human-like Intelligence(类人智能)。但我们确实应该放弃人类的自大。

最近我很受Richard Sutton的启发。大家说 LLM很厉害,能写code、拿IMO/IOI(国际数学/信息奥林匹克)金牌、上火星。Richard Sutton的回答是:如果你觉得这很难,那你就这么觉得吧,我不这么觉得。我觉得打造出一只松鼠的智能,才是真正难的问题。

一旦你能build松鼠的智能,让它在真实世界活下去,有自己的goal、有intrinsic reward(内在奖励)、知道饥饿、有emotion(情感)和社群活动,那么写代码、上月球这些事都是再容易不过的。

如果抛下人类的自大,打造松鼠的智能其实是一个更难的问题。人类的智能不只是语言模型,有很多智能不能通过语言本身所决定。

张小珺:说到这里,你对智能的定义是什么样?

谢赛宁:Richard Sutton是站在宇宙和造物主的视角。从那个角度看,重新造出一只松鼠,要比人类文明在5.3亿年进化史最后8秒创造的东西要伟大得多。

我不会给智能下一个定义,不同动物有不同的智能。我希望鼓励大家不要只关注那些个体很难做到的高级任务(如发论文、拿奥赛金牌),关注一下4岁小孩能做得很好的事情,这才是世界模型需要解决的问题。

所以Robotics是最好的出口。在谈论AGI或Super Intelligence(超人工智能)之前,能不能先有一个足够reliable(可靠)、足够general(通用)的robot?一个12 岁的孩子能承担几乎所有家务,但现在没有任何机器人能做到。

这件事需要“预训练的下半场”。现在的机器人创业公司没有精力做“大脑”的预训练,他们资源都投入到了hardware的Scaling Law(硬件的规模定律)上。即买更多机器人、去deploy(部署)它们,产生具体的商业价值。

张小珺:这个所谓的“预训练下半场”,它输入什么?输出什么?

谢赛宁:长期来看,输入的是所有的连续空间、高维度、可能有噪声的信号。一开始可能是video,但也会有多模态模型去学习和处理视觉之外的信号。

至于输出端最优的目标函数是什么,这是目前research问题。

这也属于泛self-supervised learning(自监督学习)的范畴,也是最exciting(令人兴奋)的地方。

09

“42”


张小珺:我们那天在一起等餐厅排队的时候,在纽约街头一起走了走,话题很自然地就延展到了那些对你非常重要、影响过你的人。

“人”这个因素占据了你众多选择中非常大的比重。为什么人对你来说这么关键?

(此处折叠10万字。

剧透7小时视频播客中谈到的人:侯晓迪、屠卓文、何恺明、李飞飞、杨立昆…)

张小珺:你是怎么样从一个年轻的学者,慢慢和这些AI业赫赫有名的人站到一起的?你是怎么走近世界AI核心的?

谢赛宁:我觉得这件事情很难刻意做到,也有点玄学。你可以叫它Law of Attraction(吸引力法则)。上述列举的所有人,至少都是做过Vision的。我没有刻意让这些事情发生,大家只是基于对research问题理解的一致性一起合作。

想法一致的人最终都会聚合在一起——虽然有无数的小溪,但最后都会汇聚到一条河流上。

张小珺:我发现你很喜欢说,You are not the chosen one, you are just the normal one。你为什么很喜欢说这句话?

谢赛宁:我没有预料到我们会聊到这些,不过我肯定不是那种所谓的“天选之子”。

这句话其实来自我很喜欢的一支球队——Liverpool F.C.。我是一个Kop(利物浦球迷),已经二十多年了。我跟这支球队的气质也有一点相投。

我最喜欢的一个教练是Jürgen Klopp。当时还有另外一个教练,José Mourinho,他曾经说过一句很著名的话:“I am the special one.” ——“我是那个特别的人。”

后来克洛普就半开玩笑地回应说:“I’m not the special one, I’m the normal one.”——“我不是那个特别的人,我只是一个普通的人。”

我很喜欢这种态度。一方面他本人非常朋克,很有一种摇滚气质;另一方面,他又经常跟大家讲,他在团队里的定位更像是一块电池。

他希望通过自己的passion、自己的能量,去给其他人发电。我也很希望自己能成为这样的人。不管是在学校,还是在创业公司里,我都希望自己能够成为团队里的那块电池。

但我觉得这件事情并不容易。因为每个人都会有沮丧的时候,也会有想吐槽、想发泄情绪的时候。但我现在慢慢觉得,在学校里、在学生面前,或者在创业公司的团队面前,总需要有人去承担这样一个角色——就是能够像一块电池一样,持续地给大家提供能量。

Yann就是这样一个巨大的电池。他也深深地感召了我。

但我也希望,能够通过我自己,把这份电力继续传递下去。

张小珺:你最近一次感到沮丧是为什么?

谢赛宁:我天天都感到沮丧。这个已经变成一个常态了。

这也是researcher的宿命——大家底色都挺悲凉的。

Research的求索过程,本身就是在一个暗无天日的地方摸索的过程。当你看不见光亮的时候,你总是会感到迷茫和沮丧。

大家真正感到快乐的时候,无非就是你真的把东西做出来的时候。但这一部分时光其实非常短暂,可能只有5%或10%。恺明好像也说过类似的话。长此以往,大家的心理状态挺堪忧。

不过我觉得现在这个时代,和原来不太一样了。现在会有更多讨论。这也是这一波AI带来的一个好处:至少大家不觉得自己是在一个幽闭的空间里独自探索。

张小珺:你们公司有创业者人格的人吗?创业者人格一般挺乐观的。

谢赛宁:Yann本身就很乐观,非常非常乐观。

张小珺:他也是一名研究者,为什么没有researcher这种悲凉的底色?

谢赛宁:那我不知道。可能因为他经历过悲凉,然后成功了吧。他经历过AI的寒冬,然后最后可以告诉所有人:他是对的,你们是错的。

如果我经历一下这件事情,我可能也没那么悲凉。

他还是蛮乐观的。他的过去这些经历,也让他更有信心。他经常说的一句话是:这件事情跟过去Deep Learning(深度学习)、Neural Network(神经网络)发生的事情一模一样。就是现在World Model,或者你不管怎么叫它,现在的智能系统的搭建。

他说,总有一小群人,能够清晰地看见这个世界发展的脉络,看见科技的进程。但他们只是一小撮人,大部分人其实是看不见的。

因为大部分人都在忙着做其他的事情。

比如在Deep Learning之前,很多人可能就是在做一些其他的东西,Traditional Machine Learning(传统机器学习)之类的。现在也一样。

他还是蛮乐观的,或者说他有足够的confidence。他会觉得:我能看到的事情是重要的事情,我能看到的路线是一条清晰的路线。在这件事上,我还蛮相信他的。

张小珺:我们刚才聊了很多世界模型。在过去一两年,你对我们生活在的这个真实世界的模型有哪些新的思考吗?

谢赛宁:我觉得,这件事情一定要超出research的局限。一定要热爱生活,到真实的生活里面去,要了解到这个真实世界发生的事情。不要在一个大的bubble里面过完自己的一生。

我会很担心在现在这个时代,大家的思维方式或者关注的东西,可能会有某种同质化。但总之,如果一个东西已经变成一个巨大的共识,这件事情总会有更大的bubble(泡沫)破灭的风险。

但我说的bubble可能也不是经济上的bubble,更像是在一个封闭的环境里,大家的这种——Echo chamber,有某种回音壁。

我其实也不是想吐槽湾区。湾区挺好的。我现在在纽约,非常怀念湾区的生活,总想回去,尤其在冬天下雪之后。

但是我觉得纽约很不一样。我每天上班,首先我不用开车了,已经从一个铠甲脱离出来,进入到真实的生活,开始步行。

这件事情有很多奇妙的反应。我每天有时候还是压力蛮大的,有时候遇到一些事情还是蛮沮丧的。但每当我穿过——从我家到学校办公室,有一个公园叫Washington Square Park(华盛顿广场公园),里面形形色色的人都有:

有弹钢琴的艺人,有跳舞的,有推着婴儿车的妈妈们,有下象棋的老大爷,有坐在台阶上什么也不做发呆的年轻人,也有拿着电脑学习的NYU的学生……每天最解压的时光,就是这大概五到十分钟的路程。

我发现这个世界比我们想象的要大得多。不是所有人都关心什么叫AI,他们可能不care这件事情,他们有自己的生活。这个世界很大。

但另一方面,也许AI在未来某一天会影响到他们的生活。那我们到底应该做什么?作为researcher,我们有没有某种社会责任?

我只是觉得,多跟人接触,多跟生活在这个世界里面的人接触,会让我对什么是 AI?应该怎么样去做下一代 AI?有一些新的认识。

这件事正是Ilya当初给我打电话,他想要跟我聊的东西。但我那时候还没有这些感悟。

张小珺:你有什么喜欢的音乐?喜欢的电影?喜欢的电视剧吗?

谢赛宁:我想想,我还挺爱看电视剧的,可以推荐一些电视剧给大家看一看。

有个电视剧叫《POI》,也是一个很老的剧,在里面大家讨论了什么是一个super intelligence(超级智能)?你有一个好的super intelligence和一个坏的super intelligence,它们之间的竞争,对人类社会的威胁。

这件事情我就不剧透了,但还是挺多模态的,而且这件事情有一定的预言性。还挺神奇的。

它就是讲,怎么样从一个在盒子里面的语言模型,或者一个可以写代码的Agent,一步一步跳脱出来,变成一个多模态模型的过程。

到后面当然还有我很喜欢的,比如《万神殿》,这也是某种AI的寓言。它是一个动画,作者是刘宇昆,是我的老乡。他也当过律师,当过码农,最后变成小说家,非常非常厉害。我非常敬佩他,他的书我也很爱看。这部剧之前被Sam Altman推荐过,很多人也都看了。

最近当然是很火的《同乐者》,也是AI的预言。只是有一点麻烦,这些流行文化被AI渗透得太多,导致所有都跟AI有关系。有点受不了。但可能只是因为我是AI从业者,会有不一样的感觉吧。

不过还是蛮有启发性的。包括我之前说的科幻小说、老电影,它们都是某种现实的预演。但通常结局都不是很光明,通常挺惨淡的。

我最近还看了一部电影,《无可奈何》,朴赞郁的电影。它讲的也是AI对人的异化。全片几乎没有直接谈AI,直到最后。通篇都在讲,因为AI的到来,人到底发生了什么变化,人的心态、人与人之间的关系到底发生了什么变化。

说到电影,最后说一句,欢迎大家来纽约。我以前会参加纽约电影节,现在我会去参加两个,一个是纽约电影节,另一个是AI电影节。也很酷。

要推荐的话,跟我们刚刚说的都相关,今年得到大奖的AI电影叫《全像素空间》(The Total Pixel Space),是一个很有趣的AI短片,讲了很多我们刚刚说的关于世界模型,或者为什么人的intelligence不是单纯通用的intelligence的一些argument。很好玩。

张小珺:我们的每一位嘉宾都会给我们的观众推荐一本“人生之书”,希望它真的影响过你,改变过你。你的会是什么?

谢赛宁:推荐两本书给你。

一本书,我猜大家可能都经常推荐,但我在本科的时候,这是一个群体性的记忆。

这本书叫《集异璧之大成》,你有听说吗?就是哥德尔、巴赫、艾舍尔。里面讲了很多关于哲学、数理逻辑,还有这三个人——哥德尔、巴赫、艾舍尔,一个数理学家、一个作曲家、一个画家,他们之间到底有哪些哲学的共同点?

我们本科的时候,是老师推荐,大家组团学习。当初大家看不懂,但是到后面,越来越觉得这件事有点道理。

还有一本书,也是本科看的,叫《禅与摩托车维修艺术》。这本书是一个内心求索的过程。它讲的是一个人骑着摩托车——可能有剧透——有一个想象中的哲人,但其实这个哲人是他自己的投射。

有些书、电影会把你装满,有些书、电影会把你掏空。我看完这本书的感觉是,它有点把我掏空。让我感觉到了一些,这个世界到底什么重要?什么不重要?

张小珺:对于你来说,什么重要?什么不重要?

谢赛宁:人与人之间真诚的交流是重要的,也许其他都不重要。

但在某一个时间点上,你要问我这个问题,我会说创业很重要,我会说research很重要。但归根结底,我还是相信人与人之间的交流,这件事很重要。

张小珺:听起来research是你交流的一种媒介。

谢赛宁:对,我觉得是。而且research本身也是一个deeper connection(深度连接)吧。

这在我们融资过程中还帮到了我们。有一个投资人很愿意投我们,他的原因是,他认识一个很强的创业者,也是一个研究员。他说:“诶,你们一定要投赛宁,我们不管以什么样的方式都要帮到他。”但我跟这个人只在开会时见过一次,他是StableDiffusion主要作者之一,创立了BlackForestLabs(黑森林实验室)。

这种信任关系是建立在你的学术工作之上。这种信任关系甚至有时候会远超你真正的personal connection(私人关系)。

大家通过你的一篇作品了解你,这件事情会传承下去,甚至可以走得很远。

张小珺:你一开始就说你相信命运,而且越来越相信。你也做了那么多“玄学决定”。此时此刻,你感觉命运正在把你往哪推?

谢赛宁:命运在推我吗?好像也没有。好像没有被命运推着走的感觉。

只是在下一次需要做选择的时候,希望上天保佑吧。

张小珺:这个世界是一个巨大的世界模型吗?

谢赛宁:这个世界当然是一个巨大世界模型。

张小珺:那我们能预测命运吗?

谢赛宁:我觉得不能。

张小珺:为什么?

谢赛宁:因为我们资源不够。

你需要用地球这么大的一个计算机,或者说你要有整个宇宙作为你的计算机,才能告诉你一个关于生命、关于宇宙、关于任何事情的答案。

这个答案最后可能是42。

---

还有大量的内容,只有视频播客和播客有喔:)

剧透一下:

  • 世界总不让我做Vision,我偏要做

  • 开着破车,开始我的学术流浪

  • 贾樟柯和毕赣如何启发Cambrian-S

  • 论文中的草蛇灰线 -- “作为表征的世界”

  • 质疑JEPA,理解JEPA,成为JEPA

  • LLM在左,机器人在右

  • Research taste与《金刚经》

  • 为什么我不喜欢“Impact”,它显得过于男性化

  • 住手!放开维特根斯坦

收听播客


推荐阅读


阅读原文

跳转微信打开

  •  

好多大厂APP文本链接不用主题色,其实是没招了

原创 邹咿ZoeYZ 2026-03-16 08:20 广东

能用的话早用了…

经常看到一些主题色比较浅的产品设计,白底页面上文字链接用主题色,导致文本链接还不如普通文本显眼,看得很累。

QQ音乐

活动行

有些聪明一点的,会给普通文字用浅灰色,这样文本链接可以体现出来。但是由于文字的颜色整体偏浅,导致可读性还是较差。

朴朴

文字链接的颜色要怎样才合理?如果主题色不适合做文本链接,又该怎么办?

接下来,我会先给大家介绍一个验证文字色彩对比度的方法,然后再来看看大厂有哪些处理方式。

怎样的颜色才方便阅读?

Web Content Accessibility Guideline(网页内容无障碍指南,简称WCAG)是由万维网联盟(W3C)下属的无障碍网页倡议组织(WAI)发布的国际网页无障碍标准,旨在通过规范网页内容的设计与开发,确保所有用户(包括残障人士、老年人、色盲用户等)都能平等访问网页信息。

WCAG对色彩对比的要求基于文本类型(普通文本/大文本)和 conformance level( 合规等级),分为AA级(最低推荐标准)和AAA级(增强标准)两个层级。

底线:普通文本≥4.5:1(AA级),大文本≥3:1(AA级)——这是全球公认的“最低可读”门槛;

理想:普通文本≥7:1(AAA级),大文本≥4.5:1(AAA级)——兼顾舒适性与包容性;

WCAG采用相对亮度公式计算文本与背景的对比度,具体步骤如下:

  1. 将文本颜色(前景色)和背景颜色的RGB值转换为sRGB空间(即归一化到0-1范围);

  2. 对每个颜色通道(R/G/B),若其值≤0.03928,则除以12.92;否则按公式((value + 0.055) / 1.055) ^ 2.4计算;

  3. 计算相对亮度(L):L = 0.2126*R + 0.7152*G + 0.0722*B(其中R/G/B为步骤2的结果);

  4. 计算对比度比值:(L1 + 0.05) / (L2 + 0.05)(L1为较亮颜色的相对亮度,L2为较暗颜色的相对亮度)。

为了方便,可以直接使用一个计算工具,网址我放在底部「原文链接」了。

按照这个公式,以下文本色都是不合格的:

以下文本色作为大文本是符合的,但是作为普通文本不合格:

我发现,即便是大厂设计,文字颜色的对比度达到理想等级的非常少。可能是为了平衡美观性吧,能够达到 3 : 1 就算不错了。

Google的A/B测试

谷歌搜索引擎在2019年其实尝试过另一个色彩的文字链接,但是很快下线了。

上图来源:https://goodui.org/leaks/google-has-been-a-b-testing-link-colors-again-and-this-light-blue-didnt-pass/

虽然没有谷歌官方的消息来源,但按照常理来分析,主题色文字链接被下线的原因可能是可读性的问题。

尽管这个颜色以WCAG的标准来看,算是合格:

现在他们的文本链接颜色明显比主题色偏紫一些:

这个颜色的对比度就更高了,数值接近前者的2倍:

元宝选择把主题色加深

腾讯的AI元宝的主题色是挺亮的绿色,如果直接用在文字上,可读性是不够的:

于是,他们选了一个明显更深的绿色,把对比度一下子拉到了一个很客观的数值:

微信选择灰蓝色

众所周知,微信的主题色是绿色,这个颜色的对比度也不足以用在文本上:

微信比较特别的做法是,选了一个偏灰的蓝色给文本链接用,看起来跟主题绿毫无关联。这个灰蓝色的对比度,确实是够格给文本用的。

为什么要用偏灰的蓝色呢?可以看看下图的对比:

如果用亮蓝色的话,会比按钮的主题绿还抢眼。只有用灰蓝色,才能确保当主题绿出现时,依旧能够很好地引导用户视线。

头条选择亮蓝色

今日头条的主题色是红色,但它的文本链接有些是红色,有些又是亮蓝色。

总结一下规律,用蓝色的文本链接,主要是不想引起注意的地方。所以,我才头条设计师是觉得有些文本链接用红色太过抢眼,所以才用亮蓝色的。

那为什么不像微信那样用灰蓝色呢?看看下图对比就知道了:

因为页面上的主题红已经很显眼了,文本链接就算用亮蓝色,也不会喧宾夺主。

反倒是如果改用灰蓝色,会让文本链接太不起眼,看起来还有点像是无效链接。

总结一下

当主题色相对于背景色的对比度较低时,可能就不适合给文本用了,具体可以用在线工具来测试。

主题色为红色、橙色,有警示含义时,也可能不适合作为文本链接。

如果主题色不适合给文本用,那么千万不要勉强用,也没必要为此改主题色。

可以学习大厂的处理方法,例如:

主题色调整色相(Google)、主题色加深(元宝)、灰蓝色(微信)和亮蓝色(今日头条)。

你在做设计时有没有遇到过类似的问题?是怎样处理的?欢迎留言分享~

阅读原文

跳转微信打开

  •  
❌