铃阅时讯
❌

阅读视图

Palantir的成功难以复制:这五大核心依赖条件,你有吗?

原创 风叔 2026-03-16 20:02 上海

以本体论为底层核心思想,构建差异化壁垒;以四大平台为核心的完整产品体系,提供坚实工具支撑;以CEO工程为突破口,锁定超高客单价;以全球顶尖的FDE团队,确保方案落地交付;以硅谷顶级大佬组成的创始团队,提供长期资源与资金背书。

如果要评选近三年全球科技圈最逆袭的公司,Palantir绝对稳居前列。2023年之前,它还被贴上长期亏损、小众政府承包商的标签,股价长期在个位数徘徊;但短短两年时间,它实现了史诗级爆发——2025年股价涨幅逾10倍,市值突破3000亿美元,跻身美国市值前20的科技公司行列。营收同样亮眼,2025财年达44.75亿美元,同比激增56%,其中美国商业部门收入猛增109%;全球客户数突破950家,较上年增长34%,而收入增速远超客户数增速,彰显单客户价值的大幅提升。

从默默无闻到万人追捧,Palantir的崛起令人惊叹。很多人将其归功于AI浪潮的风口,但真正的答案远比踩中风口更深刻。为什么偏偏是Palantir,能在数据杂乱、需求复杂的政府与大型企业市场中脱颖而出?

答案藏在它五大核心依赖条件的协同发力中:以本体论(Ontology)为底层核心思想,构建差异化壁垒;以四大平台为核心的完整产品体系,提供坚实工具支撑;以“CEO工程”为突破口,锁定超高客单价;以全球顶尖的FDE团队,确保方案落地交付;以硅谷顶级大佬组成的创始团队,提供长期资源与资金背书。

这五大条件环环相扣、缺一不可,共同铸就了Palantir的成功。

一、核心基石:以本体论(Ontology)重构数据价值,打破传统数字化困局

Palantir成功的最根本前提,是它跳出了传统数字化软件的思维定式,将本体论这一源于哲学和计算机知识表示理论的概念,转化为可落地的企业级解决方案核心,成为其区别于所有同行的压舱石。

Palantir语境下的本体论,不是晦涩的哲学概念,而是为企业构建一套数据世界的语法规则——它不只是简单整合数据,而是定义数据背后的“事物是什么”(语义层)、“可以做什么”(动力层),以及“如何智能决策”(动态层),本质是打造企业的数字孪生+决策中枢,让分散在各个部门、格式杂乱的数据,形成有逻辑、可联动、能决策的有机整体,让AI和人类都能读懂数据背后的业务关联。

它的核心作用,是解决传统数字化最大的痛点:数据孤岛与决策脱节。过去几十年,企业数字化的思路都是按部门、按功能建系统——财务有ERP、人力有HRM、生产有MES系统,每个系统都囤积着大量数据,但这些数据彼此孤立,就像一个个信息黑盒,无法联动分析,更无法支撑企业级的复杂决策。

本体论与传统数字化软件的构建思路,有着本质区别:

传统数字化软件:“你给我什么数据,我就处理什么数据”,只关注数据本身,不关注数据之间的业务关联;比如财务系统只记录订单金额,生产系统只记录生产进度,两者互不联通,无法回答“订单延迟会导致多少财务损失”这类核心问题。

Palantir的本体论:“我先定义你的业务逻辑,再整合所有数据”,关注数据背后的业务关系;它会先梳理清楚“订单-生产-供应链-客户-财务”的全链路关联,再将各个系统的数据嵌入这套逻辑中,从而实现牵一发而动全身的联动分析与决策。

更关键的是,很多传统软件解决不了的复杂问题,只有本体论才能破局,这一点在真实案例中体现得淋漓尽致。

案例一,Tampa General医院面临患者安置效率低下的问题,传统医院管理软件只能分别统计床位、医护人员、患者病情等数据,无法实现三者的动态匹配,导致患者平均安置时间过长。而Palantir基于本体论,构建了涵盖“患者病情-床位资源-医护配置”的全关联模型,明确了各类患者与床位、医护的匹配规则,最终将患者安置时间减少83%,大幅提升了医院运营效率。

案例二,Lear公司作为全球知名汽车零部件制造商,拥有复杂的供应链和生产体系,传统ERP系统无法联动生产、采购、物流等环节的数据,难以定位成本浪费的核心节点。Palantir通过本体论,将生产损耗、原材料价格、物流时效等数据纳入统一的业务逻辑中,精准识别出供应链中的冗余环节,仅2025年上半年就为Lear公司节省了3000多万美元成本。

这些案例的核心的共性的是:传统软件只能处理数据,而本体论能理解业务。它让数据从孤立的数字变成有逻辑的资产,这也是Palantir能切入政府、大型企业核心场景的根本原因。

二、工具支撑:完整的产品体系,将多年实践转化为可复用的积木

本体论是核心思想,但思想的落地,离不开一套强大、完整的产品体系。Palantir的成功,绝非靠单一技术或产品,而是将过去20多年在政府、军事、企业场景中积累的最佳实践,全部整合进标准化的产品工具中,形成了“四大核心平台+N个应用工具”的完整生态,就像一套功能强大的积木,能根据不同客户的复杂业务需求,快速组合出定制化解决方案。

这套产品体系的核心是四大平台,它们各司其职、协同联动,覆盖了从数据整合、部署管控到AI决策的全流程,再搭配应用层工具,形成了无死角的解决方案能力:

  1. Gotham(哥谭):面向政府与国防客户的核心平台,也是Palantir的起家产品。它诞生于2008年,专为情报分析、国家安全等场景设计,能够整合海量异构情报数据(如电文、卫星图、人员信息等),基于本体论构建关联模型,帮助用户快速识别隐藏的规律和风险。最著名的案例,就是协助美国军方整合300万份电文、17万张卫星图,将72小时的资金流追踪压缩到12分钟,为锁定本·拉登藏身之处提供了关键支撑,如今已服务于五角大楼、CIA、FBI等全球多个国家的政府机构,仅Maven系统就服务了2万多名军事用户。

  2. Foundry(铸造厂):面向企业客户的核心平台,聚焦企业数据运营与业务优化。它能整合企业内部所有部门的异构数据(ERP、MES、CRM等),基于本体论构建统一的数据语义层,让企业员工无需技术背景,就能通过简单操作实现数据联动分析、业务流程优化。无论是制造业的供应链管控、金融业的风险排查,还是零售业的用户画像,Foundry都能快速适配,是Palantir开拓商业市场的主力军,也是2025年美国商业收入爆发的核心支撑。

  3. Apollo(阿波罗):负责所有产品的部署、管控与更新,是Palantir产品体系的运维中枢。它解决了大型企业和政府机构的核心痛点——多场景、多终端的统一部署与安全管控。通过Apollo,客户可以在本地、云端、混合环境中快速部署Palantir的所有产品,同时实现权限管控、版本更新、安全审计等功能,确保数据安全与系统稳定,大幅降低了客户的运维成本和使用门槛。

  4. AIP(人工智能平台):Palantir的AI赋能核心,也是近几年爆发增长的关键引擎。它将大语言模型与本体论深度结合,打造了“AI+业务”的闭环能力。AIP的核心价值,是让不懂技术的业务人员也能使用AI做决策,比如企业高管可以通过自然语言提问“为什么上一季度欧洲区利润率下降”,AIP能快速联动所有相关数据,追溯到具体原因,彻底打破了AI与业务之间的壁垒。

除了四大核心平台,Palantir还提供了map(地图可视化工具,用于地理空间数据展示与分析)、contour(数据分析可视化工具,用于快速生成报表、呈现分析结果)等多种应用层工具,这些工具就像积木的配件,与四大平台协同,能够快速适配不同行业、不同客户的复杂业务需求——无论是政府的反恐情报分析,还是企业的供应链优化,都能通过这套积木快速搭建解决方案,既保证了标准化产品的高效性,又兼顾了定制化需求的灵活性。

三、增长引擎:自上而下的CEO工程,直击核心决策层,锁定超高客单价

有了核心思想和产品工具,如何将它们卖给最有决策权、最愿意付费的客户?Palantir给出的答案,是一套颠覆传统企业软件销售模式的策略——自上而下的CEO工程,这也是它能实现超高客单价、快速盈利的关键原因。

传统企业软件的销售模式,都是自下而上:先对接企业的IT部门或业务部门,演示产品功能,逐步推进试点,再争取高层审批,这种模式周期长、决策慢,而且容易因为部门利益、预算限制而失败,客单价也普遍偏低。

而Palantir反其道而行之,采用自上而下的策略:不对接基层部门,直接对接客户的CEO、董事会等核心决策层,聚焦解决CEO最关心的核心问题——增长、风险、效率,用业务价值打动决策层,而非用产品功能说服基层,这种模式不仅缩短了销售周期,更直接锁定了超高客单价。

Palantir的客单价有多高?数据最有说服力:2024年,其平均每客户收入约580万美元;而顶级客户的价值更惊人,前20大客户年均贡献超5000万美元收入。2025年,仅第四季度就签下18笔千万美元以上大单,全年签约总合同价值达42.62亿美元,同比增长138%。能实现这样的超高客单价,核心在于它精准抓住了CEO的核心痛点——对于大型企业和政府机构而言,解决核心问题的价值,远高于节省成本,而Palantir的方案,恰恰能解决那些其他软件解决不了的核心难题。

而CEO工程的关键落地载体,就是Palantir独创的workshop模式,这也是它打动CEO的核心手段。这种workshop不是传统的产品演示,而是一场价值验证会,流程简单但极具冲击力:

  1. 前期调研:提前深入了解客户的核心痛点,比如CEO关心的“供应链风险管控”、“营收增长乏力”等,收集客户的核心数据;

  2. 现场实操:邀请客户的CEO、核心高管参与,Palantir团队现场将客户的数据导入自己的产品体系,基于本体论构建分析模型,实时演示如何解决客户的核心痛点。比如,当场展示如何通过数据联动快速识别供应链中的风险节点、如何通过AI决策优化企业的资源配置,提升营收。

  3. 价值承诺:现场给出可量化的价值预期,比如“通过我们的方案,预计能帮你降低20%的供应链成本,缩短30%的决策周期”,用眼见为实的效果,直接打动CEO。

最典型的案例,就是一家医疗设备制造商,在参加Palantir的AIP工作坊后,亲眼看到了产品解决自身业务痛点的能力,短短5个月内就将年度合同价值扩大了8倍以上。这种眼见为实的模式,彻底改变了企业软件的销售周期,也让Palantir能够快速获得CEO的认可,签下长期、高溢价的合同——毕竟,对于CEO而言,只要能解决核心问题,高单价从来都不是障碍。

四、落地保障:全球顶尖的FDE,一个人顶一个交付团队

如果说本体论是核心、产品体系是工具、CEO工程是渠道,那么FDE(Forward Deployed Engineer,前沿部署工程师)就是Palantir成功的最后一公里保障。Palantir的方案再先进、产品再强大,若无法落地到客户的实际业务中,一切都是空谈。而FDE,就是确保方案落地、实现客户价值的核心力量,也是Palantir最独特、最难复制的竞争力之一。

先明确,FDE不是普通的工程师,也不是传统的实施顾问,而是“技术+业务+沟通”的复合型顶尖人才,他们的核心角色,是Palantir产品与客户业务之间的桥梁。FDE长期驻扎在客户现场,深度理解客户的业务逻辑,将Palantir的产品体系,精准适配到客户的实际业务中,解决落地过程中的所有问题,确保方案能真正产生价值。

Palantir的FDE,堪称全球最顶尖的工程师天团,其招聘标准之高,堪比谷歌、Facebook:

  1. 学历与专业:优先录取MIT、斯坦福、哈佛等顶尖名校的计算机、数学、工程类专业毕业生,不仅要求具备扎实的编程、数据分析能力,还要有一定的业务理解能力;

  2. 综合能力:既要懂技术(能快速调试产品、定制化开发),又要懂业务(能快速吃透客户的业务逻辑、痛点需求),还要懂沟通(能与客户的CEO、基层员工等不同层级的人高效对接);

  3. 抗压与适应能力:需要长期出差、驻扎在客户现场,面对复杂、多变的业务需求,能快速响应、高效解决问题,甚至需要一个人应对多个复杂任务。

据Palantir内部资料显示,早期负责技术招聘的联合创始人Stephen Cohen,曾面试过4500多名候选人,只为维持FDE团队的顶级水准。能在Google或Facebook工作的顶级软件工程师,才有可能进入FDE团队。

而FDE在客户现场的交付模式,更是体现了“一个人顶一个团队”的核心价值。传统软件公司的交付,往往需要一个庞大的团队:技术工程师负责调试产品、开发定制功能,业务顾问负责对接需求、梳理逻辑,项目经理负责协调进度、对接客户,分工明确但效率低下,而且容易出现技术与业务脱节的问题。

但Palantir的FDE,一个人就能完成这所有工作:

  1. 需求对接:直接与客户的核心决策层、业务负责人对接,精准捕捉客户的核心痛点和需求,无需中间环节;

  2. 方案适配:基于客户需求,利用Palantir的产品体系,快速搭建定制化解决方案,甚至进行简单的定制化开发,确保方案贴合客户业务;

  3. 落地实施:负责产品的部署、调试、员工培训,解决落地过程中的所有技术和业务问题;

  4. 价值迭代:长期驻扎客户现场,跟踪方案的使用效果,根据客户业务变化,持续优化方案,确保方案能持续为客户创造价值。

举个例子,某大型制造业客户引入Palantir的Foundry平台,负责对接的FDE,仅用1个月时间,就吃透了客户的供应链、生产、财务全流程业务逻辑,完成了产品部署、数据整合、定制化适配,还培训了客户的核心员工。后续又根据客户的业务调整,持续优化方案,最终帮助客户降低了25%的生产损耗。这样的效率,是传统交付团队无法企及的。

可以说,FDE是Palantir-CEO工程的核心落地保障:CEO签下高溢价合同后,FDE能确保方案真正落地,实现承诺的价值,从而形成“签约-落地-复购”的良性循环,这也是Palantir净留存率能达到139%、远超行业平均水平的核心原因之一。

五、底层支撑:硅谷顶级大佬背书,忍受长期亏损,筑牢发展根基

前面四大依赖条件,看似独立,实则都离不开一个核心支撑——Palantir的创始团队,以及背后的硅谷顶级大佬资源。如果没有这些大佬的支持,Palantir可能早在多年的亏损中倒闭,更无法搭建起本体论、产品体系、FDE团队这样的核心竞争力。

Palantir的创始团队,堪称硅谷梦之队,核心成员均来自PayPal、斯坦福等顶级圈层,拥有强大的政府、企业资源和资金实力,这也是它能长期坚持、稳步发展的根本:

  1. 核心创始人:Peter Thiel(彼得·蒂尔),硅谷传奇投资人、PayPal联合创始人,也是Palantir的主要资金支持者和资源背书人。Peter Thiel不仅为Palantir提供了早期的启动资金,还凭借自己在硅谷、美国政府的深厚人脉,为Palantir对接了大量核心客户——包括CIA(美国中央情报局),这也是Palantir的第一个客户

  2. CEO:Alex Karp(亚历克斯·卡普),拥有哲学博士学位,与Peter Thiel是斯坦福同学,他的核心作用,是坚守Palantir的技术路线,拒绝短期利益诱惑。在Palantir成立后的前15年,公司长期处于亏损状态,很多投资人都劝Peter Thiel放弃,但Alex Karp坚持深耕本体论和复杂场景解决方案,拒绝为了短期盈利而降低产品标准、放弃核心技术,这种长期主义,正是Palantir能积累核心竞争力的关键。

  3. 其他核心成员:包括Joe Lonsdale(LinkedIn联合创始人)、Stephen Cohen(斯坦福人工智能领域专家)、Nathan Gettings(PayPal前工程师,负责开发反欺诈系统),这些人不仅具备顶尖的技术和商业能力,还能为Palantir对接更多的资源和人才,比如FDE团队的搭建,就离不开Stephen Cohen的严格筛选和人才背书。

这些硅谷顶级大佬的核心价值,不仅在于提供资金和资源,更在于忍受长期亏损,坚持长期主义。Palantir从2003年成立,到2023年才实现持续盈利,中间经历了近20年的亏损,累计亏损金额超过数十亿美元。如果是普通公司,早就因为资金链断裂而倒闭,但Palantir凭借创始团队的资金支持和资源背书,不仅熬过了长期亏损期,还持续投入研发,搭建了本体论核心、完整的产品体系和顶级的FDE团队。

更重要的是,创始团队的背景,为Palantir的CEO工程提供了天然的信任背书。当Palantir的销售团队对接客户CEO时,“Peter Thiel创立”、“服务于CIA”这些标签,本身就自带高端、可靠的属性,能快速获得CEO的信任,降低销售难度。毕竟,对于大型企业和政府机构而言,选择一个有顶级大佬背书、长期深耕核心技术的公司,远比选择一个追求短期利益的小公司更靠谱。

最终总结:Palantir的成功,是体系化能力的协同胜利

回顾Palantir的成功之路,我们会发现,它的崛起从来不是单一因素的作用,而是五大核心依赖条件环环相扣、协同发力的结果,形成了一个“底层支撑-核心思想-工具支撑-增长引擎-落地保障”的完整闭环,这也是它难以被复制的核心护城河。

硅谷顶级大佬组成的创始团队,是这个闭环的底层支撑——它确保了Palantir能忍受长期亏损,持续投入研发,同时对接核心客户资源,为CEO工程奠定信任基础,拿到超高溢价的项目;

以本体论为核心思想,是这个闭环的灵魂——它打破了传统数字化软件的思维困局,构建了与微软、谷歌等科技巨头的差异化优势,让Palantir能切入其他软件解决不了的复杂场景,成为客户的刚需选择;

而自上而下的CEO工程,则是这个闭环的增长引擎——它精准对接核心决策层,锁定超高客单价,让Palantir的核心竞争力,快速转化为营收和利润,实现爆发式增长;

全球顶尖的FDE团队,是这个闭环的落地保障——它确保了CEO工程签下的高溢价项目,能真正落地到客户的业务中,实现承诺的价值,形成“签约-落地-复购”的良性循环;

完整的产品体系,是这个闭环的工具库——它将多年的实践经验转化为标准化、可复用的产品,为FDE团队提供了强大的支撑,让FDE能快速搭建定制化解决方案,提升交付效率。

说到底,Palantir的成功,不是因为它踩中了AI的风口,而是因为它在风口来临之前,用近20年的时间,默默搭建起了一套“思想-产品-渠道-交付-资源”的完整体系。真正的科技巨头,从来不是靠短期风口崛起,而是靠长期主义的深耕,靠体系化能力的构建。

这才是Palantir留给所有科技公司的最宝贵的启示。

跳转微信打开

  •  

独家对话谢赛宁:逃出硅谷!

原创 张小珺 2026-03-16 12:09 北京

作者:张小珺

手握10亿美金,在全球四地组建办公室的AMI Labs,却没有选择AI重镇——硅谷。

2026年3月,图灵奖得主杨立昆(Yann LeCun)和青年华人学者谢赛宁等,踏上了一条关于“世界模型”的创业旅程。他们创立的AMI Labs(Advanced Machine Intelligence Labs),目前仅25人、在没有任何产品的情况下,完成10.3亿美元Seed轮融资,投前估值35亿美元。

这是2026年新创的AI Neo Labs中备受瞩目的一家,创造了欧洲历史最大Seed轮。从统计看,它的第一笔融资在Neo Labs中位居世界第二,仅次于前OpenAI CTO Mira Murati创立的Thinking Machines Lab(20亿美元Seed轮融资)。

Neo Labs是近年兴起的一个新概念,专指由顶级AI研究者创立、以基础模型或新一代智能体系为目标、融资规模巨大、研究导向很强的一类新型AI实验室式公司。

“Silicon Valley is very LLM-pilled。”AMI联合创始人兼首席科学官谢赛宁说道,“硅谷已经深陷于LLM(大语言模型),完全被它催眠了。”

近年来,杨立昆活得像“一名斗士”。他发表过众多“反LLM”的著名言论:“LLM本质只是token生成器”,“如果你的目标是实现人类级智能,就不应该在LLM上下功夫”——可以说,他的AI世界观与当下硅谷的主流价值体系冲突。

“他们在硅谷有太多的‘仇人’。”一位硅谷人士评论说。

2026年春节,在中国机器人登上春晚的喜乐时分,纽约刚下过一场暴雪——这是近几年以来纽约最凛冽的一个冬天。在布鲁克林一栋略显凌乱的楼房,我与谢赛宁开始了这场对话。

这位出生于1990年的华人科学家,毕业于上海交通大学与加利福尼亚大学圣地亚哥分校,现于纽约大学任教。创业之前,他曾在Google DeepMind担任研究科学家。更早之前,他在Meta的FAIR实验室担任研究科学家4年。他的论文总计引用数近10万次,曾共同提出Diffusion Transformers(DiT)。

这是谢赛宁第一次接受访谈。2026年2月雪后的一天,我们从下午2点,开启了一场始料未及的马拉松式访谈,直到凌晨时分散去。

在黑暗浸透的霓虹纽约街头,空气中弥漫着没化完冰雪与难闻烟雾的混合味道。就像谢赛宁的表达,总是带着多重的混合感。

在人工智能的思想上,他不乏尖锐言论:“我完全不觉得LLM是Bitter Lesson(专指Richard Sutton提出的《苦涩的教训》)的成功展示,某种程度上,LLM是反Bitter Lesson的”;“语言模型的Scaling Law里面是有水分的”;“语言是‘毒药’,或者说,是一剂‘鸦片’”;“我非常担心语言对视觉的污染,事实上,它已经发生了”。

但他又不厌其烦地,枚举了影响他学术生涯的每一个人,并反反复复口头描摹这些人的人物特征。

这里面有:写《交大生存手册》的侯晓迪,初来乍到美国还不会用Linux的何恺明,活得像65岁青春期少年的杨立昆,捱过许多艰难时刻、以勇气与坚持让AI看见世界的李飞飞,等等。

这场对话涵盖了过去15年间,他对于AI技术变革兼塑造这些变革背后的人的完整游历。很多次我们的话题早就转移了,他坚持要绕回来,把人物素描完成——也许是因为,他人生最初的梦想是成为一名导演,尽管这个梦想很快就破灭了,却以一种新的形式延续下去。

但正是这些,让这篇“反OpenAI”、“反硅谷”、“反霸权”的对话,又充斥着人性的温度。

他说,在这个世界上,“只有人与人之间真诚的交流是重要的,也许其他都不重要”。

完整的播客视频将于Bilibili、小红书、视频号等全视频平台播出;播客将于小宇宙、苹果Podcast等全音频平台播出。

以下是我对谢赛宁访谈的节选。(为了方便阅读,作者做了文本优化)

01 

“硅谷被催眠了”


张小珺:如果Yann LeCun不从Meta离职,你会创业吗?

谢赛宁:我觉得我可能也会,但会纠结一段时间。

张小珺:你会自己做CEO?

谢赛宁:我不知道。如果这么决定的话也是另外一个玄学决定,但至少我现在不知道。

现在在公司里,我们讨论的问题exactly是我一直想做的。这有一点不谋而合:我们想要build这样一个“反向的OpenAI”。

“正向的OpenAI”,是说我现在有互联网作为数据的发源地,把数据download下来,create a GPT model using Transformers。

我们现在有一个智能,这个东西你们可以叫它AGI(通用人工智能)——但by the way,我非常反对这个词,我觉得AGI是一个完完全全的伪命题。

但我们现在有了这样一个模型,有了这样一个intelligence,我想要把这个东西push to market(推向市场)。不管是To C或To B的application(应用)都没问题。

什么是“反向的OpenAI”?是说要训练这个model本身,数据没办法直接从互联网下载下来,我们没有shortcut(捷径)可走。我们需要走一条更加艰辛的路,而这条路,注定无法独行。

The world needs World Models. World Models need the world.(世界需要世界模型,世界模型需要世界)。

这有点“草根联盟”的感觉,你知道吗?就是这些在AI浪潮面前有点FOMO(害怕错过)情绪、有具体问题要解决、有大量真实世界数据的公司,大家可以一起携手,通过某种合作伙伴的方式共建这样一个模型,形成这样一个闭环。

我们先建立一个初始的世界模型。大家用它解决问题、创造价值并获得回报,同时产生更多数据,这些数据再反过来用于训练和优化世界模型。

张小珺:你们从第一天就在全球有四个办公室,分布在不同国家,这很不常见,为什么要这么设置?

谢赛宁:因为Yann有他的名望在这,他作为一个真正正正的“世界人”,他有一个非常neutral的face,一个中立的面孔和角色。

他是一个美国人,但他也是一个法国人。我们总部又不在硅谷,能吸引很多这样潜在的partner(合作伙伴),遍布全球。

我们有四个offices(办公室),总部设在巴黎,但也会有纽约、蒙特利尔、新加坡四个研发中心。目的是,怎样在全球范围把这样一个联盟打造出来?让大家一起在research的道路上往前走。

这件事儿我还有一个有趣的故事。美国大家用信用卡有Visa,还有Mastercard(万事达卡)。你知道这个Mastercard是怎么来的吗?

张小珺:是不是“反Visa”?

谢赛宁:Exactly。

但这个story还蛮有趣的,是我的一个很好的朋友和mentor(导师)告诉我的。

Visa一开始是BOA(Bank of America,美国银行)这个银行创立推出的(1958年,美国第一个消费者信用卡计划),在此之前没有公司推行过这种模式。BOA创立了Visa信用卡,推向市场,赚得盆满钵满。它还藏着掖着,不告诉别人,别人问了就说我们是赔钱生意,一点都不赚钱。直到过了一两年藏不住了,因为财务上你已经能看出来了。

其他人就慌了,说这个怎么办?你现在已经把市场给dominated(主导)了。我们每一个小的银行,体量又打不过BOA;单独发一张信用卡,又抢占不过市场,怎么办呢?

他们就说,不如我们把所有local bank(地方银行)组织起来,变成一个联盟,我们一起推出一张信用卡,叫Mastercard(万事达卡)。

这是为什么万事达卡可以成功反击Visa,或者至少能跟Visa分庭抗礼。我并不是说,我们公司真的要走这样的模式,但我觉得在某种意义上,会有相似之处。

这也是为什么World Model是挺不一样的narrative(叙事)。这个叙事的逻辑它更加decentralized(去中心化),更加分布式,也天然的……怎么讲?——Resist(抵制)某种垄断和霸权。

这是我们开放性的来源,我们能更open-minded(开放心态)去讨论这些合作,不管是跟学术界还是跟industry partner(工业界合作伙伴)。因为这件事是research exploration(研究探索)的一部分。

当然我们不是说所有的研发都会开源,AMI是一个严肃的创业公司,但相比于其他AI公司,我们可能会做得很不一样。

我们在寻找一种平衡。它既不是一个纯粹的research lab(研究实验室),也不是一个现在完全封闭的大模型公司。这种平衡也在于,我个人也在寻找一种平衡:我既不是一个非常senior、功成名就的大教授;也不是一个十八九岁的年轻人,可以卷着铺盖跑到深圳工厂扎下来,去做数据采集。我都不是。

张小珺:你们选择了四个地方做办公室,但没有硅谷。你们是刻意不选择在硅谷创业吗?

谢赛宁:对。我觉得,Silicon Valley is very LLM-pilled,已经深陷于LLM(大语言模型),完全被它催眠了。

但这件事情不会持续很久。

被催眠的人总有醒来的一刻。那时候我们完全不排除去硅谷设立公司。

02

在LLM之外,有一个隐形的世界


张小珺:随着你要开始做世界模型,你也同时做了一个重要决定,就是你创业了。这跟你之前的research生涯有很大不同。这个选择是怎么发生的?

谢赛宁:这个选择也是一个玄学选择。

但确实因为之前很多在湾区认识的朋友,有一些对我帮助很大的mentor。大家有投资人的身份,有创业者的身份。他们就说:赛宁,你应该也尝试去创业。在学校里面,有很大的困境。

张小珺:缺算力。

谢赛宁:对。但并不是说学校一无是处,学校是一个很好的平台,让我有足够空间去找到我想要做的事情。

我突然觉得,现在是一个时间点,似乎我想要探索的东西探索到了一定的地步。再往后,有可能会陷入“中等paper陷阱”,有点像“中等收入陷阱”。

你会发一些不错的论文,但由于resource(资源)限制,导致你没办法真的把idea变成新的breakthrough(突破)。

我有一个mentor问我,大概是2025年中,秋天的时候。他说,诶,你去问一问Yann LeCun,他好像最近在Meta待得不是很顺心。

那个时候Meta还没有这么动荡,还没有Alexander Wang(Meta首席AI官)、FAIR(Meta的人工智能研究院)的layoff(裁员)。没有这么多动荡的事情。

我的第一直觉是,这个怎么可能?Yann,对吧?——至少在那个时候我会觉得,他还是一个godfather of AI(AI教父),也是一个纯粹的researcher,怎么可能拉他一起创业呢?

结果,我们有了这个对话之后的第二周周一,我跟Yann刚好有一个1-on-1 meeting(一对一会议)。

还没等我说什么,Yann就跟我说:“赛宁,你先不要告诉别人,但我已经决定了。我现在想要做的事情,我觉得应该在外面做,我想要去创业开一个公司。”

我就问他,你想做什么事情,背后的business model(商业模式)是什么?——就发现:哇,这跟我想象的事情完全一致啊。

在我们想做的这件事儿上,在现在世界上任何一个国家的公司,都做不了。包括在湾区也做不了。这个事情是什么?你可以叫它“世界模型”公司。这个公司需要有一定的research深度。它并不是,我们现在立刻要launch(上线)一个产品,把它部署出去并开始获取收入。

它需要有很强的research倾向性,但又不是在纯粹学术的setting(设定)下运作。它不是过去的FAIR,也不是NYU (纽约大学)。但另一方面,它也不是处在一个完全封闭的状态下的硅谷大厂和Neo Labs。

张小珺:封闭,是什么意思?

谢赛宁:封闭是说,你不能开源,不能发表论文,即使公司发blog(博客)也不能署名。

我在GDM(Google DeepMind),整个GenAI org(部门)只有我一个人脚踩两只船,有double affiliation(双重职位身份),在公司兼职,还在学校做研究。大家对学术界、对纯粹探索性的research是有点抵触的——这是湾区现在的一个状态。

抵触的意思是:第一大家瞧不上学术界在做的工作,不觉得学术界做的东西能真的产生怎么样的影响;

第二,他们因为也不publish(发表),导致你也不知道他们在干嘛,即使在这些大厂,有research(研究)的部门,也有偏product(产品)的部门,但即使同一个公司两个部门之间也有很大隔阂。

核心模型训练的部门,必须在highly competitive(高度竞争)的赛道上,卷到最前面。这是他们唯一的目标。

张小珺:这是一场“军备竞赛”。

谢赛宁:这件事就会压榨你的research的空间,会抽走这个环境给你充分freedom(自由)去做research的氧气。

张小珺:你没有想过(全职)加入任何一个现有的lab吗?你没办法忍受没有氧气的感受?

谢赛宁:是。当初确实有一些机会,但我想了想之后,觉得如果你真的想要做完全前沿的探索,你想要去定义问题的话,还得在一个自己的startup(初创公司)里才能实现。

首先我不认为有任何其他的startup或者大公司,能focus在我们想要做的事情上——building the predictive brain(构建预测型大脑),在最foundation layer(基础层),或者说最upstream layer(最上游层)做一些探索。

现在整个AI行业有一个巨大的value chain(价值链)。在这个价值链条最上层,有Bitter Lesson(苦涩的教训)、AGI(通用人工智能)、LLM这样的叙事。这些叙事定义了一系列的benchmark(基准测试)—— 然后正因为你要打榜,基准测试定义了resource allocation(资源配置)。如果我的目标是在榜单上得到第一名,那我只能投入最多资源,使得我能处在这个位置上去竞争。

资源分配决定了,这件事儿已经跟researcher觉得什么是对、什么是错,有一点脱离了。

虽然有些很强的researcher知道,我们可能需要做一些新的research;但在这种价值链条下,resource allocation决定了,他们却不能做这一部分的research。

比如,我们知道视频理解非常重要,但现在不管学术界也好,工业界也好,做得并不多。或者大家会尝试做这件事儿,但没有fundamentally(根本性地)从World Model角度去思考、解决这个问题。

很有意思的现象是,不是没有人愿意做,也不是没有人有能力做——但这些researcher,不管在哪一个公司,无一例外被发配给了做视频生成模型的video captioning(视频标注)的团队。因为这是唯一一个,可以间接参与到这个价值链条的职位。

虽然这些researcher都知道这件事儿(视频理解)没有解决,我们需要一个更好的World Model based Video Understanding Model(基于世界模型的视频理解模型),并且这可能是一个真正训练出通用World Model的前置条件,但大家没有空间做这样的探索。

在这样的有限游戏下,在这样强竞争的环境下,每个公司都似乎失去了定义问题的能力。

你看之前,OpenAI具备这样的能力,很多问题是他们定义的。包括GPT、CLIP。他们从成立第一天起,作为一个research unit(研究单位)有自己探索的过程。

张小珺:但现在research已经变成了一个商业问题、产品问题,你必须竞争,不竞争怎么办呢?

谢赛宁:那当然是逃出来。

我们来一起创造一个更好的、更researcher-friendly(对研究员友好)的组织。

张小珺:所以你们要逃离硅谷的叙事。

谢赛宁:这是双向的选择。会互相diss(批判)一下。

张小珺:算是硅谷的避难所吗?

谢赛宁:啊,不能叫做避难所,哈哈哈。但确实是一个不一样的地方。

不一样的点在于,我们有从OpenAI、DeepMind、xAI,从各个地方过来的小伙伴,大家不是为了要赚多少钱,也不是为了要 IPO上市。大家心里面非常纯净,就是想做research(研究)。大家觉得,时机到了,我们有机会通过research影响接下来AI的进程。

现在大家的心态,也因为行业变化发生了一些微妙变化。我觉得大家有点过于走到一个极端。就是,我们要lower everybody’s ego(降低每个人的自我),everybody is part of the team(每个人都是团队的一部分)。但事实上,正在发生的是,大家确实变成了团队的一员,但同时也变成了这个巨大machine(机器)中的一个可以被轻易替换的螺丝钉。

我完全同意researcher有太强的ego,这不利于团队协作。但我还是希望能给予年轻人足够的visibility(可见度)——这能让他们有自己的人物弧光,让他们变成很有名气的leading researcher(顶尖研究者)。但现在这样的人才培养的上升通道正在收紧。

我们希望这种mission-driven(使命导向)的年轻人加入公司。我们不太希望把一些已经很established(权威、成名)的、像superhero(超级英雄)一样的researcher聚在一起,期待他们产生某种化学反应——我不太相信这件事。

张小珺:LeCun见你那次,他跟你说了什么?

谢赛宁:这可能不是他的原话,更像是我理解的他对我说的事情。

世界模型是真实世界需要的智能。

在硅谷之外,在LLM叙事之外,有一个隐形的世界。这个世界里有很多人,大家想要解决这个物理世界里的很多问题。他们可能是一个农场,可能是一家医院,但他们拿着LLM不能直接解决这些问题。LLM能解决一部分问题,但有很多涉及真实世界的physical understanding(物理理解)的问题,LLM是解决不了的。

大家都很焦虑,害怕AI的浪潮要来了,我是不是连上牌桌的机会都没有?这一部分隐形的世界,在硅谷的叙事逻辑下不可见,但是是一个很大的市场。

世界模型也需要这个世界。

原因包括两部分。第一部分是“定义问题的能力”。我希望问题会从生活来,从人真实的需求中来,从工业生产的需求中来。这之于OpenAI或者硅谷的叙事也是隐形的。

其次,涉及到你刚说的数据问题。虽然我们第一步可以从互联网拿到数据,可以去训练模型,但最终还是要去真实世界“淘金”。这些数据也是“隐形”的,大家不会把这些数据传到YouTube。

YouTube上的数据还是,跟人类价值观或跟人类for entertainment(娱乐向)的需求非常对齐的数据分布。

我们还只是在讨论这个视觉的数据,但这个世界里有大量非视觉,在continous domain, high dimensional, possibly noisy(连续空间,高维度,可能有噪音的)信号。这些数据,现在对于训练世界模型来说,至关重要。

所以世界模型不只是一个vision model(视觉模型)。这些数据现在是不可见的,我们需要从一些地方获得它们。

这是我跟Yann聊的一些high level(高层面的)感受。

张小珺:现在的frontier lab(前沿实验室)竞争这么激烈,是因为LLM的范式是相对确定性的了。他们在争一个商业的输和赢。听上去,你们不想在这个范式下竞争了,想去找下一个范式。

谢赛宁:是这样。虽然是《商业访谈录》,但我先要说,我真的不懂商业。我没有做过startup(初创公司)——没有成功过,也没有失败过。

这件事既让我感到焦虑,又让我有种无知者无畏的冲劲。

张小珺:我会有一个疑惑,LeCun本身就是一个research背景的人,他创业为什么又找一个researcher,也就是你?

谢赛宁:Research是这个公司的focus,这个公司最后最重要的产品是一个research breakthrough(研究突破)。

我们刚才提到的所有的一切,涉及数据,涉及问题定义,涉及产业合作伙伴。这些所有事情的逻辑,都建立在in research we can make another breakthrough(我们研究过程中的新突破)。

下一个新的AI革命,你可以叫它“世界模型的革命”,或者whatever you want to call it(随你怎么称呼它)。

它跟LLM fundamentally(从根本上)不一样,它至少是一个Transformer或者ChatGPT level的事情。

这是我们的梦想,落到实处要一步一步走。

我们公司不只找researcher,比如还有我们的CEO(Alex LeBrun,连续创业者)。我是这个公司的co-founder and chief science officer(联合创始人兼首席科学官)——我非常喜欢这个title,我希望我自己的定位还是在science。

我不是一个好的CEO,至少现在不是。

张小珺:在很多人眼中,LeCun都是一名斗士;在你眼中的LeCun是一个怎样的人?

谢赛宁:他真的是一个“斜杠青年”,或者挺文艺的一个人。按一个朋友的说法,Yann是一个16岁青春期一直延续到65岁的这样一个人。

他经常就很骄傲地跟大家说他有四大爱好:第一个爱好是造模型飞机;第二个爱好是拍天文摄影;第三个兴趣是搞电子乐和Jazz(爵士乐)——他的网页是宝藏,他会讲说在纽约有哪些Jazz Club比较好;他还有一个爱好是帆船。

我们要做World Model,我希望大船的舵手是一个有格局、热爱生活的人。

我们3月有另外一篇paper叫《Solaris》。这是一个科幻小说,后来被塔可夫斯基改编成一个电影。我们之所以取这个名字,是因为我们在做一个多角色视觉生成的模型。电影讲的事情是说,有一片海洋可以读取人的潜意识里的记忆,最后把一些东西具象化生成出来。

有一天跟Yann说,我们这个paper叫这个名字怎么样?我想看他知不知道这个电影。

他说:“你知道这是一个电影的名字吗?”我说:“对,我就是因为这个取得名字。”他问我说:“你看的是哪一部?是1972年的一部,还是2002年的一部?”“是塔可夫斯基(Andrei Tarkovsky)拍的还是索德伯格(Steven Soderbergh)拍的?”

我说:“OK,我觉得我不光research上服你,在电影上好像你也比我懂得多。”这对我个人来说蛮重要的一种人格魅力的体现。

张小珺:从他第一次告诉你,你纠结了多久?

谢赛宁:我没有纠结很久,Yann说话有点像casting spells(施法),像哈利波特(Harry Potter)一样给你施一些咒语——他说完一些话,你就不会想其他的了。

03

语言模型是predict next token,世界模型是predict next state


张小珺:既然你们要做的是世界模型,能不能定义一下什么是世界模型?

谢赛宁:世界模型(World Model)是,你现在给定一个系统或者一个环境的状态,这个环境状态可能是,你可以认为它是在当前时刻的一个状态,但世界模型也不一定只是做所谓的temporal prediction(时间上的预测)。但我们先不管这些,总之你现在有一个系统或者一个环境,你有一个状态,st 。

你有一个intervention(干预)或action(动作),比如说我们叫它at ,在当前时刻你对这个系统施加一个动作,你现在希望能够学到一个prediction function(预测函数)或者transition function(转移函数)f,使得它能够take你的action跟你当前的st这个state(状态),这个环境的state能够去predict下一个(时刻的)state。

这是最基础的通用世界模型的定义。

这个定义本身无比直接,甚至有点trivial(平庸的),因为它不是一个新概念。

其实1943年,有一个心理学家Kenneth Craik(肯尼斯·克雷克),他第一次提出了这个概念。他说人在脑子里有这样一个世界模型,这个世界模型能够告诉我们,当我们去做某一个动作的时候,接下来会发生什么样的后果。因为我们能够预测我们的动作带来的后果,所以世界模型能指导我们,到底应该去做什么样的动作和做什么样的决策。

这种基于prediction(预测)的结构也是过去Control Theory(控制理论)在六七十年代,科学家把探测器送到月球时所需要的控制系统的基础。

比如,一个经典的算法叫做Model Predictive Control(模型预测控制,简称MPC),这里面也涉及到一个model,这个model其实也就是某种World Model。这个算法非常简单:你讨论到底应该施加哪一个control signal(控制信号)给这个系统,使得它能够完成既定的任务。

我要做的事情是,在当前时刻通过我的模型去rollout,去滚动输出接下来的sampled action, the actions sequence(采样动作、动作序列)。然后通过这个动作序列用我的这个model去得到下一个时刻,或者每一个step(步长)上的一个state (rollout trajectory)。最后我也会有一个某种cost function,一个代价函数,告诉我执行了这个动作序列之后,我离最后的这个目标距离到底有多远。

这个算法就是不断地去sample(采样)你的action sequence(动作序列),然后跳回到第一步,找到这个cost最低的action sequence,执行它的第一步,然后重复迭代。在每一次你都要做一个决策,这个决策的来源都基于你对未来的预测。

这是在model predictive control里面,大家怎么去用World Model。

再到后面,比如在model-based RL(基于模型的强化学习)里面,Reinforcement Learning(强化学习)里面,大家也意识到World Model是非常重要的。

这里面有一个经典的论文是Dyna(一种强化学习架构),这个paper是Richard Sutton(强化学习之父,著有《苦涩的教训》)写的。

Richard Sutton讲了一个很有趣的观点或者framework(框架)。他讲人的智能体系可能分两种,一种叫reactive policy(反应式策略),一种叫某种更智能化的model-based policy(基于模型的策略)。这件事的类比是所谓system one, system two(系统1与系统2),正像human cognition(人类认知)也有所谓的thinking fast, thinking slow(快思考与慢思考)的概念。

对于很难的问题,我们可能需要更多的mental cycle(脑力周期)去学习这些问题。但对于一些问题,比如开车,刚学的时候紧张得不得了,需要做很多决策;当你真正会了开车,你就会把这些决策内化成肌肉记忆的一部分,变成了reactive policy(反应式策略)。

Richard Sutton在Dyna的paper里说,Reinforcement Learning是一个非常primitive(原始的)、基础的、没有世界模型的learning algorithm(学习算法)。

所以其实Richard Sutton自己有点反pure Reinforcement Learning(纯强化学习)。

他讲,一个更好的系统,是如果你有一个足够强的世界模型,你可以基于当前的state去预测下一个state,那你就有了所谓的planning(规划)的能力。

Planning就是做计划的能力,它在某种意义上跟reasoning(推理)也是同样的概念。Reasoning现在在LLM很火,但事实上我们需要的这种planning,以及这种planning对于decision making(决策)的意义,很早在Control Theory和Reinforcement Learning里面大家都在讨论。

从这个角度,World Model的实质是怎么样去刻画一个系统和一个环境,使得你能够在这个系统里做预测,并且这个预测能指导你的action sequence以及你自己的决策。

张小珺:也就是说,大语言模型是predict next token(预测下一个字符),世界模型是predict next action(预测下一个动作)?

谢赛宁:是基于your action, predict next state。

那个state应该是可以描述一个系统的所有状态的一个信息来源。这涉及到一个很有趣的事情,就是这件事情跟表征的关系到底是啥。

我们为什么说state是一个环境信息的一个充分统计量?它保留了对未来预测和决策所需的关键信息,同时忽略与任务无关的细节。学习这样的 state 表示,本质上就是representation learning的问题。

假设我们现在的物理世界,比如我们这个屋子,这是一个环境。那刻画这个环境的state是什么?如果你不追求这种所谓的最小信息,或者minimal description length(最小描述长度),那它可以是把整个space全都重建起来,精细地去刻画系统里的所有参数,包括桌子上的纹理、声波、桌子的质量、话筒的各种physical parameters(物理参数)。

但我们不会这样去刻画系统。因为很多信息对于决策来说不重要。

如果一个智能体活在这的目的是聊天,那我只需要知道一些基本事实就够了,比如话筒能在桌子上放着,我不会去关心每一点的光照,也不会关心桌上每一个细节的纹理。这些不重要。所以这个state可以包含enough(足够)的信息,这取决于你要解决什么样的任务。

怎么样去构建这样的一个state?这件事情其实跟表征学习是直接相连的。

我们要有一个层次化的表征(hierarchical representation),目的就是能够去慢慢develop出来这种一层又一层迭代上去、越来越抽象、越来越对decision making越有价值的representation。它不用精细到每一点,而且我们也做不到精细到每一点。

比如,我们要造一个飞机,我们要建模这个飞机的动力学系统。我们当然可以从一个最low level的角度出发,去model每一个分子的碰撞。但这当然不会work。这是a totally stupid way(一个愚蠢的方式)。

我们做的是在统计的意义上去学习这个问题,所以才有了流体力学,才有了所谓的Navier-Stokes方程(纳维-斯托克斯方程)。

状态建模方式变得越来越抽象,但能够刻画的世界也越来越广阔。

04

LLM是反Bitter Lesson的


张小珺:语言正是人类的一种抽象。

谢赛宁:语言是某种已经封装好的抽象知识结构。它是高度凝练的,是一个人类社会已经形成、存在的抽象。

张小珺:你们现在要构建一个在语言之外,新的抽象?

谢赛宁:它一定是一个latent representation(潜在表征)。人可以通过侧面的方式了解到你到底学了什么样的representation(表征),或者哪些representation是有意义的。它不是一个完全的黑盒子,但它也不是一个受限于语言的句法跟逻辑的东西。

这就是为什么我说:LLM完全不够Bitter Lesson。

(Bitter Lesson:苦涩的教训,是由Richard Sutton提出的AI发展理念,用来总结几十年来人工智能历史中的一个核心规律:苦涩的是,人类自以为聪明的领域知识经常被“更简单、更通用、依赖大规模计算的算法”超越。)

我完全不觉得LLM是一个Bitter Lesson的成功展示——某种程度上,LLM是反Bitter Lesson的。

Bitter Lesson说的是,你应该尽可能减少human knowledge(人类知识),把人类的傲慢、“聪明才智”以及这些clever的structure(精巧的结构)尽可能减少,尽可能多用search(搜索)跟learning(学习)的方式去找寻答案。

语言就是这样一种人类极其聪明的产物,它有精巧的设计。

当然语言有它自己很强的能力,也一定会在未来的智能体系里面占据重要地位。

张小珺:但是,语言不可或缺的一点是,可以借由语言形成CoT(思维链)。

谢赛宁:但CoT也是一个阶段性的产物。我觉得LLM的所有一切构造都是阶段性的产物。最近有一些研究也在慢慢发现,CoT可能只是某种文本技巧,推理步骤可能是“事后编造”(unfaithful explanations),有些错误CoT仍然得到正确答案,提升效果可能来自生成过程变长等等。

LLM这件事情存在structral (结构性的) 安全性和可控性的问题,因为它没有一个真正的世界模型。甚至我们把LLM当做一个世界模型在用,但它是一个fundamentally flawed(本质上有缺陷)的世界模型。

现在的controllability(可控)或者safety(安全)完全是通过fine-tuning(微调)和强化学习的方式来实现的,你需要喂给它大量的数据,让他知道什么话能说,什么话不能说。这叫做Alignment(对齐)。

但真正的世界模型你不需要这样做,因为你可以预测你的action(动作)会lead to what consequence(导致什么结果),你就可以在inference time(推理阶段)的过程中去尽量避免这样的行为。

比如,一个机器人拿着一把刀在切菜,怎么样保证它不会向后一转把你砍了呢?对于Language Model的思路来说,唯一的方式就是通过喂给它大量数据。但世界模型不一定需要,因为你能够去预知这个结果。

张小珺:你好几次提到“表征”、,也表达了你的整个研究路线图是围绕着“作为表征的世界”展开的,能不能给大家解释一下什么是“表征学习”?

(关于谢赛宁围绕着“作为表征的世界”展开的研究路线,请看视频播客,此处省略10万字=。=)

谢赛宁:我很喜欢说我是一个“做表征学习的人”,但这件事情还蛮难定义的。

从数学来讲,你可以认为表征学习是:你有一个数据x ,现在要把它map(映射)到一个space(空间)里去。这个空间会具有一些好的性质,让你在downstream task(下游任务)上更容易取得好结果。所以,你要学习的从初始数据到具有良好性质的空间的映射函数,就是所谓的“表征学习”。这个函数不只是简单的映射,它可能是一个层级化的映射。

现在主流的实现方式是用一个非线性的Neural Network(神经网络)来实现这个函数。

我愿意说自己是做表征学习的人,因为representation是一个永恒的、最fundamental的主题,也是一个还没有被完全解决的主题。

张小珺:这些表征最终,可以统一成统一的表征吗?

谢赛宁:还是要scaling。语言模型的Scaling Law是因为它是一个lossless compression(无损压缩)的过程,所谓压缩即智能。

这个是说,模型变大能让结果变好,不是因为它死记硬背,而是更大的模型就是一个更强的模型,所以它能有一个更高的压缩率,也带来了某种泛化能力。我想我同意这个观点。

但我想后撤一步,语言模型的Scaling Law里面是有“水分”的,因为它并不需要真正通过理解世界的方式去回答问题。Benchmark(基准测试)要求它能retrieve(检索)出来factual knowledge(事实性知识),所以“知识压缩”和“世界理解”混合在了一起。

世界模型会有非常不一样的Scaling Law。它的模型不需要记住世界里的所有细微细节,它不需要通过解薛定谔方程的方式去判断苹果是不是落下来,它不需要人类最高级的智商。它需要通过理解能力去filter and organize information(过滤和组织信息)。

这跟人越来越像。

人的感官输入带宽可能达到10亿bits per second(比特每秒),但说话、做事的带宽只有10到100bits per second。大脑把高带宽信息转化成低带宽的行为模式,这就是World Model本身,它过滤大量的无用信息。

张小珺:你怎么看待大语言模型与世界模型的关系?

谢赛宁:我觉得LLM是智能体中至关重要的一部分,但它不是全部。

比如处理视觉问题,我们坐在这里,头稍微扭5度、10度,就会生成几百帧。如果按LLM的方式,你要tokenize每一个frame(帧),把它拉平串成一个非常冗余的序列,这完全不make sense(合理)。

Transformer的inductive bias(建模偏置)是,它得要pay equal attention to every single token(对每一个字符赋予相等的注意力),这代表语言模型的modeling technique(建模技术)不能够解决对这种连续空间信号的认知问题。虽然线性注意力、稀疏注意力这些方法能缓解一些问题,但和人类可以处理的那种连续、几乎无限带宽的感知输入相比,现在的模型在能力和效率上还是差得非常远。

我们要build的世界模型,需要具备如下特征:它能够understand physical world(理解物理世界),要有足够大的associative memory(联想记忆),能够reason(推理)、能够plan(规划),能够做counterfactual(对未发生可能性的推演)或者causal的inference(因果推理)。最后一点是,它得足够的controllable and safe(可控与安全)。

张小珺:所以,世界模型和大语言模型不是衍生关系,是替代关系?

谢赛宁:也不叫替代关系。之前没有大语言模型的时候,我们压根谈不了什么世界模型。

LLM让你具备了一定对真实世界的认知能力,但它又是fundamentally flawed(有本质缺陷),因为语言带给你的东西实在是太少了。

语言本质上是一个communication tool(交流工具),除非你说梦话,大部分时候你用语言是带着intention(目的)的。

所以,LLM更像是一个search engine的延伸。

但是,世界模型是大脑在background(背后)做了很多工作的。Language只是一个communication tool,你永远带着目的。

张小珺:语言除了是沟通工具,也是一个可以推理的工具。

谢赛宁:对,但只是symbolic level(符号层面)的推理。

张小珺:所以你们想构建一个,像人类的大脑一样的世界模型?

谢赛宁:不只是人吧,我们要看看各种各样动物的智能到底是怎样发生的。

回到刚才的逻辑,没有大语言模型的时候,我们压根谈不了什么世界模型。

语言模型虽然有本质缺陷,但是行为上已经表现出一些World Model的特征了,虽然它没有action,虽然它通过CoT和MPC式的工具调用做到的reasoning和planning,与真正世界模型所要求的机制还是有比较大的差别。

往前发展,最近的视觉生成模型,已经让事情变得有些不同了,它比Language Model往前推了一步。

虽然现在这些系统也要依赖Language Model去做prompt rewriting(提示词重写),做conditioning(条件输入),但原来Language Model是建模的主体,现在它变成了视频生成模型的前期脚手架。

原来你建模的是 p(y),现在变成在建模 p(x)或者p(x∣y)。当你训练生成模型时,本质上是在给各种可能出现的现象分配概率,也就是判断在这个世界上哪些东西更可能存在。比如模型需要理解,为什么四条腿的猫在现实中比三条腿的猫更常见。换句话说,你已经开始直接对原始数据(像素)本身进行建模了。

但再推演一步,像素本身也不够Bitter Lesson,像素是人为定义的格子。

真正Bitter Lesson是说,我不需要给人看;它给你的系统看,给你的世界看。给人看不是World Model的核心,而是接口。

世界模型是一个目的。

总有一天,我们会有一个更好的世界模型,语言模型会在此之上变得更强。理解和生成是一体的,它都需要一个真正的World Model作为基础。

张小珺:那么,这样的世界模型怎么做训练?大语言模型能够训练是因为,海量的互联网文本就在那里,这是人类文明的现成数据。世界模型的训练,我都不知道从哪里下手。

谢赛宁:这是一个biggest bet(最大的赌注)——以前是download internet的时代,现在是download human的时代(以前是下载互联网的时代,现在是下载人类的时代)。

我们要把人类下载下来。

一个4岁小孩看过的视频,量级比所有训练语言大模型的token还要大。视频是全村的希望。第一步可以从互联网数据开始,YouTube上的数据量等于30分钟的YouTube upload(上传量)就够了,虽然需要考虑terms of service(服务协议)的问题。

世界模型的出口很多,短期内有两个。

一个是AI glasses(智能眼镜)。一个真的personal assistant(个人智能助理)需要一个World Model。它得是一个always-on的device(永远在线的设备)。

就像现在Whoop,Oura类似的可穿戴设备一样,一直在监控你的体征。它会进行一个智能决策告诉你是不是under too much stress(压力过大)。

其实这些设备还蛮世界模型的,虽然目前它们获取的信息太少,只有我们的心率、血氧等。如果眼镜能always on,看到我们所能看到的一切,它能指导运动员的动作,或者给养老院的老人提供智能健康建议,这是现有基于LLM的多模态做不到的。

另一个出口当然是Robotics(机器人)。机器人面临的问题是本质上还是“大脑”不够。

机器人是一个很好的downstream application(下游应用),任何上游的演进它都能从中受益。比如LLM出来了就有VLA(视觉-语言-动作模型),视频生成模型出来了就有了所谓的WAM(世界-动作模型),但已有的预训练范式,都没办法真正解决问题。

我不是很喜欢世界模型这个词。听起来有点hype(炒作)。它变成了一个口袋一样的称呼。

但我还蛮同意一位教授说的:他喜欢World Model是因为,它告诉大家我做的是world(世界)模型,而不是word(单词)模型。

世界模型是所有人会抵达的终点。

05

我拒绝了Ilya两次


张小珺:2018年你也曾经面试过OpenAI,如果你当初去了OpenAI,现在你是不是也成为了LLM大军的一员?

谢赛宁:Maybe,我不知道会发生什么。从那个时间点开始,像量子力学一样发生了一些变化。

我面试OpenAI的经历还蛮酷的——在一个小黑屋里关了五六个小时做一道题目,出来的时候天都黑了。John Schulman(OpenAI联合创始人之一、现Thinking Mashine Labs首席科学家)当初的面试题是一张A4纸,是铅笔手写的一行面试题。这件事对我触动很大。

最后虽然拿到了offer,但没有去OpenAI。

张小珺:你为什么没去?

谢赛宁:那时候想都没想,就想去FAIR。因为何恺明、Piotr Dollar、Ross Girshick在那里,他们是当初计算机视觉的“三驾马车”。

他们(当时)不是那种很senior的大学教授,而是最顶尖的中青年研究员。他们在那里,做的就是最顶尖的CV研究,对我来说没什么好选的。

当初还挺好玩的,Ilya Sutskever(OpenAI前首席科学家、现SSI创始人)给我打电话,我什么都没说就把 OpenAI 拒了。

我说:我不去,抱歉。

张小珺:他给你打电话说什么?

谢赛宁:他非常生气。

他问我:“你为什么不讨论一下就把offer拒了?是我们给的钱不够吗?”

张小珺:多少钱?

谢赛宁:记不太清了,现在看起来,其实非常低。一个顶尖的PhD学生在2018年能拿到的工资大概是40到50万美金左右,现在至少翻了三倍。

但anyway(无论如何),那个时候OpenAI的薪资其实没什么问题,所以Ilya很生气,我也只能搪塞两句。

张小珺:他生气的时候会说什么呢?

谢赛宁:只是语气非常严厉。

张小珺:他没有被拒绝过?

谢赛宁:我不觉得。在2018年,他应该经常被拒绝。

我一共就跟Ilya打过两次电话,这是第一次。

第二次是2024年7月的时候,他的SSI(安全超级智能公司)刚成立,他给我发邮件说,愿愿不愿意来一起工作。

张小珺:你又拒绝了他,这次为什么?

谢赛宁:这次是因为我刚在NYU开始我的工作。我跟他聊的时候,我们主要讨论的topic不是工资,主要讨论的是:怎么样给未来的人工智能给予“爱”的能力。

当然我最后问了他一句话,我说你对multimodal(多模态)这件事情怎么看?你对计算机视觉,或者对那种perception model(感知模型)怎么看?

Ilya的说法是,他觉得这件事已经解决得很不错了。所以我发现可能SSI有自己基于语言的这样一个路线,然后这条路线至少到现在为止,不是我想要去设计的东西。

张小珺:这是你们底层的分歧,到底是以LLM还是视觉为主要路线?

谢赛宁:我觉得之后可以细聊,但我并不觉得这是一个分歧。这是一个有机体,大家只是在不同的地方、不同的时间做不同的事情而已。没有必要拼个你死我活。

张小珺:关于怎么赋予人工智能“爱”的能力,你们有得出结论吗?

谢赛宁:结论就是这件事情很重要。为什么?因为如果没有的话,我们面临的是一个非常不确定、非常危险的未来。

张小珺:但是有“爱”的同时一定就有“恨”,它是一体两面。这个世界不可能只有爱。当它学会了“爱”的时候,它一定知道它的反面是什么。

谢赛宁:对,我完全同意你说的。这件事就上升到哲学命题了。

但我想反问一句:为什么大家对自己的孩子、对人会这么信任,而对AI这种新的智能实体会这么担心或者恐惧?我觉得这一点我没有答案。

但我觉得会有技术上的一些可以去把控的地方,可以通过技术的手段,让AI在未来变得更加可信,变得更加安全,变得更加controllable(可控制)。

这些也是为什么要做World Model的一部分原因。

06

语言是“鸦片”,我非常担心语言对视觉的污染


张小珺:ChatGPT诞生之前,CV(计算机视觉)在AI中占据很核心的位置;但这几年 LLM兴起,CV似乎退到一个边缘位置。

这个过程中,以你为代表的CV背景的研究者,会感到沮丧吗?

谢赛宁:我完全不沮丧。我要感谢LLM。没有LLM,Vision也没办法拓展到现在这种真正的多模态智能的大的scope(范畴)。

视觉的发展史可以画两根轴:在最early stage(早期阶段),CV要处理的是最单一、具体、简单的任务。比如MNIST(手写数字识别数据集)的数字识别,到后面像CIFAR(小型图像分类数据集)这种32×32像素上的十分类问题。再到后面ImageNet出现,变成了224×224的 classification(分类)问题。再往后有了Detection(目标检测)和Segmentation(图像分割)这种更结构化的认知过程。

这根轴继续往前推演,就到了Multimodal Learning(多模态学习)模型的兴起。因为多模态的介入,我们可以很容易放弃固化的task design(任务设计),语言作为一个很好的interface(界面),可以帮你解决很多问题。

这根轴是从简单task到复杂task的轴,也是语言开始慢慢介入CV的轴。

这里面有两个问题:第一,语言介入带给我们巨大好处,让我们可以自由定义问题并得到答案;

第二,风险在于,对语言的依赖变多了,导致很多多模态任务其实跟视觉没关系,纯粹是语言问题。从这个角度看,Vision好像变得边缘化。但我觉这是巨大机会。

虽然现在通过语言的统计信息能完成一些决策,但等到真的有一天,我们需要去deal with(处理)真实世界里的真实task去build某种真实的intelligence,现在这种不够完美的视觉表征就会是重大的缺陷。

Yann的说法是,现在大家只是拄着“语言模型”这根拐杖走路。你能走,但跑不起来,也没法参加奥运会,因为你“视觉表征”这条腿还不够好。

张小珺:为什么你的用词是“真实的intelligence”?LLM构建的为什么不是真实的intelligence?

谢赛宁:我觉得LLM是虚拟的intelligence。

张小珺:可是我们的智商不也是虚拟的吗?

谢赛宁:可能“虚拟”这个词不对。我定义的“真实”是说要跟真实的世界发生交互。

LLM解决的问题大部分在digital space(数字空间)发生。它能记忆factual knowledge(事实性知识),记住Wikipedia(维基百科)所有article(条目),做法律顾问或教育。

LLM当然是革命性的,但这跟vision as a perspective(从视觉视角出发)要解决的问题完全不在同一个market (市场)—— 我们要处理的是continuous space(连续空间)、high dimensional(高维度)、noisy(带噪声)的domain(领域)。

张小珺:比如,机器人领域?

谢赛宁:不只是机器人。这些信号很难被tokenized(标记化),它们脱离了virtual space(虚拟空间)。

这涉及到什么样的task呢?比如industrial process control(工业过程控制),涉及到所有的sensory modeling(传感器建模)信号。你有很多传感器感知世界,需要统一的算法去model(建模)这个环境。使得你在执行action(动作)或者intervention(干预)时,能预测系统接下来的变化。这是LLM很难做到的。

在我看来有两个极端:在左侧,一个极端是LLM擅长在数字空间里通过coding(代码)这样的 interface(接口)作为Agent介入物理生活,但它归根结底是基于离散的token的建模方式。

在右侧,是Robotics,且必须是真正的General-Purpose Robotics(通用机器人),它有自己的一套大脑和决策系统。

从数字空间里LLM一步步推演到真实空间里Robotics,才是视觉智能和多模态未来要解决的问题。我最想做到的事情是通过“不做机器人”的方式去解决机器人问题。

张小珺:通过“不做机器人”的方式去解决机器人问题?

谢赛宁:机器人进展太快了,春晚上的宇树机器人,令人瞠目结舌。但另一方面,还是要有人focus在预训练的部分,即所谓的“机器人大脑”到底是什么?

这个大脑包含了视觉系统。在控制和硬件部分,大家可以各自努力。

真机验证和迭代作为eval(评估方式)自然很重要,但我不需要过早介入硬件,软件层面和大脑构建上有fundamental research问题没有解决。

张小珺:你在之前提到,何恺明(计算机视觉顶级学者、ResNet之父)很早就提到模型要“大大大”,那么为什么LLM的Scaling law比CV要早那么多?

谢赛宁:CV现在还没有一个真正的Scaling law。

虽然Video diffusion(视频扩散模型)有一定的Scaling behavior(规模化表现),但借用形式化定义:C=6ND(Compute = 6 × 参数量 × token数),N和D的配比在CV中会非常不一样。

我的一个观点是:Language model其实不是一个自监督学习过程,它是一个strongly supervised learning(强监督学习)的过程。

逻辑是这样的:通常看你有没有外部annotation(标注)来决定是自监督还是强监督。但语言太特例了,它是人类几千年文明演化、process(处理)了世界一切后,以tokenize(标记化)方式存储下来的知识。我们恰好有互联网把这些知识都upload(上传)了。

对于研究者来说,这看起来是for free(免费)的,但免费不代表它没有label(标签)。这些知识的上传本身就是一个supervision construction(监督信号构建)的过程。

所以,语言模型始终停留在的target(目标)即Y Space(Y空间)。所有的机器学习都是X到Y的映射,Y通常是supervision(监督信息)。语言模型其实只在刻画Y Space。这不足以代表世界全部,很多东西无法通过语言刻画。

语言是一个communication tool(交流工具),不是思考工具,甚至不是decision making(决策)工具。

作为交流工具,它必须做trade off(取舍),牺牲掉很多东西。比如“杯子掉在地上碎了”,我们只在乎结果和状态,不在乎它怎么碎的、背后的dynamics(动力学规律)和物理定律。这是它的局限。

张小珺:做LLM的人,有时候会抱怨说,加入视觉以后可能影响智商。Kimi创始人杨植麟说,他不希望训出一个“傻的多模态”,希望训出一个“聪明的多模态”。

谢赛宁:是吗?我同意不该用一个“傻的多模态”。但如果不加入视觉,你一定会很傻。问题的根本在于到底怎么定义聪明和傻,以及怎么定义智能。

在过去几十年,AI总会撞到Moravec's Paradox(莫拉维克悖论):对机器简单的事情(如逻辑推理、棋类)对人很难;而对人简单的事情(如走路、视觉感知)对机器却极难。我们人没法背下这么多外语,但我们拥有极其复杂的视觉感知能力。

就像你刚说杨植麟可能不想让视觉来“污染”语言。但是,我也有自己的担心:

语言其实是一个“毒药”,或者说是一剂“鸦片”,你加多了语言总是会觉得更幸福的,它有用,但它是一个shortcut(捷径)。

如果你一直吸鸦片就废了;如果你一直拄着拐杖,你就没办法训练大腿的肌肉。

张小珺:这是你跟杨植麟观点之间的小对抗。

谢赛宁:我非常担心语言对于视觉的“污染”。这种污染已经在发生了。

07

我们是在某种行业压迫下生存的公司


张小珺:关于世界模型,其实现在的定义没有收敛,你们定义的世界模型和李飞飞团队(World Labs)定义的世界模型,差异是什么?

谢赛宁:我刚阐述的都是在我们定义下的世界模型。

现在世界模型不好定义,是因为它不是一个技术路线,它是一个目的。不管你在做LLM还是Video Diffusion Model,所有人都在通往世界模型的道路上。在我们看来大家并没有直接竞争关系。

对于一个Video Diffusion Model(视频扩散模型)的公司,像Sora、字节的模型、Genie、Runway、Luma,他们这些生成派更聚焦在构建一个世界模型的模拟器上,所谓的World Simulator。他们的目标是渲染出足够好看的视频,追求生成的一致性。

李飞飞老师那边在World Labs里,更在意强3D的representation(表征),是“空间的代码”,是交流,协作和创造的interface(界面)。通过一个非常具象化的、explicit(显式)的3D的形式,这样才能够在空间里面去掌握空间智能,并且保证100%不会出错。对于一个generative world simulator(生成式世界模拟器)来说,因为context window(上下文窗口)的限制,这件事情是不能保证的。

我们想要做的事情更像是,要去打造这样一个predictive brain(预测大脑),核心还是怎么样去提升智能本身。

张小珺:你的意思是,World Labs的路线无法提升智能本身?

谢赛宁:当然是可能的,比如可以通过在创造的显示空间里面训练智能体,我们是两条非常互补的技术路线。

张小珺:有一个中国的投资人曾经跟我说过:所有“含着金汤匙”出身的创业都没有成功的,几乎没有。你怎么看?

谢赛宁:我不懂什么叫做“金汤匙”。

张小珺:一上来融特别贵的钱,融资金额巨大,创始人已经功成名就。

谢赛宁:我们没有含着“金汤匙”。就像我说的,我们完全是一个“草根联盟”的创业模式。

张小珺:LeCun怎么可能会是草根?

谢赛宁:Yann不是草根,但他现在在整个AI的行业,包括在投资人面前,很多时候是一半支持、一半反对的。

总归是,他不是众星捧月的那种英雄。

他是一个坚守自己、在永远尝试做下一件事情,但这件事情还没有完全做成的这么一个人对吧?我觉得这导致我们不是含着“金汤匙”。我们是一个underdog(不被看好者)。

我们其实是在某种行业的压迫下生存的这样一个公司。

张小珺:凡尔赛了…

谢赛宁:不是,没有凡尔赛。真的。

我们可能会有很多的融资,但比起LLM现在撬动的资源来看,差太远了。

张小珺:你们融资难吗?

谢赛宁:有Yann在这确实不难。但是还是要看后面我们到底能不能deliver(交付)我们的mission(使命),我们能不能把research breakthrough(研究突破)做出来。

但我非常enjoy(享受)这种underdog(不被看好者)的身份,尤其作为一个创业者。

做research(研究)也是一样,你们越不相信我,我越happy。

张小珺:你有感受到谁对你的不相信吗?

谢赛宁:很多投资人的feedback(反馈)——我们有很多人相信我们,也有很多人不相信我们。

在硅谷里面大部分人不相信我们。在世界其他地方大部分人相信我们。

但没关系,你们可以不相信我们,那我们就let’s see(走着瞧)。

这条路我现在已经all-in了,你跟不跟?

08

自大的人类!


张小珺:你刚才说AGI是个伪命题,这个观点你能展开一下吗?

谢赛宁:AGI是伪命题,这也是我很认同Yann的一个观点。

他之前跟Demis(DeepMind 创始人)有一个辩论。他就在说到底什么是general intelligence,到底存不存在这件事。

他的逻辑也很数学,他说这个人有200万根视觉神经纤维,可以用来去model(建模)函数。

虽然理论上所有可能的视觉函数是2^2^200这么大,但人能够真正去process(处理)、能够看到的东西趋近于零。我们受到意识和神经bandwidth(带宽)的限制,看不到世界上发生的一切。所以人的智能是一个非常specialized(特定化)的智能,人只能认知到自己能看到的东西。

我后来补充了一个tweet(推文),提到一本书叫Are We Smart Enough to Know How Smart Animals Are?(《我们足以聪明到知道动物有多聪明吗?》)。看了之后,我觉得我们应该放弃人类的自大,智能演进是一个连续的过程,人不是独一无二的。

人会使用工具,动物也会。甚至我们引以为傲的自我意识,比如镜子实验,很多动物也能意识到镜子里的是自己。

张小珺:狗狗好像可以。

谢赛宁:很多动物可以。还有更加聪明的动物,比如黑猩猩。

德瓦尔还写过一本书叫《黑猩猩的政治》,讲四只黑猩猩如何进行权力博弈,很像《纸牌屋》,有拉帮结伙、有权谋上位。这些动物也有theory of mind(心智理论),它们有自己的 World Model。

比如一个实验:实验人员当着黑猩猩的面在两个盒子里分别放了香蕉和苹果,扣上盒子。把黑猩猩拉出去很长时间再带回来,如果它看到实验人员正在吃香蕉,它会径直去打开装苹果的盒子,理都不理原先装有香蕉的盒子。这说明它有某种心智推理能力。

虽然语言是人类独一无二的,但不代表其他动物不会交流。鲸鱼也有自己的语言。

张小珺:你们的World Model会先朝着哪一种生物的智能构建?

谢赛宁:目标当然是人类智能,因为这最能benefit(造福)这个世界。

我们希望build a World Model(构建一个世界模型)通向Human-like Intelligence(类人智能)。但我们确实应该放弃人类的自大。

最近我很受Richard Sutton的启发。大家说 LLM很厉害,能写code、拿IMO/IOI(国际数学/信息奥林匹克)金牌、上火星。Richard Sutton的回答是:如果你觉得这很难,那你就这么觉得吧,我不这么觉得。我觉得打造出一只松鼠的智能,才是真正难的问题。

一旦你能build松鼠的智能,让它在真实世界活下去,有自己的goal、有intrinsic reward(内在奖励)、知道饥饿、有emotion(情感)和社群活动,那么写代码、上月球这些事都是再容易不过的。

如果抛下人类的自大,打造松鼠的智能其实是一个更难的问题。人类的智能不只是语言模型,有很多智能不能通过语言本身所决定。

张小珺:说到这里,你对智能的定义是什么样?

谢赛宁:Richard Sutton是站在宇宙和造物主的视角。从那个角度看,重新造出一只松鼠,要比人类文明在5.3亿年进化史最后8秒创造的东西要伟大得多。

我不会给智能下一个定义,不同动物有不同的智能。我希望鼓励大家不要只关注那些个体很难做到的高级任务(如发论文、拿奥赛金牌),关注一下4岁小孩能做得很好的事情,这才是世界模型需要解决的问题。

所以Robotics是最好的出口。在谈论AGI或Super Intelligence(超人工智能)之前,能不能先有一个足够reliable(可靠)、足够general(通用)的robot?一个12 岁的孩子能承担几乎所有家务,但现在没有任何机器人能做到。

这件事需要“预训练的下半场”。现在的机器人创业公司没有精力做“大脑”的预训练,他们资源都投入到了hardware的Scaling Law(硬件的规模定律)上。即买更多机器人、去deploy(部署)它们,产生具体的商业价值。

张小珺:这个所谓的“预训练下半场”,它输入什么?输出什么?

谢赛宁:长期来看,输入的是所有的连续空间、高维度、可能有噪声的信号。一开始可能是video,但也会有多模态模型去学习和处理视觉之外的信号。

至于输出端最优的目标函数是什么,这是目前research问题。

这也属于泛self-supervised learning(自监督学习)的范畴,也是最exciting(令人兴奋)的地方。

09

“42”


张小珺:我们那天在一起等餐厅排队的时候,在纽约街头一起走了走,话题很自然地就延展到了那些对你非常重要、影响过你的人。

“人”这个因素占据了你众多选择中非常大的比重。为什么人对你来说这么关键?

(此处折叠10万字。

剧透7小时视频播客中谈到的人:侯晓迪、屠卓文、何恺明、李飞飞、杨立昆…)

张小珺:你是怎么样从一个年轻的学者,慢慢和这些AI业赫赫有名的人站到一起的?你是怎么走近世界AI核心的?

谢赛宁:我觉得这件事情很难刻意做到,也有点玄学。你可以叫它Law of Attraction(吸引力法则)。上述列举的所有人,至少都是做过Vision的。我没有刻意让这些事情发生,大家只是基于对research问题理解的一致性一起合作。

想法一致的人最终都会聚合在一起——虽然有无数的小溪,但最后都会汇聚到一条河流上。

张小珺:我发现你很喜欢说,You are not the chosen one, you are just the normal one。你为什么很喜欢说这句话?

谢赛宁:我没有预料到我们会聊到这些,不过我肯定不是那种所谓的“天选之子”。

这句话其实来自我很喜欢的一支球队——Liverpool F.C.。我是一个Kop(利物浦球迷),已经二十多年了。我跟这支球队的气质也有一点相投。

我最喜欢的一个教练是Jürgen Klopp。当时还有另外一个教练,José Mourinho,他曾经说过一句很著名的话:“I am the special one.” ——“我是那个特别的人。”

后来克洛普就半开玩笑地回应说:“I’m not the special one, I’m the normal one.”——“我不是那个特别的人,我只是一个普通的人。”

我很喜欢这种态度。一方面他本人非常朋克,很有一种摇滚气质;另一方面,他又经常跟大家讲,他在团队里的定位更像是一块电池。

他希望通过自己的passion、自己的能量,去给其他人发电。我也很希望自己能成为这样的人。不管是在学校,还是在创业公司里,我都希望自己能够成为团队里的那块电池。

但我觉得这件事情并不容易。因为每个人都会有沮丧的时候,也会有想吐槽、想发泄情绪的时候。但我现在慢慢觉得,在学校里、在学生面前,或者在创业公司的团队面前,总需要有人去承担这样一个角色——就是能够像一块电池一样,持续地给大家提供能量。

Yann就是这样一个巨大的电池。他也深深地感召了我。

但我也希望,能够通过我自己,把这份电力继续传递下去。

张小珺:你最近一次感到沮丧是为什么?

谢赛宁:我天天都感到沮丧。这个已经变成一个常态了。

这也是researcher的宿命——大家底色都挺悲凉的。

Research的求索过程,本身就是在一个暗无天日的地方摸索的过程。当你看不见光亮的时候,你总是会感到迷茫和沮丧。

大家真正感到快乐的时候,无非就是你真的把东西做出来的时候。但这一部分时光其实非常短暂,可能只有5%或10%。恺明好像也说过类似的话。长此以往,大家的心理状态挺堪忧。

不过我觉得现在这个时代,和原来不太一样了。现在会有更多讨论。这也是这一波AI带来的一个好处:至少大家不觉得自己是在一个幽闭的空间里独自探索。

张小珺:你们公司有创业者人格的人吗?创业者人格一般挺乐观的。

谢赛宁:Yann本身就很乐观,非常非常乐观。

张小珺:他也是一名研究者,为什么没有researcher这种悲凉的底色?

谢赛宁:那我不知道。可能因为他经历过悲凉,然后成功了吧。他经历过AI的寒冬,然后最后可以告诉所有人:他是对的,你们是错的。

如果我经历一下这件事情,我可能也没那么悲凉。

他还是蛮乐观的。他的过去这些经历,也让他更有信心。他经常说的一句话是:这件事情跟过去Deep Learning(深度学习)、Neural Network(神经网络)发生的事情一模一样。就是现在World Model,或者你不管怎么叫它,现在的智能系统的搭建。

他说,总有一小群人,能够清晰地看见这个世界发展的脉络,看见科技的进程。但他们只是一小撮人,大部分人其实是看不见的。

因为大部分人都在忙着做其他的事情。

比如在Deep Learning之前,很多人可能就是在做一些其他的东西,Traditional Machine Learning(传统机器学习)之类的。现在也一样。

他还是蛮乐观的,或者说他有足够的confidence。他会觉得:我能看到的事情是重要的事情,我能看到的路线是一条清晰的路线。在这件事上,我还蛮相信他的。

张小珺:我们刚才聊了很多世界模型。在过去一两年,你对我们生活在的这个真实世界的模型有哪些新的思考吗?

谢赛宁:我觉得,这件事情一定要超出research的局限。一定要热爱生活,到真实的生活里面去,要了解到这个真实世界发生的事情。不要在一个大的bubble里面过完自己的一生。

我会很担心在现在这个时代,大家的思维方式或者关注的东西,可能会有某种同质化。但总之,如果一个东西已经变成一个巨大的共识,这件事情总会有更大的bubble(泡沫)破灭的风险。

但我说的bubble可能也不是经济上的bubble,更像是在一个封闭的环境里,大家的这种——Echo chamber,有某种回音壁。

我其实也不是想吐槽湾区。湾区挺好的。我现在在纽约,非常怀念湾区的生活,总想回去,尤其在冬天下雪之后。

但是我觉得纽约很不一样。我每天上班,首先我不用开车了,已经从一个铠甲脱离出来,进入到真实的生活,开始步行。

这件事情有很多奇妙的反应。我每天有时候还是压力蛮大的,有时候遇到一些事情还是蛮沮丧的。但每当我穿过——从我家到学校办公室,有一个公园叫Washington Square Park(华盛顿广场公园),里面形形色色的人都有:

有弹钢琴的艺人,有跳舞的,有推着婴儿车的妈妈们,有下象棋的老大爷,有坐在台阶上什么也不做发呆的年轻人,也有拿着电脑学习的NYU的学生……每天最解压的时光,就是这大概五到十分钟的路程。

我发现这个世界比我们想象的要大得多。不是所有人都关心什么叫AI,他们可能不care这件事情,他们有自己的生活。这个世界很大。

但另一方面,也许AI在未来某一天会影响到他们的生活。那我们到底应该做什么?作为researcher,我们有没有某种社会责任?

我只是觉得,多跟人接触,多跟生活在这个世界里面的人接触,会让我对什么是 AI?应该怎么样去做下一代 AI?有一些新的认识。

这件事正是Ilya当初给我打电话,他想要跟我聊的东西。但我那时候还没有这些感悟。

张小珺:你有什么喜欢的音乐?喜欢的电影?喜欢的电视剧吗?

谢赛宁:我想想,我还挺爱看电视剧的,可以推荐一些电视剧给大家看一看。

有个电视剧叫《POI》,也是一个很老的剧,在里面大家讨论了什么是一个super intelligence(超级智能)?你有一个好的super intelligence和一个坏的super intelligence,它们之间的竞争,对人类社会的威胁。

这件事情我就不剧透了,但还是挺多模态的,而且这件事情有一定的预言性。还挺神奇的。

它就是讲,怎么样从一个在盒子里面的语言模型,或者一个可以写代码的Agent,一步一步跳脱出来,变成一个多模态模型的过程。

到后面当然还有我很喜欢的,比如《万神殿》,这也是某种AI的寓言。它是一个动画,作者是刘宇昆,是我的老乡。他也当过律师,当过码农,最后变成小说家,非常非常厉害。我非常敬佩他,他的书我也很爱看。这部剧之前被Sam Altman推荐过,很多人也都看了。

最近当然是很火的《同乐者》,也是AI的预言。只是有一点麻烦,这些流行文化被AI渗透得太多,导致所有都跟AI有关系。有点受不了。但可能只是因为我是AI从业者,会有不一样的感觉吧。

不过还是蛮有启发性的。包括我之前说的科幻小说、老电影,它们都是某种现实的预演。但通常结局都不是很光明,通常挺惨淡的。

我最近还看了一部电影,《无可奈何》,朴赞郁的电影。它讲的也是AI对人的异化。全片几乎没有直接谈AI,直到最后。通篇都在讲,因为AI的到来,人到底发生了什么变化,人的心态、人与人之间的关系到底发生了什么变化。

说到电影,最后说一句,欢迎大家来纽约。我以前会参加纽约电影节,现在我会去参加两个,一个是纽约电影节,另一个是AI电影节。也很酷。

要推荐的话,跟我们刚刚说的都相关,今年得到大奖的AI电影叫《全像素空间》(The Total Pixel Space),是一个很有趣的AI短片,讲了很多我们刚刚说的关于世界模型,或者为什么人的intelligence不是单纯通用的intelligence的一些argument。很好玩。

张小珺:我们的每一位嘉宾都会给我们的观众推荐一本“人生之书”,希望它真的影响过你,改变过你。你的会是什么?

谢赛宁:推荐两本书给你。

一本书,我猜大家可能都经常推荐,但我在本科的时候,这是一个群体性的记忆。

这本书叫《集异璧之大成》,你有听说吗?就是哥德尔、巴赫、艾舍尔。里面讲了很多关于哲学、数理逻辑,还有这三个人——哥德尔、巴赫、艾舍尔,一个数理学家、一个作曲家、一个画家,他们之间到底有哪些哲学的共同点?

我们本科的时候,是老师推荐,大家组团学习。当初大家看不懂,但是到后面,越来越觉得这件事有点道理。

还有一本书,也是本科看的,叫《禅与摩托车维修艺术》。这本书是一个内心求索的过程。它讲的是一个人骑着摩托车——可能有剧透——有一个想象中的哲人,但其实这个哲人是他自己的投射。

有些书、电影会把你装满,有些书、电影会把你掏空。我看完这本书的感觉是,它有点把我掏空。让我感觉到了一些,这个世界到底什么重要?什么不重要?

张小珺:对于你来说,什么重要?什么不重要?

谢赛宁:人与人之间真诚的交流是重要的,也许其他都不重要。

但在某一个时间点上,你要问我这个问题,我会说创业很重要,我会说research很重要。但归根结底,我还是相信人与人之间的交流,这件事很重要。

张小珺:听起来research是你交流的一种媒介。

谢赛宁:对,我觉得是。而且research本身也是一个deeper connection(深度连接)吧。

这在我们融资过程中还帮到了我们。有一个投资人很愿意投我们,他的原因是,他认识一个很强的创业者,也是一个研究员。他说:“诶,你们一定要投赛宁,我们不管以什么样的方式都要帮到他。”但我跟这个人只在开会时见过一次,他是StableDiffusion主要作者之一,创立了BlackForestLabs(黑森林实验室)。

这种信任关系是建立在你的学术工作之上。这种信任关系甚至有时候会远超你真正的personal connection(私人关系)。

大家通过你的一篇作品了解你,这件事情会传承下去,甚至可以走得很远。

张小珺:你一开始就说你相信命运,而且越来越相信。你也做了那么多“玄学决定”。此时此刻,你感觉命运正在把你往哪推?

谢赛宁:命运在推我吗?好像也没有。好像没有被命运推着走的感觉。

只是在下一次需要做选择的时候,希望上天保佑吧。

张小珺:这个世界是一个巨大的世界模型吗?

谢赛宁:这个世界当然是一个巨大世界模型。

张小珺:那我们能预测命运吗?

谢赛宁:我觉得不能。

张小珺:为什么?

谢赛宁:因为我们资源不够。

你需要用地球这么大的一个计算机,或者说你要有整个宇宙作为你的计算机,才能告诉你一个关于生命、关于宇宙、关于任何事情的答案。

这个答案最后可能是42。

---

还有大量的内容,只有视频播客和播客有喔:)

剧透一下:

  • 世界总不让我做Vision,我偏要做

  • 开着破车,开始我的学术流浪

  • 贾樟柯和毕赣如何启发Cambrian-S

  • 论文中的草蛇灰线 -- “作为表征的世界”

  • 质疑JEPA,理解JEPA,成为JEPA

  • LLM在左,机器人在右

  • Research taste与《金刚经》

  • 为什么我不喜欢“Impact”,它显得过于男性化

  • 住手!放开维特根斯坦

收听播客


推荐阅读


阅读原文

跳转微信打开

  •  

好多大厂APP文本链接不用主题色,其实是没招了

原创 邹咿ZoeYZ 2026-03-16 08:20 广东

能用的话早用了…

经常看到一些主题色比较浅的产品设计,白底页面上文字链接用主题色,导致文本链接还不如普通文本显眼,看得很累。

QQ音乐

活动行

有些聪明一点的,会给普通文字用浅灰色,这样文本链接可以体现出来。但是由于文字的颜色整体偏浅,导致可读性还是较差。

朴朴

文字链接的颜色要怎样才合理?如果主题色不适合做文本链接,又该怎么办?

接下来,我会先给大家介绍一个验证文字色彩对比度的方法,然后再来看看大厂有哪些处理方式。

怎样的颜色才方便阅读?

Web Content Accessibility Guideline(网页内容无障碍指南,简称WCAG)是由万维网联盟(W3C)下属的无障碍网页倡议组织(WAI)发布的国际网页无障碍标准,旨在通过规范网页内容的设计与开发,确保所有用户(包括残障人士、老年人、色盲用户等)都能平等访问网页信息。

WCAG对色彩对比的要求基于文本类型(普通文本/大文本)和 conformance level( 合规等级),分为AA级(最低推荐标准)和AAA级(增强标准)两个层级。

底线:普通文本≥4.5:1(AA级),大文本≥3:1(AA级)——这是全球公认的“最低可读”门槛;

理想:普通文本≥7:1(AAA级),大文本≥4.5:1(AAA级)——兼顾舒适性与包容性;

WCAG采用相对亮度公式计算文本与背景的对比度,具体步骤如下:

  1. 将文本颜色(前景色)和背景颜色的RGB值转换为sRGB空间(即归一化到0-1范围);

  2. 对每个颜色通道(R/G/B),若其值≤0.03928,则除以12.92;否则按公式((value + 0.055) / 1.055) ^ 2.4计算;

  3. 计算相对亮度(L):L = 0.2126*R + 0.7152*G + 0.0722*B(其中R/G/B为步骤2的结果);

  4. 计算对比度比值:(L1 + 0.05) / (L2 + 0.05)(L1为较亮颜色的相对亮度,L2为较暗颜色的相对亮度)。

为了方便,可以直接使用一个计算工具,网址我放在底部「原文链接」了。

按照这个公式,以下文本色都是不合格的:

以下文本色作为大文本是符合的,但是作为普通文本不合格:

我发现,即便是大厂设计,文字颜色的对比度达到理想等级的非常少。可能是为了平衡美观性吧,能够达到 3 : 1 就算不错了。

Google的A/B测试

谷歌搜索引擎在2019年其实尝试过另一个色彩的文字链接,但是很快下线了。

上图来源:https://goodui.org/leaks/google-has-been-a-b-testing-link-colors-again-and-this-light-blue-didnt-pass/

虽然没有谷歌官方的消息来源,但按照常理来分析,主题色文字链接被下线的原因可能是可读性的问题。

尽管这个颜色以WCAG的标准来看,算是合格:

现在他们的文本链接颜色明显比主题色偏紫一些:

这个颜色的对比度就更高了,数值接近前者的2倍:

元宝选择把主题色加深

腾讯的AI元宝的主题色是挺亮的绿色,如果直接用在文字上,可读性是不够的:

于是,他们选了一个明显更深的绿色,把对比度一下子拉到了一个很客观的数值:

微信选择灰蓝色

众所周知,微信的主题色是绿色,这个颜色的对比度也不足以用在文本上:

微信比较特别的做法是,选了一个偏灰的蓝色给文本链接用,看起来跟主题绿毫无关联。这个灰蓝色的对比度,确实是够格给文本用的。

为什么要用偏灰的蓝色呢?可以看看下图的对比:

如果用亮蓝色的话,会比按钮的主题绿还抢眼。只有用灰蓝色,才能确保当主题绿出现时,依旧能够很好地引导用户视线。

头条选择亮蓝色

今日头条的主题色是红色,但它的文本链接有些是红色,有些又是亮蓝色。

总结一下规律,用蓝色的文本链接,主要是不想引起注意的地方。所以,我才头条设计师是觉得有些文本链接用红色太过抢眼,所以才用亮蓝色的。

那为什么不像微信那样用灰蓝色呢?看看下图对比就知道了:

因为页面上的主题红已经很显眼了,文本链接就算用亮蓝色,也不会喧宾夺主。

反倒是如果改用灰蓝色,会让文本链接太不起眼,看起来还有点像是无效链接。

总结一下

当主题色相对于背景色的对比度较低时,可能就不适合给文本用了,具体可以用在线工具来测试。

主题色为红色、橙色,有警示含义时,也可能不适合作为文本链接。

如果主题色不适合给文本用,那么千万不要勉强用,也没必要为此改主题色。

可以学习大厂的处理方法,例如:

主题色调整色相(Google)、主题色加深(元宝)、灰蓝色(微信)和亮蓝色(今日头条)。

你在做设计时有没有遇到过类似的问题?是怎样处理的?欢迎留言分享~

阅读原文

跳转微信打开

  •  

从多模态大模型中「拆」出音频向量模型

原创 Jina AI 2026-03-12 15:03 新加坡

把任意多模态大模型变成小型音频向量模型

Google 最近发了 Gemini Embedding 2,他们第一个原生多模态向量模型。文本、图像、视频、音频、文档,全部映射到同一个 3072 维向量空间。这是 Omni Embedding(全模态向量模型)的大趋势:一个架构吃下所有模态,从 jina-embeddings-v4 到 Omni-Embed-Nemotron 再到 Omni-5,大家都在往这个方向收敛。

去年 EMNLP BoF 上我讲过:Omni 模型是 2026 年 Dense Retrieval 的关键方向之一。
去年 EMNLP BoF 上我讲过:Omni 模型是 2026 年 Dense Retrieval 的胜负手。

真正引起我们注意的是音频。大多数人听到多模态 Embedding 首先想到的是图像,顶多再加个视频。音频是被遗忘的模态:数据难采、标注难做、做的人少。

过去一段时间,我们 Jina AI 团队恰好在啃这块硬骨头:如何在 1.2B 规模内做出高性能的音频向量模型?这也是我们通向全模态愿景的关键一步。

趁着 Gemini Embedding 2 发布的节点,把我们一路上踩的坑和学到的东西分享给大家。

音频向量是什么

音频向量就是把一段音频压成一个定长向量。输入原始波形,模型输出一个稠密向量(通常 768 到 3072 维),编码了这段声音的语义内容。语义相似的两段音频,向量也相近;一段音频和它的文本描述,在共享向量空间中距离很短。这是 Omni Embedding 拼图里的一块:一旦音频能和文本、图像映射到同一个向量空间,跨模态检索就打通了。

2022 年以来的主流方案是 Contrastive Language-Audio Pretraining(CLAP),本质上就是把 CLIP 搬到音频域。思路很直接:一个音频编码器,一个文本编码器,中间用对比学习拉近配对的音频-文本、推远不配对的。LAION-CLAP 在这个基础上用 630K 对数据加 Feature Fusion 做了放大。当前最强变体(Elizalde et al., 2023)在 4.6M 对数据上训练,音频编码器横跨 22 种音频任务,配合自回归解码器,250M 参数量在 AudioCaps 上做到 42.0 cvR@5。

CLAP 的问题在哪?它从零开始学习音频和文本之间的对齐。这意味着你需要海量的配对数据去建立跨模态桥梁,460 万数据对不是白烧的。

我们走了一条完全不同的路:把已经听懂音频的多模态 LLM,直接改造成 Embedding 模型。 桥梁已经在预训练中建好了,我们要做的只是把它从生成模型重塑为向量模型。

模型架构

先说输入输出。输入是原始音频波形,从 WAV/MP3/FLAC 解码后重采样到 16kHz 单声道。音频编码器先转成 128-bin log-mel 频谱图,再处理成特征 token 序列,大约每秒 150 个 token。一段 10 秒音频约 1500 token。最大输入 30 秒,更长的需要切片。输出是单个稠密向量,维度在 896 到 3584 之间,取决于 LLM backbone 的规模。

起点是 Qwen2.5-Omni,一个原生音频理解的多模态 LLM。三个组件:

  • 音频编码器(约 0.6-0.8B 参数):把波形转成特征向量,中间有一个约 4.5M 参数的线性投影层。这个投影层虽小,却至关重要,它是音频特征空间到 LLM 表示空间的桥梁,负责把音频编码器输出的特征维度对齐到 LLM 的输入维度。

  • LLM backbone(0.5-7B 参数):每个 Transformer 层约 0.2B 参数,同时处理音频特征和文本 token。

  • 池化层:对最后一层 hidden state 做 mean pooling,输出最终向量。

两个模态共享同一个 LLM backbone。这不是我们做的对齐,是 Qwen2.5-Omni 在预训练时就建立的。音频特征和文本 token 经过同一堆 Transformer 层处理,在表示空间里天然就有一定程度的对齐。我们要做的是把这种隐式对齐显式化为一个向量模型。

架构对比
架构对比

左边是标准做法,端到端微调整个 MLLM(3-7B 参数)。右边是我们的模块化组合做法,把预训练音频编码器接到一个更小的 LLM backbone 上。共享 backbone 同时处理音频特征和文本 token,在同一个向量空间中生成 Embedding。

训练目标是 InfoNCE 对比损失。两个模态各自独立编码,双向计算 loss 后取平均:

deftraining_step(audio_batch, text_batch):
    audio_embeds = model.encode_audio(audio_batch)  # [B, D]
    text_embeds = model.encode_text(text_batch)      # [B, D]
    audio_embeds = F.normalize(audio_embeds, dim=-1)
    text_embeds = F.normalize(text_embeds, dim=-1)
    sim = audio_embeds @ text_embeds.T / temperature  # [B, B]
    labels = torch.arange(len(sim), device=sim.device)
    loss = (F.cross_entropy(sim, labels) +
            F.cross_entropy(sim.T, labels)) / 2
return loss

训练数据

五个音频-文本配对数据集,共 181K 样本:

数据集

样本量

说明

AudioSetStrong

108K

时序标注事件,GPT 生成字幕(AudioSet 子集)

FSD50K

41K

人工标注声音事件,200 类

Clotho

19K

音频字幕,详细描述

UrbanSound8K

9K

城市声音分类

MACS

4K

城市声学场景

CLAP 用了完整 AudioSet(200 万+音频)加上其他来源,总计 460 万对。我们只用了 AudioSetStrong 约 10 万条,数据量差了 25 倍。

为什么能少这么多?因为 CLAP 需要从零建立跨模态对齐,460 万对数据大部分精力花在教模型"什么声音对应什么文字"。而我们的起点是一个已经听懂音频的 MLLM,跨模态的桥已经造好了,训练只需要把这座桥从"生成"重新校准到"向量检索"。这是一个 fine-grained calibration,不是 from-scratch alignment。

defload_sample(audio_path, caption):
    waveform, sr = torchaudio.load(audio_path)
    waveform = torchaudio.transforms.Resample(sr, 16000)(waveform)
    audio_inputs = processor.feature_extractor(
        waveform, sampling_rate=16000, return_tensors="pt"
    )
    text_inputs = processor.tokenizer(caption, padding=True, return_tensors="pt")
return audio_inputs, text_inputs

四条路,三条半死胡同

我们的目标很明确:参数量压到 1.2B 以下,性能超过 CLAP。我们试了四种做法,前三种各有各的问题,在第四种拿到了结果,但过程本身比结果更有价值。

路径一:全模型微调

Qwen2.5-Omni-7B 直接在音频-文本对上做对比学习微调,结果不出意外地好:AudioCaps T2A cvR@5 = 63.2,Clotho T2A = 39.2。这个分数远超 CLAP 的 42.0,证明了思路本身是对的。但 7B 参数量摆在那里,推理成本和延迟都不现实。这条路的价值是给后面所有实验画了一条上限。

值得对比的是其他团队的类似尝试:Tevatron 2.0 也做全模型微调,但只用 AudioCaps 一个数据集,AudioCaps 上拿了 61.2,Clotho 上暴跌到 11.9。单数据集训练在分布内表现好看,出了分布立刻垮掉,这是向量模型老生常谈的问题了。还有 ColQwen-Omni,在视觉文档任务上微调、零音频数据,纯靠跨模态迁移拿到了 37.4。逼近 CLAP 但没超过。零数据能做到这一步,本身也说明 MLLM 的跨模态对齐的能力。

路径二:层剪枝

既然 7B 太大,能不能直接砍层?每个 Transformer 层约 0.2B 参数,从 28 层砍到 10 层就剩 3.5B,砍到 5 层剩 2.3B。

随 Transformer 层数减少的性能变化。
随 Transformer 层数减少的性能变化。

AudioCaps(红线)从 20 层的 63.2 降到 5 层的 56.0 cvR@5。所有配置仍然高于 CLAP baseline(虚线)。但即使砍到 5 层(2.3B 参数),离 1B 目标差了一倍多。

层数

参数量

AudioCaps T2A cvR@5

Clotho T2A cvR@5

20

5.8B

63.2

39.2

10

3.5B

58.2

36.5

5

2.3B

56.0

36.0

性能下降是平滑的,说明信息在各层间分布比较均匀,没有哪几层是可以无痛摘掉的。

另外一个有意思的观察是 Batch size(32、64、128)几乎没有影响最终性能。大 batch 在训练初期有优势,但后期可能过拟合负样本分布,batch 128 在 2K 步时 Clotho NDCG 打到 31.3,到 10K 步反而掉到 29.3。这说明在数据量有限的情况下,大 batch 带来的 hard negative 数量优势敌不过分布偏移的风险。

层剪枝的根本限制是:音频编码器本身就有 0.6-0.8B,加上投影层和 Embedding 层的固定开销,即使 LLM backbone 砍到零,模型也至少 1B 起步。此路不通。

路径三:纯文本模态迁移

这个思路更激进:完全不用任何音频-文本配对数据,只用纯文本 NLI 数据集(MultiNLI、SNLI、FEVER、SciFact)做微调。逻辑是这样的,MLLM 预训练时已经建立了音频和文本的对齐,那我只训练文本侧的向量质量,音频侧应该能搭上便车。

在完整 7B 上,这个赌注居然赢了:AudioCaps 46.1,超过了 CLAP 的 42.0。零音频训练数据,纯靠文本 NLI 就能做出一个比 CLAP 更好的音频向量模型,这本身就很说明问题,MLLM 预训练建立的跨模态对齐做得很深,不是表面功夫。

但在剪枝后的 10 层模型上,同样的做法直接塌了:cvR@5 = 5.9,几乎等于随机。

这里的 insight 很重要:跨模态对齐不是一个集中存储在某几层的对齐模块,而是分布在整个网络的每一层中。28 层的完整网络里,每一层都参与了音频和文本表示的渐进对齐。你砍掉大部分层,对齐就碎了。文本侧靠 NLI 数据还能补回来,但音频侧没有任何数据兜底,直接归零。

这条路教会我们的是:模态迁移的可行性和模型压缩的可行性是矛盾的。你不能同时既要又要。

路径四:模块组合

前三条路的共同问题是都从同一个 7B 模型出发往小了做。路径四我们换了一个思路:不从大模型上减,从小组件上加。 从一个模型里摘出音频编码器,从另一个模型里拿一个小 LLM backbone,拼在一起,甚至可以跨模型家族拼装。

为什么这也能行呢? 因为 Qwen2.5-Omni 的训练分了三阶段:1. 冻结 LLM,只训练音频/视觉编码器的投影层;2. 全参数解冻联合训练;3. 扩展到 32K 上下文。

关键在于第一阶段,音频编码器学会了如何把波形转成 LLM 能读懂的 token。这种说 LLM 语言的能力是通用的,不绑定某一个特定的 LLM。所以我们大胆假设:一个在第一阶段训练好的音频编码器,应该能直接插到任何 Qwen 系列的小 LLM 上。

我们测试了四种组合:

配置

音频编码器

LLM

参数量

M1

Qwen3-Omni(0.6B,stage-1 之前)

Qwen2.5-0.5B

1.1B

M2

Qwen3-Omni(0.6B,stage-1 之前)

Qwen2.5-3B

3.6B

M3

Qwen2.5-Omni-3B(0.8B,stage-3 之后)

Qwen2.5-3B

3.8B

M4

Qwen2.5-Omni-3B(完整)

完整 3B

3.8B

实现细节上有个坑,Qwen3-Omni 用的是 Qwen3OmniMoePreTrainedModel,standalone Qwen3 用的是 Qwen3ForCausalLM,两者的模型壳子不一样。我们的做法是初始化一个维度匹配的 Omni 模型壳子,然后把权重拷贝到对应位置。

各配置在 AudioCaps 和 Clotho T2A cvR@5 上的表现
各配置在 AudioCaps 和 Clotho T2A cvR@5 上的表现

用 stage-3 之后对齐更好的音频编码器效果更好(M3 vs M2:AudioCaps +4.2)。LLM 预训练的 stage 2-3 对 Embedding 质量影响不大(M3 vs M4 在误差范围内)。

结果里有三个发现:

第一,M1(1.1B)在 AudioCaps 上就打到了 49.7,超过 CLAP 的 42.0 整整 18%。 我们目标达成:参数量 1.1B,低于 1.2B 的目标线,性能大幅领先 CLAP,并且只用了 CLAP 1/25 的训练数据。

第二,音频编码器的对齐质量决定上限。 M3 用的是第三阶段之后完整训练过的音频编码器,M2 用的是 stage-1 之前的初始版本,两者 LLM backbone 相同(Qwen2.5-3B),但 M3 在 AudioCaps 上比 M2 高了 4.2 个点。这说明音频编码器在多阶段训练中获得的对齐精度直接传导到了最终的 Embedding 质量。

第三,LLM 的 stage 2-3 训练对 Embedding 质量几乎没有影响。 M3(拼装的 LLM)和 M4(原装完整 3B)的性能在误差范围内。这也意味着 LLM backbone 在 stage 2-3 学到的那些能力:更好的指令跟随、更长的上下文处理,对向量化任务没有贡献。向量模型需要的是表示能力,不是生成能力。

评测

音频 Embedding 的评测本质上就是看检索质量:给一段文本 query,能不能找到对的音频?

难点在于对的定义因数据集而异。

AudioCaps 的描述很具象("一个男人说话,然后门关上了"),这种描述和声学特征是一一对应的,模型只要记住声学 pattern 就能得分。

而 Clotho 的描述更抽象("安静的氛围中远处有隆隆声")。这需要模型理解场景级别的语义,而不只是频谱特征。一个只记住表面声学特征的模型在 AudioCaps 上跑分好看,到 Clotho 上就原形毕露。我们最看重的是跨描述风格的泛化能力,这才能反映模型真正理解了什么。

CV-Recall@5(cvR@5):对每个文本 query,看 top-5 结果中是否命中正确音频。二值打分,所有 query 取平均。这是 MTEB 音频检索的标准 metric。

defevaluate_cvr_at_k(model, dataset, k=5):
    audio_embeds = model.encode_audio(dataset.audio_clips)
    text_embeds = model.encode_text(dataset.text_queries)
    sim = F.normalize(audio_embeds) @ F.normalize(text_embeds).T
    hits = 0
for i in range(len(dataset.text_queries)):
        top_k = sim[:, i].argsort(descending=True)[:k]
if dataset.ground_truth[i] in top_k:
            hits += 1
return hits / len(dataset.text_queries)

三个评测集均来自 MTEB:AudioCaps(视频衍生,人工字幕)、AudioSetStrong(时序标注,GPT 描述)、Clotho(多样化,抽象字幕)。CLAP 用了完整 AudioSet(200 万+),我们只用了 AudioSetStrong 约 10 万条,这在一定程度上解释了 CLAP 在该 benchmark 上的优势。

所有配置在 AudioCaps、AudioSetStrong、Clotho T2A 检索上的横向对比
所有配置在 AudioCaps、AudioSetStrong、Clotho T2A 检索上的横向对比

红色虚线为 CLAP baseline。模块组合方案(绿色)以远远更小的模型尺寸取得了有强竞争力的结果。全量微调的 7B 模型(深蓝)是性能上限。

应用场景

传统的音频检索里,输入文字找音效当然是最直接的场景。但更值得关注的是音频 Embedding 在 Agentic 系统中的角色。当语音成为 Agent 的主要输入方式时,第一步往往是 ASR 转文字再处理。但 ASR 有延迟、会丢失语气语调信息、还依赖转写质量。如果 Agent 能直接对语音输入做向量化,根据语义相似度分发到正确的工具或子 Agent,就跳过了 ASR 这个瓶颈。不是所有语音输入都需要逐字转写,很多时候你只需要知道"这段话的意图是什么"。

工业场景里的声音事件分类也是一个被低估的方向。设备异响检测、安防系统、智能家居,这些场景需要的不是转写,而是"这个声音像什么",这正是 Embeddings 的强项。

更远一步看,当 Omni Embedding 做成了,文本、图像、音频、视频都在一个向量空间里,Agent 就获得了一个统一的感知接口。不管输入是什么模态,都转成向量后统一检索、比较、推理。这是多模态 Agent 能真正 scale 的前提。

而这一切有个硬性前提:模型要够小,能在端侧跑。 语音交互容不下云端传输带来的延迟损耗,而且语音数据的隐私敏感度远高于文本。所以高性能的小模型不是加分项,而是入场券。这也是我们把目标定在 1.2B 以下的原因。

结论

预训练 MLLM 是做新模态 Embedding 最大的杠杆。 它一次性提供了跨模态对齐、强文本编码器和能力不错的音频编码器。

模块化组合是目前最有前景的方向。 从不同模型、不同训练阶段里拆出组件自由拼装,我们在音频向量任务上验证了可行性。实验结果也指向了一个清晰优先级:音频编码器的对齐质量是第一位的(stage-3 vs pre-stage-1 差了 4.2 个点),LLM backbone 的生成能力对向量化任务没有贡献(stage 2-3 训练前后没有差异)。这也意味着构建向量模型时,选组件的优先级是:编码器对齐 > LLM 的表示能力 > LLM 的其他能力。

跨模态迁移和模型压缩不能既要又要。 文本模态迁移在完整 7B 上漂亮地跑通了(46.1 vs CLAP 42.0),但在 10 层剪枝模型上直接归零(5.9)。对齐分布在整个网络中,压缩就碎。

AudioCaps 领跑不代表问题解决了。 我们模型在 AudioCaps 上大幅领先 CLAP,但在更依赖抽象语义的 Clotho 榜单上只是持平。暴露了模型的场景级语义理解不够。只看 AudioCaps 你会觉得模型已经很好了;加上 Clotho 就知道还差得远。

这项工作是我们迈向 Omni Embedding(全模态向量模型)的关键一步,模块化组合让我们找到了无需大规模烧数据即可开启新模态的方法,但 Clotho 的结果提醒我们:光靠复用预训练组件还不够,数据质量和多样性仍然是底层硬约束。

接下来我们会探索 MoE 架构把激活参数压到 500M 以下,尝试模块组合和模态迁移的深度结合,引入 WavCaps、MusicCaps 和语音数据集做数据扩充,重点补上抽象描述的短板。

我们开源社区见!https://github.com/jina-ai/audio-embedding-kickstarter

阅读原文

跳转微信打开

  •  

CLI is All Agents Need — *nix Agent 设计宝典

原创 yan5xu 2026-03-12 11:55 北京

oi! 这真的是我觉得最好的 agent 架构啊啊啊啊啊,真的不要来看看吗!!!

Why a single run(command) outperforms sprawling tool catalogs

当所有人在为 Agent 设计复杂的函数调用框架时,我发现:一个 run(command="...") 就够了。

本文由 AI Agent 协作完成,但每一个设计决策、每一次生产踩坑、以及把它们提炼成原则的思考过程,都是本人完成的。

为什么是 *nix

Unix 在 50 年前做了一个设计决策:一切皆文本流。 程序之间不交换复杂的二进制结构,不共享内存对象——它们通过文本管道沟通。小工具各司其职,通过 | 组合成强大的工作流。程序用 --help 描述自己,用 exit code 报告成败,用 stderr 传递错误上下文。

LLM 在 50 年后做了一个几乎相同的决策:一切皆 token。 它只理解文本,只输出文本。它的"思考"是文本,它的"行动"是文本,它从世界获得的反馈也必须是文本。

这两个决策跨越半个世纪,从完全不同的出发点,收敛到了同一个接口模型。Unix 为人类终端操作者设计的文本系统——cat、grep、pipe、exit code、man page——对 LLM 来说不是"也能用",而是天然适配。LLM 在工具使用这件事上,本质就是一个终端操作者,只不过它比任何人类都快,而且它的训练数据里有大量 shell 命令与 CLI 用例。

这就是 *nix Agent 的核心哲学:不发明新的工具接口,把 Unix 已经验证了 50 年的设计直接交给 LLM。

为什么只有一个 run

单工具假说

主流 Agent 框架给 LLM 一堆独立工具:

tools: [search_web, read_file, write_file, run_code, send_email, ...]

LLM 每次调用前要做工具选择——用哪个?参数怎么填?工具越多,选择越难,准确率越低。认知负荷花在了"选工具"上,而不是"解决问题"上。

我的做法:一个 run(command="..."),所有能力通过 CLI 命令暴露。

run(command="cat notes.md")
run(command="cat log.txt | grep ERROR | wc -l")
run(command="see screenshot.png")
run(command="memory search 'deployment issue'")
run(command="clip sandbox bash 'python3 analyze.py'")

LLM 仍然需要选择"用什么命令",但这和"从 15 个不同 schema 的工具中选一个"是完全不同的认知任务。命令选择是在一个统一的 namespace 里做字符串组合——而函数选择是在多个不相关的 API 间做模式切换。

LLM 的 CLI 母语

为什么 CLI 命令比结构化函数调用更适合 LLM?

因为 LLM 的训练数据里,CLI 是最密集的工具使用范式。GitHub 上数十亿行代码充满了:

# README 里的安装指南
pip install -r requirements.txt && python main.py
# CI/CD 里的构建脚本
make build && make test && make deploy
# Stack Overflow 里的解决方案
cat /var/log/syslog | grep "Out of memory" | tail -20

我不需要教 LLM 如何使用 CLI——它已经会了。这种熟悉度是概率性的、模型相关的,但在主流模型上经验证非常可靠。

对比两种方式完成同一个任务:

任务:读取日志文件,找出错误行数
函数调用方式(3 次 tool call):
  1. read_file(path="/var/log/app.log") → 返回完整文件
  2. search_text(text=<entire file>, pattern="ERROR") → 返回匹配行
  3. count_lines(text=<matched lines>) → 返回数字
CLI 方式(1 次 tool call):
  run(command="cat /var/log/app.log | grep ERROR | wc -l")
  → "42"

一次调用替代三次。不是因为做了特殊优化——而是 Unix 管道天然支持组合。

让管道和链式执行成为可能

光有一个 run 不够。如果 run 只能执行单条命令,LLM 还是要多次调用才能完成组合任务。所以我在命令路由层实现了一个链式解析器(parseChain),支持四种 Unix 操作符:

|   管道:前一个命令的 stdout 作为后一个的 stdin
&&  与链:前一个成功才执行后一个
||  或链:前一个失败才执行后一个
;   顺序:无论前一个成败都执行后一个

有了这个机制,LLM 的每一次 tool call 都可以是一个完整的工作流:

# 一次 tool call:下载 → 查看
curl -sL $URL -o data.csv && cat data.csv | head 5
# 一次 tool call:读文件 → 过滤 → 排序 → 取前 10
cat access.log | grep "500" | sort | head 10
# 一次 tool call:尝试 A,失败则尝试 B
cat config.yaml || echo "config not found, using defaults"

N 个命令 × 4 种操作符,组合空间急剧扩大。而在 LLM 看来,这只是一个字符串——它已经从训练数据里学会了怎么写。

命令行就是 LLM 的母语工具接口。

启发式设计:让 CLI 引导 Agent 顺滑工作

单工具 + CLI 解决了"用什么"的问题,但 Agent 还需要知道 "怎么用"。它没有搜索引擎,没有同事可以问。我通过三个递进的设计手段,让 CLI 自身成为 Agent 的导航系统。

手段一:渐进式 --help 自发现

一个设计良好的 CLI 工具,用户不需要读文档就能上手——因为 --help 告诉了一切。我把同样的理念用在 Agent 身上,并且做成了渐进式披露:Agent 不需要一次加载所有文档,而是按需逐层深入。

第零层:Tool Description → 命令列表注入

run 工具的 description 在每次对话开始时动态生成,列出当前所有已注册命令的一行摘要:

Available commands:
  cat    — Read a text file. For images use 'see'. For binary use 'cat -b'.
  see    — View an image (auto-attaches to vision)
  ls     — List files in current topic
  write  — Write file. Usage: write <path> [content] or stdin
  grep   — Filter lines matching a pattern (supports -i, -v, -c)
  memory — Search or manage memory
  clip   — Operate external environments (sandboxes, services)
  ...

Agent 从第一轮就知道有哪些能力,但不需要知道每个命令的所有参数——那会浪费上下文。

注: 命令列表全量注入 vs 按需发现,随着命令增多这里存在上下文预算的权衡。目前还在探索更优的平衡方式,欢迎讨论。

第一层:command(无参数)→ 命令用法

Agent 对某个命令感兴趣时,直接调用它。没给参数?命令返回自己的用法:

→ run(command="memory")
[error] memory: usage: memory search|recent|store|facts|forget
→ run(command="clip")
  clip list                              — list available clips
  clip <name>                            — show clip details and commands
  clip <name> <command> [args...]         — invoke a command
  clip <name> pull <remote-path> [name]   — pull file from clip to local
  clip <name> push <local-path> <remote>  — push local file to clip

现在 Agent 知道 memory 有五个子命令,clip 可以 list/pull/push。只花了一次调用,没有多余信息。

第二层:command subcommand(缺参数)→ 具体参数

Agent 决定用 memory search,但不确定参数格式?继续深入:

→ run(command="memory search")
[error] memory: usage: memory search <query> [-t topic_id] [-k keyword]
→ run(command="clip sandbox")
  Clip: sandbox
  Commands:
    clip sandbox bash <script>
    clip sandbox read <path>
    clip sandbox write <path>
  File transfer:
    clip sandbox pull <remote-path> [local-name]
    clip sandbox push <local-path> <remote-path>

渐进式披露:概览(注入)→ 用法(探索)→ 参数(深入)。 Agent 按需探索,每一层只获取当前需要的信息量。

这和把所有文档塞进 system prompt 是完全不同的思路。system prompt 里塞 3000 字的工具文档,大部分信息在大部分时候都用不到——白白占用上下文预算。渐进式 help 让 Agent 自己决定什么时候需要更多信息。

这也对命令设计提出了要求:每个命令、每个子命令都必须有完整的 help 输出。 不仅是给人看的,更是给 Agent 看的。一条好的 help 能让 Agent 一步到位,一条缺失的 help 意味着一次盲猜。

手段二:Error Message 纠偏

Agent 不可能永远走对路。关键不是阻止它犯错,而是让每个错误都指向正确方向。

传统 CLI 的错误信息给人看——人可以 Google。Agent 不能 Google。所以我要求每个错误同时包含"出了什么问题"和"该怎么做":

传统 CLI:
  $ cat photo.png
  cat: binary file (standard output)
  → 人会 Google "how to view image in terminal"
我的设计:
  [error] cat: binary image file (182KB). Use: see photo.png
  → Agent 直接调用 see,一步修正

更多例子:

[error] unknown command: foo
Available: cat, ls, see, write, grep, memory, clip, ...
→ Agent 立刻知道有哪些命令
[error] not an image file: data.csv (use cat to read text files)
→ Agent 从 see 切换到 cat
[error] clip "sandbox" not found. Use 'clip list' to see available clips
→ Agent 知道先列出 clips

手段一(help)解决"我能做什么"。手段二(error)解决"做错了怎么办"。两者配合,Agent 的试错成本极低——通常 1-2 步就能找到正确路径。

真实案例:stderr 被丢弃的代价

有段时间,我的代码在调用外部沙箱时,如果 stdout 非空就丢弃 stderr。Agent 运行 pip install pymupdf,exit code 127。stderr 里有 bash: pip: command not found,但 Agent 看不到。它只知道"失败了",不知道"为什么"——于是盲猜了 10 种包管理器:

pip install         → 127  (不存在)
python3 -m pip      → 1    (模块不存在)
uv pip install      → 1    (用法错误)
pip3 install        → 127
sudo apt install    → 127
... 又试了 5 种 ...
uv run --with pymupdf python3 script.py → 0 ✓  (第 10 次)

修复后 stderr 永远可见,Agent 第一次就看到 "pip: command not found",立刻换方向。

stderr 是 Agent 最需要的信息,恰恰在命令失败的时候。永远不要丢弃它。

手段三:Output Format 持续反馈

前两个手段解决了 Agent 的"发现"和"纠错"。第三个让 Agent 在持续执行过程中越来越懂系统。

我在每个 tool result 末尾追加一致的元数据:

file1.txt
file2.txt
dir1/
[exit:0 | 12ms]

LLM 从中提取两个信号:

退出码(Unix 约定,LLM 已掌握):

  • exit:0

     — 成功

  • exit:1

     — 一般错误

  • exit:127

     — 命令不存在

耗时(成本感知):

  • 12ms

     — 廉价操作,可以放心多调

  • 3.2s

     — 中等成本

  • 45s

     — 昂贵操作,需要谨慎

Agent 在对话中看到几十次 [exit:N | Xs] 后,内化了这个模式。它开始预判——看到 exit:1 就知道检查错误,看到耗时很长就减少调用。

一致的输出格式让 Agent 越用越聪明。不一致让每次都像第一次。

三个手段的递进关系:

--help       →  "我能做什么?"       →  主动发现
Error Msg    →  "做错了怎么办?"     →  被动纠偏
Output Fmt   →  "做得怎么样?"       →  持续学习

双层架构:把启发式设计落地的工程

上面讲了 CLI 如何在语义层面引导 Agent。但要真正落地,还需要解决一个工程问题:CLI 执行的原始输出,和 LLM 需要看到的结果,往往不是一回事。

LLM 的两个硬约束

约束 A:上下文窗口有限且昂贵。 每个 token 消耗金钱、注意力、推理速度。一个 10MB 文件全文塞进上下文,不仅浪费,还会把之前的对话挤出窗口——Agent "失忆"。

约束 B:LLM 只能处理文本。 二进制数据经过 tokenizer 产生高熵无意义的 token。它不仅浪费上下文,还会扰乱周围有效 token 的注意力,导致推理质量下降。

这两个约束决定了:命令的原始输出不能直接扔给 LLM——需要一个呈现层做加工。但加工不能影响命令的执行逻辑——否则管道会坏。所以需要分层。

执行层 vs 呈现层

┌─────────────────────────────────┐
│  Layer 2: LLM 呈现层             │  ← 为 LLM 认知约束设计
│  二进制拦截 | 截断+溢出 | 元数据    │
├─────────────────────────────────┤
│  Layer 1: Unix 执行层             │  ← 纯 Unix 语义
│  命令路由 | pipe | chain | exit   │
└─────────────────────────────────┘

当 cat bigfile.txt | grep error | head 10 执行时:

Layer 1 内部:
  cat 输出 → [500KB 原始文本] → grep 输入
  grep 输出 → [匹配的行] → head 输入
  head 输出 → [前 10 行]

如果在 Layer 1 截断 cat 的输出 → grep 只搜到前 200 行,结果不完整。如果在 Layer 1 加 [exit:0] → 它作为文本流入 grep,变成搜索内容。

所以 Layer 1 必须保持原始、无损、无元数据。加工只在 Layer 2 发生——管道链执行完毕,最终结果准备返回给 LLM 时。

Layer 1 服务于 Unix 语义。Layer 2 服务于 LLM 认知。分层不是设计偏好,是逻辑必然。

Layer 2 的四个机制

机制 A:二进制守卫(应对约束 B)

在返回给 LLM 之前,检查内容是否为文本:

检测到 null byte → 二进制
UTF-8 校验失败 → 二进制
控制字符比例 > 10% → 二进制
如果是图片:[error] binary image (182KB). Use: see photo.png
如果是其他:[error] binary file (1.2MB). Use: cat -b file.bin

LLM 永远不会收到它无法处理的数据。

机制 B:溢出模式(应对约束 A)

输出 > 200 行 或 > 50KB?
  → 截断到前 200 行(rune-safe,不切断 UTF-8)
  → 完整输出写入 /tmp/cmd-output/cmd-{n}.txt
  → 返回给 LLM:
    [前 200 行内容]
    --- output truncated (5000 lines, 245.3KB) ---
    Full output: /tmp/cmd-output/cmd-3.txt
    Explore: cat /tmp/cmd-output/cmd-3.txt | grep <pattern>
             cat /tmp/cmd-output/cmd-3.txt | tail 100
    [exit:0 | 1.2s]

关键洞察:LLM 已经知道如何用 grep、head、tail 导航文件。溢出模式把"大数据探索"转化为 LLM 已掌握的技能。

机制 C:元数据脚注

actual output here
[exit:0 | 1.2s]

退出码 + 耗时,追加在 Layer 2 的最后一行。给 Agent 判断成败和感知成本的依据,同时不污染 Layer 1 的管道数据。

机制 D:stderr 附加

命令失败且有 stderr 时:
  output + "\n[stderr] " + stderr
确保 Agent 能看到错误原因,不会盲目重试。

实现:agent-clip 核心代码

以下为简化的伪代码,突出架构骨架。完整实现见源码仓库。

单工具定义

// LLM 只看到一个工具:run(command, stdin?)
// 所有命令及帮助文本列在 description 里
func RunToolDef(commands map[string]string) ToolDef {
    desc := "Execute commands via run(command=\"...\").\n"
    desc += "Supports chaining: cmd1 && cmd2, cmd1 | cmd2.\n\n"
    for name, help := range commands {
        desc += "  " + name + " — " + help + "\n"
    }
    return ToolDef{
        Name: "run",
        Description: desc,
        Parameters: { command: string, stdin?: string },
    }
}

Layer 1:命令路由与管道

// Exec 解析命令链,执行管道,返回原始输出 + 退出码
// 这里是纯 Unix 语义——没有截断,没有元数据,没有二进制检测
func (r *Registry) Exec(command, stdin string) (string, int) {
    segments := parseChain(command)  // 按 &&, ||, |, ; 分割
    for i, seg := range segments {
        if prevOp == OpAnd && lastExitCode != 0 { continue }
        if prevOp == OpOr && lastExitCode == 0  { continue }
        if prevOp == OpPipe { stdin = lastOutput }
        lastOutput, lastExitCode = r.execSingle(seg, stdin)
    }
    return lastOutput, lastExitCode
}
func (r *Registry) execSingle(command, stdin string) (string, int) {
    name, args := tokenize(command)
    handler, ok := r.handlers[name]
    if !ok {
        return "[error] unknown command: " + name + "\nAvailable: ...", 127
    }
    output, err := handler(args, stdin)
    if err != nil {
        return "[error] " + name + ": " + err.Error(), 1
    }
    return output, 0
}

Layer 2:LLM 呈现层

// execToolCall 把 Layer 1 的原始结果加工成 LLM 能理解的格式
// 所有的截断、溢出、元数据包装都在这里发生
func execToolCall(registry *Registry, tc ToolCall) string {
    command, stdin := parseToolCallArgs(tc)
    // Layer 1: 纯执行
    start := time.Now()
    rawOutput, exitCode := registry.Exec(command, stdin)
    duration := time.Since(start)
    metadata := fmt.Sprintf("[exit:%d | %s]", exitCode, duration)
    // 失败时直接返回(execSingle 已加 [error] 前缀 + stderr)
    if exitCode != 0 {
        return rawOutput + "\n" + metadata
    }
    // 截断检查(仅超限时才持久化到 /tmp)
    result := rawOutput
    if tooLarge(rawOutput) {
        truncated := first200LinesRuneSafe(rawOutput)
        file := persistToTmp(rawOutput)
        result = truncated + "\n--- truncated ---\nFull output: " + file
    }
    return result + "\n" + metadata
}

二进制守卫

func fsCat(args []string, stdin string) (string, error) {
    data := readFile(path)
    // 二进制守卫:拦截 LLM 无法处理的数据,引导到正确命令
    if !base64Flag && isBinary(data) {
        if isImage(path) {
            return error("binary image (%s). Use: see %s", size, path)
        }
        return error("binary file (%s). Use: cat -b %s", size, path)
    }
    return string(data), nil
}
func isBinary(data []byte) bool {
    sample := data[:min(8192, len(data))]
    if containsNull(sample)       { return true }  // null byte = 一定是二进制
    if !utf8.Valid(sample)        { return true }  // 非法 UTF-8 = 大概率二进制
    if controlRatio(sample) > 0.1 { return true }  // 控制字符太多
    return false
}

Vision 自动挂载

// Agent 不需要显式请求"看图"——see 返回的 URL 被自动挂载到 vision 通道
func extractImagesFromResult(result string) []ImageData {
    urls := findImageURLs(result)  // 匹配 pinix-data://...png
    for _, url := range urls {
        data := readFile(urlToPath(url))
        images = append(images, ImageData{
            Base64:   base64Encode(data),
            MimeType: detectMIME(url),
        })
    }
    return images  // 附加到下一轮 LLM 调用的 vision 内容
}

Agentic Loop

func RunLoop(config, context, registry, output) {
    // 不设硬性迭代上限。LLM 不调用工具时循环自然结束。
    // 如果 Agent 还在调工具,说明它认为任务没完成——
    // 我通过前面的启发式设计(help / error / output format)
    // 让它更快到达终点,而不是粗暴截断它的执行。
    //
    // 实际安全边界由外部机制保障:沙箱隔离、API 预算、用户取消。
    for {
        response := callLLM(context)
        if response.hasToolCalls() {
            for _, tc := range response.toolCalls {
                result := execToolCall(registry, tc)      // Layer 2 包装
                images := extractImagesFromResult(result)  // vision 挂载
                context.append(toolResult(result, images))
            }
            continue
        }
        // LLM 没有调用工具 = 任务完成
        return response.content
    }
}

经验教训:来自生产的故事

故事 1:一张 PNG 引发的 20 轮崩溃

用户上传了一张架构图。Agent 用 cat 读取,收到 182KB 的 PNG 原始字节。LLM 的 tokenizer 把这些字节变成数千个无意义的 token,塞进上下文。LLM 完全无法理解,开始反复尝试不同的读取方式——每次都返回同样的乱码。20 轮后进程被强制终止。

根因:cat 没有二进制检测,Layer 2 没有拦截。修复:isBinary() 守卫 + 错误引导 Use: see photo.png。教训: Tool result 是 Agent 的眼睛。返回垃圾 = Agent 失明。

故事 2:沉默的 stderr 与 10 次盲猜

Agent 需要读取一个 PDF。它尝试 pip install pymupdf,exit code 127。但 stderr(bash: pip: command not found)被代码丢弃了——因为有一小段 stdout,代码逻辑是"有 stdout 就忽略 stderr"。

Agent 只看到"失败了",不知道"为什么"。接下来是漫长的试错:

pip install         → 127  (不存在)
python3 -m pip      → 1    (模块不存在)
uv pip install      → 1    (用法错误)
pip3 install        → 127
sudo apt install    → 127
... 又试了 5 种 ...
uv run --with pymupdf python3 script.py → 0 ✓

10 次调用,每次 ~5 秒推理。如果第一次 stderr 可见,1 次就够了。

根因:InvokeClip 在有 stdout 时静默丢弃 stderr。修复: 失败时永远附加 stderr。教训: stderr 是 Agent 最需要的信息,恰恰在命令失败的时候。

故事 3:溢出模式的价值

Agent 分析一个 5000 行的日志文件。没有截断时,5000 行全文(~200KB)塞进上下文,LLM 的注意力被淹没,回答质量骤降,还把之前的对话挤出了上下文窗口。

加了溢出模式后:

[前 200 行日志内容]
--- output truncated (5000 lines, 198.5KB) ---
Full output: /tmp/cmd-output/cmd-3.txt
Explore: cat /tmp/cmd-output/cmd-3.txt | grep <pattern>
         cat /tmp/cmd-output/cmd-3.txt | tail 100
[exit:0 | 45ms]

Agent 看到前 200 行,了解了文件结构,然后用 grep 精准定位——总共 3 次调用,上下文占用不到 2KB。

教训: 给 Agent 一个"地图"比给它"全部领土"有效得多。

边界与局限

CLI 不是银弹。以下场景中,typed API 可能是更好的选择:

  • 强类型交互

    :数据库查询、GraphQL API 等需要结构化输入输出的场景,schema 验证比字符串解析更可靠。

  • 高安全要求

    :CLI 的字符串拼接天然带有注入风险。在不可信输入场景中,typed parameters 比命令字符串更安全。agent-clip 通过沙箱隔离来缓解这个问题。

  • 多模态原生

    :纯音视频处理等需要二进制流的场景,CLI 的文本管道是瓶颈。

此外,"不设迭代上限"不意味着没有安全边界。实际安全由外部机制保障:

  • 沙箱隔离

    :命令在 BoxLite 容器内执行,无法逃逸

  • API 预算

    :LLM 调用有账户级别的费用上限

  • 用户取消

    :前端提供取消按钮,后端支持 graceful shutdown

把 Unix 哲学交给执行层,把 LLM 的认知约束交给呈现层,用 help、error message 和 output format 构建三个递进的启发式导航手段。

CLI is all agents need.

以上所有设计在 agent-clip 中均有完整实现。核心代码对应关系:

  • 单工具命令路由 → internal/tools.go

  • 管道与链式执行 → internal/chain.go

  • 双层 agentic loop → internal/loop.go

  • 文件系统与二进制守卫 → internal/fs.go

  • 外部环境调用与 stderr 处理 → internal/clip.go

  • 浏览器自动化与 vision 挂载 → internal/browser.go

  • 语义记忆与向量搜索 → internal/memory.go

Built with Go. Powered by Unix. Designed for LLMs.

阅读原文

跳转微信打开

  •  

作品集的「转化率+X%」,面试官信吗?

原创 邹咿ZoeYZ 2026-03-11 08:20 广东

作品集常见问题

我发现大部分UX/交互作品集都会在项目末尾加上数据验证。然而10个里面,9个都缺乏说服力。

例如:会员页改版让转化率提升3%。

这种数据验证,不但没有让我对这位设计师的能力产生认可,反而是增添了疑虑。

即便这个作品集整体还不错,能进入面试环节,我也会仔细盘问这数字是怎么来的。

数据验证确实是个好东西,但是很多设计师在毫无数据分析经验的情况下,就胡乱编造数据。结果炫技不成,反而给人留下“不诚实”的印象,就糟糕了。

其实也不怪设计师们,因为数据分析这东西,确实没太多适合设计师学的途径。不论是大学的设计专业还是市场上的设计培训班,都极少有针对设计师的数据分析课。

设计师想要提升数据分析能力,推荐来我们的《数据分析训练营》,已经第5期了,每期都大获好评。不论是零基础还是有点儿经验的,都表示受益匪浅,并且立马就能用起来。

接下来,我就分析一下,为什么会员转化率提升3%这个数据验证缺乏说服力。

1. 价值过高显得不真实

转化率提升3%没什么奇怪的,但让会员转化率提升3%,就有点惊人了。

要知道,连知乎这种平台,一年都能卖4亿会员费。假设一个设计师能把知乎的会员转化率提升3%,那就意味着,这名设计师凭一己之力帮企业多赚了1200万!

这就好比一个年入千万的高富帅/白富美说看上你了,理智一点的人都会想:“这是不是遇到诈骗了?”

2. 缺少严谨性声明

假设这个产品的一年的会员费只有100万,会员转化率上涨3%也不过多赚了3万块钱,这么看就很正常了。

但要确定这个数据是设计的功劳,是不是得排除营销的影响?好歹得说一句,数据测量期间没有任何营销活动的变动。

对方也知道这可能是一句谎言,但加上这么一句声明,至少说明设计师知道怎样的数据才算是严谨的,并且愿意为数据的严谨性负责。

3. 缺少方案关联性

假设前面的2点都做到了,但这方案的哪个部分,导致了如此漂亮的数据上涨呢?

假设改的地方是「连续包月」,那应该用「连续包月」的转化率来验证,才更能看出效果。

假设改的地方是权益展示,那应该用各项权益的点击率来验证,才更能看出效果。

总而言之,具体改了哪里,就应该看哪里的数据。

如果不管三七二十一,全部只看总数据,就感觉没有那么可信。

设计师的数据思维

其实真正懂数据的设计师,一定是拿到需求的时候,就开始分析数据了。然后在设计方案的过程中,会围绕着如何提升这些数据进行思考。

如果拿到需求的时候不看数据,反而等方案完成了再突然来个数据验证,是很不现实的。

因为设计师最有理由申请数据权限的时机,就是刚接到需求的那一刻。反倒是把方案交付完成后,设计师不知道方案何时上线,手上又有别的需求要忙,申请数据权限没那么方便了。

所以设计师做数据分析,跟产品经理、市场营销等业务岗位,是完全不一样的。包括如何获取数据、如何整理数据、如何分析出设计策略、如何验证方案……都是不同的。

设计师想要提升数据分析能力,推荐来参加我们即将开始的训练营。除了紧贴设计师实际工作需要的理论课程外,还有真实产品的项目带练及1对1作业点评,帮你在2周内成为有数据思维的设计师。

新用户(消费累计<10)可以领取150元的优惠券(扫码后,课程标题下方)。如果不能使用,可以先下单后微信zoeyz0001改价后付款。

阅读原文

跳转微信打开

  •  

pinix 东半球第一个专门为 agent 设计的 os

言午 北京

epiral 2.0 来啦,不过重点不是 epiral(🦞),这次是 pinix,大概是东半球第一个专门为 agent 设计的 os hhh

春节在迭代epiral 的时候,撞上一个问题:Agent 只靠 IM 交互,很多场景都有点难受。

比如 todo。让 Agent 管理很顺——它自己调命令,增删改查,清清楚楚。但我自己想看一眼今天的任务呢?纯靠对话去问,怎么都不如一个列表界面来得直接。

于是想通了一件事,Agent 需要命令行,人需要界面,但它们操作的是同一个东西。所以 Agent 时代的 app 就该同时有两个入口。

所以就有了 pinix。上面的应用叫 clip。每个 clip 长这样:底层是一组命令脚本(或者二进制 cli),Agent 直接调;上层是一个 web 页面,人直接用。同一份数据,两种交互方式。

然后有意思的来了:Agent 本身也是一个 clip。

就是你们在用的龙虾——对话、记忆、工具调用、浏览器控制——我把它整个做成了 pinix 上的一个应用。它不是系统的主人,它是系统上跑的一个 app,跟 todo、跟沙盒平级。Agent 通过命令跟其他 clip 交互,装一个新 clip,Agent 就自动多一个新能力。

看图就懂了👇

四个画面,同一个 pinix 节点:

左一:Agent clip——刚帮我批量更新 todo 状态,调的是 clip todo task-update,返回结构化结果自动整理成表格

左二:todo clip——同一批任务,我直接在看板上看,按项目分组,拖拽排优先级。Agent 改的数据,这边实时看到

左三:Clip Dock(桌面端)——所有 clip 的入口,哪些在线一目了然

右一:todo clip 的 iOS 端——同一个 web 页面,手机上直接用

UI 选了 web,跨平台就不用做了——桌面套 WebView,iOS 套 WKWebView,一个下午两端全通。每个 clip 跑在独立微型虚拟机里,安全也是顺手的事。

跳转微信打开

  •  

苹果的圆角好规整,但大多APP设计不来

原创 邹咿ZoeYZ 2026-03-10 08:20 广东

原因是…

之前看过一个设计规则,就是两个圆角套在一起时,大圆角的半径等于小圆角的半径加上二者的间距。这样就能保证两层圆角之间的距离严丝合缝地保持统一。

而苹果手机更新到 iOS 26 后,圆角感觉都挺符合这个原则的。

我一边感叹苹果设计师的严谨态度,一边在 iOS 26 的官方Figma组件库上测量圆角尺寸,然后惊讶地发现……

其实并没有那么严丝合缝!

例如下图这些双层圆角,表面看起来很贴合,但实际算一下尺寸,都差了几个数字,不完全严谨。

对了,上图的尺寸标注,是我自己做的一套Figma组件,用起来非常方便。如果你需要,文章末尾可以免费领取。

那好吧,反正绝大多数用户没有像素眼,只要看起来大致规整,数字上并不需要那么完美。

如果把UI设计搞成数学题,那就没必要了。苹果能做出这个效果,已经很好了。

要知道绝大多数产品,包括App、网页、PC端软件等……连苹果这种看似规整的圆角都做不到。

为什么大家不能跟苹果学学这种规整的双层圆角设计呢?

其实我以前还真的尝试过,但很快就发现了难点。

对齐圆角的设计难点

1. 容易导致容器圆角太大

iOS 18 因为不需要考虑圆角对齐的问题,当时的弹窗圆角不是很大。大部分移动端APP弹窗的圆角,也差不多就是这个尺寸。

但是 iOS 26 为了对齐圆角,必须把外层容器的圆角做得很大。

2. 大圆角容器要搭配大边距

容器的圆角大了,边距也要大一些,否则看起来就很奇怪。例如下图,iOS 26 加大圆角的同时,也把间距从16和19加到了22。 

内边距大了,就会挤占内容空间,降低屏效。

3. 文字边距与按钮边距的矛盾

仔细看 iOS 26 的弹窗就会发现,文字边距和按钮边距是不同的。

如果改成统一边距,向下图这样,要么会感觉要么文字太贴边了,要么感觉按钮距离边缘太远了。

为了让文字和按钮看起来更舒适,只能搞2套内边距。这对设计师和开发来说,都更麻烦了。

4. 有些组件的圆角尺寸不能随便改

iOS 26 的设置页,图标没有跟外层卡片对齐圆角。如果要对齐,需要把图标改成圆形,但那样会导致视觉上更拥挤,而且识别度下降。

按钮用大圆角没问题,但文本框也用大圆角就有点奇怪了,除非是搜索框。

iOS 26 有很多大圆角输入框,但这种操作系统本身也没有很多输入框组件,所以问题不大。

但是对于表单较多的产品,例如B端设计规范,就很少见到哪家的输入框用大圆角的。

有多少设计会对齐圆角吗?

我们来投个票吧:

圆角设计的基本规则?

其实很多大厂的设计系统,也没有在圆角尺寸上做特别定义。

但整体有2点原则:

1. 同级别元素的圆角尽量统一

例如菜单容器和弹窗容器,都是容器层级,圆角就可以统一。再比如开关和按钮,都在容器内容,属于统一层级,圆角就可以统一。

2. 圆角尺寸要符合用户预期

例如按钮或标签通常是大圆角,输入框通常是小圆角或者无圆角的。同一个图标,在不同地方的圆角应该是符合等比放大原则。

如果你有更具体的设计心得,欢迎留言分享~

Figma尺寸标注组件

点击左下角体验进阶头像后,回复:尺寸标注。

阅读原文

跳转微信打开

  •  

深度避坑:Ontology本体论的10个常见误区,很多人都踩过

原创 风叔 2026-03-09 20:01 上海

本文聚焦Ontology最易被误解的10个关键点,用通俗的解析和示例,帮你厘清认知、避开陷阱,真正理解Ontology的核心价值与适用逻辑

随着AI、数据治理的兴起,Palantir Ontology(本体)逐渐成为前沿科技领域的热门概念,被广泛应用于供应链、金融、医疗等多个行业。但热度背后,无论是从业者还是学习者,对Ontology的认知普遍存在偏差——把它和知识图谱、数据库混为一谈,认为所有场景都能套用,忽略其核心逻辑与边界。

本文将跳出“正确的废话”,聚焦Ontology最易被误解的10个关键点,用通俗的解析和示例,帮你厘清认知、避开陷阱,真正理解Ontology的核心价值与适用逻辑,阅读时长约5分钟。

误区1:Ontology = 知识图谱

误区点破:最常见的认知偏差,认为Ontology和知识图谱是一回事,甚至有人直接将两者等同称呼,混淆其核心目标。

正确认知:两者均涉及“语义关联”,但核心目标、侧重点完全不同。知识图谱侧重“关联关系的展示与查询”,核心是“连接”;而Ontology是一套“标准化的语义体系”,核心是“定义规则、统一认知”,知识图谱可基于Ontology构建,但Ontology的价值远不止于关联。

示例:还是以供应链为例,知识图谱会展示“供应商→供货→货物→存储→仓库”的关联路径,方便查询某供应商的所有供货品类;而供应链Ontology会先定义“供应商”“货物”“仓库”的对象类型、属性规则(如供应商的供货合格率范围)、跨对象约束(如冷藏货物需存入冷藏仓库),知识图谱的关联的前提,是Ontology定义的标准化语义。

避坑提示:需关联查询、可视化展示,优先选知识图谱;需统一语义、规范规则、支撑智能决策,则需要Ontology。

误区2:所有业务场景,都适合用Ontology

误区点破:盲目跟风,认为只要涉及数据、涉及对象,就需要搭建Ontology,忽略其适用边界,导致资源浪费。

正确认知:Ontology的核心价值是“打破信息孤岛、统一语义、规范规则”,仅适用于“多系统、多角色、多对象交互”的复杂场景;单一系统、简单流程(无多对象关联、无规则约束),完全不需要搭建Ontology。

示例:适合用Ontology的场景——大型企业的全域供应链,涉及采购、仓储、生产、物流、销售多系统,供应商、货物、订单、产品、产线多对象交互,需统一语义、规范规则。不适合Ontology的场景——小型仓库的单一库存管理,仅需记录货物库存,无多系统交互、无复杂规则约束,用简单的Excel或库存管理工具即可,搭建Ontology纯属多余。

避坑提示:判断是否适用,核心看“是否有语义混乱、多系统与多对象互通需求、复杂规则约束、复杂决策输出”。

误区3:函数不仅能计算,还能执行动作

误区点破:混淆Ontology中“函数”与“动作类型”的边界,认为函数既能做计算,也能触发对象状态变化、执行具体操作。

正确认知:Ontology中,函数的核心是“无状态、无副作用的计算”,仅负责输入参数→输出结果,不改变任何对象的属性值、不执行任何操作。执行动作、改变对象状态,是“动作类型”的核心功能,与函数完全独立。

示例:函数“库存周转率计算”,输入货物当前库存、近30天出库总量,输出周转率结果,整个过程不改变库存数据、不触发任何入库/出库操作。而动作类型“货物出库”,执行后会减少货物库存、增加仓库空闲面积,属于“执行操作、产生副作用”,与函数无关。

避坑提示:记住核心区别——函数只计算不执行,动作类型只执行不单纯计算,两者不可混淆使用。

误区4:Ontology的数据,必须写回原始数据源

误区点破:认为“数据写回”是Ontology的必选项,只要搭建Ontology,就必须将其数据反向写入ERP、WMS等原始系统,否则就是不完整的。

正确认知:数据写回是“可选功能”,而非“必选项”,核心取决于业务需求。Ontology的核心是“语义化描述与规则约束”,若仅需基于Ontology做分析、决策、预警,无需改变原始系统数据,则无需写回。仅当需要实现“Ontology-数据源”数据闭环、同步更新原始系统时,才需要配置写回。

示例:若仅用Ontology中的AI模型做需求预测(输出未来30天货物需求总量),用于制定采购计划,无需改变ERP系统中的历史数据、当前库存数据,则无需写回。若需将Ontology中“货物入库”的库存更新数据,同步到WMS系统,确保两者数据一致,才需要配置数据写回。

避坑提示:无需盲目追求“数据写回”,根据业务需求判断——需同步原始系统则需要配置,仅做分析决策则无需配置。

误区5:Ontology = 数据库

误区点破:认为Ontology是“特殊的数据库”,核心作用是“存储数据”,甚至用数据库的逻辑去设计Ontology。

正确认知:Ontology不负责存储数据,其核心是“定义语义规则和业务规则”;数据库/数据仓库的核心是“存储、管理数据”,两者是“规则与数据”的关系。Ontology规范数据的语义与规则,数据存储在数据库中,Ontology读取数据库中的数据进行校验、分析。

示例:WMS仓库管理系统(数据库)存储货物库存、入库时间等原始数据;供应链Ontology不存储这些数据,而是定义“库存数据的规则”(如冷藏货物库存需关联温湿度数据)、“货物的属性规范”(如规格型号的格式),读取WMS中的数据进行规则校验,确保数据合规。

避坑提示:搭建Ontology时,重点设计语义规则,而非考虑“如何存储数据”,数据存储由数据库/数据仓库负责。

误区6:Ontology和OLAP,功能重叠可替代

误区点破:混淆Ontology与OLAP(联机分析处理)的功能,认为两者都能做数据分析,可相互替代。

正确认知:两者的核心目标完全不同,无替代关系,反而可协同使用。OLAP的核心是“多维度数据分析”(如按时间、区域分析库存变化),侧重“数据的统计与分析”。Ontology的核心是“语义标准化与规则约束”,侧重“数据的合规性与语义一致性”,可为OLAP提供“干净、规范、语义统一的数据”,提升分析准确性。此外,随着AI大模型的兴起,Ontology还是实现精准ChatBI的重要手段,良好的语义规则有利于AI大模型进行跨表查询。

示例:OLAP可分析“近6个月各区域的货物出库量、库存周转率”;但OLAP无法判断“出库数据是否合规”(如是否存在库存不足仍出库的情况),而Ontology可通过跨对象规则(库存≤0时无法出库)校验数据合规性,确保OLAP分析的是“正确、合规的数据”,两者协同发挥作用。

避坑提示:需要多维度数据分析,用OLAP;需要规范数据语义、校验数据合规、通过自然语言快速查询数据,用Ontology。两者结合效果最佳,不可相互替代。

误区7:Ontology需要穷尽所有对象和属性

误区点破:搭建Ontology时,盲目追求“全面性”,试图定义领域内所有的对象、所有的属性,导致Ontology过于复杂、难以维护,反而失去核心价值。

正确认知:Ontology的核心是“定义核心必要的语义与规则”,无需穷尽所有对象和属性,只需覆盖“核心业务场景、核心对象、核心属性”即可;过度冗余的对象和属性,会增加维护成本、降低执行效率。

示例:搭建供应链Ontology时,核心对象是“供应商、货物、仓库、产品、采购订单”,核心属性是供应商的供货合格率、货物的库存数量、仓库的仓储类型、产品的良率、产线的产能等等;无需定义“供应商的员工人数”“货物的生产车间”等与核心业务无关的属性,避免冗余。

避坑提示:搭建Ontology的原则是“核心优先、精简高效”,冗余的对象和属性,不如不定义。

误区8:动作类型 = 工作流

误区点破:将“动作类型”与“工作流”等同,认为单个动作就是工作流,或工作流就是多个动作的简单叠加。

正确认知:动作类型是“单个操作”(如货物入库、供应商审核),是工作流的“组成单元”;工作流是“多个动作类型、规则、链接关系的标准化串联”,明确动作的执行顺序、触发条件,是“完整的流程”,而非单个动作或简单叠加。

示例:动作类型“货物入库”是单个操作;而工作流“采购入库流程”,是将“创建采购订单→供应商发货→货物质检→货物入库→流程归档”多个动作类型,按顺序串联,明确“质检合格才可入库”的触发条件,属于完整的流程,包含多个动作类型。

避坑提示:单个操作是动作类型,多个动作按规则串联的完整流程,才是工作流,不可混淆两者的“单元与整体”关系。

误区9:预警规则越多,Ontology越智能

误区点破:认为预警规则的数量,决定了Ontology的智能程度,盲目添加大量预警规则,导致过度预警、无效预警,反而增加业务负担。

正确认知:Ontology的智能性,取决于预警规则的“精准度”,而非“数量”。预警规则需贴合核心业务风险,聚焦“关键异常、高风险场景”,过多的无效规则,会导致相关角色被冗余预警干扰,忽略真正的风险。

示例:供应链Ontology中,核心预警规则是“库存不足预警”“仓库温湿度异常预警”“供应商交货延迟预警”,这3个规则覆盖核心风险;若添加“货物规格型号格式预警”“供应商注册地址变更预警”等无关紧要的规则,会导致仓储管理员、采购经理被大量无效预警干扰,反而降低工作效率。

避坑提示:预警规则的核心是“精准防风险”,而非“数量多”,冗余预警不如无预警。

误区10:推理规则可以凭空推导,无需依托现有知识

误区点破:认为Ontology的推理规则,可脱离现有数据、现有规则,凭空推导出新的知识,过度夸大推理规则的作用。

正确认知:推理规则的核心是“从已知推未知”,所有推理都必须依托“现有明确的知识”——包括对象属性、链接关系、现有规则,无法凭空推导;脱离现有知识的推理,本质是无效推理,会导致结果失真。

供应链示例:推理规则“若供应商供货合格率<90%,且连续3个月延迟率≥3%,则存在合作风险”,其推理依托的是“供货合格率”“延迟率”这两个已知属性,以及“连续3个月超标”的已知规则;若凭空推导“某供应商存在合作风险”,无任何已知属性和规则支撑,该推理就是无效的。

避坑提示:设计推理规则时,必须明确“依托的现有知识”,杜绝凭空推导,否则会导致决策失误。

最终总结:避开误区,读懂Ontology的核心价值

梳理以上10个误区,不难发现:所有误解的本质,要么是“混淆了Ontology与相似概念(知识图谱、数据库、OLAP)的边界”,要么是“误解了Ontology的适用场景、核心功能(函数、动作类型、推理规则)”,要么是“过度追求全面性、数量,忽略了精简高效的原则”。

其实,Ontology的核心从来不是“复杂的概念堆砌”,也不是“万能的工具”,而是一套“标准化的语义体系+规则约束框架”,其价值在于:解决语义混乱、打破信息孤岛、规范业务流程、支撑智能决策,且仅在复杂多系统、多对象交互的场景中,才能发挥最大作用。

下篇文章,风叔将对Palantir的整个产品体系进行拆解

跳转微信打开

  •  

从向量里逆向出原始文本和模型来源

原创 Jina AI 2026-03-09 16:26 新加坡

不就是一堆浮点数嘛,能看出什么?87% 识别出模型,81% 还原文本。

🔬 在线 Demo: embedding-inversion-demo.jina.ai

📊 技术报告: jina.ai/news/embedding-fingerprints 

📊 技术报告: jina.ai/news/embedding-inversion 

📄 论文: arxiv.org/abs/2602.11047 

💻 代码: github.com/jina-ai/embedding-fingerprints

用户把文本发到我们的 API,我们返回一串浮点数。没有标签,没有水印,没有任何元数据告诉你它从哪来、用的什么模型。大多数人看到这串数字,反应都是"不就是一堆浮点数嘛,能看出什么?"

过去两周,我们做了两项研究,发现能看出的东西远比想象中多:

  1. 模型溯源:我们训练了一个仅有 80 万参数的小模型。光看一串浮点数,就能判断出这是哪个模型生成的,准确率高达 87%,覆盖 68 个模型和任务组合。

  2. 文本逆向:我们用掩码扩散模型,直接从向量中反推出原始文本。Token 级还原准确率达到了 81%。

也就是说,向量不仅携带语义,还带着生成它的模型的基因,以及原始文本的大量信息残留。

demo: https://embedding-inversion-demo.jina.ai/

向量溯源:这串数字是谁生成的?

当有人给你一个 1024 维的向量,你能判断它是 BGE-M3 生成的,还是 jina-embeddings-v3,还是 Qwen3-Embedding 吗?

再往前走一步: 同一个模型,你能分辨推理时用的是 retrieval 指令还是 classification 指令吗?

直觉上这似乎不可能。向量就是一堆数字,模型之间的差别应该体现在语义空间的几何结构上,而不是数值本身的分布细节。但实验结果直接推翻了这个直觉。

不同模型产生的浮点数,在统计上有非常显著的差异。值域范围、各小数位数字出现的频率、维度间的相关模式...... 这些特征拼在一起,构成了模型独特的数字指纹。这有点像笔迹鉴定,同一段话让不同人抄写,内容一样,但笔画的力度、倾斜和连笔方式都会无意间暴露书写者的身份。

把浮点数当文本来读

这个方法最反直觉的地方在于输入表示。我们没有把向量当成一堆浮点数,而是把每个数字转成了字符串,像处理文本一样,逐个字符拆开喂给模型。

如下图所示,-0.1234 会变成 token 序列 [CLS] - 0 . 1 2 3 4,维度之间用 [SEP] 隔开。整个词汇表极简,只有 15 个 Token:数字 0 到 9、负号、小数点、几个特殊分隔符。

位级别分词(Digit-level Tokenization)
位级别分词(Digit-level Tokenization)

为什么不使用更直观的量化分桶(Binning):把数据范围划分为 256 个区间(bin),一个维度对应一个 Token,这样 1024 维的向量只需 1024 个 Token 就能表达完。

因为量化需要预设边界,而不同模型的数值分布天差地别:有的集中在 0 附近,有的铺满整个 [-1, 1] 区间,同一个模型不同维度的分布也完全不同。任何固定的分桶方案,都会在某些模型上造成严重的分辨率损失,掩盖掉最关键的特征。

所以我们选了最“无假设”的方案:位级别分词(Digit-level Tokenization)。虽然这会让一个 1024 维向量膨胀成 7700 个 Token 的长序列,但它原样呈现了数字的每一位,保留了所有的统计痕迹,不预设规律,让模型自己去学习其中的统计特征。

比如某些模型在特定位上出现数字 7 的频率更高,或者某些维度的排列模式更独特。这些看似无意义的微观特征,恰恰构成了模型的数字指纹。

模型架构

分类器本身是个 4 层 Transformer,128 维,4 个注意力头,总共约 80 万参数 。用 RoPE 做位置编码,SwiGLU 做 FFN,RMSNorm 归一化。CLS token 池化后投影到 68 个输出类别。

模型架构图
模型架构图,比 GPT-2 小 150 倍,但对 15 token 词汇表的分类任务完全够用。

80 万参数是什么概念?比 GPT-2 小两个数量级。但这个任务词汇表只有 15 个 token,分类目标是 68 个类别,瓶颈不在模型大小,而是如何从 7700 个 token 的长序列里提取出能区分 68 个类别的统计特征。

训练数据方面,我们准备了一万条多语言文本,分别送入 25 个以上的模型,配合不同 task prefix 编码,产生 68 个类别。每类 7000 条训练样本,3000 条验证样本。

这 68 个类别不只是 68 个模型。其中包含了同一个模型搭配不同 instruction prompt 的组合,比如 jina-embeddings-v5-text-small 配 retrieval 指令和配 classification 指令算两个不同类别。如果分类器能区分它们,说明仅仅换一个 instruction prompt,就足以在输出数值上留下可检测的痕迹。

在这些类别中,最难的分组是 1024 维度,包含 32 类模型,分类器无法通过序列长度投机取巧,必须纯粹依赖数值模式。

维度

类别数

示例模型

384

8

BGE-small, E5-small, MiniLM, GTE-small

512

2

BGE-small-zh

768

24

BGE-base, E5-base, jina-embeddings-v5-text-nano, Nomic, INSTRUCTOR, LaBSE

1024

32

BGE-M3, E5-large, jina-embeddings-v3, jina-embeddings-v5-text-small, Qwen3-0.6B, Snowflake, mxbai

1536

2

GTE-Qwen2-1.5B

68 类分类,87% 准确率

我们在 A100 上跑了 14 个 Epoch,处理了大约 430 亿个 Token。

14 个 epoch 的训练和验证曲线
14 个 epoch 的训练和验证曲线

最终,训练准确率达到了 87.3%,验证准确率为 86.0%。两条曲线贴得很近,说明模型真的学到了真实的数值规律,而不是在死记硬背训练集。

87% 准确率,随机猜的话是 1.5%。比瞎猜好 59 倍。

68 类验证集混淆矩阵,每类 3000 样本,共 204000 样本。对角线越亮说明分类越准确。
68 类验证集混淆矩阵,每类 3000 样本,共 20.4 万样本。对角线越亮说明分类越准确。

观察这 20.4 万个样本的混淆矩阵,能看到几个有趣的现象:GTE-large、LaBSE、Paraphrase MiniLM 等模型被 100% 准确识别。跨系列的区分(如 BGE vs Jina)非常容易,模型底层的架构和训练方法留下的指纹最深。最难分辨的是同一个基础模型搭配不同的任务前缀。

最让人意外的是,同一个模型、完全相同的权重,仅仅是推理时换了一个 instruction prompt,输出的数值分布就会产生可检测的差异。jina-embeddings-v5-text-small在 5 个不同 task prefix 之间达到了 92% 的区分准确率。任务适配(Task adaptation)不只是在语义空间里挪了个位置,它实际上改变了数值的统计分布。

这件事有非常直接的用途。接手了一个向量数据库但不知道当初用的什么模型?取出一条向量送进分类器就能识别。怀疑某个 API 声称用的是 model A 但实际偷偷换成了 model B?向量指纹可以验证。向量模型的提供商悄悄升级了版本?指纹同样会暴露这个变化。

从向量逆向文本

如果识别模型来源只是让人意外,那接下来的事就有点狠了:从向量里逆向出原始文本。

给你一个 1024 维的向量,还原出生成它的那段文本。

这不是全新的问题。2023 年 Morris 等人做的 Vec2Text 用 T5 编解码器(Encoder-Decoder)在 32 token 的序列上做到了 92% 的精确匹配(Exact Match)。但那个方法有个根本限制:它需要反复调用目标模型的 API 进行迭代修正,动辄 20 多轮,推理成本直接翻了一个数量级。

我们的目标更激进: 只看向量本身,不碰目标模型,一次性把文本还原出来。

用掩码扩散逆向出文本

我们将这个问题重新定义为一个条件掩码扩散(Conditional Masked Diffusion)问题。

从一个全 [MASK] 的序列开始,模型在每一步同时预测所有位置的 token,逐步替换成真实词汇。整个过程只需要 8 步。不是从左到右一个个生成,而是所有位置并行去噪。

步骤 8/8  [MASK] [MASK] [MASK] [MASK] [MASK]
步骤 6/8  [MASK] quick [MASK] [MASK] [MASK]
步骤 3/8  The   quick brown [MASK] jumps
步骤 1/8  The   quick brown fox   jumps

去噪过程: 从全掩码出发,每一步同时预测所有位置,8 步内完成还原。

我们通过自适应层归一化(Adaptive Layer Normalization,AdaLN) 将目标向量注入到 Transformer 的每一层。向量先经过一个投影层,然后在每一层生成缩放(Scale)和位移(Shift)参数,用来调制层归一化的输出。时间步也通过同样的机制注入。两个信号相加,模型同时知道"当前去噪到了哪一步"和"目标向量长什么样"。

Embedding Inversion 架构图

条件掩码扩散语言模型的架构。上半部分是训练流程: 输入文本经 embedding encoder 编码后,通过 MLP 投影注入 Transformer。下半部分是去噪过程: 从全掩码序列出发,逐步还原。

这个设计一举解决了 Vec2Text 的两个问题。第一,推理时完全不需要接触原始模型,向量是唯一的输入。第二,所有位置并行预测,避免了自回归从左到右的误差累积。而且 AdaLN 的条件注入方式天然不挑编码器:不管目标向量来自什么模型、什么维度,过一遍投影 MLP 就能注入同一个 Transformer。

底座模型我们选用了 22 层、3.8 亿参数的多语言 BERT。在冻结预训练权重后,我们只训练投影层、AdaLN 模块和输出层,实际训练参数量约 1.9 亿。训练数据是 mC4 的 200 万条多语言样本,统一截断到 32 个 token。

# 训练核心伪代码
for text, embedding in dataloader:
    t = uniform(0, 1)              # 随机采样时间步
    masked = random_mask(text, t)   # 按比例随机掩码
    cond = mlp_project(embedding)   # 投影 embedding
    logits = model(masked, t, cond) # 条件预测
    loss = cross_entropy(logits[masked_pos], text[masked_pos])

训练流程: 随机掩码 + 条件去噪。噪声调度用 log-linear schedule,集中在后期掩码,前期保留结构。

81% 的 Token 级还原准确率

我们分别在三个主流模型上进行了实测,还原率都很惊人。

编码器

Token 还原率

向量维度

Qwen3-Embedding-0.6B

81.3%

1024

EmbeddingGemma-300m

78.8%

768

jina-embeddings-v3

76.0%

1024

三个编码器上的 token 还原准确率,使用顺序贪心解码(Sequential Greedy Decoding),序列长度 32 token。每个编码器单独训练。

训练曲线

四个编码器配置的训练准确率曲线。所有模型在 50K 步后趋于收敛。

为了看清这个数字的含金量,我们设定了一个基准对照组:让一个普通的语言模型在完全不看向量的情况下盲猜文本。它能写出非常流畅的句子(BLEU 分数很高),但 Token 准确率只有 2.1%。随机 token 更惨,0.02%。

"能说人话"和"说对的话"是两回事。 模型必须从向量中真正提取语义信息,才能在最低的编码器上也做到 76% 的还原。

在解码策略上,我们测试了五种方案。表现最好的是欧拉 + 重掩码(Euler + Remasking):模型每一步去噪后,都会自我检视一遍,把置信度最低的 5% 重新掩码,交给下一步去修正。相当于把 Vec2Text 的外部修正循环内化到了扩散过程里。

实验证明 5% 是一个最优平衡点,比例太多丢掉正确的预测,太低则修正力度不够。

解码策略

jina-v3

Qwen3

Gemma

顺序贪心(Sequential Greedy)

0.715

0.585

0.621

欧拉采样(Euler Sampling)

0.667

0.556

0.604

欧拉 + 重掩码(Euler + Remasking)

0.665

0.584

0.595

两阶段(Two-Stage)

0.667

0.591

0.605

不同解码策略在 10 种语言上的平均余弦相似度。需要注意,这里衡量的是还原文本与原始文本的向量相似度,而非 Token 级准确率。两个指标下的最优策略不完全一致。综合来看,Sequential Greedy 在大多数编码器上表现得最为稳健,是目前最可靠的还原主力。

一个 1024 维的 float32 向量只有 4KB。但这 4KB 足以让一个扩散模型还原出 32 个 token 中超过 80% 的内容。

向量并非不可逆

在很多人的认知中,向量是一道天然的脱敏屏障:文本转化为高维坐标后,原始信息便不可回溯。很多系统也都宣称:“我们只存向量,不存原文,所以用户隐私是绝对安全的。”

这两项研究动摇的正是这个假设。向量不是不可逆的哈希,而是一个有损但信息密度极高的压缩表示。模型的身份、原始文本的内容,都编码在里面,提取的门槛也在不断降低。

指纹研究(Fingerprint)证明了每个模型编码语义的数值风格各不相同,区分度高到一个 80 万参数的小模型就能认出 68 个来源。逆向研究(Inversion)则证明了这些数字里编码的原始信息,足够扩散模型还原出 80% 以上的内容。两个工作串联起来,先用指纹分类器锁定编码器,再用对应的逆向模型还原文本,就构成了一条完整的攻击链路。

对模型开发者来说,这些发现迫使我们直面一个此前被忽视的问题:向量模型的安全边界到底在哪里?过去我们把精力都投在提升语义检索性能上,但从来没认真想过这些向量在安全性上到底暴露了多少。

我们是否该在训练中引入某种信息瓶颈?在保留检索能力的同时,降低向量的可逆性,或者至少让模型的数值指纹不再那么容易被识破?

当然,硬币有另一面。在 API 提供商可以悄悄换模型的世界里,能从数值本身验证模型来源,本身就是一种有价值的审计能力。

两个项目的代码和在线 demo 均已开源:

🔬 在线 Demo: embedding-inversion-demo.jina.ai

💻 代码仓库: github.com/jina-ai/embedding-fingerprints

阅读原文

跳转微信打开

  •  

Notion 年度最大更新来了!Custom Agent 首发万字解析

原创 二一的笔记 2026-03-09 14:59 福建

Notion 系统迎来质变时刻

前言


1 月份我就拿到了 Notion 最新功能的 Beta 权限,到现在已有十几个 Notion 全自动工作流被我创建,我的工作效率以一种前所未有的速度在提高,过去的笔记积累终于迎来了质变,我是如此欣喜,因此必须写下这篇文章,向各位分享这份快乐。

这个 Notion 的最新功能名叫 Custom Agent,它正是我在上一篇文章(Notion Agent 完整解析)的末尾所预告的,本年度 Notion 最为重磅的新功能。

它可以让你雇佣一批 7×24 小时持续运转的虚拟员工,然后不知疲倦地替你干活。这意味着,你的工作产出将有机会在「睡后」以十倍甚至百倍计算。

这篇文章又是长到不行,建议准备至少半小时的阅读时间。

我会在前半部分介绍 Custom Agent 的定义和用法,后半部分再介绍我的实践经验,以及它暂时存在的一些负面体验。

另外在正式开始前,介绍一下我专门为Notion AI 搭建的网站,我会在这里长期分享我关于 Notion AI 的各种经验和模板,内容还在更新中,欢迎访问 ⬇️

21notion.ai

具体定义

什么是 Custom Agent


Notion 早已不是单纯的笔记软件,你可以把它看作是一间「数字办公室」。

它有前台(目录导航)、有工位(Page)、有档案室(Database)、有标准流程(Template)、有传送带(Automation)、有内部顾问(AI)、有外包团队(第三方工具联动)。

作为办公室的头头,你在 Notion 里不只是记笔记,更是在安排信息的流动、组织人的协作,最终促成任务的推进和经验的积累。

然而如果你不编辑,任务就会停滞,你不执行,再强的 AI 都在等你开口,这间功能完备的办公室的员工其实只有你一个人,你是所有信息流动的入口和出口,是所有决策的发起和执行。

你可能已经用过 Notion AI,问它一个问题它能给你答案,让它编辑页面或者数据库,它也能立刻完成。但这些操作有一个共同前提:你得打开 Notion 告诉它需要做什么,然后它才会动。

Custom Agent 打破的就是这个前提,你给它设置一套规则,它就会自己一直跑下去,不需要你盯着,也不需要你开口。

这意味着你的产出系数可以从 1 变成 5 甚至是 100,因为每个 Agent 都可以看作是一个自带大脑的虚拟员工。

在我雇佣和培训的十几个虚拟员工里,流程最复杂的一个能在我写完文章后,自动完成从内容优化、SEO 处理、多语言翻译再到跨平台发布的整套自动化流程,一共 11 个复杂步骤,全部由一个 Agent 在一次执行中跑完。

这个案例我会在后半部分具体介绍,但你现在只需要知道一件事:Custom Agent 的上限真的非常非常高。

如何创建 Custom Agent

首先你需要订阅 Notion 的商业版会员,然后点击左上角的新建代理按钮

接下来就会弹出下图所示的设置界面,你需要在这里定义这个虚拟员工的技能和权限:

就像员工入职培训一样,「触发器」是它的上班时间,「指令」是它的工作内容手册,「模型」则是它的脑子,越聪明的脑子处理复杂任务的效果越好,但需要支付的「Token 工资」也就越高。

另外「工具」和「访问权限」则是给这个员工配备的电脑和门禁卡。配置好之后,这个虚拟员工就可以在你划定的范围内自行活动。

值得一提的是,Custom Agent 的活动范围并不局限在 Notion 内部。它可以通过 MCP 和 Notion Worker 连接外部服务、调用第三方 API,具体怎么用我会在后面的案例六和案例七中详细展开。

对于没有编程背景的普通用户来说,Notion 的 Custom Agent 是目前我用过的最直观、最易上手、也最容易发挥实际价值的智能代理方案,远比最近大热的 OpenClaw 更值得推荐。

如果有人不同意这个观点,那么你可以认为他或许了解 OpenClaw,但一定不了解现在的 Notion。

一些案例


接下来我将用七个从简单到复杂的真实场景,帮你建立起对 Custom Agent 能力边界的完整认知。你会看到,单个能力本身可能并不惊艳,但当它们开始互相组合,这个工具就开始变得不一样了。

一、早晨简报

每天早上打开 Notion,你想知道的无非是今天该做什么、哪些事情还悬着、有没有什么需要特别注意的。这些信息散落在不同的数据库页面里里,你需要自己跳转、筛选、汇总,才能拼出一幅完整的图。

所以我创建的第一个 Custom Agent 就是早晨简报,我为它设置了一个定时触发器,每天早上 9 点 Agent 会自动读取我的多个核心数据库,筛选汇总所有我需要关注的信息,然后按照预定格式将整理好的简报写入指定数据库,并向我发送通知。

但早晨简报真正让我觉得有意思的地方,不是它能把信息汇总到一起,而是它会做判断。

它会根据截止日期和前后关系排出建议顺序,逾期的任务会被单独标记,排期撞车了也会主动提醒。这些事情我自己翻数据库当然也能发现,但往往要等到出了问题才会意识到,而 Agent 每天早上都会替我检查一遍。

在这个场景里,「触发器」决定什么时候干,「指令」决定干什么。把这两件事组合起来,你就能延伸出各种自动化场景:

  • • 每天自动生成剪藏数据库的摘要

  • • 每周自动汇总项目进度

  • • 每月自动整理订阅工具的支出与使用情况

当然,单看每天早上的工作量,手动操作也不过 10 分钟,但早晨简报真正节省的不是这 10 分钟,而是每天早上那段最宝贵的注意力。

你只需要打开简报看结果,然后把精力留给真正重要的事。

二、任务跟进

我的 FLO.W 模板的任务数据库有一个字段叫「下一步做什么」,目的是让我在看到这个任务的时候,不需要思考和迟疑,就能立刻知道自己下一步需要做什么。

要想写好这个字段是需要耗费一定的脑力 Token 的,但现在有了 Custom Agent 后,这个字段就可以让 AI 来填写。

首先设置一个触发器:当数据库页面被编辑时

然后给这个 Agent 设置执行规则:读取当前页面的所有内容,包括标题、正文、状态、排期、关联笔记、关联项目、前后置任务等内容,然后进行综合评估,并在「下一步做什么」这个字段里写入 3 条可快速执行的行动建议。

和案例一不同的是,这个 Agent 不按时间表上班,而是在你工作的过程中实时响应,并且不是一边写一边改,而是在你停止页面编辑的三分钟之后自动执行。

下图就是这个 Agent 的思考过程和执行结果

其实这个能力还可以泛化到更多场景,只要你的数据库里有一个字段是「需要人读完内容才能填的」,Agent 就能帮你填。

很多数据库字段之所以一直空着,不是因为你不知道它重要,而是因为填写它需要先阅读页面内容再做判断,这个过程复杂麻烦,久而久之你就放弃了,然后这个字段就会变成一个漂亮但长期失效的设计。

现在 Agent 可以把「读完再填」这一步变成自动动作,页面一更新,它就把该补的字段补上,把该整理的结构整理好。你写下会议记录、咨询记录、剪藏全文等原始信息,Agent 就帮你把它加工成可检索、可统计、可触发下一步动作的数据库字段信息。

这样一来,你的 Notion 数据库就能自己维护自己了,你只管往里面丢原始信息,剩下的交给 Agent 处理。

三、处理邮件

我的邮箱每天都会收到各种通知,包括支付平台的交易确认、SaaS 工具的报告、Newsletter 订阅等等。这些邮件里藏着各种有用的信息,都需要等我一封封打开、阅读、手动摘录。

但现在这个流程完全不需要我参与了,只需要利用「邮件触发器」来激活这个自动化邮件处理流程。当我收到新邮件后, Notion Agent 会自动读取邮件全文,提取我预设的关键信息,然后写入对应的数据库。

我第一个跑通的场景是 Stripe 订单自动入库,当我的网站上有模板售出后,Stripe 都会自动给我发一份订单邮件:

这个时候我的 Agent 就会自动读取邮件里的订单信息,然后把用户信息、付款方案、付款金额等信息写入 Notion 里的 Stripe 订单数据库,然后我就可以在 Notion 中实时看到我的 Stripe 的订单动态了。

同样的逻辑,我还用来处理邮件订阅的 Newsletter。

收到邮件后,Agent 自动触发并读取邮件全文,然后根据我预设的规则生成一段核心摘要,这样一来就算我订阅的是英文邮件,也可以第一时间判断有没有继续阅读下去的必要了。

我觉得再适当做一些补充和优化,完全替代 Readwise Reader 也不是不可能。

你的收件箱里也许没有 Stripe 邮件,但你大概率有各种发票、招聘邮件、学校通知、报销通知或客户反馈,只要信息的来源是固定的、格式是相对稳定的,Agent 就能可靠地完成信息提取和入库。

然后,当邮件能被自动读取、提炼、写入数据库,这些信息就可以被追踪、被统计,甚至触发后续的自动化动作。

或者我们再偷懒一点,你完全可以让 Custom Agent 每天早上读取前一天的所有邮件,然后生成一份邮件简报给你。只要设定好你关注的信息类型,哪怕一天收到 100 封邮件也不需要你再亲自阅读了。

四、智能客服

案例三的 Agent 是一个尽职的记录员,邮件来了它可以帮你写入和归档,但最终还是需要你本人去阅读和处理后续的流程。但如果 Agent 不仅能读懂这封邮件,还能直接回复呢?那它干的就是智能客服的活了。

正好我希望的这些功能 Notion 都支持,Custom Agent 不仅可以读邮件,还可以回复邮件。

基于这个能力我就可以构建这样一个流程:

  1. 1. 持续监控邮箱

  2. 2. 接收到用户咨询邮件时触发 Agent

  3. 3. 读取邮件里的用户问题

  4. 4. 根据问题检索 Notion 知识库

  5. 5. 根据知识库和预设规则生成回答

  6. 6. 调用 Gmail 将答案回信给用户

  7. 7. 如果用户有追问,则重复上述过程

以下就是一次真实的智能客服案例,用户来信咨询问我,如果购买了 FLO.W 模板的「基础版」后,能否付费升级为「进阶版」,而 Agent 给出的回答完美符合我的预期,不仅回答了用户问题,还用上了恰当的话术去促单。

这件事在 Custom Agent 出现之前是做不到的,因为用户邮件的格式五花八门,问题也千奇百怪,你没法用 if-else 规则去穷举所有情况,但大语言模型可以。

不过 Agent 的回复质量不仅取决于 AI 模型的能力,更取决于你的 Notion 知识库的质量,如果知识库组织清晰、覆盖了常见问题,Agent 的回复就会准确且有帮助;如果知识库稀疏或混乱,它就会给出模糊甚至错误的答案。

所以要想做好邮件智能客服得有一个前置条件,你需要先花时间维护一份结构化的知识库,这件事其实比搭建 Custom Agent 本身更为困难。

邮件这个入口一旦被 Agent 接管,整个收件箱就变成了一条自动运转的业务管线——识别、分类、响应,全都不用你亲自动手。

例如,它可以在回信之前先做一层智能分流,识别这是售前咨询、售后问题、退款请求还是合作邀约;也可以把邮件当作一条「线索」来处理,提取客户信息,然后自动安排日程、给负责人发提醒。

甚至还能做风险兜底,当检测到可能触发合规的关键词时,直接升级为人工接管,避免 AI 误判造成事态升级。

另外,邮件只是这个智能客服的入口之一,它的本质是「接收问题 → 触发 Agent → 检索知识库 → 生成回答」,因此如果你在做产品、带课程、或者是在管理一个团队,只要你有「高频、且有标准答案」的问答场景,这个模式都能用。

因为 Custom Agent 除了可以定时触发或被动触发,还支持主动触发,也就是直接打开这个代理,然后和它对话,提交你的问题,它就会按照预设的流程和规则去生成符合知识库的回答。

因此某种程度上你也可以把 Custom Agent 当成类似 Claude Skill 一样的东西去使用。

五、选题助手

很多创作者都会搭建自己的选题库,我也不例外,刷到一个观点,突然觉得这个可以写,于是随手丢进选题库里,起名叫《聊聊 XXX》,然后就没有然后了,90% 的选题都会被我搁置。

因为所有的选题都存在以下三个问题:

  1. 1. 我有没有积累过相关材料?

  2. 2. 这个选题的核心切入点是啥?

  3. 3. 第一段怎么写?

于是选题库会变成一个「灵感墓地」,条目越来越多,真正能写出来的越来越少,积重难返,然后越来越不想打开。

所以我做了一个 Custom Agent 叫选题助手,当我的「选题数据库」有新页面被创建时,这个 Agent 就会被触发,然后自动完成以下两件事:

  1. 1. 素材检索

  2. 2. 大纲生成

比如我现在随便起个无厘头的选题叫做《我是怎么浪费时间的》

然后这个 Agent 就会自动启动,第一件事是检索,它会拿着这个选题,在我的整个 Notion 系统里翻箱倒柜。

我本来只是随手一试,结果它竟然从我的剪藏库里翻出了一篇 TED 演讲笔记,讲的是拖延的心理学机制,然后又从读书笔记里找到了《原子习惯》里关于打破坏习惯的方法论,甚至还挖出了一篇我早就忘了的 Newsletter 剪藏,里面有个博主分享自己如何在细节上过度投入而忽略大方向的经历,最后还有一篇反思效率文化的长文,讨论「觉得自己在浪费时间」本身就是一种被建构的焦虑。

一个随手起的无厘头选题,居然在我的系统里找到了五条完整的素材线索,而且每一条都能独立撑起一个段落。

第二件事是搭架子,它会基于检索到的材料,自动生成一份脚本大纲,开场怎么引,主体分几个要点,每个要点用哪条素材支撑,结尾怎么收,全部帮你排好。比如这个选题它就给出了四个递进的要点,从「浪费时间不等于懒惰」到「我们对浪费时间的定义可能本身就有问题」,最后落在具体可执行的改变方法上。

灵感的生成速度永远快于整理和组织的速度,你能在 10 秒钟内产生一个想法,但要把它变成可发布的内容,往往要付出半天、甚至更长的时间,并且绝大部分的时间都花在了「整理素材」这件事上,这种机械、枯燥的工作最让人倦怠和拖延。

而 Agent 接管了检索和搭架子之后,最爽的一点是,你每次新建一个选题,它都会自动去翻你的旧笔记找素材,然后搭好一份大纲等着你。你平时随手记下的东西越多,选题助手能调用的材料就越丰富。

你也许会说,素材检索这事哪个 AI 不能做?但 Notion Custom Agent 是全自动的、无人值守的,你只管写灵感,剩下的全部交给 AI 自己干。

多么美妙的正循环,哈哈!

六、推特助手

在处理日常任务或项目的时候,我经常会蹦出一些碎片化的思考,这个时候我就会打开 X 平台,然后在输入框里撰写一条帖子并发出去。

但这时候就难免会遭遇注意力切换的问题,经常一打开 X 就会被上面的信息流吸引,然后就忘了自己上一秒想干什么,或者本来就转瞬即逝的灵感思路就会被破坏。

问题的解法也很简单,既然切换场景会导致注意力丧失,那么我不要切换场景不就好了?

所以我创建了一个 X 内容管理数据库,每当我有什么想法要分享,我就在这个数据库里新建页面然后写下要分享的内容即可。

而且写完帖子后我不需要手动复制粘贴到 X,我只需要在看板中把页面从「待办」拖到「进行中」的分组里,也就是把 Status 改成 Ready,那么 Notion Custom Agent 就会帮我把页面里的内容发送到 X 平台上。

这一整套流程具体可以分为这几个步骤:

  1. 1. Agent 持续监控这个数据库

  2. 2. 当 Status 被设置为 Ready 就触发

  3. 3. 读取页面的 Body 字段或者正文内容

  4. 4. 使用 Notion Worker 将内容通过 X 的 API 发布出去

前三个步骤我们已经很熟悉了,但第四步的 Worker 又是什么,它有什么作用?

Notion Worker 你可以理解为一种自定义代码工具,它让 Agent 拥有了「走出 Notion」的能力。如果说 MCP 更像是标准化的插头,那么 Worker 就是你自己焊的电路板,后者更灵活但也相对更麻烦一些。

没有 Worker 的时候,Custom Agent 只能操作 Notion 生态内部的信息,以及 Notion 官方已经接入的少数第三方服务(比如 Stripe、Github 或者 Cursor)。超出这个范围的话,Agent  的手就够不着了。

但有了 Worker 之后,你可以自己写一段代码然后部署到 Notion 的服务器上,让 Agent 通过这段代码去调用外部平台的 API。比如在这个案例里,我用 AI 写了一个叫 postToX 的 Worker,它可以调用 X 平台的官方付费 API,然后把我在 Notion 里写的内容直接发布到我的 X 账号上。

实际跑通之后,整个体验就变成了:想到什么就写进数据库,拖一下状态,帖子就发出去了。从头到尾不需要打开 X,注意力始终留在 Notion 里。也就是说,Notion Worker 让这个虚拟员工学会了「出差」。

它可以带着你的指令走出 Notion 这间办公室,去任何有 API 的地方办事。今天是发推文,明天可以是往 Github 推消息、从数据平台拉报表、调用 AI 接口做图片处理,甚至是把 Notion 里的数据同步到你的财务系统里。

只要你能写出(或者让 AI 帮你写出)对应的 Worker,Agent 的能力边界就可以一直往外扩。

七、博客助手

上一个案例展示了 Worker 怎么让 Agent 走出 Notion,但那只是一个单步操作:读取内容,发到 X 然后结束,接下来这个案例要做的事情复杂得多。

我的网站是用 Next.js + Vercel 搭建的,文章以 MDX 格式存放在 GitHub 仓库里。以前我得在代码编辑器里(例如 Cursor)对着赤裸的 Markdown 写长文,虽然不是不行,但阅读效果实在太辣眼睛了。

所以我为什么不直接用 Notion 撰写和发布呢?

现在我创建了一个博客发布 Agent,配合一个叫 publishBlogPost 的 Worker,我只需要在 Notion 里写完文章,然后把状态从「撰写中」改为「待发布」

Agent 就会自动完成以下 11 个步骤:

  1. 1. 检测文章状态是否被改为「待发布」

  2. 2. Agent 自动唤醒,读取页面全文内容

  3. 3. 扫描其他已发布的文章,找出内容相关页面

  4. 4. 在正文中为合适的关键词插入站内互链

  5. 5. 按照 SEO 策略优化标题和正文关键词布局

  6. 6. 文末生成与文章匹配的个性化 CTA

  7. 7. 将文章按照策略翻译成英文和繁体中文

  8. 8. 调用 API 将三语文章推送到 Github

  9. 9. Vercel 检测到新提交后自动触发部署

  10. 10. 将三篇文章的发布链接回填到数据库

  11. 11. 数据库文章的状态更新为「已发布」

如果你仔细看这 11 步,会发现它其实把前面几个案例里用到的能力全部串了起来:数据库读写(案例一二三)、内容理解和生成(案例四五)、状态触发与调用外部 API(案例六),只不过这一次它们不是单独工作,而是在一条流水线上依次协作,中间没有任何人工介入。

在没有这个 Agent 之前,我写完文章只是完成了相对愉快的那部分,接下来我还得继续检查 SEO 关键词、监督 AI 完成翻译工作、然后命令 AI 把文章推送到 Github 再等待 Vercel 的部署,然后把发布链接回填到数据库。

最消耗人的是写完文章后那种创作状态已经结束了,但你还得硬撑着做一个小时的机械劳动。但现在我在 Notion 里写完文章,把状态拖到「待发布」,然后去泡杯咖啡,等我回来的时候,三语文章已经上线了,发布链接已经回填到数据库里,状态也自动变成了「已发布」。

我的工作在「写完」那一刻就结束了,但产出一直延续到了「三语文章上线」。

不是每个人都有博客,但「写完之后还要做一串重复的事才算真正完成」这个痛点是通用的。做课程的人可能是:写完课件 → 生成讲义 → 上传平台 → 更新课程目录;做产品文档的人可能是:写完文档 → 多语言翻译 → 推到文档站 → 通知相关同事;哪怕只是做周报,也可能是:汇总本周数据 → 生成报告 → 发给领导 → 归档到项目文档。

只要你的流程里有这种「后半段」,它就是 Agent 可以替你接管的部分。

回头来看这七个案例,从最简单的定时简报到最复杂的跨平台发布流水线,Custom Agent 的能力边界其实不在于某个单一功能有多强,而在于这些能力可以自由组合。单个触发器、单次数据库读写并不稀奇,但当它们串联起来,你搭出来的就是一套完整的自动化系统。

但光是「能力可以组合」这一点,跟市面上其他自动化工具也没什么本质区别。真正让我兴奋的是,过去那些积累终于能被用起来了。

我在 Notion 里记了八年的笔记,整理了上百个数据库,写了几十篇文章和视频脚本,剪藏了数不清的链接。这些东西过去就是静静躺在那里,偶尔被我翻出来看一眼,大部分时候连我自己都忘了它们的存在。它们是沉没成本,是你曾经花了时间但不确定什么时候能用上的积累。

但 Custom Agent 让这些沉睡的积累突然变成了可以被自动调用的资源。选题助手会翻我的旧笔记找素材,早晨简报会汇总散落在各处的任务数据,智能客服会检索我亲手写的知识库来回复用户。

每一个 Agent 都在消费我过去的积累,而我每一次新的记录又在为所有 Agent 提供更多燃料。这才是我觉得 Notion Custom Agent 真正厉害的地方:它长在你现有的系统里面,你过去积累得越多,它能干的事就越多。

你过去在 Notion 里花的每一分钟,都在变得更值钱。

一些经验

聊完了几个案例,接下来分享一些我在实践过程中总结出的经验,有些是关于架构设计的,有些是关于心态调整的,但它们的共同点是,如果我早一点知道,可以减少浪费许多的时间和积分。

一、邮件路由模式

当你拥有的 Agent 越来越多,一个问题就会开始浮现:每个 Agent 都需要一个触发器,而每次触发都会不同程度地消耗 Credits。

假设你有三个邮件 Agent 分别处理订单、客服和 Newsletter,每收到一封邮件,三个 Agent 同时被唤醒、各自解析,最后只有一个真正对口,另外两个白忙一场。我的解决方案是只用一个 Agent 做入口,负责识别和分流。

首先,如果你订阅了 Notion AI,那么 Notion 官方推出的 Mail 应用可以用 AI 给你收到的邮件打标签,这一步是不需要消耗 Custom Agent 的 Credits 的。

然后回到 Custom Agent,将邮箱的触发器改为「当标签已应用于邮件」

那么当邮件进来时,只有符合我需求的邮件才会被分别打上 Stripe 订单、OpenWidget、Newsletter 等标签,在这之后邮箱 Agent 才会被唤醒,然后再按照不同的标签去触发不同的子场景文档,如下图所示:

每个子场景的具体执行规则,都写在独立的子页面里,然后主指令通过 @ 的方式引用这些子页面,Agent 只有在命中对应路由时才会去加载那份子页面的内容。这意味着处理 Stripe 订单时,Agent 不会读取 Newsletter 归档的规则,每次执行只加载必要的上下文,既省 Credit 又减少干扰。

这个分流的思路在上一篇文章(Notion Agent 完全解读)就有介绍,在 Custom Agent 里同样适用。场景路由让不该醒的 Agent 别醒,邮件标签在 Agent 启动之前就把垃圾邮件挡掉了,指令拆成子页面按需加载而不是一股脑全塞进去。

所以每次建新 Agent 之前,除了想「它要干嘛」,也值得想想它什么时候不该被叫醒。

二、先有问题再找答案

在刚用上 Custom Agent 的时候,我的第一直觉是过去沉积的那些笔记和任务有救了。这些内容我自己都快忘了,但总觉得它们有价值,只是缺一个契机去重新激活。

于是我立刻做了两个 Agent,一个叫「随机任务」,每天随机捞一条旧任务,然后给我一份重启建议;另一个叫「随机笔记」,每天随机捞一条旧笔记,问我「这个想法你现在怎么看」,试图帮我重新审视过去的思考。

想法很美好,但跑了一段时间后我发现,这两个 Agent 的推送信息我几乎都不看,或者看完后也没有什么下一步的动作,因为每次都觉得阅读的负担太大。后来我把这两个 Agent 和前文案例五的选题助手放在一起对比,才想明白问题出在哪。

选题助手同样也是在翻找旧数据,不论是从几个月前的剪藏资料库、还是从去年的读书笔记里找,但它之所以让我觉得有用,是因为我刚刚创建了一个新选题,这个选题就是一个天然的目标过滤器,然后 Agent 带着「这个选题需要什么」的问题去检索,找回来的东西自然是相关的、或者我感兴趣的。

而随机任务和随机笔记没有这个过滤器,它们的触发器是定时机制,不是你当下的任何需求,因此没有预设目标的问题检索只会带回一堆与你此刻无关的信息,最终变成噪音。

所以问题不在于数据是新的还是旧的,而在于 Agent 动手的那一刻,有没有一个明确的「当下需求」在驱动它。

这意味着你应该把触发器设计成「当下事件」,例如一封新邮件到了、一个新选题被创建了、一个任务状态变了、一天开始了需要看简报。在这些事件的驱动下,旧数据作为被调用的资源自然会发挥价值。但如果没有事件驱动,单纯让 Agent 去主动推送历史信息,你大概率只会觉得它们很烦。

三、建好只是开始

建一个 Agent 可能一句话十分钟就搞定了,真正费劲的是后面那段漫长的养成期。这个过程很像带一个新员工,入职第一天你并不能指望它什么都做好。

因此, 第一版指令千万别追求完美,只写最核心的步骤,让它先跑起来就行,跑完再看看哪里不对,因为你总会漏掉一些自己没想到的边界情况。

并且就算它成功跑起来了,我也建议你经常性地复盘和反思,去验证 Agent 的执行结果,去认真评估这个 Agent 存在的必要性,如果觉得它可有可无,那就不要犹豫将它删掉,否则时间一长你就会对一堆 Agent 的推送通知感到麻木,到最后什么是有用的、什么是噪音,你自己都分不清了。

如果有必要的话,还可以给这个 Agent 专门创建一个记忆页面,让它每次执行前先读一遍、执行完再把关键信息写回去,相当于拿 Notion 页面充当它的外部记忆。内容不用写得好看,真实准确就行。这样你才能在一次次的小调整里,慢慢把一个粗糙的 Agent 磨成真正靠谱的虚拟员工。

不少缺点

聊了那么多用法和优点,接下来也该诚实聊聊这个新功能目前还存在的一些不足。

一、积分压力

首先是积分制带来的心理压力比我预想的大,因为 Notion 的 Custom Agent 是按积分计费的,并且暂定的价格是 1000 Credits/10$,当前在测试阶段免除积分费用,5 月 4 号后就要开始正式收费了,真的贵到我边用边骂。

当然下图的 5 万积分不是正常情况,排除掉测试用例,我一个月下来的实际开销应该得在 3 万积分左右,但也要 300 美元,这已经能同时订阅 ChatGPT Pro + Claude Max 5X 了,我觉得光这一点就能把你刚才阅读本文的所有热情浇灭。

更让我觉得可惜的是,Notion 目前没有提供 BYOK(Bring Your Own Key)选项,你不能接入自己的 API Key 来降低成本。

但好消息是,现在还在测试阶段,一切都还有转机。

Notion 显然也知道这样的积分消耗根本无法拓展市场,所以很快就加入了国产模型 MiniMax 2.5,这也是 Notion 第一次有国产模型的加入,虽然智能程度有所下降,但积分消耗至少能降低三分之二,用来执行简单的定时循环任务也足够了。

并且 Notion CEO 表示还会有更多的可选模型加入,值得期待一下。

二、边界与稳定性

成本之外,能力边界也是一个绕不开的限制。 Worker 确实让 Agent 可以派一个外勤去「出差」,但它出差的方式有点像是被关在一个只有 Wi-Fi 的酒店房间里,只能通过公网 HTTP 请求和外面通信,不能碰你的内网资源,也不能调用本地服务。

而且 Worker 是按需执行的,干完活就走,没办法保持长连接,所以如果你想让 Notion Agent 操作本地文件、调用本地跑着的模型、或者和局域网里的设备打交道,这些需求暂时都还做不到。

Worker 更像是一扇刚打开的窗户,你能看到外面的风景,但想自由地走得更远还需要再给它一些时间。

还有个问题是是页面权限的稳定性, 因为它不是「出了错你能看到」的那种显性问题。 我偶尔遇到过几次这样的情况是,Agent 被赋予的页面访问权限莫名其妙地丢了,表面上工作流还好好地挂在那里,实际上它已经因为权限问题停摆了很久,而我根本没收到任何提示,这种「静默失败」比直接报错恐怖得多,虽然遇到的频率并不高,但一旦出现还是挺麻烦的。

三、通用性

以上这些都还是技术层面可以迭代的,最核心的问题在于,Custom Agent 的价值,和你在 Notion 里扎根的深度几乎是一比一绑定的。

前面那七个案例之所以能跑通,之所以让我这么兴奋,是因为我在 Notion 里记录了八年,有上百个数据库、无数条笔记和结构化信息供 Agent 调用。但如果你不是 Notion 用户,或者你的 Notion 里只有零零散散的几页东西,那 Custom Agent 对你来说意义就没有那么大。

它所有的感知、思考和行动都以你的 Notion 工作区为圆心,离开这个圆心它的价值就会迅速下降。相比之下,Claude Code 或者 OpenClaw 不挑场地,你的本地文件系统、任意第三方 API、任何开发环境都是它们的工作台,灵活性和可覆盖的范围确实要宽得多。

所以如果你问我「要不要入坑 Notion Custom Agent」,我的回答是:先问问自己在不在 Notion 里。 如果你已经在这里并且积累够深,它能帮你把过去的积累全部激活;但如果你还没进来,那现阶段可能有比它更通用的选择。

不过话说回来,如果你看到了这篇文章的这个位置,你大概率已经是 Notion 用户了吧。

写在最后


写到这里我唯一确定的一件事是,Custom Agent 真正带来的变化,发生在你和系统的关系上。

以前很多整理和记录需要你不断推动才会往前走,现在你只要把规则讲清楚,系统就会自己继续运转。你多年积累的笔记、字段、文档,会在你不盯着的时间里被读取、被调用、被转化成下一步的行动与产出。

我也不想把它写成一件轻松的事。积分带来的焦虑、Worker 的限制、权限偶发的静默失效、生态绑定的硬边界,都是真实存在的麻烦。有些问题短期内可能不会消失,但我仍然愿意继续用下去,因为方向足够明确,收益也足够具体。

因此如果你想开始,建议从一个最小的场景入手。做一个早晨简报,或做一个自动补字段的小工具,让它先跑起来。你会很快体验到那种醒来发现事情已经被处理过的感觉。

等你尝到第一口甜头,后面的流程自然会一点点长出来。


本文中提到的所有 Agent 案例,都运行在我所搭建的 Notion 系统 FLO.W 思流之上。它不只是一套 Notion 模板,更是一个专为 AI 时代设计的操作系统。

👉 了解详情与购买:21notion.com

阅读原文

跳转微信打开

  •  
❌