铃阅
❌

普通视图

AI4S青年志②丨赋澈生物王子龙:实验室里的「企业家」

2026年11月16日 19:38

原创 周蕾 2026-11-16 19:38 广东

同时拥有理工科训练、结构生物学功底,和系统商科思维的创业者,在AI4S领域里并不常见。

    作者丨周蕾

    编辑丨岑峰

                                                                                                       

【编者按】AI4S有时给人“雷声大雨点小”之感,是因为不少人把AI当成了目的本身,拿着锤子满世界找钉子,对科研周期与商业回报的错配却无知无觉。“AI4S青年志”第二篇,我们关注一个可能破解AI4S落地困局的样本。

一篇论文,通常只需要2-4位审稿人。

但当《Nature Biotechnology》的编辑们打开一篇来自加州大学伯克利分校的投稿时,他们很快意识到,2-4位远远不够。为了覆盖这篇论文涉及的每一个学科,编辑们前后邀请的审稿人数量已经来到了两位数。

论文横跨四个领域:合成生物学、材料科学、计算化学,以及技术经济学与碳排放核算。审稿人们上来就说:他们只能看懂属于自己的那一部分,无法对其他部分做出评价。

学术论文通常像一辆概念车,但这篇论文,却被以量产车的标准来严苛审视。例如论文已经在实验室里证明,生物反应器中,新型塑料单体的滴度达到了1.84克每升——这是一个符合学术发表标准的数字。但一位材料学背景的审稿人直接追问:“如果这个平台要走向产业化,至少要让我看到几十克每升的可能性。”

这些质疑,同时关乎科学和商业。而回应它的人,需要同时听懂四种语言。

最终,四个不同领域的专家全部认可了这篇论文,编辑也点了头,论文在今年夏天成功刊发。这篇论文的署名栏里,第一作者只有一个名字:王子龙。

在AI for Science的创业浪潮里,跨学科背景并不稀奇。计算机出身的人去学材料,化学出身的人去写代码,这样的故事比比皆是。

但像王子龙这样,同时拥有扎实的理工科训练、结构生物学的底层功底,以及从本科阶段就开始的系统商科思维,并且能把这一切翻译成彼此能听懂的语言——这种人在AI4S创业者中,并不常见。

借着论文刊发的机会,我们和王子龙完成了一次两个多小时的越洋连线,从中山大学逸仙班的经济学课堂聊到Jay Keasling的实验室,从主动拒绝创业风口聊到放弃教职、投身产业,试图还原这位AI4S青年科学家,在他过去二十年里的每一次关键选择。

01

像“爱迪生”的底色

王子龙儿时的梦想,是成为爱迪生那样的科学家。长大后他意识到,原来爱迪生不光是科学家,同时也是一名商人,而他恰好也将自己培养出了科学家+企业家的双重能力结构。

这种能力结构的雏形,最早要追溯到本科时期。王子龙所就读的中大逸仙班,准入门槛极高,采用多学科混合培养的方式,除了数物化生的理工科内容,还有专门开设的经济学课程,由岭南学院的教授整套授课。加之出生于经商家庭,从事零售和分销,王子龙对商业实践已有着十几年的认知。

逸仙班的课业负担不轻,但当时的多学科培养,尤其是经济学方面的训练,直到今天仍然在为他的商业工作带来极大的帮助。一方面经济学带给他反直觉的思维和理论,帮助他避免踩坑;另一方面,这套训练也为一位纯科学家在做商业谈判、市场判断时,提供了底气。

“基本的商业逻辑、经济逻辑我们都清楚,对外融资、谈合作的时候,精神面貌是不一样的。”

2011年,中山大学首次参加MIT创办的iGEM(国际基因工程机器大赛),正在读大三、准备出国留学的王子龙,正是当时参赛的领队和对外主讲人。队伍最终闯入了全球决赛。在MIT的讲台上,他要用英语向评委解释团队的成果;回到实验室,他又得和队友一起解决具体的科学问题。

这个比赛最终帮他敲开了合成生物学认知的大门。也是在这个时期,他读到了一篇经典论文:用大肠杆菌和酵母菌全合成青蒿素前体。屠呦呦当年发现的青蒿素,在合成生物学的方法下,得以实现低成本、大规模的生产。而这位论文的作者Jay Keasling,后来成为了他在伯克利的导师。

“我们可以改造自然界的微生物,让它们为人类所用,实现不同的功能。”

合成生物学最底层的定义,是让每个基因的设计模块化,“像拼乐高一样拼基因,拼出不同的形态和功能。”王子龙被合成生物学深深吸引,但他并没有直接沿着这条道路走下去。

在他看来,生物学的细分学科里,有些是不可迁移的“课题”,有些是可迁移的“工具”。例如植物学就属于课题型学科,“一旦选定分子植物学或植物分类学的方向,往外的延展就会变窄”。

而结构生物学属于后者。它研究的是蛋白质的三维结构,但掌握这门手艺的人,几乎可以进入任何生物科技方向——因为所有生命活动的最终执行者都是蛋白质。工具型学科偏基础,有很强的技术壁垒,但后期可以衍生出很多分支。

他甚至用免疫学试探过另一种可能——本科毕业论文专门做了这个方向,免疫学课程成绩全年级第一,也在一位知名教授的实验室里完成了毕业论文。但多方对比之后,他还是回到了合成生物学,因为它兼具工具和课题的双重属性。

这也是为什么他在博士阶段选择放下合成生物学、转向结构生物学。当时的他,意识到一个关键问题:由于对蛋白质缺乏足够的了解,导致做基因工程时经常得不到预想的结果。

探究蛋白质,也就成了他心里的一个执念:“我一定要完全掌握这块知识。”

王子龙告诉我们,当年即便是顺着免疫学的道路往下走,博士阶段大概率还是会做结构生物学,因为生物代谢的调控最终仍然与蛋白酶有关。

“如果博士后阶段可能就会做制药相关,再赶上AlphaFold这一波,那我创立的公司可能就不是做AI for materials,而是AI for drug discovery了。”王子龙笑道。

02

实验室里的商人

王子龙还在新加坡国立大学做结构生物学时,恰逢Jay Keasling来校做学术报告。

他当时的博士实验室小而专精,解析蛋白质结构效率太慢,“跟不上时代的需求”。他把这个顾虑抛给Keasling教授,得到的回答却是:这完全不是问题,我们机构有全套高通量设备、昂贵的全自动化机器和专业的合作者,做得特别快。

他与Keasling教授就此结缘,但在他去伯克利面试加入Keasling实验室前,还发生了一个小插曲:

Paul Adams曾任劳伦斯伯克利国家实验室结构生物学中心的主任,也是David Baker那篇RoseTTAFold蛋白质结构预测的诺贝尔奖级核心论文的共同通讯作者之一。他专程来找王子龙,问他愿不愿意继续跟自己一起做结构生物学。

在Adams麾下做博后,同样也是一条金光大道,但王子龙还是选择了合成生物学。

从左至右分别为:Seokjung Cheong, Jay Keasling, 王子龙

Keasling实验室强手如云,但他的选人逻辑并不强调出身。伯克利本身就是名校,发过Nature、Science正刊的申请者比比皆是,但这些在Keasling眼里只是参考因素。他真正在意的,是专业能力是否匹配实验室的课题发展。

王子龙博士期间因为结构生物学研究周期长,主要课题当时都尚未发表,但他的技能组合恰好是实验室需要的那一类。加上博士导师和几位教授的推荐,他顺利加入了实验室,接手了那个后来成为AI4S标杆的课题。

“运气好。”他用这三个字来概括这段经历,“如果我晚进去半年,这个课题未必是我的了。”

在Keasling实验室,王子龙很快证明了自己的价值。

实验室常年保持四十人以上的规模,博士后来自不同领域,各自带着不同的技能。王子龙因为结构生物学的底子,经常能帮别人解决技术问题。他拿过实验室的两个奖:一个是Best Lab Citizen,由全体成员投票选出,表彰在实验室运转和维护中贡献突出的人;另一个是Best Helper,得票必须超过其他人,意味着他在大量同事的课题中都伸过手。

在四十多人的实验室里习惯了帮别人解决问题,之后再面对四个实验室的联合项目时,他也没有觉得陌生。

那篇横跨四个学科的Nature Biotechnology论文,正是在这样的环境里长出来的。合成生物学、材料科学、计算化学,以及技术经济学与碳排放核算,四个伯克利顶级实验室联合完成,论文各部分比重均匀,各占四分之一。王子龙是唯一的第一作者,Keasling是唯一的通讯作者。

他的工作不只是做实验。作为项目的管理者,他每周要跟四个实验室的博士后开会,还要跟教授同步进度。每三个月,则要向美国能源部做一次大型汇报,写季度报告汇报项目进展和资金使用情况。

这套流程跟开公司已经很像了。

其实在进Keasling实验室的第一天,王子龙就跟教授表达了自己要走商业这条路。在这个实验室里,创业并不是什么稀奇事,平均每年都有一到两个成员出去创业,拿到不错的融资结果。Keasling还会问每个人的职业规划,从一开始就划分好了谁偏商业、谁偏学术,给不同的培养方针,他的学生也因此遍布产业界。

回过头看这几年的行业趋势,2021年出来创业其实正是时候。当年合成生物学在国内正火热,估值高得惊人,好几家公司也特地飞去美国找到王子龙,劝他立马创业。

但他拒绝了。手上的项目没做完,即便对方确实认可他们的技术,但他还是觉得风险太大,贸然创业是不负责任的表现。

“2021年创业的话,拿融资要简单得多。”王子龙回忆,“我们2024年融资的时候,早就错过那个风口了,真的得靠真枪实战的能力。”

多年的科研经历,给他带来一种“有问题就解决问题”的思维。人长期处于认知问题和解决问题的循环中,这种思维一旦形成,就很难被轻易击垮。“问题本身不会把人击倒。如果真的有爬不过去的坎,就绕过去,办法总是有的。”

“因为我们已经被科学鞭打了无数次。每一个科学论文成功的背后,都有大量的失败。是无数的失败经验,推举出一两个成功的结论。”他后来这样总结。经历过大量失败才诞生的成功,让他和他的合伙人有了一种不太一样的心态:面对短期性的挫折和困难,他们有足够的承受能力。

这种韧性,最终让他在错过风口之后,依然能够靠真枪实战的能力,开始着手组建自己的团队。

03

 “有利可图”的环保

王子龙提到的,那位同样具有韧性的合伙人,叫做Seokjung Cheong。2024年,两人一同从Keasling实验室结束博士后工作。比起申请一个体面的教职,他们选择把手里做了四五年的课题推向市场,创办了赋澈生物(FutureBio)。

拒绝了2021年的创业风口,他们面对的,是三年后已经冷静许多的市场。

Seokjung成了公司的CTO,他和王子龙在Keasling实验室共事多年,一起做了那篇Nature Biotechnology论文。两人的分工天然互补:王子龙的表达能力更胜一筹,就专门对外,负责融资、商业合作和公司宣传;Seokjung做事细致严谨,正适合对内,主抓技术和团队管理。

从左至右为:研究员,Seokjung Cheong, 王子龙

搭起核心团队后,王子龙开始寻找在工业化生产上有经验的人。他翻遍了Keasling实验室以前师兄师姐的名单,找到了凯赛生物的前研发副总裁Howard Chou。

这样一位在中国合成生物学领域大规模制造有过丰富经验的前辈,正是FutureBio需要的。可Howard从凯赛出来后,全国找他做联合创始人、做顾问的人实在太多。而Keasling的一封介绍信,让双方很快确认了彼此的能力。

王子龙回忆起双方的第一次见面,就是在Howard深圳先进院的办公室,完全没有陌生人的隔阂,两句话就拉近了所有关系。

Howard给FutureBio的建议非常具体。很多生物制造公司早期为了让数据好看,会用各种手段做出很高的产量,但成本不一定合适。大家的思路是先达到高产,之后再慢慢优化成本。但Howard告诉他们,从公司第一天起,生物制造就要对标工业大规模生产的口径和参数。

照这个思路,FutureBio在美国用的发酵培养基,直接拿的是全球最大的玉米原浆提供商之一ADM的玉米浆。如果一开始所有参数对标工业制造,做的每一分努力就都可以直接转化到工业制造上。未来达到高产之后,不需要再回头优化成本。

而Keasling教授现在是FutureBio的官方首席顾问,双方保持着固定的顾问会议。在融资时,他的背书起了关键作用。他参与过投资人访谈,回答关于王子龙能力和性格的问题,也帮忙对接过一些投资人和业内的知名学者。对一家从实验室走出来的初创公司来说,导师的人脉网络在早期阶段是一种无形的支撑。

除了Keasling的关系,王子龙还十分偶然地,从另一位前辈那里获得了关键支持:晶泰科技的董事长温书豪。

在一次饭局上,温书豪问王子龙,“能不能用两分钟讲讲公司做什么?”听完王子龙的讲述,温书豪当即邀请他第二天去晶泰做路演。晶泰的三位创始人都参与此次路演,最终拍板决定参与FutureBio的融资。

2025年初,FutureBio完成天使轮融资,耀途资本领投,险峰长青、晶泰科技等跟投。数百万美元的金额不算太高,但足够让王子龙按照自己的想法,把基础扎实的事情一步一步做好。

不过,王子龙对公司的定位,从一开始就和很多环保材料公司不一样。

“大家都说环保,但环保往往意味着成本更高。”FutureBio的选择是兼顾,并在兼顾的基础上更在乎商业侧。“政策驱动是靠罚款、补贴和奖励来推广,但经济形势不好、补贴下降时,大家的意愿立刻下降。”

在他看来,如果真正想把环保做好,一定要从技术层面解决:让环保这件事“有利可图”,让整个商业链条里的人都能self-motivation。因此,FutureBio的材料有着高循环效率、低循环成本的特性,长期使用成本会逐渐下降。

04

AI4S的边界

这种让环保“有利可图”的商业判断,也塑造了王子龙对AI for Science的理解。

在他看来,很多公司的问题在于,AI被当成了目的本身,而不是工具;上来就讲要做AI for Science,实则是缺乏核心支撑力的表现。“比如我们,是平台开发了这款材料,材料支撑公司的实体运转,在拓宽的过程中不断优化模型。不然一开始烧几亿、几十亿,烧完了什么都没有。”

他回忆起在Keasling实验室做课题时的一次亲身经历:那篇Nature Biotechnology论文里,团队一开始跟当时很多AI4S公司一样,用计算模拟数据搭了一套模型。但把材料做出来之后发现,模型对材料性能的预测完全不对,跟真实数据不匹配。

他们没有把错的模型藏起来,而是把真实数据放回模型去研究哪里出了问题,通过模型和材料之间的相互优化,找到了改进的方法。最终,他们把一开始那个错的模型也放进了论文里。

在学术界,这种把错误公开的做法并不常见。但这篇论文的特殊之处在于,它打通了整个平台模型和闭环,证明了计算预测可以被生产制造验证,还能不断循环迭代——这是AI for Science具备可落地性的证明。

在王子龙看来,AI for Science的瓶颈早已不是算法;数据的生成,比模型和算法本身,更具有底座的意义。

做实验的数据量太小,真正训练AI对数据体量的要求却非常大,这就很强调数据生成能力——能不能更快、更高通量?在伯克利期间,他们其实已经能做高通量的分子生成和蛋白质酶的设计。现在则专注于打通特定分子的量产,保证生产制造能力,再接入高通量,形成一个既快又能制造的平台。

“2022年AI刚爆发时,大家就有一个共识:这里最有价值的商品是数据。AlphaFold之所以能出现,是因为结构生物学领域在同样的数据模式和口径下,积累了超过二十年的数据,而其他很多科学领域没有这个条件。不存在只有一家公司能训练出来的模型,你总能找到竞品。谁真正掌握能被AI读取的数据,谁就掌握了AI for Science最底层的金币。”

但只有数据本身,还不够。很多运转了几十年的大公司,论数据积累,其优势自然不是小公司可比,但大公司们也不见得都做出了模型。

原因之一是古早的数据现在的AI读不了,需要专门的数据接口;另一个原因是实验数据来得太慢、太贵,不足以支撑模型训练。

FutureBio的解法,是用一套可扩展的生物制造平台来持续生成数据。这种平台特性在论文中有直接体现:团队用工程化聚酮合酶(PKS)作为“分子装配线”,通过替换其中的蛋白质模块,同一套生物发酵系统就能生产出结构不同的塑料单体。

论文里展示了10种这样的PKS产物变体,它们共享同一套发酵路径,就像一条汽车生产线,更换机械臂上的工具头就能加工不同型号的零件,底盘、质检和物流流程则无需改变。这意味着,优化一次菌株产率或发酵条件,所有产品都能同时受益。

他提到,FutureBio发展到现在,用的是工业培养基,成本已经降了下来,可以低成本地大量生产材料,获得真实世界的数据。相比那些每设计一种新化合物、都要重新开发合成路线,纯粹用化学手段合成材料的公司,FutureBio在数据生成效率上具有天然优势,也真正跑通过“设计-制造-验证”这一环,对于闭环里的关键节点,有独到的经验。

对于今年颇受关注的AI for Science,王子龙也给出了相对冷静的判断。

第一,AI的价值是预测的精准度,要给AI真实世界的物理反馈。

“大语言模型之所以做得好,是因为除了网上原有的信息,那么多用户每天跟它交流,它是一个每天都获得真实世界物理反馈的系统。做AI for Science也一样,而且物理反馈很讲究策略:不是什么反馈都行,要了解AI需要什么、希望这个AI干什么。”

第二,始终要知道边界在哪里。

FutureBio做聚合物,目标就是建立聚合物材料的通用大模型。但他们清楚地知道自己一开始的知识边界和技术边界在哪里,在边界内可以做得精确可靠,再慢慢拓宽;而拓宽需要的知识体系、数据、验证方法,这些都要提前规划好。

“留给自己想的时间,一定要比决策和操作的时间多。三思而后行,很多事情没想清楚就做,就是浪费资源。”

这不是王子龙一个人的节奏,而是他整个团队的节奏。在新加坡读博时的他,007的工作节奏是常态,但现在他给下面的项目负责人定了一条规矩:每天留至少百分之二十的时间思考。

团队即便坐在那里不干活,他依然发薪,因为他知道这些人肯定在想工作——做科学做到博士后的人,脑子里从来停不下来。

既要停下来想,也要跨出去做,这两种能力,其实来自同一个源头。

从逸仙班多学科混合培养,到“旁逸斜出”研读结构生物学,再到Keasling实验室的交叉合作,每一次选择,王子龙都在拓展自己能翻译的语言。那篇论文的审稿人们,大概不会想到,这个能同时回应四个领域质疑的博士后,其实在二十年前就开始为这一刻做准备,通过一次又一次看似绕远的路,最终抵达他选定的目的地。

在AI4S这个人人都在谈交叉的领域,王子龙仍然特殊。而那些看似绕远的路,最终都成了他脚下最扎实的地基。

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

多媒体检索到智能体协作,一家中国公司两项议题入选ACM MM 2026

2026年11月16日 19:38

AI科技评论 2026-11-16 19:38 广东

让 AI Agent 找网红、谈合作、监测内容:自动化营销实践进入学术视野。

让 AI Agent 找网红、谈合作、监测内容:一套自动化营销实践如何进入学术视野。

    编辑丨李希

                                                                                                       

11月10日到14日,第34届ACM国际多媒体会议(ACM MM 2026)在巴西里约热内卢举行。ACM MM是由国际计算机协会(ACM),创办于1993年的多媒体研究、创新与应用领域的顶级学术会议,被中国计算机学会(CCF)推荐为计算机图形学与多媒体领域的A类国际学术会议。会议创办以来第一次在南美举行。

ToucHigh是深圳链帮科技有限公司旗下品牌,首席执行官(CEO)赵奎先生的一项与其有关的产业论题入选了本届ACM MM的产业专家报告(Industry Expert Talk)议程。这场报告的题目是《ToucHigh.ai:面向AI网红营销的智能体架构——以多媒体检索为核心的方法》(英文原题:ToucHigh.ai: Agentic Architectures for Al Influencer Marketing - A Multimedia Retrieval-Centric Approach)。

图1ACM MM 2026论文集目录中该议题的收录及页码信息

此次入选的报告摘要收录在ACM MM 2026论文集中,讲清了三件事:这套架构为什么属于多媒体检索、九个智能体怎么分工,以及落地之后拿到了哪些结果。

01

把网红营销当成一道检索题

智能体AI把检索、决策、执行串成持续闭环,正在改写工作流自动化的做法。在AI驱动的网红营销平台里,创作者发掘、营销活动策划这类核心业务,都可以建模成信息检索问题,涉及语义匹配、排序,以及由反馈驱动的自适应。报告介绍的,就是ToucHigh的一套已经落地的多智能体架构,它把营销执行重构成一条以检索为核心的流水线。

图2 ToucHigh高级产品经理Carl Cheung先生报告中

网红营销这条链路本来就是多模态的。创作者交上来的东西有字幕、语音转写、缩略图,还有互动信号,散落在Instagram、YouTube和TikTok上。这个多智能体架构平台把创作者近期发的文案,和30多个由AI推断出来的语义概念标签拼在一起,编码成768维的多语言向量,检索时比的是概念意图,而不只是靠关键词字面匹配。

下游还挂着一个监控智能体,用多模态NLP去核对已经发出去的视频里有没有真的提到品牌。检索和分析两头,都落在多媒体研究关注的问题上。

02

九个智能体,一条检索流水线

这个系统里一共九个专用智能体,通过一套轻量的MCP(Model Context Protocol)协议,在一个共享blackboard上协作,异步、有状态地执行。

发现智能体(Discovery Agent)先把品牌简报改写成稠密检索的查询,在20万份以上创作者档案建成的HNSW索引上做k-NN向量检索,用余弦相似度算距离。匹配智能体(Matching Agent)接手重排,充当cross-encoder,按语义相似度、受众人口特征的重合度、真实性三项加权打分。

图3 ToucHigh的首席科学官Aleks Farseev(左)和高级产品经理Carl Cheung(右)

再往后是外联和议价智能体(Outreach和Negotiation Agents),用检索增强生成(RAG)写出超个性化的合作邀约,议价过程交给状态机推进。

ToucHigh表明,这套多智能体架构的核心贡献是把网红营销从找人一直到发邀约,重新定义成一道以检索为中心的题目。而且这些智能体是补充人的专业判断,不是替掉人。分工也照着这个来:AI负责能规模化的“找”(find),人负责带语境判断的“投”(fund),品牌用什么调子说话、创意往哪走,始终由人把关。

03

报告披露的几组数字

和传统人工流程相比,这套已经落地的流水线把从简报生成到首次触达的时间缩短了85%,从5.2天压到0.8天;由大模型写的超个性化消息,让创作者回复率提高了54%;合同完成时间缩短68%。

变化最明显的是人手。单个营销人员每月能管的活动数量涨到原来的12倍,工作满意度提高了48%。这套做法给创意和数字营销行业提供了一份可以规模化的模板。

04

做出这套方法的ToucHigh

ToucHigh是深圳链帮科技有限公司旗下的品牌,主营AI海外社媒营销业务。自有数据模型和算力,能够系统梳理海外竞品的营销动作、内容形态和市场占比,为客户产出专属的、有针对性的社媒方案;拥有AI批量生成符合品牌调性的、切合空白话题的创意内容,支持Facebook、Instagram、LinkedIn等多渠道投放与数据效果预测、监控,重点关注品牌在AI搜索可见度方面的提升等。

ToucHigh品牌背后有三位灵魂人物,拥有为全球各大品牌定制AI营销技术的十余年丰富经验,他们同时也是ToucHigh的共同创始人:

图4左:Aleks Farseev;中:赵奎;右:Kirill Lepikhin

首席执行官赵奎,AI研究者与连续创业者,研究成果发表于ACM SIGIR、ACM MM等会议。首席科学官Aleks Farseev,新加坡国立大学AI博士,欧洲工商管理学院教授,福布斯科技理事会专栏作家,Gartner Cool Vendor入选者,发表过30多篇学术论文。首席技术官Kirill Lepikhin,AI营销技术专家,主导ToucHigh的全部自动化工程,已发表6篇AI营销方向的会议论文,2017年起任SOMIN联合创始人兼CTO。

ToucHigh,正是三位创始人营销技术经验和科研成果共同积淀,与中国品牌海外营销现实需求的碰之制作。

05

全球仅入选7场,ToucHigh得占其一

产业专家报告历来是ACM MM中入选场数较少的议程,2024、2025年全球分别入选8场、11场,而本届全球入选仅7场。历来的入选者均是先进领域中具有前沿技术研究的科研人员、科技从业者或行业领袖,该议程聚焦于分享产品或项目在某个方面的痛点及其解决办法、具体解决措施,而非已交付的项目。ToucHigh此议题能成功入选,靠的就是把方法和数据摊开给人查,而不靠曾经服务过哪些大品牌。

图5ACM MM 2026论文集目录中ToucHigh另一入选课题的收录及页码信息

此外,ToucHigh的另一科研论题《ToucHigh.ai:从包裹受损到根因定位——专家可审核的智能体多模态诊断方法》也成功入选ACM MM 2026现场演示议程。据本届会议揭示,共有9200名审稿人参与会议投稿论文评审,前后写了28750份评审意见,即每篇进入外审的论文至少分到三份评审意见;而主赛道8273份投稿里,同时通过初审与外审的仅1703篇,按送审稿算录用率为23.9%。作为multimedia领域最权威的顶尖学术会议,ACM MM入会论文的审核要求严格。

ToucHigh两项论题入选ACM MM,得到全球顶尖学术会议对其技术的充分认可,体现其学术成果落地商业领域的巨大潜力。

参考文献:

1.《ToucHigh.ai:面向AI网红营销的智能体架构——以多媒体检索为核心的方法》英文原文议题信息:https://dl.acm.org/doi/10.1145/3767308.3839056 

2.《ToucHigh.ai:从包裹受损到根因定位——专家可审核的智能体多模态诊断方法》英文原文议题信息:https://dl.acm.org/doi/10.1145/3767308.3839014 

3. 国际多媒体会议(ACM MM)官网:https://acmmm.org/

4. 国际计算机协会(ACM)官网:https://www.acm.org/

5. 中国计算机学会(CCF)官网:https://www.ccf.org.cn/

6.《第七版〈中国计算机学会推荐国际学术会议和期刊目录〉正式发布》,中国计算机学会官网,2026年3月31日:https://www.ccf.org.cn/Academic_Evaluation/By_category/

7. ACM MM 2026论文集: https://dl.acm.org/doi/proceedings/10.1145/3767308

8. ACM MM 2026官网:https://2026.acmmm.org/

9. ACM Digital Library官网:https://dl.acm.org/

10. ACM MM 2026全会议程:https://2026.acmmm.org/site/ACMMM2026_Glance_Programme.pdf

11. ACM MM 2025产业论坛手册:https://acmmm2025.org/industry-program/

12. ACM MM 2024全会议程:https://2024.acmmm.org/full-program

13. ToucHigh微信官方公众号文章《热烈祝贺!ToucHigh两大科研论题入选2026 ACM国际多媒体会议!》:https://mp.weixin.qq.com/s/OYBRdP8Tk6GTa1121mf6xw

ACM MM 正在召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

📌 进群传送门: 扫码进群或添加微信A17648278904,备注:ACMMM+单位/学校+姓名+方向。

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

李海洲院士谈语音智能下一步 :让机器人知道自己应该听谁的话 | ACM MM 2026

2026年11月15日 12:38

原创 马晓宁 2026-11-15 12:38 广东

从汉字“听”中的耳、目、心,到视觉线索、脑电信号与语音大模型,《Listening the Chinese Way》这场主题演讲探讨了机器如何像人一样主动选择倾听对象,并真正理解对方所说的内容。

    作者丨马晓宁 胡清文

    编辑丨岑   峰 

                                                                                                       

在嘈杂的餐厅里,我们能一边与朋友交谈,一边敏锐地捕捉到邻桌有人叫自己的名字;在多人讨论中,也能把注意力锁定在某一位发言者身上,暂时屏蔽其他声音。这种能力对人类而言习以为常,对机器却是不小的挑战。

11月12日,在巴西里约热内卢举行的 ACM Multimedia 2026 上,香港中文大学(深圳)人工智能学院院长、深圳河套学院语言模型与人机交互中心主任李海洲院士作了题为《Listening the Chinese Way》的主题演讲。

他从汉字“听”讲起,探讨人类如何综合调动听觉、视觉与认知能力来理解声音,并分享了团队在目标说话人提取、视觉引导听觉、脑信号解码及语音大模型等方向的最新进展。

整场演讲围绕一个核心问题展开:在多人交谈的环境中,机器能否像人一样主动选择倾听对象,并真正理解对方在说什么?

01

汉字「听」里的倾听智慧

演讲从汉字“听”开始。这个字可以追溯到约3000年前的古文字。拆解其字形,不仅有耳,还有目与心:耳朵负责接收声音,眼睛帮助定位声源、将注意力聚焦于目标人物,心则承担思考与理解。

为什么“听”还需要眼睛?课堂上,老师经常提醒学生要看着老师听讲。因为当我们看向一个人时,注意力也会随之集中到他身上。视觉不仅能帮助我们捕捉说话者的唇动,还能让我们预判谁即将开口。

“心”则代表理解。中国传统观念认为心是思考的所在,英语中也有“remember by heart”这样的表达。可见,人类很早就意识到:倾听不只是接收声音,更离不开思考。

李教授将这种理解与美国心理学家William James论述的Apperception(统觉)联系起来。它指的是将新的感官输入与已有的记忆和经验相结合,从而理解外部世界。

日常经验就能印证这一点。人们听别人讲话或阅读文字时,未必真正接收到了全部信息。即使注意力短暂分散、漏掉几个词,大脑仍能根据上下文和已有知识补全内容。我们以为自己听到了完整的话,实际上其中一部分来自记忆。

这种补全依赖于不同层次的记忆:短时间内遗漏的声音,可以借助工作记忆和上下文补齐;长期积累的语言与世界知识,则帮助我们理解不完整的信息。

更进一步说,人类的耳朵也不只是一个麦克风。声音从外界传入大脑,是自下而上的信息传递;与此同时,大脑也会反过来向感官发出指令,调节我们听什么、不听什么,这是一种自上而下的主动控制。

由此,李教授提出了一个贯穿整场演讲的观点:倾听不是被动地接收声音,而是耳朵、眼睛与心智共同参与的主动过程。

02

机器为什么不会主动倾听?

多人同时交谈时,人类通常能够把注意力集中在某一个人身上。如何实现这种选择性倾听,在听觉研究中被称为Cocktail Party Problem,即鸡尾酒会问题。

相关研究可以追溯到20世纪50年代。当时,航空管制人员需要通过无线电同时接收多架飞机的信息,研究人员由此开始关注:人类如何在多路声音中选择性地处理其中一路。

人类具备这种能力,机器却还不够成熟。普通语音识别系统在单人讲话时表现良好,一旦多人同时开口,就很难判断该识别谁的声音。因此在餐厅、酒店等场景中,机器人往往需要用户转过身来,正对着它讲话。

这不只是降噪问题。传统降噪技术主要解决如何去除背景噪声,但在多人场景中,干扰本身往往也是人声。目标说话人提取(Target Speaker Extraction,TSE)要解决的,就是当多个人的声音混合在一起时,如何根据指定线索,提取其中某一个人的语音。

李教授团队的研究正是围绕这个问题展开:机器需要的不只是听清楚,还要知道自己应该听谁。

03

从声音到视觉:锁定目标说话人

最直接的办法,是为机器提供一段目标人物的参考语音。早期的目标说话人提取研究采用深度学习模型,同时输入混合语音与参考语音,通过说话人编码器提取特征,再由模型生成Mask,筛选出目标人物的声音。但在真实环境中,机器人未必事先掌握每个人的声音样本。

为此,李教授团队进一步引入团队Memory Bank(记忆库):机器人初次接触某人时,即可利用当时采集的语音建立说话人特征并保存下来;此后即使对方在环境中走动,也能借助历史信息持续追踪其声音。

除了声音,视觉信息也能为机器锁定目标说话人提供重要线索。演讲中展示了一段两人激烈讨论的视频。原始画面里,两个人的声音交叠在一起,很难听清各自说了什么;而系统只需框选其中一人的面部,就能从混合语音中提取出对应的声音。

视觉线索的作用并不局限于唇部动作。人在开口之前往往会有一些预备动作。通过观察面部表情和身体动作,系统可以预判谁即将发言,并提前将注意力转向对方。此外,视觉信息还能提供场景和语义背景,辅助理解听到的内容。

如果面部被遮挡,视觉信息还能引导听觉吗?

针对这一问题,李教授与学生进一步探索了身体姿态和手势等线索。实验表明,即使面部被遮挡,肢体动作依然有助于提取目标说话人的语音。尽管不同国家和文化背景下的人们肢体表达习惯各异,但身体动作与语音通常具有一定的时间同步性,模型正是利用这种同步关系融合视听信息,实现目标声音的提取。

团队还进一步拓展了目标提示方式:用户既可以通过文字描述指定目标,如“男声”或“女声”,也可以提供参考音频或人物照片,帮助系统建立声音与特定人物之间的关联。

从参考语音、面部图像、身体姿态到文字描述,机器识别和定位目标说话人所能利用的线索越来越丰富,也让目标说话人提取从单一的声音匹配逐步走向多模态信息引导。

04

从外部感知到脑电解码:

识别听觉注意

在声音与视觉之外,李教授将研究进一步延伸到大脑:能否直接通过脑信号,判断一个人正在关注谁?

随着年龄增长,人的听力未必明显下降,但在多人同时交谈的环境中,分辨不同声音的能力却可能减弱——听得见,却不一定听得清自己真正关注的那个人。

由此,团队提出 Neuro-steered Hearing(神经引导听觉)的研究方向。系统通过EEG信号记录大脑活动,解码其中与听觉注意相关的信息,并将解码结果作为控制信号,引导模型提取目标说话人的语音。

现场演示中,两人同时讲话,佩戴脑电设备的参与者先后将注意力转向不同的说话人,系统提取的声音也随之切换,整体处理延迟约200毫秒,已接近实时。

李教授希望,未来这项技术能够集成到助听设备中,让使用者在嘈杂环境里自主选择想听的声音。它不仅有望帮助听力受损人群,也可能成为普通人日常交流中的智能辅听工具。

05

不仅听见,还要听懂:

语言知识与语音大模型

如前所述,人类能够借助已有知识补全残缺的声音信息。受到这一认知机制的启发,李教授团队也开始探索将语言知识引入语音提取,让机器不仅关注声音信号,还能利用语言规律辅助理解。

团队主要探索了两种思路。

一种思路是在语音提取过程中引入语言知识,让模型能够根据目标语言筛选声音。

演讲展示了一段德语与英语相互重叠的电视节目:画面中的人物在说德语,电视台又叠加了一段英语解说。对于想听清德语原声的用户,系统可以从混合声音中只提取德语部分。

值得一提的是,该模型仅有约100万至200万个参数,并非大语言模型,却已经能够实时运行。

另一种思路,则是将语言模型作为训练约束,让语音模型在学习声学特征的同时,也学习语言本身的规律。

传统语音分离模型主要关注信号能否被准确恢复,但信号质量高并不意味着语音内容一定清晰、易懂。团队尝试在训练过程中引入语言模型,使系统在关注声学特征的同时,也兼顾语音内容是否符合语言规律。

相关工作 ELEGANCE 利用语言模型为音视频目标语音提取提供指导。语言模型只在训练阶段参与,推理时可以移除,因此不会增加实际运行成本。

在此基础上,团队进一步探索目标说话人提取与语音大模型的结合。

TSE-Omni 尝试统一音频与视觉信息,使模型能够依据人物、声音等多种线索提取目标语音;同时,模型还会利用历史预测结果构建目标说话人信息,在视觉线索受到干扰时,借助已有的语音预测进行补偿。

另一个方向是 TS-Encoder(Target-Speaker-Aware Speech Encoding)。这项研究将目标说话人信息融入语音编码,再交由语音大模型处理,使大模型能够更准确地接收指定说话人的语音信息。

在 Libri2Mix clean 测试集上,基础 Speech LLM 的词错误率(WER)为70.55%,采用 WeSep 级联方案后降至12.53%,而 TS-Encoder 进一步将其降至10.67%。

这体现了团队正在探索的一个新方向:不再止步于从混合声音中分离出某个人的语音,而是让语音大模型能够准确感知目标说话人,并进一步完成语音识别与内容理解。

06

让机器人学会主动倾听

演讲最后,李教授展示了将上述研究应用于真实机器人的尝试。

在多人交流场景中,机器人需要先确定该关注谁,再结合声音与视觉信息持续追踪目标人物。演示中,机器人能够识别画面中的人物,并用绿色框标出当前的关注对象;当周围多人同时讲话时,它可以选定其中一人的声音进行处理。

现场有观众提问:机器人应该主动与谁交流,又该如何判断对方的意图?李教授介绍,目前系统主要依据一些初始线索作出判断,例如位于画面中央的人,或音量较大、较为突出的说话人。机器人先据此确定目标并持续追踪,一旦发现判断有误,再进行调整。这仍是一种初步的选择机制,但已让机器人具备了主动倾听的雏形。

也有观众关注这项技术在听觉辅助领域的应用,询问脑电解码能否帮助听觉处理障碍人群更好地分辨复杂环境中的声音。李教授表示,团队正在推进脑电设备的小型化。目前实验使用的设备有128个电极,但若仅针对听觉注意进行解码,实际上只需在耳周布置约10个电极。团队正探索将相关技术集成到耳机或助听设备中,推动其走向实际应用。

▎结语

从汉字“听”中的耳、目、心,到声音、视觉与脑信号的多模态协同,再到语音大模型与机器人,整场演讲展现了语音智能从被动感知向主动倾听与理解的发展探索。

倾听从来不只是接收声音,更是主动选择、持续关注与理解信息。对机器而言,听见只是第一步,知道该听谁、理解对方所表达的内容,才是迈向自然人机交互的关键。

ACM MM 正在召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

📌 进群传送门: 扫码进群或添加微信A17648278904,备注:ACMMM+单位/学校+姓名+方向。

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

被 AMD 收编之后,李飞飞的 World Labs下一程走向何方?| GAIR Live 预告

2026年11月15日 12:38

AI科技评论 2026-11-15 12:38 广东

世界模型的多流派,最终会收敛到同一基础模型,还是继续分化?

                                                                                                       

AMD的收购落锤不到两个月,World Labs的名字已经和“世界模型”一起,被推到了物理AI舞台的正中央。但一个问题始终悬而未决:被巨头收编,究竟是世界模型走向落地的最短路径,还是另一场漫长基建的开始?

今年9月,AMD以约82亿美元全股票交易收购李飞飞创办的World Labs,李飞飞本人出任AMD执行副总裁兼首席科学家。随后的CoRL 2026上,李飞飞与苏姿丰首次同台,一边发布统一世界模型Atlas,一边描摹机器人作为“算力新引擎”的数千亿美元市场。资本和叙事都已到位。

但技术圈真正关心的是另一层:Atlas能凭几张照片重建三维场景、生成可控相机运动、让机器人“零样本”仿真训练再迁移真机,可光有漂亮的重建和生成远远不够。从“看得见”到“算得准”,从“仿真里跑通”到“产线上稳住”,中间隔着的能力才是关键。AMD为什么非要收购World Labs?Atlas闭源与AMD开放叙事如何调和?收购之后,东、西半球谁受益、谁承压……

11月15日19:00,GAIR Live 将围绕「预测World Labs 被收购之后的后续走向」展开圆桌讨论。 本期直播邀请知天下 CEO 宋宽担任主持人,与杭州时空张量创始人郑道勤、知天下首席科学家魏泽强、飞渡科技副总裁郭荆璞一起,拆解这笔交易的动机与路线图,推演它对东西半球AI生态的连锁反应,并追问世界模型下一程的技术瓶颈。

▎圆桌主题

预测 World Labs 被收购之后的后续走向

▎特邀嘉宾

  • 宋宽 知天下CEO

  • 郑道勤 杭州时空张量创始人

  • 魏泽强 知天下首席科学家

  • 郭荆璞 飞渡科技副总裁

▎核心讨论话题

1.AMD为什么买World Labs,难道仅仅投资还不够吗?未来,AMD的路线图会如何发展?

2.李飞飞的下一步怎么走?Atlas闭源与AMD开放叙事如何调和,如何撑起世界规模的服务?

3.收购之后,东、西半球的AI商业生态里谁会受益,谁会压力山大?

4.从生成逼真的场景,到可靠预测“采取一个动作后会发生什么”,世界模型还需要哪些关键算法突破?下一程更依赖算力扩张还是数据变化?

5.世界模型的多流派,最终会收敛到同一基础模型,还是继续分化?

▎直播时间

11月15日晚上19:00(北京时间)

▎观看方式

扫描下方海报二维码预约直播,与宋宽、魏泽强、郭荆璞、郑道勤一起讨论:被AMD收编之后,World Labs的下一程走向何方?

📌 进群传送门:如果你对这个议题感兴趣,想参与我们讨论更多,欢迎添加微信进群:HeBaoDanWeiXin

备注:GAIR live + 单位/学校+姓名+方向

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

2026年11月13日 15:32

原创 郑佳美 2026-11-13 15:32 广东

Decider v1.3:63 项分类任务准确率达 91.6%,对标 Jev 成本直降 61%。

    作者丨郑佳美

    编辑丨岑   峰

                                                                                                       

刚刚,黄仁勋每天都在用的「AI 导师」 Perplexity 有了新动作:正式推出 Decider v1.3,直接把 AI 系统里的判断能力单独做成了一套模型。

Perplexity 这次直接改了模型处理判断任务的方式:同一份上下文可以同时交给多个问题使用,模型只需进行一次前向传播,就能输出各个问题的答案概率。 过去需要反复调用 LLM、生成文本、解析结果的流程,现在可以收敛到一次模型计算中。

为了让多个问题共享计算时不互相干扰,Perplexity 还重新设计了 Attention 机制,让共享状态读取全部问题,同时限制问题之间直接交换信息。v1.3 进一步加入 Locate 能力,可以根据字段描述直接定位原文跨度,将判断与文本抽取整合进同一套架构。

这套模型已经进入 Perplexity 的生产系统。在一次内部安全审查中,它单日处理了 7000 个 Agent 会话,累计读取 10 亿 token,并推动 14 项规则修复。

从技术架构来看,Decider 有三个紧密关联的设计层次:输入端如何把共享上下文与独立问题组织在一起,注意力层如何控制不同问题的信息交互,训练与输出层又如何让同一套模型兼顾分类判断和文本定位。

其中,隔离式问题注意力改变了多任务共享计算的底层方式,也是理解整个 Decider 架构的关键切口。

01

一份上下文,承载多个判断任务

Decider 的输入其实是由共享状态(State)和若干问题块(Question)组成。State 保存网页、文档或 Agent 执行记录,Question 描述具体判断目标,并列出候选答案。每个候选项映射到预定义标签 Token,例如 A、B、C,特殊的 <|marker|> Token 则标记答案读取位置。

模型处理时,会提取 Marker 对应位置的隐藏状态,交给决策头计算各候选项的分数,再转换为概率分布。

这里的决策头由基础模型原有的语言模型输出层改造而来:Perplexity 保留 A、B、C 等候选标签对应的权重行,移除其余词表输出权重,再针对决策任务进行训练。原本用于计算下一个 Token 概率的输出层,由此转为专门处理选项判断。

这个设计让任务定义与输出计算分离。调用方可以通过自然语言描述问题,通过选项限定答案空间,模型则负责根据上下文计算各选项的概率。

情感分析、自然语言推理、意图检测、实体匹配、内容审核、事实核查和评分,可以采用同一套输入协议,不需要为每种任务单独建立一套模型结构。

Perplexity 将数百个公开数据集转换为 State、Question、选项和目标组成的统一训练格式。训练目标既可以是正确标签,也可以是完整的答案概率分布。对于同一段长文本需要执行多项判断的情况,多个 Question 可以放进同一次前向传播,模型只需处理一份共享上下文。

不过计算收益需要准确理解:增加问题仍然会增加 Question Token 和注意力计算,Decider 节省的主要是长文本被重复编码的开销,以及生成式模型逐 Token 解码和外部解析的成本。问题数量越多、共享文本越长,复用价值越明显。

输出概率还保留了业务策略的调整空间。模型负责给出候选项的概率分布,应用根据误报、漏报的业务代价设置阈值。网页过滤和 Agent 执行审查可以使用不同门槛,无需为每种业务重新训练决策模型。

02

多任务如何共享信息,互不干扰

输入协议确定后,新的问题落在模型内部:多个 Question 同时进入 Transformer,它们之间应该建立怎样的信息连接?

Decider 以生成式 LLM 为骨干,原有因果注意力按照文本顺序组织信息,当前位置只能读取自身及前面的 Token。这种结构适合逐步生成文本,却不利于需要理解完整上下文的判断任务。

Perplexity 因此改用双向注意力,让 Token 可以读取完整输入。消融实验显示,这项调整改善了模型的决策表现。

双向注意力开放了完整上下文,但也让多个问题之间出现信息交互。v1.2 使用完全互见模式,State 和全部 Question 可以相互读取。这样一来,某个问题的表示可能受到其他问题的影响,调用方调整问题组合时,原有判断也可能随之变化。

v1.3 引入的 Isolated Question Attention 改变了这套连接关系:State 可以读取全部 Question,而每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题。

这里有一个关键细节:State 不再只是保存原始文本的容器,它还承担了跨任务的信息汇聚作用。它可以读取整组问题,在多层注意力计算中形成包含任务条件的上下文表示,每个 Question 则通过 State 获取相关信息,并保留自身的任务描述。

这种结构切断了 Question 之间直接传递局部表示的路径,但没有消除全部间接影响。由于 State 已经读取其他问题的信息,经过多层 Transformer 的传播,问题 A 的信息仍可能先进入 State 的后续表示,再被问题 B 读取。

Perplexity 控制的是直接注意力连接,而非让各项任务在数学意义上完全独立。这个区别也解释了为什么 v1.3 没有选择完全可缓存模式。团队测试过另一种结构:State 只读取自身内容,Question 再读取 State 和自身 Token。

这样同一段文本可以在不同请求之间复用缓存,因为 State 表示不依赖具体问题集合。但代价是 State 编码时看不到任务要求,无法根据当前问题调整上下文表示。Perplexity 最终选择隔离式问题注意力,保留问题对上下文的条件作用。

团队还通过标签扰动测试检验输出稳定性。在 372 道多项选择题上,改变选项顺序、标签映射和标签名称后,Decider v1.3 只有 0.27% 的问题发生语义答案变化,Jev 1.14 的变化比例为 2.69% 至 4.84%。相同输入重复执行时,Decider v1.3 的输出保持一致。

隔离式注意力由此成为 Decider 的核心架构设计:它决定了共享上下文怎样参与多项判断,也决定了不同问题之间可以通过哪些路径交换信息。

03

从选项判断,到文本跨度抽取

普通决策头的输出范围由预设选项限定。当任务要求模型从原文中找出一段未知长度的文本时,仅靠 A、B、C 这样的标签已经无法满足需求。Decider v1.3 因此增加 Locate,将输出扩展到文本跨度定位。

Locate 新增了 <|locate|> Token、跨度头(Span Head)和 LoRA 适配器。每个待抽取字段拥有独立的 Locate Token,其嵌入由此前训练得到的 Marker 表示初始化。跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选文本片段的起点、终点及两端配对关系进行评分,同时为字段生成专属阈值。

起点与终点评分负责寻找文本边界,配对评分则判断两个位置能否组成有效片段。单独找到两个高分位置,并不意味着它们一定属于同一段合理文本,因此配对关系也需要独立学习。模型返回原文字符区间,下游程序可以直接读取对应内容。

训练采用改进版 InfoNCE 目标,让正确跨度的分数高于阈值,同时让阈值高于其他候选跨度。当原文没有对应字段时,模型需要将阈值抬高,使候选片段无法通过筛选,进而返回空列表。

Perplexity 使用命名实体识别、PII 检测和抽取式问答数据训练 Locate,字段描述既有简短标签,也有自然语言指令。这样的数据组织让模型需要理解字段含义与文本内容之间的关系,而非只记忆固定字段名称。

Locate 也带来了参数干扰问题。原有决策头学习候选选项之间的概率分布,跨度头学习文本边界和片段配对,两种任务对模型内部表示的要求存在差异。

Perplexity 发现,将 Locate 适配器合并进主干后,普通决策请求会出现退化,因此保留独立 LoRA 适配器,只在文本定位任务中启用。

主模型采用分阶段训练。较大版本以 Qwen3.8-27B 为基础,先进行大规模通用全量微调,并排除公开评测基准的训练划分,随后通过 LoRA 加入领域任务,再进行视觉适配。团队对三个不同随机种子的文本训练权重取平均,以改善模型整体表现。

Flash 版本以 Qwen3.5-4B 为基础,通过较大 Decider 蒸馏获得能力。学生模型拟合教师给出的完整概率分布,通过 KL 散度学习教师对不同候选项的相对判断。

相比只学习正确标签,分布蒸馏还保留了其他候选项的相对置信程度。Perplexity 表示,在相同训练数据下,KL 蒸馏在留出任务上的泛化表现优于标准交叉熵目标。

评测中,Decider v1.3 在 63 项分类任务上的平均准确率为 91.6%,比 Perplexity 原有生产分类器高 6.54 个百分点,在 72 项检索任务中,逐点重排的平均 nDCG@10 达到 83.99,比 Qwen3-Reranker-8B 高 1.81 分。

八种语言任务的平均准确率为 88.16%,Jev 1.14 为 85.41%。Locate 在 17 项域外任务上的平均得分为 69.0,Flash 为 63.6。生产评估覆盖 API 上线后前 18 天的一百万条请求,去重后包含 2,318,887 个问题。由于生产请求缺少人工标注,团队使用前沿 LLM 评判模型生成参考答案。

Decider v1.3 与参考答案的一致性为 93.98%,略高于 v1.2 的 93.68% 和 Jev 1.14 的 93.35%。这项数据反映模型与评判模型的吻合程度,但不能直接等同于人工标注下的真实准确率。

04

判断,开始拥有独立计算架构

Decider 的技术路线围绕一个明确问题展开:如何让模型在保留上下文理解能力的同时,高效处理大量结构化判断。它通过输入协议、隔离式注意力和 Locate 扩展,建立了从选项判断到文本定位的完整能力体系。

但这套架构仍有边界。目前公开的评测结果展示了它在分类、检索重排和文本抽取上的表现,生产案例也说明 Perplexity 已经将其用于内部工作流程。

不过,模型的实际收益仍然取决于任务类型、上下文长度、并行问题数量和部署成本。现有数据还不足以说明这种架构适合所有 AI 应用,尤其是开放式推理和复杂规划,通用 LLM 仍然有自己的优势。

对于 Agent 系统,Decider 确实是提供了一种值得继续验证的分工思路:让通用 LLM 处理复杂理解与生成,将边界清楚的分类、筛选和评估交给专门模型。但两者能否形成更合适的协作方式,还需要结合真实工作负载中的延迟、资源消耗和任务表现进一步检验。

参考链接:https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

AI 已经进入企业,为什么组织还没有进化?

2026年11月12日 20:59

原创 成妍菁 2026-11-12 20:59 广东

十年前看人工智能,十年后看智能组织。

    作者丨成妍菁

    编辑丨胡   敏

                                                                                                       

最近与AI圈子的人聊,普遍谈到一个点,人已经接受AI提效,但企业还没准备好。

一边是员工已经在用agent 干活、甚至开始自己搭小系统;另一边是公司的KPI、审批链、汇报节奏,还按着三年前的样子在转。

Deloitte近期的调查显示,近四分之三的美国企业高管预计,未来四年,约一半业务流程都将围绕AI Agent重新设计;61%的人认为,未来大多数Agent会具备高度自主性,人类只需要在一旁监督。

看似被AI接管全部业务已经是大势所趋,但被问到企业是否准备好迎接这种变化时,只有五分之一的领导给出肯定答案。

在今天的百度世界2026上,百度创始人李彦宏也谈到了这一矛盾。他给出的判断是:AI不只是技术革命,更是组织革命,人工智能的下一幕是智能组织。

接下来企业要改变的不能只是员工手里的工具,还要包括组织自身的运转方式。

01

AI进了公司,但又没完全进

要想重构组织运转方式,首先要破除常规认知:

公司里的 AI 浓度高,并不意味着 AI 转型已经发生。

员工用 Agent 写代码、做研究、生成方案,业务部门跑通几个试点,管理层再把智能体数量、Token 消耗量和使用率写进汇报——看起来,一家公司的智能化正在全面推进。

但个人效率,并不会自动提升组织生产力。

打个比方,产品经理原本要两天完成的需求分析,现在可能要半天;研发借助 Agent 快速写出代码初稿,销售也能在拜访客户前生成一份研究报告。

但需求仍然要经过评审、审批和排期,跨部门协作依然依赖会议和层层同步,最终结果也要等原来的汇报周期才能被看见。兜兜转转一大圈,员工个人时间是减少了,但企业整体组织力并没有明显提升。

这并非个别企业的问题。

微软《2026年工作趋势指数年度报告》所呈现的,正是这种企业AI转型悖论:员工已经开始借助AI提升个人效率,团队也在尝试新工具,但业务流程、协作方式和评价机制仍然沿用过去的模式。

波士顿咨询(BCG) 给出的建议更加直接:为 AI 重新设计公司,而不是让 AI 适应原来的公司。

其研究中提到的一家欧洲能源企业,曾部署大量 AI 试点,却没有获得与之匹配的整体收益。直到企业将目光从单个工具和局部场景,转向端到端客户流程的重构,才取得实质性业务改善。

这类案例说明,AI 试点成功与企业转型成功之间,还隔着一层组织设计。

如果企业只是在原有岗位上增加工具,在固定流程中插入几个 Agent,那么 AI 可以优化局部,却很难改变整体。

它甚至会让原有瓶颈变得更加明显:内容生产得越来越快,决策却没有同步提速;代码生成得越来越多,需求确认和交付机制仍然照旧。

当执行能力被迅速放大,组织如何分配任务、共享知识和作出决策,反而成了新的约束。

过去几年,AI 行业的主要竞争集中在技术供给侧。

模型参数、训练算力、推理成本和榜单排名,决定了企业能够获得什么样的智能。

业界曾流行 AI“五层蛋糕”,从能源、芯片、基础设施一直延伸到模型和应用,强调的正是智能生产所需要的完整体系。没有能源和算力,上层模型与应用都无从谈起。

模型供给的变化,也开始体现在交易端。词元所上线一个月,入驻供应资源已超过100个,日均调用次数突破5000万次,日均Token调用量超过7000亿。

比规模本身更值得关注的是,模型交易正从企业与厂商之间的私下对接,走向独立的产业环节;随着这一环节形成,规则提供者也逐渐呈现出公共品属性。

但站在企业一侧:当这些智能已经可以购买、调用和部署,又是什么决定它最终能产生多少价值?

李彦宏把视线投向了下游。在2026百度世界大会上,李彦宏提出,“AI发展的下一幕,是智能组织”。

他提出,AI 技术的上游是能源,下游是组织能力。前者决定智能如何被生产,后者决定智能如何进入真实业务、转化为经营结果。

这两种判断并不矛盾,而是在回答 AI 产业链两端的问题。对企业来说,即便上游提供的“电力”充足,如果内部仍是旧的生产系统,新增的智能也未必能变成新增的利润。

李彦宏将AI比作新的电机,将智能组织比作新的厂房。

他判断,AI 没有产生预期的经济效益,一个重要原因是企业只是更换了电机,却还没有重新设计工厂。

模型、算力和 Agent 可以提供更强的执行能力,只有当任务分配、知识流动和决策流程随之改变,这种能力才可能从员工的个人桌面,走进企业的完整业务链条。

AI 竞争的重心,也由此开始从技术供给进一步转向价值兑现。

企业需要回答的,不再只是“我用了什么模型、部署了多少 Agent”,而是这些智能体,究竟有没有改变公司?

02

打工人用AI效率提升,那么公司呢?

微软CEO之前常说: AI不是一项技术,而是企业的未来形态。

理解了这句话,其实就能理解李彦宏提出的“智能组织。”

坦白说,如果只看字面,它很容易被理解成一种由人和 Agent 组成的新型公司,或者被当作“AI 原生企业”的另一种说法。

但李彦宏想讨论的,不是给每个岗位配上一个AI助手,而是重新设计企业的工作方式:任务由谁完成,经验如何沉淀,流程又如何根据结果持续调整。

可以从三个层面来解读。

首先是打破岗位边界。

传统企业依靠专业分工运转,一个完整任务往往需要产品、设计、研发、运营等多个岗位接力完成。

AI时代,智能体开始承担其中的具体执行工作,人负责设定目标、调度资源和关键决策。

组织不再完全围绕固定岗位分配工作,而是可以根据任务需要,灵活组合人与智能体。

百度搭子团队的实践提供了一个例子。一位原本具有量子计算研究背景的成员,加入百度后几乎从零进入产品和企业场景,借助百度搭子,同时承担起产品、研发和项目管理等工作。从分析问题、形成方案,到推进执行、验证结果,他不再被某一个固定岗位所限定。

产品新人依托搭子可快速跑通从需求到原型的全流程,团队半年迭代160余次,90%代码、超50%传播物料由搭子完成。

这个案例中,真正被打破的不是“谁应该做什么”的规定,还有知识和经验流动的限制。

百度数字人团队推动产品、研发、设计和测试等角色向 Builder 转型,也是同一逻辑的延伸。

重点不是让每个人无条件承担更多工作,而是减少任务在不同角色之间的反复交接,让能够定义目标的人,也有机会借助 AI 走到最终结果。

但如果只有任务执行方式的变化,智能组织只能算完成了一半,另一半还得看组织如何做。

其次是沉淀隐性知识。

企业真正有价值的知识,是员工的实践经验:比如老员工处理故障的判断方法,销售识别客户需求的经验,设计师对审美和规范的把握。

这些知识难以标准化写进文档,也容易随着人员流动而丢失。

但AI提供了一种新的沉淀方式:将专家经验、业务规则和操作方法转化为知识库、Skill以及智能体能够调用的能力。

百度与南方电网的合作,便涉及这一过程。面对配电网故障研判,传统人工分析单次耗时超过60分钟,而且高度依赖专家经验。

百度搭子落地南方总调后,通过学习上万条历史故障处理数据,将资深专家的经验沉淀为可复用的专业知识,再把故障记录、开关信号和线路拓扑串联起来,形成完整的证据链。目前其故障分析准确率达到70%以上。

百度MEG设计团队则展示了另一种知识沉淀方式。

团队将资深设计师的审美经验和设计规范转化为可复用的AI Skill,让AI不只是按照指令生成图片,还能够调用团队积累的设计方法,参与内容生产。目前,AI工具已经承接了超过50%的内容供给,团队效能提升100%—200%。

从电力故障到设计内容生产,两个场景背后的逻辑很相似:把原本依赖个人经验的工作方法,变成组织可以反复调用的能力。

当然,随着业务环境会变化,经验也可能过时。所以就需要让任务结果重新回到流程中。

也就是最后提到的设计流程闭环。

传统流程通常由人预先设计,执行中出现问题,再由人复盘和修正。

每次任务完成后,系统能够根据预设目标衡量结果,识别执行中的问题,再将反馈用于调整下一轮任务。这样,流程就不再是一套固定不变的操作规范,而是能够随着业务运行不断修正的系统。

李彦宏将其概括为“可衡量 + Lopping= 持续进化”。

其中“可衡量”,意味着任务结果需要有明确的评价标准,Lopping则意味着执行、反馈和优化要形成持续循环。

当越来越多任务都能够完成这样的闭环,组织便不再只是依靠管理者推动,而是能够在日常运行中不断积累经验、修正流程。

要支撑这样的闭环,仅靠一个模型 API 显然不够。

智能体需要理解企业的业务目标,调用不同系统中的数据、知识和工具,还要能够在长链路任务中持续执行、接受评估并根据反馈调整。这对底层基础设施提出新的要求。

这也是沈抖在2026百度世界大会上强调的AI云和Agent Infra的意义所在。

按照百度的思路:底层百舸 AI Infra 提供算力支撑,上层千帆 Agent Infra 则提供长上下文管理、持久记忆、工具调用、子智能体调度、评估反馈和运行环境,让大规模、长周期任务能够真正跑完闭环。

放在“芯—云—模—体”的全栈结构中,这种支撑关系会更清楚:芯片提供算力基础,云提供智能体运行和调度的基础设施,模型提供理解、推理与生成能力,智能体则进入具体任务和业务场景。

从岗位到任务,从个人经验到组织智能,再到流程的持续迭代,智能组织改变的不是某个岗位的工作效率,而是企业生产和协作的底层逻辑。

接下来要看的,正是这些原则如何变成实践:真正参与业务流程、解决实际问题?

03

智能组织怎么在企业内部生长?

判断一家企业是否进入AI Native组织,要看AI是不是真的在改变内部整个的运作。

以百度数字人创新业务部来看。

团队打破产品、研发、设计、测试之间的岗位边界,推动全员向Builder转型,并基于自研BiuBiuAgent,让部分需求由单人完成全流程交付。

仅在第三季度,团队就完成了564次产研迭代,沉淀130个Skills和729篇组织资产。

随着Loops持续运转,产研人均吞吐提升125.3%,交付周期缩短28.8%。一名校招新人借助AI,仅用一天就完成了过去需要5个角色、至少10天才能交付的需求。

高速增长的数字背后,是AI真正在企业组织间“转”起来。

这样一来,员工就可以把更多精力放在目标判断和流程组织上,那些团队在执行中形成的Skills和组织资产能够被反复调用,单个人的经验不再随着任务结束而消失。

另一个例子是dodo。这个由百度内部十余人团队打造的AI助手,上线七个月后覆盖了99%的正式员工,并推动300多个企业平台完成AI友好化改造。

这也揭示了组织智能化容易被忽略的一面:企业不能只要求员工学会使用AI,还需要让原有系统、数据和流程能够与AI协同。

否则,智能体即使能完成某个环节的任务,也很难真正打通业务链条。

过去一年,百度内部日均活跃智能体从约 5000 个增长至 3.7 万个,每周有效完成任务数也从 8.4 万提升至 100 万以上。

规模扩张之外,知识沉淀也在同步发生:百度已累计搭建超过 4300 个工作空间,沉淀超过 2 万个公司级通用技能,让原本分散在个人和团队中的经验,逐渐转化为可复用的组织能力。

如果说百度的实践,展示了组织协作方式的变化,那么以下这些案例,则检验了AI能否进入真实业务。

在南方电网,百度搭子落地南方总调,形成面向配电网故障研判的“天璇伙伴”。

广西电网2025年发生永久性故障8215次,传统人工研判单次耗时超过60分钟,而且高度依赖专家经验。

天璇伙伴学习上万条历史故障处理数据,将资深专家的判断经验沉淀为可复用知识,再把故障记录、开关信号和线路拓扑串联成证据链,辅助完成故障分析。

根据客户反馈,故障分析效率提升12倍,分析准确率达80%以上,实现专家经验复用,目前已在广西14个地市、112个县推广。

这类应用的价值,不只是让故障分析更快,而是把原本掌握在少数专家手中的经验转化为系统可以持续调用的专业能力。

海高激光的实践,则把AI带到了制造现场更复杂的决策环节。

在生产线上,多台六轴机械臂需要协同完成同一工件的切割加工。过去,工艺人员主要依靠经验分配轨迹块、确定执行顺序;但当机械臂数量、加工任务和工艺约束增加,局部安排很容易影响整体效率。

百度伐谋围绕运动耗时预测、多机防碰撞和任务分配排程持续优化算法,在满足机械臂可达性、工艺依赖和无碰撞等约束的前提下,将工件编程耗时从8小时压缩至10分钟,解决行业卡脖子问题。

从电网故障研判到机械臂协同排程,两个案例指向了同一个变化:AI进入产业,是要理解行业知识、适应业务约束,并在实际任务中接受结果检验。

当然,智能组织并不意味着组织里的人会不重要。

在大会现场,数字人希加加与Robin的一段对话,恰好触及了这个问题。

当希加加问自己能否成为CEO时,Robin给出的回答是否定的。

在他看来,CEO需要理解公司的使命和愿景,AI可以成为CEO的thinking partner,帮助其提升效率、提供灵感,却不必急于取代CEO。

当话题进一步转向“如果AI渗透到组织的每个角落,组织最核心的部分还是什么”时,Robin给出的答案是:人。

我们常说AI无法取代人类,但在实际应用中仍然会有担心被替代,这段对话反而区分了AI的执行力和组织方向。

AI可以继续承担具体工作,参与分析、提供建议,但企业的存在价值,以及未来的走向,最终的决策还是在“人”这里。

这倒是有点像 苹果公司早期提出的“DRI(Directly Responsible Individual,直接责任人)”概念。

在苹果公司,对于谁应该负什么责任从来都很清晰。简单来说,AI可以帮你决策,但最终结果和价值判断必须有人负责。

换句话说,智能组织不是把人从流程中拿掉,而是重新分配人与智能体承担的职责。

未来,企业之间真正的差距,在于谁能把AI嵌入业务流,把经验沉淀为组织资产,形成一套能够持续运转和进化的组织系统。

//

推荐阅读

图片

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

2026年11月12日 20:59

原创 郑佳美 2026-11-12 20:59 广东

Jev 拿下的 75 亿美元估值曾被质疑是一场泡沫。现在 Google 用一款多模态决策模型告诉市场:这不是泡沫,是赛道。

    作者丨郑佳美

    编辑丨岑  峰

                                                                                                       

谷歌正式入场了。

刚刚,谷歌发布 Gemini Decision 1,正式向 两个月前引爆决策模型品类的 TypeSafe Jev发起挑战。

和 Jev 一样,这款模型不生成任何文本,只计算供程序直接驱动 Agent 执行的候选项概率和置信度,不需要逐 Token 生成答案,连输出 Token 费用也省了。

更大的突破出现在并行计算上。Gemini Decision 1 可以在同一份上下文中处理至多 1000 项独立判断,而且支持文本、图像、音频、视频和 PDF 混合输入。对于需要反复检查文档、选择工具、评估任务状态的 Agent,大量原本分散在不同模型调用中的判断,现在可以集中在一轮请求中完成。

在数据上,7 项双方均有报告的共享基准中,Gemini Decision 1 赢下 5 项,Jev 在 When2Call 工具调用和 Mind2Web 多模态上仍保持优势(82.0% vs 79.9%,86.8% vs 86.2%)。

不过,Gemini 每 100 万输入 Token 收费 0.10 美元,是 Jev 的约 2.38 倍。性能上去了,价格也更贵了,谷歌显然想用更强的多模态能力和批量决策能力打开市场。

Jev 在 9 月发布后数周内拿下 75 亿美元估值,a16z 领投 8.7 亿美元,约三分之一财富 500 强被列为客户。但质疑从未消散:厂商自报的“快 193 倍、便宜 445 倍”缺乏第三方复现,原创性争议尚未定论,独立评测指向同一个结论:快和便宜是真的,质量是另一回事。

Google 此时入场,至少证明了一件事:决策模型不是一场闹剧,而是一个值得巨头押注的品类。

01

模型怎样跳过文本生成完成决策

普通 LLM 处理“从四个工具里选一个”这类任务时,仍然走自回归解码:逐 Token 生成工具名或 JSON,程序再解析执行。模型承担的是开放式文本生成,业务需要的却是有限候选项中的概率判断。

Gemini Decision 1 把输出目标改成了候选项评分。开发者提前定义问题、候选集合和判断标准,模型读取输入后,直接返回各候选项的概率分布。整个过程通过单次前向计算完成,不需要逐 Token 生成答案,也没有输出 Token 费用。

这和普通的 Structured Output 有明显区别。Structured Output 仍然让模型生成文本,只是通过 Schema 限定 JSON 的字段和格式,Gemini Decision 1 则直接围绕有限候选空间完成评分,返回结果本身就是程序可以读取的数据。

这里有一个容易被忽略的细节:不同判断类型返回的概率含义并不相同。Noul 处理二元判断,返回某个条件成立的概率,范围为 0.01—0.99。如果问题本身存在歧义,开发者还可以分别定义什么情况算 Yes、什么情况算 No,减少判断标准不清晰带来的偏差。

Choice 处理多分类问题,支持 2—255 个候选项,返回胜出选项以及各候选项的归一化概率,所有候选项概率之和为 1。它适合工具路由、模型选择和任务分类。

不过,这种概率分配始终发生在给定的候选集合内,即使所有选项都不符合输入,模型仍会选出一个相对匹配的结果。因此,开发者需要提供 Other 选项,或者额外设置范围检查。

Score 的设计更有意思。它并不简单返回一个等级,而是先给有序评分标准中的每个等级分配概率,再计算加权评分。例如,将问题分为 0 级、1 级和 2 级,模型可能给出 0.1、0.7 和 0.2 的概率,最终评分可以落在 1 和 2 之间。

这实际上把离散分类扩展成了连续评分,方便程序进行排序和阈值筛选。不过,加权结果会压缩概率分布中的信息:两个输入即使得到相同分数,背后的等级概率也可能完全不同。因此,对于需要区分风险等级的任务,程序还应该读取各等级的概率,不能只使用最终评分。

这三种类型构成了 Gemini Decision 1 的输出体系。模型不再负责生成一段可以供人阅读的答案,开发者需要设计清晰的问题和候选标准,程序则负责把概率结果转化成具体执行条件。

02

1000 项问题如何完成独立计算

Gemini Decision 1 的请求结构是一份 Shared Input 对应一组 Questions 。前者承载文本、图像、音频、视频和 PDF,后者定义需要完成的判断任务。每个问题可以使用不同的判断类型和评分标准,单次请求支持至多 1000 项问题。

以设备巡检为例,系统收到一段运行视频、一份维修记录和一段现场语音,需要判断设备是否异常、异常类别、严重程度以及是否需要人工检查。

开发者可以把三种材料放进同一份输入,再分别定义这些问题。异常检测使用 Noul,类别判断使用 Choice,严重程度使用 Score。模型读取相同材料,分别完成各项评分。

这套设计有两个技术细节。首先,每项问题具有独立的评估路径。Google 文档明确说明,各问题只能读取共享输入,不能读取其他问题的答案。

增加或删除某项问题,也不会改变其他问题的答案。这意味着并行评分没有依赖前序问题的推理链,模型可以在同一轮前向计算中完成多个独立判断。

其次,共享输入只计费一次。每项问题额外产生的费用来自自身的 instructions 和 criteria Token,而不需要重复计算整份材料。对于长文档批量审核、音视频检查和多维度内容评估,这种计费结构会影响整体调用成本。

但 1000 项问题并不意味着可以把任意复杂的工作流塞进一个请求。如果问题 B 必须根据问题 A 的具体结果生成新的候选项,两项任务就存在前后依赖。开发者需要先读取 A 的结果,再提交 B。

若 B 的候选项已经确定,只是需要在 A 不满足条件时忽略 B 的答案,则可以将两项判断同时提交,由程序决定是否采用结果。

输入长度同样需要考虑。Gemini Decision 1 的上下文上限为 256K Token,这个预算需要由共享材料和全部问题共同使用,并非每项问题各自拥有 256K。问题数量增加时,instructions 和 criteria 也会占用上下文空间。

谷歌公布的延迟数据中,在上下文不超过 16K Token 的测试条件下,从 1 项增加到 100 项问题,模型计算延迟基本保持平稳,中位计算延迟为 50—100 ms,端到端延迟为 150—250 ms。需要区分的是,API 支持 1000 项问题,公开的近乎平稳延迟测试范围则为 1—100 项。

多模态输入还涉及一项工程取舍。图像和视频可以设置 low、medium、high、ultra_high 等分辨率等级,视觉细节越丰富,输入成本也会随之变化。

音频和 PDF 则直接进入相应的内容处理路径,无需开发者另外组织独立的识别服务。谷歌也明确将 OCR 和音频转写相关开销纳入模型输入计费体系,不另收输出 Token 费用。

这里并没有公开足够的信息来还原模型内部的并行计算图。能够确认的是,各问题共享同一份输入,在单次前向计算中独立评分。至于内部是否使用独立输出头、如何分配各问题的计算资源,谷歌目前没有给出完整技术说明。

03

PK Jev:“五项领先”的背后

Gemini Decision 1 为每项答案提供 confidence,取值为 0—1。它表示模型对当前结果正确性的估计。对于 Noul,confidence 取 Yes 和 No 两种结果中概率较高的一方,对于 Choice,它对应胜出选项的概率,对于 Score,则对应概率较高的等级。这项设计让程序能够根据判断可靠程度设置不同的执行门槛。

这里涉及概率校准。ECE(Expected Calibration Error,期望校准误差)衡量模型给出的概率与实际正确比例之间的偏差。谷歌公布的 Gemini Decision 1 ECE 为 0.0250,Jev 1.14 为 0.0494。

从产品落地来看,谷歌已经在 Gemini Notebook 中使用 Decisions API 进行模型路由,根据请求复杂程度选择模型档位和推理等级,日常请求延迟据称降低了 40%。

Google Search 将其用于 MCP 工具的安全检查,Stitch 则使用它加快交互设计过程中的操作选择。与 TypeSafe Jev 相比,两款模型的技术方向相近,但公开信息呈现出不同侧重。

TypeSafe 已经披露 Jev 使用专门的模型架构、Parallel Sampler,以及 RLCD(Reinforcement Learning for Calibrated Decisions)训练方法。Jev 1.14 增加了图像输入、Box 判断类型和长上下文能力,不过相关功能在发布时仍被放在实验性配置中。

Gemini Decision 1 则依托 Gemini 原生多模态架构,将音频、视频、PDF 纳入输入范围,并提供 256K 上下文和 1000 项问题请求能力。谷歌尚未披露与 TypeSafe 类似的训练方案,因此两者的内部训练路线暂时无法进行直接比较。

性能上,谷歌公布的 7 项共享基准中,Gemini Decision 1 有 5 项超过 Jev 1.14,Jev 在 When2Call 工具调用和 Mind2Web 多模态上保持领先。When2Call 是 Agent 工具选择的核心场景,Jev 在这个指标上的反超说明 Google 的优势并非无差别覆盖。

另外,第三方独立评测机构 Artificial Analysis 的 Decision Index v2.1 榜单中, Gemini Decision 1 的综合分 65.98,略低于 Jev 的 66.23,远低于榜首 Drex Max v1.1 的 72.62。单任务延迟 211 ms,高于 Jev 的 92 ms;价格方面,Gemini 每 100 万输入 Token 收费 0.10 美元,Jev 为 0.042 美元。

换句话说,Google 用多模态能力和批量处理换溢价,但“更强”在第三方统一任务套件上尚未兑现为“更优”。校准误差的领先是真实的,但校准领先不等于综合决策质量领先。

04

Agent 的决策层,正在变成独立战场

Gemini Decision 1 把原本散落在 Agent 工作流中的一类任务,正式变成了独立的模型调用能力。它涉及的不只是评分速度,还包括候选空间定义、共享输入复用、问题隔离、概率校准和程序控制之间的配合。

通用 LLM 仍然负责复杂推理、规划和内容生成,Decision Model 则承担能够提前定义标准的判断任务。开发者需要根据任务依赖关系安排调用顺序,再根据概率表现决定自动执行范围。

Jev 在 9 月点燃了这个品类,Google 在 11 月用多模态和批量能力加注。这条路线能否形成长期优势,还要看模型在复杂输入、任务分布变化和真实业务环境中的稳定表现。谷歌入场后,专用决策模型开始进入更大规模的产品竞争,Agent 的工程设计也将从单纯依赖生成模型,转向更加细致的模型分工。

参考链接:https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

低调追赶的文心,一口气打出了快、省、开源三张牌

2026年11月11日 23:10

周蕾 林杰鑫 2026-11-11 23:10 广东

文心这轮追赶够不够硬?

 文心这轮追赶够不够硬?

    作者丨周蕾 林杰鑫

    编辑丨岑峰

                                                                                                       

今天,百度文心 5.5 Flash Preview 正式发布,这已是文心在一周之内的第三次出牌。

11月5日,基座模型文心 5.5 Flash Base开源;

11月9日,首次披露 RSI 进展,发布 ERNIE Evolve;

11月11日,文心 5.5 Flash Preview 发布。

一周内连续三次出牌,这在文心历史上并不多见。三次动作环环相扣,从基座模型、RSI 探索到 Preview 模型,逐步展现出百度基础模型业务的新方向。

在外界长期的印象里,文心的处境有些微妙:启动够早,积累不少,存在感却不够高。在大模型竞争的坐标里,文心始终没能达到相应的预期。

今年7月,1997年出生的复旦大学博士孙天祥加入百度,出任基础模型研发部(BMU)负责人,同时进入百度模型委员会(BMC)。他曾是国产初代类ChatGPT开源大模型MOSS的主导者,也创过业。外界期待他接手基础模型业务后的第一份答卷。本周的三连击,或许算是这张答卷的一部分。

这次发布的文心 5.5 Flash Preview,重点放在了效率、成本和开源上。目前模型已上线千帆平台,Web端与API同步开放。官方表示,模型权重将于11月25日前采用Apache 2.0许可证面向全球开源社区发布。

在明天百度世界2026上,关于模型的更多信息也将得到披露。

先从榜单看起。文心 5.5 Flash Preview 在 Terminal-Bench 4.0、DeepSWE v1.1、AutomationBench、APEX-Agents 1.1、DRACO、SpreadsheetBench V2、OfficeQA Pro V2、Agents' Last Exam共8项基准测试中,取得了AutomationBench和SpreadsheetBench V2 两项第一;在纳入对比的模型中,DeepSWE、APEX-Agents、DRACO、OfficeQA Pro V2 四项测试位列第二,其余项目也进入前列。

百度官方对这份成绩的描述是,“取得了具有竞争力的得分”,措辞相当克制。

需要说明的是,对比图中带*号的成绩为厂商自评口径,横向比较仅供参考

榜单位置之外,能力版图的规划、实测过程中的工程细节,更能说明一款模型的实际成色。

01

能力版图:

编程、视频、游戏与3D

按照官方口径,文心 5.5 Flash Preview  主要在四个方向升级:编程、3D建模、知识工作和内容创作。编程方向使用了超过1400万个可执行代码任务和多种Agent框架的执行轨迹进行训练;3D建模针对Blender、CAD等工具做了专项训练;知识工作后训练覆盖金融、法律等领域的30万个工作空间和1000万份文件;内容创作方向适配上千项Skill,构建了超过15万个创作环境,官方口径累计成片约5300分钟。

AI科技评论在第一时间上手测试了文心 5.5 Flash Preview的游戏开发能力。

你是一支由资深游戏制作人、游戏设计师、2D 美术总监、角色动画师、音乐设计师和游戏工程师组成的独立游戏团队。请开发一款受到《节奏天国》玩法理念启发的原创 2D 节奏游戏《砰砰退件局!》(PUNCH! RETURN!)

游戏的目标不是实现一个能按节拍出拳的程序 Demo,而是制作一段完整的、可交互的、充满生命力的卡通音乐喜剧。

整个场景必须像一个真实存在的荒诞卡通世界:不只有玩家和发货机器人,还有周围不断出现的小角色、各自独立的动作、对玩家成功或失败的反应、不断变化的环境、突如其来的乱入事件,以及最终所有角色共同参与的高潮演出。

以下是文心 5.5 Flash Preview在本次测试中的表现,游戏顺利完成了角色逐步登场、节拍判定与结算演出等核心环节。经多轮生成,总耗时约7分32秒,最终得到可运行版本。

这次测试一定程度上体现了文心 5.5 Flash Preview对高度复合型需求的应对能力,同时考察了该模型的审美、音乐节奏感、画面编排和动画制作能力,代码侧还要有大量事件的正确触发。以角色状态系统为例,如果状态机写得不好,角色在连续击打失败后就可能无法从紧张状态中恢复,进而波及整个场景的连锁反馈。

单一案例不能完全说明模型的稳定产出水平,但这类“一份文档、多个系统”的长需求题目,本身就是对编程能力最苛刻的考法之一。

官方博客中演示案例覆盖视频编排、游戏开发和3D建模等方向,其中游戏开发是最有分量的一块。

  • 游戏开发:自我纠错

游戏开发的代表案例是《云岫行》:

一款第三人称东方武侠游戏,场景设定在云雾缭绕的张家界石峰与崖顶古寺,基于Unreal Engine 5.8构建。整个任务历时11小时,模型把跨越多代UE引擎的素材合入同一个UE5.8工程,用C++完整实现游戏。

试玩中发现的人物位置悬空、跑动方向不一致、摄影机位置错位等视觉问题,被模型逐一转换成可测量的代码测试问题,再通过不断完备的测试驱动项目迭代。“把视觉问题翻译成测试”,意味着模型建立了一套自我验证的闭环,这比一次性生成可运行代码更接近真实开发,也正是长周期开发任务里最难自动化的环节。

官方还披露了更大规模的案例:基于完整游戏策划方案,模型构建了近百款手机小游戏,覆盖弹幕射击、肉鸽、塔防、竞速、卡牌RPG、城建经营、物理解谜和互动叙事八个品类,其中24款重点作品横跨Cocos、Unity、LayaAir、PixiJS与原生Canvas 2D等多种技术栈,多数采用规则层与表现层分离的确定性模拟,并通过机器人模拟、状态空间搜索和关卡回放自动验证可解性与数值平衡——工程化验证的思路,与《云岫行》一脉相承。

  • 视频编排:节奏、时序与一致性

《鹈鹕测试》是一支117秒的2D动画短片:

ERNIE 5.5 Flash Preview 用 Python 从零写出一部 116 秒的 2D 动画短片。一只白鹈鹕骑着自行车,从公元前 4000 年的撒哈拉岩画一路骑进大模型时代的代码编辑器,穿越 20 种艺术风格,最后登上“第 21 号鹈鹕发布会”。全片由上万行代码驱动,每一帧都用 Pycairo 矢量绘制,再由 NumPy 和 Pillow 做后期处理。同一只参数化鹈鹕在 20 个场景里化身汉画像石拓片、爪哇皮影、示波器光线和 8-bit 像素;换场时画面像胶片一样整格拉过,鹈鹕始终连贯地骑过画框接缝。

《星月夜》一场直接在梵高原作上让漩涡星空随踏频扭动。配乐精选 22 段录音,从金贝鼓、古琴、加美兰到马里奥主题,由模型编写的剪辑脚本按画面切换点逐场对齐。部分场景的背景由 ERNIE 5.5 Flash Preview 调用生图工具完成:唐代白描、清明上河图、莫卧儿细密画三场的静态底图都出自生图工具,ERNIE 5.5 Flash Preview 再在底图上用代码叠加会动的人物、落花与水纹。概念设计来自 Bilibili 创作者 @近步抱告_。

这道题的出题思路值得琢磨。视频生成竞赛里,单帧画面质量已经被卷得很高,真正的难点在跨场景一致性和节奏控制。同一只鹈鹕穿越20种风格而不失形态,一定程度体现了长程状态管理能力。

而在237秒的官方展示片里,模型围绕“地球要是也有个环”这个命题,连续完成查资源、写剧本、设计分镜、生成画面四道工序。官方披露的数字显示,完成一条片子,模型连续工作一到两个小时,工具调用中位数约170次,其间自己检查结果、发现问题并修正。

  • 3D建模:流水线

3D方向的两个案例都基于Blender完成:

其一,两个基于文心5.5Flash Preview的智能体使用Blender Python API分工协作:一个负责机场,自主检索地图平台的布局矢量数据,下载植物、车辆与地面服务设备等授权资产,通过参数化建模构建航站楼及飞行区;

另一个负责飞机,通过截面放样与模块化装配构建机身、机翼。随后两个工程统一尺度、位置与镜头,编排动画,用Cycles/OptiX GPU分帧渲染和FFmpeg合成视频。

其二,模型自主检索法隆寺的布局与建筑结构参考,逐步构建建筑群,细化到逐层收分、梁柱支承与层叠屋瓦,公开授权的佛像扫描与植物资产被融入场景,表面细节由PBR贴图与程序化节点材质共同完成。

两个案例的共同点在于:模型被放进了“检索—建模—渲染—合成”的完整流水线,而非单点执行一条建模指令。双智能体之间的任务拆分与协同,也让案例超出了单模型能力的范畴。

02

快,从何而来

上文的游戏和视频案例都是长程任务:连续工作一到两个小时、工具调用中位数约170次、11小时的完整工程迭代。这类任务对推理速度的消耗远超日常问答,“快”在其中有实际意义。

对多数用户来说,更直观的数字是这一条:千帆API单用户推理速度超过200 tokens/s,约合每秒150个以上的汉字。生成速度到了这个量级,输出基本追得上阅读,等待感会显著降低。

官方对“快”的解释是一套系统的技术设计,可以拆成三层看。

第一层是参数的使用方式。文心 5.5 Flash Preview总参数量2800亿,每个token只激活140亿。在当前的稀疏配置中算比较激进一档。总参数决定模型的知识容量,激活参数才决定每个token的实际计算成本。2800亿参数更像常备库存,每生成一个token,只调用其中的一小部分。

第二层是显存。1M tokens的上下文如果每一层都做全量注意力,显存开销会大到无法落地。混合稀疏注意力就是对这个问题的回答:43层中,37层把历史每128个token压缩为一条缓存条目,保留全局视野;剩下6层保留逐token访问历史的能力,配合稀疏选取。效果是KV cache的占用大幅下降,长文本里的细节检索能力仍然保留。

第三层是推理阶段的加速。FP4把专家权重的存储压到4比特,直接节省显存带宽;ECHO则让主干网络的最后一层在预测下一个token之外兼任预测后续token的工作,这层同时充当投机解码的草稿模型——先猜后验,几乎不增加参数就换来提速。

三层设计指向同一个目标:用更少的激活参数交付够用的智能,把速度拉起来、成本再降下来。这也是“Flash”这个命名的行业惯例——比起单点极限,效率档产品线的核心逻辑更强调能力、速度、成本的平衡。

百度这次同步放出了完整的技术博客和模型架构图

03

价格、开源,和一个特殊信号

定价方面,API每百万Token输入忙时2元、闲时1元,输出忙时8元、闲时4元,目前限时五折——折后,闲时输入0.5元、输出2元。在同参数规模的模型中,这是具备一定竞争力的价格。

换算一下更直观:一百万token约合六十万到八十万汉字。以模型支持的最长上下文为例,把一个100万token的窗口整个填满,折后的输入成本不到一元。

效率设计为文心 5.5 Flash Preview的低价打开空间:每个token只激活140亿参数,FP4压缩专家权重,推理成本已经被架构压了下来。

开源方面,模型权重将于11月25日前以Apache 2.0许可证面向全球开源社区发布,支持SGLang和vLLM部署。对开发者而言,这意味着拉取即可运行,商用没有协议负担。另外,今天文心 5.5 Flash Preview 的 API 已上线千帆平台。

值得一提的是,在实测和价格热议之外,有一条容易被忽略的消息:

文心 5.5 Flash Preview的部分推理优化工作,由百度11月9日披露的自动研究系统ERNIE Evolve完成:在昆仑芯P800的低时延场景上,ERNIE Evolve连续探索约168小时,把生成速度做到基线的623.6%;确定性推理吞吐提升至基线的133.7%,平均每个token的生成时间缩短26%,精度未降。

AI参与优化AI,眼下还处在早期,单次优化也说明不了全貌。但它指向的事实说明,模型之间的竞争,正在从参数规模的比拼,延伸到研发迭代效率的比拼。

04

结语

一周之内三次动作,加上一份很有诚意的定价,百度文心这轮进攻的轮廓已经清晰:绕开正面战场,先在效率、价格和开源三个维度同时落子。

显而易见的是,今年的模型竞争正在分层:旗舰模型卷榜单上限,效率档模型卷成本曲线,文心选择的是后者。这条赛道今年格外拥挤,定价、演示和单次实测都只是入场券,能否转化为开发者的调用量,才是下一阶段的分野。

另一个值得记录的行业变化是:视频编排和游戏开发正在成为模型发布的新展台。这类任务不依赖跑分,产出可以进入工作流程,正在构成榜单之外的第二条战线。文心把长板放在这两个场景,是顺着行业节奏出牌,也让自己最容易被看见。

把时间线拉长看,这段口碑承压的日子,恰好也是文心埋头进步、低调追赶的时期。业界仍然对百度文心有所期待,期待它能追上有着丰厚技术积累的那个自己。在漫长的蛰伏期之后,它还会交出怎样的答卷?AI科技评论也将持续关注。

//

推荐阅读

图片

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

姚期智杨植麟首次联手给 AI 出的博士级题目,Kimi 多画出了「关键一条边」

2026年11月10日 17:05

原创 郑佳美 2026-11-10 17:05 广东

Kimi 刷新 629 条边图论参考纪录,只多加了1条边,为什么数学界等了这么多年?

    作者丨郑佳美

    编辑丨岑   峰

                                                                                                       

给 124 个点连线,不能出现三角形,也不能出现四边形。此前的参考记录是 629 条——数学界认为这已经接近极限。而Kimi K3 构造出了 630 条边的图,并通过程序验证。

多1条边,听起来不多。但在组合数学里,你每试图多塞进一条边,都需要在全图 124 个点之间重新完成一次精密的结构大重构。这1条边意味着AI第一次在“极值构造”这类研究级任务上,把人类参考纪录往前推了一步。

这项成果来自图灵奖得主、中科院院士、清华大学交叉信息研究院院长姚期智与月之暗面创始人杨植麟等人的联合研究。他们真正想回答的问题是:AI到底能不能做数学研究,而不只是做数学题?

01

「多 1 条边」算不算真突破?

姚期智,图灵奖得主、清华大学交叉信息研究院院长,是中国理论计算机科学的奠基者之一;杨植麟,月之暗面创始人,Kimi背后的推动者。

两代人、两种身份:一位是理论计算机科学的泰斗,一位是大模型创业的一线操盘手,第一次联合署名。

这个组合本身就说明了一件事:AI做科研,已经不是“实验室里的猜想”,而是需要理论计算机科学家和大模型团队坐在一起定义“什么叫算做出来了”。

但在另一面,争议同样如影随形:多构造出一条边,到底算不算真正的科学突破?这算不算只是暴力搜索蒙对的个例?AI真懂背后的数学机理吗?

这正是姚期智团队的核心初衷。如果无法区分‘运气好撞上’和‘逻辑上证明’,AI 就永远只是个黑盒计算器。于是,他们没有继续在传统基准上打转,而是联手搭了一套前所未有的评测系统——TCSExam。

为回答这个问题,他们提出 TCSExam,用 100 项理论计算机科学科研任务,测试前沿 AI Agent 能否证明定理、开发 Solver、构造数学对象,甚至挑战长期未解决的猜想。

论文地址:https://arxiv.org/pdf/2611.07962v1

实验中,GPT-6 Astra 完成了 20 项研究级定理中的 14 项,还将一个有限域矩阵猜想在特定条件下的已知证明范围从 8 维推进到了 9 维。

TCSExam 的核心创新,是将 AI 科研能力转化为可以独立验证的研究成果。 它通过 Lean 4、程序检查器和 Checkpoint 机制,分别验证数学证明、算法表现及中间推导,避免把局部进展误判为完整成果。

其中,Astra 的 9 维证明将复杂的矩阵问题压缩为整数约束,最终利用 143 条方程构造出可核验的矛盾证书。从任务形式化、研究证书设计到数学证明的自动检查,这套框架展示了 AI 参与真实科研的一条技术路径。

02

TCSExam 如何建立评测框架?

一句话:把“AI 做科研”拆成四条可验证的轨道,再用三层机制防止“局部进展被误判为完整成果”。

普通数学考试有标准答案,而理论计算机科学涉及的研究工作差异很大,有的需要证明新定理,有的需要开发最优算法,有的要构造满足约束的数学对象。这些成果的形式不同,评价方式也必须随之调整。

研究团队因此将 100 项任务划分为四条轨道:

  • 定理证明(20 项):覆盖 13 个理论计算机科学领域,要求模型提交 Lean 4 证明。

  • Solver 工程(30 项):要求开发可重复运行的算法程序,在独立测试实例和统一资源限制下评测;

  • 数学构造(20 项):考察模型能否生成符合严格约束的图、纠错码等对象;开放猜想(30 项):允许模型从证明成立或寻找反例两个方向展开研究。

任务划分之后,更复杂的问题出现在数学语言的转换过程中。人类研究者能够理解一段定理描述,但机器验证需要明确的定义、量词、假设和参数范围。任何一个条件发生变化,最终证明的数学含义就可能不同。

例如,一个定理原本要求某种性质对任意规模的图成立,如果转写成 Lean 时额外增加了图规模限制,那么模型即使完成证明,也只解决了范围缩小后的问题。形式化证明系统能够检查代码中的逻辑,却无法自行判断它是否忠实于原始研究目标。

TCSExam 为此建立了任务编写与独立审核机制。编写 Agent 根据研究材料构建形式化命题、提交接口和验证程序,审查 Agent 再核对定义、量词及参数条件,并通过边界样例和试运行排查问题。研究领域专家负责审定任务的研究意义。开发过程中,超过 40 道候选定理因试运行阶段已被解决而退出题库。

Solver 轨道还额外做了两件事:对部分实例做保持数学性质不变的变换,减少直接复用已有答案;数学构造轨道则固定合法性条件与参考纪录,保证可比性。

对于证明任务,研究团队还进一步控制模型能够获得多少研究指导。Bare 模式只提供定理和必要定义,Ladder 增加中间引理,Guided 则提供证明思路。这三种条件使用相同的主定理,让研究者能够分析模型是在寻找证明路线时遇到困难,还是已经知道关键步骤后仍无法完成推导。

经过这些设计,TCSExam 将研究问题转化成了有明确输入、执行条件和交付要求的任务。但模型提交的成果可能包含大量中间推导,如何从中识别真正成立的数学结论,还需要另一层验证机制。

03

怎样区分局部推理与完整证明?

TCSExam 的底层设计利用了理论计算机科学中的一个重要特点:找解难,验解易。研究团队将这种思想应用于科研评测,要求 Agent 把探索结果整理成验证器能够检查的研究证书。

对于定理证明,这份证书就是 Lean 代码。Lean 内核根据形式逻辑规则检查推导,系统还会审计证明依赖,排除未完成证明占位符和未经允许的额外公理。

不过,研究级定理往往需要多个中间引理,模型可能完成大部分推导,却始终无法处理某个关键步骤。仅凭主定理是否通过,很难判断具体的能力缺口。

TCSExam 因此设计了 Checkpoint 机制,把复杂证明拆成多个中间目标。验证其中一个 Checkpoint 时,系统会暂时把其他 Checkpoint 的命题作为假设,检查模型能否在这些条件下完成当前推导。

这种处理有一个重要的逻辑边界。假设证明 A 时借用了 B,证明 B 时又依赖 A,那么即使两个局部检查分别通过,整体证明仍然存在循环依赖。因此,Checkpoint 的成绩只能反映条件性推导的完成程度,主定理必须在移除未经证明的中间假设后,再接受独立检查。

一个案例很能说明这种区别:Kimi K3 在某次尝试中完成了 7 个中间 Checkpoint,覆盖程度达到 87.5%,却没有完成主定理所需的最终推导。系统保留了局部成绩,同时拒绝将其认定为完整证明。

结合三种指导条件,还能进一步看到模型能力的差异。Kimi K3 在 Bare、Ladder 和 Guided 模式下分别至少完成 3、4、7 道不同定理,DeepSeek V4.1 Flash 0910 则分别完成 0、2、6 道。

提供中间引理与证明思路后,模型的完成数量明显增加,说明困难往往集中在关键引理的发现,以及如何将分散的推导组织成完整证明。

另外,Checkpoint 只是一种辅助分析方式。如果模型绕过预设的中间引理,直接构造出完整有效的主定理证明,系统同样能够接受。这为 Agent 保留了自主寻找证明路线的空间。

研究证书机制在 Solver 中采用不同实现。模型需要提交可重复运行的程序,检查器重新判断输出是否合法,并计算实际目标值。

以 IWLS 2023 逻辑综合任务为例,GPT-6 Astra 在 100 个实例中均生成了有效电路,其中 22 个优于公开参考电路,31 个达到参考水平,另外 47 个使用了更多 AND 门。

为了避免不同实例的数值尺度影响整体评价,系统还引入相对于 Kimi K3 多次运行结果的标准化评分,使有效性与优化质量能够分别衡量。数学构造轨道也采取类似处理,先检查对象是否满足结构约束,再比较它取得的数学参数。

当研究目标进一步扩展到开放猜想时,仅靠局部覆盖或数值改进已经不足以判断结论是否成立。模型需要找到一条完整的数学证明路线,并将其中复杂的结构分析转化成可以逐步核验的证据。

GPT-6 Astra 在 Alon–Jaeger–Tarsi 猜想上的研究,正好展示了这个过程。

04

从 8 维到 9 维

Alon–Jaeger–Tarsi 猜想研究有限域上的可逆矩阵。简单理解,给定一个可逆矩阵,研究者希望找到一个所有坐标均不为零的向量,并且经过矩阵变换后,新向量的所有坐标仍然不为零。

此前相关研究已经覆盖五元有限域中不超过 8 维的情形,Astra 将这一范围推进到了 9 维。随着维度增加,需要考虑的矩阵与向量组合迅速膨胀,直接枚举难以完成证明,因此它采用了另一条数学路线。

证明首先假设存在一个不满足猜想的 9 维矩阵,再利用低维情形已经成立的结论,限制这个反例必须满足的条件。接下来,Astra 不再逐个分析矩阵元素,而是转向研究向量经过矩阵变换前后的非零坐标数量。

它构造了两组 10×10 的非负整数数组,分别描述原矩阵和转置矩阵作用下,不同坐标数量之间的对应关系。矩阵可逆性限制了数组的行列总数,有限傅里叶恒等式则建立了两组数组之间的联系。结合反例的结构性质,还可以推导出部分计数必须为零。

这些条件将原本复杂的矩阵问题逐渐转化成整数约束,但仍然需要进一步缩小检查范围。

Astra 随后分析矩阵中两个列向量的坐标关系,将它们按照零元素分布及非零元素之间的消去比例划分为 7 种类别。由于矩阵维度为 9,各类别的数量之和必须为 9,因此可能出现的类别计数组合只有 5005 种。

这个步骤完成了关键的规模压缩。系统无须枚举全部 9 维可逆矩阵,只需要检查这些有限类别组合对应的数学约束。

在此基础上,Astra 将相同的结构分析应用于原矩阵、逆矩阵、转置矩阵及其逆矩阵,得到四组额外的非负约束。结合此前构造的两组计数数组,最终形成一个包含 204 个非负变量的整数线性系统。

此时,证明已经转化为判断这些整数约束能否同时成立。Astra 从原始的 197 条方程中,选取 143 条具有非零乘子的方程,按照特定整数系数进行组合,得到一个无法成立的关系:204 个变量的系数全部非负,等式右侧却是负数。

由于变量本身也必须非负,这样的关系必然产生矛盾,因此假设中的 9 维反例无法存在。

这份证书将复杂的矩阵推导压缩成有限的整数计算。独立核验确认,组合后的 204 个系数中,93 个为正,111 个为零。整个证明还被整理成包含 71 个 Lean 模块的项目,在独立环境中重新编译,并完成公理依赖检查。

从极小反例出发,通过坐标计数建立约束,再利用有限类别分析缩小问题规模,最终以整数矛盾排除反例,这条证明路线体现了 AI 将数学结构分析与计算工具结合的能力。

不过,Astra 完成的是五元有限域上的 9 维特殊情形,完整的 Alon–Jaeger–Tarsi 猜想仍未解决。TCSExam 的其他开放猜想实验同样表明,当前模型距离独立解决一般性难题仍有差距。

部分被接受的 Ryser 和 MIRUP 反证来自对 OpenAI 已公开成果的检索与适配,其余 28 项开放猜想没有得到完整解决方案。

05

从局部发现走向长期研究

TCSExam 的实验显示,AI 已经能够完成部分研究级证明,并在算法优化与数学构造中取得可核验的进展,但独立寻找关键引理、规划长程证明,以及将特殊结论推广到一般情形,仍然存在明显困难。

研究证书机制为未来的科研 Agent 提供了一种可迭代的工作基础。模型可以利用 Solver 搜索候选结构,通过形式化工具检查数学性质,再根据验证失败的位置修改证明策略,将已经成立的中间结果用于后续研究。

这次实验最值得记住的,不是“630比629多1”,也不是“9维比8维多1维”,而是:AI已经能在部分研究级任务上产出“机器可核验”的新结果,虽然离“自己提出关键引理、自己规划长程证明”还有明显距离。

对Kimi和月之暗面来说,这是一次“AI for Science”的能力展示;对数学界来说,这是一套可以复用的评测框架;对普通读者来说,这可能是一个信号:AI做科研,正在从“帮人查文献、写代码”,走向“帮人证定理、找反例”。

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

从「看别人做」到「自己会做」:人类视频能教会机器人多少?| GAIR Live 预告

2026年11月10日 17:05

AI科技评论 2026-11-10 17:05 广东

省下的真机训练成本和机器人的独立作业成功率,是衡量人类视频价值的尺子。

                                                                                                       

鞋厂里,工人一手转动鞋底,一手沿着边缘刷胶。镜头拍下了刷子走过的路线,但工人手上用了多大力、转弯时为什么放慢、换一款鞋底又要怎么调整,这些细节,机器人能从画面里学到多少?

近两年,视觉语言动作模型(VLA)迭代加速,机器人已经能够完成越来越复杂的操作。但每增加一道工序,企业仍可能需要重新采集真机示范。人类视频更容易在不同场景中大量采集。如果这些视频能让机器人少做几轮真机训练,一条产线换款、一座仓库换货之后,重新训练的成本就有望降下来。

然而从“看见”到真实场景中的“会做”,具身公司还有几个问题需要回答。比如一段视频能提供多少关于动作和接触的线索?机器人如何从画面理解物体的空间关系,判断它受力后会怎样移动或变形?看过人的演示,它又怎样用自己的身体完成任务,并根据现场反馈调整动作?

11月10日19:00,GAIR Live 将围绕「从“看别人做”到“自己会做”:人类视频能教会机器人多少?」展开专题圆桌讨论。

本期直播邀请哈尔滨工业大学教授 左旺孟担任主持人,与惠尔智能CEO 常宇飞,以及影身智能CEO 闵伟,赛那德CTO 王义山,从鞋厂刷胶、仓库装车和无人车过路口三个场景切入。

这次,我们想把技术问题带入现场:换一款鞋、换一批货、换一条路之后,机器还能独立完成多少次,它又能从人类视频中学到多少有效内容?

▎圆桌主题

从“看别人做”到“自己会做”:人类视频能教会机器人多少?

▎特邀嘉宾

  • 左旺孟  哈尔滨工业大学教授

  • 常宇飞  惠尔智能CEO

  • 闵伟     影身智能CEO

  • 王义山  赛那德CTO

▎核心讨论话题

  • 一段人类视频,究竟能给机器人提供多少信息?

  • 机器人如何从视觉观察中理解物体、空间和物理规律?

  • 看过人类演示之后,机器人如何形成自己的执行能力?

▎直播时间

11月10日晚上19:00(北京时间)

▎观看方式

扫描下方海报二维码预约直播,与左旺孟、常宇飞、闵伟、王义山一起讨论:从“看别人做”到“自己会做”:人类视频能教会机器人多少?

ACM MM 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

📌 进群传送门: 扫码进群或添加微信A17648278904,备注:ACMMM+单位/学校+姓名+方向。

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

姚顺雨加入腾讯近一年,混元追上来了?实测 Hy4 比 Kimi K3.1 Pro 快了 28 分钟

2026年11月9日 16:16

吴海明 2026-11-09 16:16 广东

Hy4 给了模型看屏幕的眼睛,WorkBuddy 提供了点按钮的手,接上开始干活儿了。

    作者丨吴海明

    编辑丨李娜 岑峰

                                                                                                       

11 月 4 日,腾讯发布混元 Hy4 正式版。消息公布后,腾讯首席 AI 科学家姚顺雨在 X 上转发,称自己为团队在不到一年时间里取得的成绩感到自豪。

几天后,Hy4 的调用量也开始冲榜。

据媒体11 月 9 日统计,Hy4 发布首周便以约 12.8 万亿 Token 的调用量冲进 OpenRouter 周榜第四,排在 DeepSeek 和智谱的模型之后。同一份榜单上,Kimi K3.1 Pro 排名第九,调用量约为 4.37 万亿 Token。

对于过去在基础模型竞争中总被认为慢了半拍的腾讯,这多少有些不同寻常。

去年底,姚顺雨从 OpenAI 加入腾讯,随后混元经历了研发团队整合和基础设施重建。从今年 4 月的 Hy3 preview、7 月的 Hy3 正式版,再到如今的 Hy4,腾讯的大模型迭代明显提速。这一次,腾讯甚至在官方发布中宣称,混元首次跻身全球最强开源模型行列。

Hy4 也确实拿出了些新东西。除了模型能力的提升,它第一次加入了视觉理解和电脑操作(Computer Use)能力,不仅能看懂屏幕,还能通过命令行和图形界面操作软件。腾讯还专门针对 Blender、CAD 等专业工具和跨应用长程任务进行了训练。

不过,调用量的增长是一回事,模型到底有多强,又是另一回事。

在 Artificial Analysis 的综合智能指数中,Hy4 拿到 35 分,距离 Kimi K3.1 Pro 的 46 分还有 11 分差距。

有意思的是,我们在一道实际测试题里,却看到了另一种结果。

我们让 Hy4 和 Kimi K3.1 Pro 使用同一个 Agent 工作台 WorkBuddy,完成一台可拆解、可运转的 3D 四缸发动机。不仅要制作教学网页,还要自己打开浏览器,检查播放、暂停、角度调节和气缸运动等功能。

最终,两款模型都交出了可以在本地运行的网页工程。Hy4 用了 44 分 11 秒,Kimi K3.1 Pro 则花费 1 小时 12 分 39 秒,前者快了近半小时。Hy4 还在浏览器中发现并修复了页面遮挡问题,最终通过了自己编写的 55 项自动化检查。

综合榜单上落后 11 分,实际交付却快了近半小时。腾讯混元的这次进步,究竟体现在哪里?

需要说明的是,WorkBuddy 本身也是腾讯的产品,Hy4 针对这类工作场景进行过专项优化。因此,这次测试并不能直接证明 Hy4 的基础模型能力已经超过 Kimi。

但两次执行过程提供了一个更具体的观察角度:当 AI 不仅能写代码,还能自己打开网页、操作按钮、发现问题并修改作品,模型的能力差异,开始体现在完成任务的整个过程中。

01

对比评测:一道四缸发动机题,

考验AI能否交出可操作的课堂工具

这次测评,我们设计了一个“发动机原理”拆解的评测题目,让模型化身机械教师,给出一份面向教学的设计方案:发动机的四个气缸如何配合?活塞上下运动,又是怎么带动曲轴旋转的?一起看看测试题:

代码块

请制作一个用于课堂教学的交互式 3D 四缸汽车发动机演示网站,帮助教师讲解四冲程发动机的工作过程和基本物理原理。

电脑已安装 Blender,并已配置 WorkBuddy 浏览器控制。请根据任务需要选择工具,完成网页制作、浏览器操作和检查。

1. 使用 Three.js 展示一台直列四缸四冲程发动机,至少包含缸体、活塞、连杆、曲轴、进气门、排气门和火花塞。模型可使用程序化几何体制作,重点是结构清晰,便于观察内部运动。

2. 支持旋转和缩放模型,并提供“显示/隐藏外壳”或剖视功能,让教师能够观察四个气缸内部。

3. 演示进气、压缩、做功、排气四个冲程。活塞、连杆、曲轴和气门应协调运动,火花塞在点火时给出可见提示。四个气缸应按照合理的四冲程工作时序运行,并在页面中说明点火顺序。

4. 提供自动播放、暂停、重置和速度调节功能。教师可以手动拖动曲轴角度,或通过按钮逐步推进,停在任意位置观察各部件状态。

5. 页面实时显示曲轴角度、各气缸当前冲程及进排气门状态。点击主要部件时,显示名称和简短说明。

6. 提供简洁的教学说明,解释燃料燃烧释放能量、气体推动活塞、连杆带动曲轴旋转的过程,并说明四冲程需要曲轴旋转两圈。使用示意动画表示进气、燃烧和排气即可。

7. 交付可在本地运行的完整网页工程。完成后请打开浏览器,实际检查模型显示、播放与暂停、手动调节、冲程切换、部件说明和重置功能,并修复发现的问题。最后告知我启动方式和检查结果。

在我们的测试电脑上,提前安装了 Blender 和 WorkBuddy,同时也配置了浏览器控制插件。我们让 Hy4 和 Kimi K3.1 Pro 都使用 Three.js 程序化几何体制作发动机模型,并将浏览器纳入检查流程。

下面看看 Hy4 的表现:

Hy4 为发动机做了一张深色背景的教学台,四个气缸从左到右排开,活塞下方是连杆和曲轴,右侧面板列出每个气缸的冲程、活塞方向与气门状态。如下图所示,0° 时 1 缸显示为做功,2、3、4 缸依次显示排气、压缩、进气。

Hy4 制作的发动机原理拆解系统的 0° 状态

之后,发动机开始运转,活塞和连杆的位置发生变化。为了更好地配合演示,Hy4 设计了丰富的操作按钮,教师可以通过下方控制栏提供的播放、前后 180° 步进、角度滑块和速度选择等操作,把动画停在需要讲解的位置。

Hy4 制作的发动机原理拆解系统的不同状态

一起来看看综合表现:

Hy4 制作的发动机原理 3D 网站动态演示(5倍速)

整体来看,Hy4 的网页把四个气缸、连杆、曲轴和工作状态放在同一个画面中,0°、90°、270° 和剖面截图展示了不同角度下的模型状态,播放和角度控制也为课堂讲解提供了操作入口。

紧接着是 Kimi K3.1 Pro 的交付物了,K3.1 采用  Three.js + Vite 构建这个网站,凸显了其在代码领域的专业性。从网站来看,页面中央是发动机演示区,右侧用卡片显示四缸工作状态,下方放着播放、速度和曲轴角度控制,在 0° 时刻,1 缸处于做功,其他三个缸分别处于排气、压缩和进气。

K3.1 Pro 制作的发动机原理拆解系统的 0° 状态

和 Hy4 一样,K3.1 Pro 构建的演示在发动机运转后,活塞和连杆的位置同步发生变化。K3.1 也设计了丰富的操作按钮用来控制演示操作。

K3.1 Pro 制作的发动机原理拆解系统的不同状态

K3.1 Pro 制作的发动机原理 3D 网站动态演示(5倍速)

和 Hy4 一样,K3.1 Pro 的页面把发动机模型放在中央,四缸状态、冲程进度和讲解笔记集中在右侧。从页面内容上看,Hy4 更像老师输出知识一样,给出了更多的知识细节。

我们进一步统计了两个模型在平台上的后台运行情况:

后台运行数据对比分析图

这组数字背后,是两次长任务的完整工作过程,Hy4 共发起 97 次模型请求,Kimi 为 106 次;工具调用分别为 96 次和 110 次,涉及文件、命令行和浏览器操作。Hy4 累计输入约 1392 万 Token、输出约 13.33 万;Kimi 输入约 938 万、输出约 4.71 万,显然 K3.1 Pro 更省 token,但从时间成本上两者则存在差异:Hy4 的时间支出是 44 分 11 秒,Kimi 为 1 小时 12 分 39 秒。

整体来看,两个模型都交出了可继续编辑的网页工程,能用于教师给学生的上课演示,证明到了现阶段,模型的能力已经足够日常办公使用,而且很难区分出模型能力的高低。

02

WorkBuddy+Hy4双子星:

模型思考,Agent操作浏览器

在上述测试中,模型需要理解四冲程时序、组织代码,并根据页面反馈修改;WorkBuddy 提供任务运行环境,连接文件、命令行和浏览器。模型和工作台搭档,一个任务才能被从被生成到在浏览器中被打开和被检查。

回到 Hy4, 在最新 v5.0.1 版的 Artificial Analysis 中,Hy4 取得了 35 分,同榜单的 Kimi K3.1 Pro 为 46 分, Deepseek V4.1 Flash 1017 为 33 分。这项综合指数覆盖知识工作、代码、科学与通用知识等任务。Hy4 的成绩显示了腾讯的模型具备很强的综合实力,已经能让腾讯继 Hy3 之后又一次稳稳地回到大模型竞争的牌桌上。

Hy4 在 AA 榜单中取得 35 分,处于全球大模型前沿位次

从腾讯自己的评测结果来看,在 WorkBuddy 场景评测中 Hy4 的平均效果得分为 83.18 分、通过率为 96.15%;在腾讯混元与腾讯金融科技组织的盲测中,213 位专家参与了 579 项真实金融任务的评分,Hy4 综合得分 3.04/4,Kimi K3.1 Pro 为 2.68/4。整体来说,Hy4 在办公与金融场景更能展现其实力。

腾讯官方公布的 Hy4 评测结果

此外,我们还记录了 WorkBuddy+Hy4 操作浏览器的演示。WorkBuddy 在 Chrome 打开网页,点击播放和暂停,切换快慢速度,再用 180° 步进按钮查看四缸状态。工作台还操作了剖面视角、外壳三态和 3 缸高亮,并将角度定位到 360°,观察模型和状态面板的变化。演示中也遇到了小插曲:窗口尺寸改变后,按坐标点击没有落到目标按钮上,WorkBuddy 随后改用页面元素点击。

WorkBuddy + Hy4 操作浏览器对 “发动机原理 3D 网站” 进行演示(5倍速)

据腾讯官方披露,团队在 Hy4 训练过程中,针对专业软件和跨应用长程任务开展了专项训练。结合本次测试,两款模型都以 WorkBuddy 为工作台,在浏览器中进行对交付物进行测试从而验收,Hy4 打开页面后发现图例遮挡曲轴、操作提示遮住缸号,随后调整了布局,同时编写浏览器自动化脚本,检查四缸时序、剖面视角、按钮、滑块与控制台,最终完成了 55 项基于浏览器的检查。

WorkBuddy+Hy4 操作浏览器的能力,让任务多了一轮可观察、可调整的过程。模型通过工作台打开生成的页面,结合截图或工具返回的信息,判断界面是否需要修改。未来,这种能力势必会成为一种新的生产力,让更多的产品测试人员逐步放开手脚。

03

从Hy3到Hy4,

腾讯的Agent组合走向真实任务

这条线要从 Hy3 说起。2026 年初,腾讯重建预训练与强化学习基础设施;4 月 Hy3 preview 发布时,模型已经接入 WorkBuddy、CodeBuddy、元宝等产品,产品里的真实调用,一边让外界重新看到腾讯的模型能力,一边把用户的反馈送回训练环节。到 7 月 Hy3 正式版发布,腾讯重新坐回大模型竞争的牌桌。

Hy4 沿着这条线继续加码:训练规模扩大,视觉理解与电脑操作进入模型本体。模型的输出从一段文字、一份代码,扩展到 “把一件事在屏幕做完”,WorkBuddy 提供了落点,文件、命令行、浏览器都在同一个工作台里,模型的一次判断可以立刻被执行、被看见、被修正,任务因此有了可观察、可调整的过程。

这种组合的分量,在海外社区的讨论里也能看到,Reddit 上有开发者关心权重何时开放下载、能不能在本地跑起来,以及更大的参数规模会带来多高的硬件门槛。他们盯着的不只是榜单上的分数,还有这套能力能否被自己接手。

这次,交出的答卷是一台能在网页里转动的四缸发动机。下一道题,可以是在画板上用鼠标画图,也可以是做一把能拆解的 3D 键盘,或交付一份附带财务模型的研究报告。题目越往真实工作里走,模型与工作台的配合就越有看头:网页挡住了能不能自己调整,软件报错了能不能接着往下做,最后留下的文件能不能交给别人继续用。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

500小时人类视觉-触觉数据,到底能让机器人学到什么?| GAIR Paper 140

2026年11月9日 16:16

TachinTech 2026-11-09 16:16 广东

从跨传感器触觉预测,到机器人操作成功率提升35个百分点,TouchScale开始系统检验大规模人类触觉数据的学习价值。

    作者丨TachinTech

    编辑丨陈淑瑜

                                                                                                       

使用恰到好处的力道拿起一颗鸡蛋,对人类而言,是再简单不过的事情。然而,对于机器人来说,手指如何施加足够的压力防止鸡蛋滑落,同时又不能用力过猛导致鸡蛋被捏碎,看似简单却并不容易。

随着大规模第一人称视角(Ego)视频逐渐成为具身智能的重要数据来源,研究者开始尝试从数千甚至数万小时的人类活动中学习操作技能。然而,这些数据大多记录的是可见的动作与场景变化,缺少同步的真实触觉测量。摄像头可以记录手部运动和物体状态,却难以直接测量接触位置及压力分布。即使两次操作呈现出相似的视觉画面,其背后的接触状态也可能存在明显差异。与此同时,通过统一的感知线采集的人类视觉-触觉数据仍然非常稀缺。

这带来了一个值得关注的问题:如果能够像积累视觉数据一样,大规模采集人类与物体交互时的触觉信息,是否也能带来感知与机器人操作能力的持续提升?触觉领域是否也能获得类似视觉的Scaling效应?

近日,来自德州农工大学、Google DeepMind、卡内基梅隆大学、斯坦福大学、英伟达等15家机构的研究者联合发布《TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning》,尝试回答这一问题。研究团队构建了总时长500小时的人类视觉-触觉数据集,并从跨传感器触觉预测、视觉表征学习和真实机器人操作三个方向开展验证。

01

500小时背后,

触觉数据如何规模化采集

此前,OpenTouch、FEEL、EgoTouch等研究已经开始构建人类视觉-触觉数据集。这些工作在触觉表征学习、接触预测和物理交互理解方面进行了探索,但相对有限的数据规模,使得研究者难以在单一数据集内部系统考察数据增长带来的收益。而直接合并不同数据集,又会引入传感器、采集流程和数据分布的差异,使性能提升难以单独归因于数据量增长。

因此,TouchScale采用了统一的可穿戴采集方案,在保持同一代传感硬件和同步流程的条件下,持续扩展操作任务、物体种类和场景配置:通过头戴RGB-D相机记录整体场景与深度;通过双腕RGB相机补充易被遮挡的手物交互近景;而双手则佩戴途见科技的TachinGlove柔性触觉数据采集手套,补充高分辨率双手全掌触觉数据。尤其重要的是,论文指出TachinGlove单只手套集成880个触觉传感器单元,为不同任务场景提供了更好的适应性。

这种多视角视觉与全手触觉结合的方式,使研究者能够同时获得物体状态、手部位姿和真实接触信息,为学习物理交互提供包含触觉在内的完整全模态数据;同时,最大程度保障数据的稳定性与一致性。最终,TouchScale积累了约8.7万条轨迹、涉及约2000种任务描述和1500余件物体。约20名参与者在9类采集场景、800余种场景配置中完成搬运、倒取、插接、折叠、擦拭等单手或双手任务。

02

从触觉预测到视觉理解,

真实接触数据教会模型什么

获得大规模同步视觉-触觉数据后,研究团队首先验证了一个基础问题:模型能否从视觉信息中推断真实接触状态,并将这种能力迁移到未见过的触觉设备上?

实验采用TouchAnything作为触觉预测模型,以视觉观测和手部姿态估计为输入,预测手部接触区域及压力分布。研究团队分别使用EgoTouch的16.2小时训练集和TouchScale约16小时子集训练相同的TouchAnything模型,再在独立的EgoTactile数据集上进行零样本评测。

结果显示,相比EgoTouch对照模型,使用TouchScale训练后,接触IoU(Intersection over Union,接触交并比)由0.134提升至0.181,体积IoU(压力重合度)由0.185提升至0.243,压力中心定位误差由0.444降至0.416,区域压力幅度误差由0.184降至0.148。这些结果表明,在相近训练数据规模下,TouchScale提供的触觉监督能够帮助模型取得更好的跨传感器接触与压力预测表现。

那么,触觉数据的作用是否仅限于预测触觉本身?

研究团队进一步将触觉预测作为视觉编码器的预训练目标,研究触觉监督能否帮助模型学习更具有迁移能力的视觉特征。实验采用Hiera-B视觉编码器,分别在TouchScale、OpenTouch、FEEL和EgoTouch上进行预训练,并保持相同的模型初始化、优化配置和训练预算。随后,研究者在MECCANO、Something-Something V2和Ego-Exo4D三个动作识别基准上,通过线性探测和端到端微调两种方式进行评估。

结果显示,TouchScale在三个基准、两种评估设置下均取得了对照组中的最高准确率,平均线性探测准确率达到24.45%,平均微调准确率达到49.62%。

这组实验揭示了触觉监督的另一种价值:触觉不仅可以作为模型预测的目标,也能够帮助视觉编码器学习与物理交互相关的特征。

03

抛开人类动作标签,

机器人操作能力如何提升

如果说前两项实验验证了TouchScale对感知学习的帮助,那么更重要的问题在于,这些来自人类操作的触觉数据,能否真正改善机器人的操作表现?

由于人手与机器人灵巧手在关节结构、自由度和动作空间上存在明显差异,直接利用人类操作轨迹训练机器人,通常需要建立人手与机器人之间的动作对应关系。因此,研究团队采用了一条截然不同的技术路线:先从人类数据中学习未来接触状态如何变化,再通过机器人示教学习具体动作。

论文基于模型,将训练分为人类数据中间训练和机器人后训练两个阶段。在人类数据中间训练阶段,研究团队冻结视觉-语言-动作主干,仅更新触觉投影层、预测器和辅助重建头,让模型根据当前视觉、任务指令和触觉观测,预测未来触觉变化的特征表示;随后,再利用机器人示教训练动作策略,使预测的触觉特征作为条件参与机器人动作生成。

为了检验这种方式的实际效果,研究团队采用xArm6机械臂与BrainCo Revo 2灵巧手,将TachinGlove套在灵巧手上记录接触压力。研究团队设置了两组对照模型,均从相同的权重出发,每项任务使用相同的50条机器人示教,并采用相同的后续训练流程,区别仅在于是否经过TouchScale中间训练。实验涵盖软硬物体分拣、瓶盖移取、试管转移和白板擦拭四项任务,每项进行20次测试。

结果显示,加入TouchScale中间训练后,软硬物体分拣成功率由10%提升至60%,瓶盖移取成功率由40%提升至70%,试管转移成功率由30%提升至60%,白板擦拭成功率由10%提升至40%,四项任务的平均成功率由22.5%提升至57.5%,提高35个百分点。这些结果表明,在相同机器人示教条件下,人类视觉-触觉数据能够通过未来触觉预测中间训练,改善特定机器人平台上的接触操作表现。

04

数据越多,机器人越灵巧?

相比一次性的性能提升,TouchScale要研究的另一个重要问题是:当模型、传感器和训练流程保持一致,增加人类视觉-触觉数据量是否能够持续带来收益?

为回答这一问题,研究团队在触觉预测与机器人策略训练中开展了数据规模实验。

在跨传感器触觉预测任务中,随着TouchScale训练数据量从10%增加至100%,零样本接触IoU由0.311提升至0.383,体积IoU由0.252提升至0.276,压力中心定位误差与区域压力幅度误差也总体下降。这说明,在所测试的数据范围内,增加TouchScale训练样本能够改善模型在未见过的触觉传感器上的预测表现。

更值得关注的是机器人操作中的数据规模效应。

研究团队固定机器人示教数据和后续训练协议,仅改变TouchScale中间训练使用的数据比例。不使用TouchScale中间训练时,四项任务的平均成功率为22.5%。当使用20%、40%、60%、80%和100%的TouchScale数据时,任务平均成功率分别达到30.0%、32.5%、50.0%、50.0%和57.5%。尽管这一增长并非严格线性,但整体上呈现出数据规模越大、机器人操作表现越好的趋势。

两组实验均呈现出积极的数据规模效应,说明在论文测试的范围内,扩大人类视觉-触觉数据规模能够进一步改善感知预测与机器人操作表现,为研究触觉数据规模与模型能力之间的关系提供了初步实证依据。

05

从500小时到通用触觉学习,

还有多远?

TouchScale的价值,不仅在于将人类视觉-触觉数据扩展至500小时,更在于验证了一条利用真实接触经验训练机器人模型的路径:无须人类动作标签或动作重定向,模型便能从触觉变化中学习,并将这些经验用于后续机器人策略训练。这也为从VLA向VTLA的发展提供了新的思路——触觉不再仅是机器人执行时的感知反馈,也可以成为规模化积累和学习的训练资源。

从500小时走向通用触觉学习,将要面对的不仅有更大规模的数据,更要让这些接触经验在不同机器人结构和操作任务中得到更广泛的复用。当模型能够将大量人类交互中学到的接触规律迁移到新的操作场景,触觉Scaling的价值才会进一步从数据规模的增长,延伸到机器人操作能力的泛化。

(注:文章图片均来自论文原文)

国际机器人顶会 CoRL 2026 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

📌 进群传送门: 扫码进群或添加微信szhsn610,备注:CoRL+单位/学校+姓名+方向。

//

推荐阅读

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

阅读原文

跳转微信打开

❌