铃阅时讯
❌

阅读视图

ASR+LLM+RAG视频内容识别全方案

原创 顾守业、王志远 2025-12-24 18:10 广东

ASR+LLM+RAG视频广告品类识别全方案:从架构到落地实操

1 引言:技术背景与核心挑战

在视频内容爆发式增长的当下,品牌广告植入场景日益复杂,如何快速精准判断推广品类,成为转转内容运营、竞品分析的核心需求。当前传统方案主要依赖关键词匹配与规则引擎,面临三大技术痛点:

ASR 转写准确性不高,输入数据质量低下

产品表述异构性

模型泛化与迭代能力弱

本文提出基于 “ASR+LLM+向量知识库” 的技术方案,通过分层处理、语义修复、历史常见词匹配、知识检索融合,解决上述痛点,实现推广品类的精准识别与自迭代优化。

2 技术架构设计

[视频语音输入] → [ASR转写层] → [文本预处理层] → [精准匹配层] → [模糊检索层] → [识别结果输出]
                                                ↑                            ↓
                                         [映射case反馈]     ←          [人工审核反馈]

2.1 各模块核心功能与技术选型

2.1.1 ASR 转写层

语音输入 → [降噪预处理(远场降噪 + 双声道分离)] → [语音转写]  → 原始文本输出

● 功能:将视频语音流转换为原始文本

● 技术选型:采用 ASR 引擎,配置 “远场降噪”“口语化清洗” 参数

2.1.2 文本预处理层

ASR 原始文本 → [语义纠错(错字 / 口音修正)] → [语序规整(如 “苹果手机”→“手机苹果”)] → [字段校验(过滤无核心信息文本)] → 预处理结构化文本
  • 功能:基于LLM对ASR文本的语义修复,修正上下文文逻辑错误(如“手机苹果 IPHONE15”→“手机苹果 iPhone 15”)

2.1.3 精准匹配层

● 功能:实现标准化文本与已知产品信息的精准映射,分为两级匹配:

○一级匹配:基于 MySQL 存储的标准产品库(字段包括 “产品 ID、标准型号、品类、品牌”),采用 “全量字符串匹配 + 前缀匹配” 策略,命中则直接输出品类结果;

预处理文本 → [全量字符串匹配(标准型号完全命中)] → 命中则输出品类

○ 二级匹配:基于 人工历史确认 库(存储 “错误表述 - 标准型号” 映射关系)进行匹配,ASR文本修复后仍有错别字问题(如“手机华硕11U”→“手机华硕 ZenFone 11 Ultra”)

预处理文本 → [错误表述映射(如 “米 14U”→“小米 14 Ultra”)] → 命中则输出品类

2.1.4 模糊检索层

预处理模糊文本→ [文本向量化]  → [余弦相似度检索(Top-10 结果)]  → [LLM 判断映射匹配(匹配型号 + 品类)] → 识别结果输出

● 功能:解决未命中精准匹配的模糊表述识别,核心技术为知识库搭建:

○ 知识库构建:采用向量数据库存储产品信息,将 “标准型号” 转换为向量嵌入;

○ 检索逻辑:将预处理后的模糊表述(如 “某品牌 14 寸笔记本”“米 14U”)转换为向量后,采用 “余弦相似度排序 + Top-3 结果筛选”,结合 LLM 生成标准化匹配结果;

2.1.5 常见映射case 闭环模块

识别结果 → [人工审核(错误案例标记)] → [错误纠正] → [自动入库(常见case映射)] → [同步至预处理层(修复词典更新)] → 效果监控(错误复发率统计)

● 功能:实现错误案例的回收与复用,流程包括: 

○ 人工审核:通过轻量化平台完成 “错误表述 - 标准型号” 标注,支持批量审核与规则配置 

○ 自动入库:审核通过的案例自动同步至【常见case映射库】

3 关键技术难点与解决方案

3.1 单 LLM 节点拆分:降低负载与提升准确率

问题:传统方案采用单 LLM 节点处理 “语义修复 + 产品提取 + 识别”,导致上下文过长模型注意力机制分配失衡、准确率下降

解决方案:节点拆分,将原单节点拆分为 3 个独立模块,各模块专注单一任务:

● 文本修复模块:仅处理 ASR 文本的错漏修正

● 产品提取模块:基于LLM从修复后文本中提取疑似产品关键词 

● 结果生成模块:结合精准匹配与检索结果,生成标准化品类识别结果

3.2 知识库检索优化:提升模糊表述召回率

问题:模糊表述(如 “米 14U”“某品牌扫地机器人”)因信息不全,传统关键词检索召回率低下 解决方案:知识库增强+检索策略优化

知识库增强:在标准产品信息基础上,补充“常见错误表述”“产品简称”“品牌别名” 等维度,如 “小米 14 Ultra” 补充 “米 14U”“小米 14 超” 等表述;

检索策略优化:采用 “向量检索 + 关键词过滤” 混合策略,先通过向量检索获取 Top-10 相似结果,再基于关键词(如品牌、型号数字)筛选,示例:

● 模糊表述:“米 14U”

● 向量检索 Top-3:“小米 14 Ultra”“小米 13 Ultra”“红米 14 Pro” 

● 关键词过滤:基于 “米”(品牌别名)、“14”(型号数字)、“U”(Ultra 简称),最终匹配 “小米 14 Ultra”; 3.3 LLM 参数优化:精准调参提升识别稳定性

3.3 LLM 参数优化:精准调参提升识别稳定性

解释:LLM 的温度、重复惩罚等参数直接影响文本修复、产品提取、知识库检索结果生成的准确性,不同任务阶段需针对性调整,避免 “过度创作”“重复冗余” 等问题。以下为适配本场景的参数配置表:

应用场景

核心目标

温度

Top-K

Top-P

长度惩罚

ASR 文本修复

精准修正错漏,保留品类 / 品牌/ 型号等关键信息

0.2

20

0.7

1.1

产品关键词提取

无遗漏、无冗余提取核心产品信息

0.1

10

0.6

1.1

参数配置原理:

  1. 温度(temperature):决定输出的 “脑洞大小”,值越高越放飞发散(易出新奇 / 混乱内容),值越低越严谨保守(输出越固定),这里主要是防止文本提取时输出过多冗余内容,如:"小米 14 Ultra" 输出为 "文本中提到的机型是 小米 14 Ultra ..."

  2. Top-K:限制模型选词的 “候选池大小”,只从概率最高的 K 个词里挑,K 越小选择越集中(输出越确定);

  3. Top-P(核采样):按概率 “打包选词”,只从累积概率达 P 的最小词集里选,比 Top-K 更灵活,避免遗漏低概率但合适的词;

  4. 长度惩罚(length_penalty):调节输出的 “啰嗦程度”,值越大越简洁(甚至简短),值越小越详尽(可能冗余)

4 效果反馈

从准确度的维度来看,关键词匹配>历史常见case映射匹配>知识库匹配,随着常见映射case库的不断沉淀,在精准匹配 -> 二级匹配层会兜住更多数据,也意味着准确率也会随着数据的沉淀逐渐上升。

5 总结

本文提出的 “ASR+LLM+知识库” 方案,通过分层处理解决了视频广告推广品类识别的核心痛点,实现了 “精准识别 + 自迭代优化”,这套方案理论可应用到各类AI识别类场景,本质思考点是如何保证输入数据质量 -> LLM基础参数调优 -> 常见映射case沉淀反馈。

关于作者:

顾守业:转转新媒体业务Java开发工程师,主要负责新媒业务后端开发、Ai应用开发

王志远:转转大数据开发工程师,主要负责大数据相关基础平台建设

跳转微信打开

  •  

AI硬件的几个战略问题

原创 李志飞 2025-12-13 02:54 美国

移动互联网时代,Google和Apple控制了个人移动设备入口,其它互联网巨头就算富可敌国也很焦虑,最典型的是Meta,小扎脑补靠VR元宇宙设备能掀桌子,所以不惜每年砸百亿美金做自己设备,只可惜事与愿违,宏大的自上而下的战略叙事与终端用户自下而上的用脚投票形成了鲜明的对比。当然,这并不妨碍巨头们的前赴后继(Amazon Echo曾经也是另一个设备入口的寄托。)
现在AI越来越成为重要的人机交互方式,无论是巨头还是创业公司,都蠢蠢欲动,希望在这一场变革中抓到AI时代下一代交互设备的门票,眼见各种形态的AI设备(AI手机、AI PC、眼镜、耳机、吊坠、手表等等)将会雨后春笋般涌现,像极了2013年移动互联网开启后的各种智能硬件。
肉身在AI变革中心硅谷,忍不住蛋疼的思考起几个战略问题:
1. AI时代,互联网巨头是否应把个人硬件设备作为战略场景? 如果不作为,是否这次真的会被狼吃掉? 一向重软轻硬的硅谷这次会改变固有惯性而在硬件设备上大力投入吗? 就算投入,硅谷能补上做好硬件设备的功课吗?我没有答案,但听说硅谷的很多巨头从Apple狂挖硬件人才,很期待看到AI这个变量带来的新变化。
2. 怎么定义AI时代个人移动设备的产品路径和节奏? 是从手机开始改?中国卷王字节选择了试水,但手机的已有玩家和用户心智已经根深蒂固,就算是互联网巨头要扭曲现实重力也是很难。还是抛弃旧时代直接上眼镜?目前看起来已经是“共识”,但眼镜最大的问题是要让用户带上眼镜,还要让用户带上了不愿意摘下来。这目前看起来挺难,技术限制的大山岿然不动。那是否在改良(手机)和革命(眼镜)之间还有别的路径和节奏?既能让用户慢慢接受,又能最终演化成可以跟手机掰手腕的新的AI硬件。我也不知道答案,但是会参与很多尝试。
3. 过去,相对于互联网软件,硬件一直是很苦逼的生意。互联网做好了躺着就能赚钱、硬件就算做好了也是把把都Allin、年年都Allin,一代产品没做好可能就嗝屁了。 毛利也极低,天天跪在工厂也不一定能赚几块钱。AI时代会有变化吗?英伟达是一个很好的例子,通过强大的软件以及硬件自己的长周期构成了壁垒,自己可以定义节奏。那个人AI设备是否有这种可能呢? 估计大家都能想到的是未来得卷AI的极致全能用户体验,这能够把大家从过去卷参数、卷装修、卷噱头泥坑里拉出来,商业模式也就变了。
4. 如果硅谷互联网公司都把AI硬件作为战略,是否又会像模型之争一样死命烧钱(比如说硬件免费、不求短期回报、只求熬死对手或者自己还在牌桌上)?巨头之外的中小型公司又能如何入场呢? 这个对巨头之外的玩家都是灵魂拷问,也许真要有那种商业之外的更高层面的精神考量,才会有飞蛾扑火、纵身一跃的勇气而毅然投入且战略坚持。
总之,AI这个巨大变量又扰动了很多人平静的心境。但是,跟任何科技领域的战略问题一样,用户需求、产品定位、竞争形式、战略目标、产品迭代节奏和路径,刚开始总是一头雾水,处处充满着不确定。这种高度不确定和不可逻辑推演,估计让很多从业者早上兴奋、晚上焦虑。不过,这难道不是科技从业者最好的时代、让人有一种活着的感觉?
AI革命尚未成功,人类同志还需努力,哈哈哈哈。

跳转微信打开

  •  

ITCP联盟第五届技术大会【AI应用专场】报名火热开启!

人才发展中心 2025-12-08 14:28 北京

以下文章来源于:Qunar技术沙龙

Qunar技术沙龙

Qunar技术沙龙是去哪儿网工程师小伙伴以及业界小伙伴们的学习交流平台。我们会分享Qunar和业界最前沿的热门技术趋势和话题,为中高端技术同学提供一个自由的技术交流和学习分享平台。

AI基建专场 收官!11月29日,去哪儿旅行、转转、核桃编程的四位技术专家为大家带来了各自领域内AI基建实

AI基建专场

  收官!

11月29日,去哪儿旅行、转转、核桃编程的四位技术专家为大家带来了各自领域内AI基建实践的干货经验分享,现场听众就主题进行热烈提问,内容的开放性、实用性、可借鉴性受到大量好评。

大会联合dbaplus、麦思博进行了同步推流直播,累计吸引到2000+同学观看。

AI应用专场介绍

      紧随【AI基建专场】的精彩分享,12月13日,去哪儿旅行携手转转、自如,重磅推出【AI应用专场】。本专场将聚焦AI技术与业务场景的深度融合,共同分享 AI 落地过程中的关键技术突破、场景创新实践与避坑经验 —— 从需求拆解到方案设计,从技术选型到效果验证,全方位拆解 AI 如何赋能业务提效、优化用户体验。

我们将共同挖掘能够切实提升企业核心效益的 AI 应用路径,探讨技术与业务同频共振的底层逻辑,为更多企业提供可复用、可落地的 AI 实践范本,助力行业伙伴在智能化转型浪潮中精准破局、加速前行!

【时间】12月13日13:45-17:50

【地点】北京市维亚大厦8F大会议室

报名直通车

报名时间

12月3日-12月12日

报名方式

扫描二维码,提前预定席位

现场席位有限,先到先得呦

精彩预告

大会讲师及主题简介

应阔浩

自如技术副总经理

负责自如整个技术团队,包括技术中台、数据中台、AI 架构搭建等。曾任阿里、京东架构师,华为云联创营 MVP 得主,《云原生落地》、《工程师文化 10 法则》作者、 CCF-TF 工程师文化 SIG 主席。

自如企业级AI架构落地的思考与实践

在 AI 浪潮加速渗透各行各业的背景下,如何在真实业务实战中高效落地 AI 成为企业共同面临的关键课题。本次分享将以自如的实践为核心,从场景选择出发,深入剖析自如在 AI 找房助手、AI 定价后训练等业务中的落地路径与实战经验,并介绍技术提效方向的创新探索。

同时,分享将进一步探讨支撑多AI应用的通用能力建设,包括MCP市场、Agent管理平台与知识库管理平台,为企业构建可复用、可扩展的AI基础设施提供参考。

分享大纲:

1、意图识别的问题与挑战

2、视觉垂直模型的微调

3、知识库RAG的建设

孟繁茂

去哪儿机票辅营搜索负责人

负责去哪儿辅营搜索和商品策略相关业务,长期深耕去哪儿机票 AI 业务实践,在TOC场景中,通过推进 AI 客服、导购、搜索等项目,实现了业务指标的显著提升,同时主导探索了多种Agent架构和模式。

去哪儿机票AI导购和搜索

本主题深入复盘了去哪儿网在机票 AI 导购与搜索场景中的整体落地实践。面对用户意图复杂、多Agent协作导致上下文窗口溢出以及技术难以转化为业务增量等痛点,我们将分享一套经过实战验证的系统化解决方案。

本次分享将涵盖以下亮点:

①架构创新: 详解“专家+专员”的二层路由与协调合成模式(SubAgent+ReAct),实现灵活的意图处理。

②工程突破: 探讨如何通过上下文工程与L3逻辑记忆规划,解决有限Token下的信息丢失问题。

③业务闭环: 分享如何通过分场景圈人与显性化交互,在6+个核心场景实现AB测试正向收益。以及如何结合 AI 实现开发、运营闭环双双提效的。

分享大纲:

1、场景洞察:机票业务场景痛点与AI能力的匹配

2、解决方案:基于多Agent协作的架构演进 

3、工程难点:L3记忆规划与上下文工程

4、业务落地:价值闭环与实战成效

刘丹

去哪儿酒店研发供应链

QA负责人

长期专注于全链路质量保障体系构建与优化,致力于通过自动化、智能化手段推动研测效率提升与风险防控。曾作为特邀讲师出席QCon、携程集团技术分享会、QTEST等多场行业会议。

去哪儿 AI 变更巡检

在数字化转型与业务快速迭代背景下,线上系统频繁变更,传统人工巡检面临效率低、风险高、经验难复用等痛点。为此,我们研发了“AI 变更巡检”,通过 AI 驱动运维自动化,构建从变更接入、智能分析到报告推送的端到端闭环,实现了巡检流程标准化,有效提升效率、降低风险。

本次分享将基于真实业务场景,系统呈现这一解决方案的架构设计与实施路径,深入解析关键技术细节。听众将直观理解变更运维中“人工巡检效率低、覆盖不全、风险高”的核心痛点,并看到如何借助自动化与智能化手段,使巡检效率提升 90% 以上,为变更运维带来更高的可靠性与可控性。

分享大纲:

1、背景洞察:线上变更人工巡检痛点

2、破局之道:AI 驱动的变更巡检平台设计

3、实战细节:技术难点与创新实践

4、成果与展望

黄家兴

转转前端架构负责人

负责转转公司的前端架构与中台业务前端,拥有丰富的前端架构体系建设经验,对于前端性能优化有着丰富的经验。近年主要专注于 AI+前端,通过 AI 提升前端开发效能。

AI-D2C:设计稿转代码在转转的实践

设计稿生成代码(D2C)一直是前端工程师关注的方向,传统 D2C 长期受限于代码质量低、与项目难以结合等问题,导致生成代码的可用率始终难以突破。本次分享将聚焦这一核心痛点,介绍如何利用 AI 对项目代码、设计图的理解以及多模态能力,实现设计稿还原方案的全面升级,使代码可用率提升至 80% 以上,显著提高前端开发效率。

围绕真实场景与落地经验,本次分享将带来从原理到实践的完整路径。听众不仅能够了解传统 D2C 的局限与的 AI 在其中的关键价值,还将掌握提升 D2C 代码可用率的方法技巧,获得适用于实际工程的可落地方案,为构建更高效的前端研发体系提供有益参考。

分享大纲:

1、传统 D2C 的问题与困境

2、转转 D2C 落地的方案

3、落地中遇到的问题与关键技术点

4、落地效果的总结与长期迭代

大会流程

汇聚 AI 先锋,共探技术前沿;

这场干货盛宴,等你赴约!

跳转微信打开

  •  

回收系统架构演进实战:与Cursor结对扫清系统混沌

原创 于天奇 2025-11-28 18:21 北京

"最好的代码不是一次写对的,而是不断重构出来的。" —— Martin Fowler

前言:技术债务带来的效能瓶颈

我所在的团队负责一个多渠道回收业务系统,接入了十几个外部渠道。每个渠道都有自己独特的协议规范、业务流程和特殊要求。随着业务发展,系统逐渐的遇到了一系列问题:

  • 代码膨胀:单个策略类代码超过800行,包含大量if-else判断,可读性极差

  • 重复代码:不同渠道间有70%的代码逻辑相似,有很多都是逻辑类似,但参数名称、结构不一致,难以复用

  • 难以测试:业务逻辑与协议处理耦合,单元测试覆盖率不到30%,主要依赖人工测试

  • 维护困难:改一个渠道的逻辑,需要理解整个类的800行代码,调研成本极高

技术债务不仅影响代码质量,更直接冲击了团队的研发效能。我们在日常开发中遭遇了三个核心瓶颈:

① 新人上手困难,培养周期长

新同学加入团队后,需要2-3个月才能理解现有代码逻辑:

  1. 单个策略类800+行,找一个业务逻辑点要翻半天

  2. 协议处理、业务逻辑、数据操作混在一起,理不清头绪

  3. 没有清晰的架构文档,只能靠"师傅带徒弟"口口相传

② 需求承接效率低,开发成本高

每次接入新渠道,都是一次"复制粘贴+魔改"的过程:

  1. 复制一个相似渠道的策略类

  2. 对照需求文档,逐个方法修改参数、逻辑

  3. 开发写入个性化逻辑

③ 测试回归成本高,质量保障困难

代码耦合导致"牵一发而动全身":

  1. 修改一个渠道的逻辑,可能影响其他渠道,测试范围难以评估

  2. 单元测试覆盖率低(30%),主要靠人工回归测试

  3. 每次发版前,测试同学要回归受影响渠道的核心流程

此时我的脑子里出现了一个想法:为了早点下班~ 必须重构了!

一、 重构方案设计

针对上述的三大痛点,我们很快制定了初步的重构规划:

痛点

重构目标

预期效果

新人上手慢

架构清晰化、职责单一化

培养周期从3周降到1周,调研成本降低70%

需求效率低

通用逻辑可复用、新增渠道可配置化

新渠道接入成本降低70%

测试成本高

解耦分层、单元测试覆盖率≥80%

回归测试时间减半,Code Review时间降低80%

三大技术策略:

  1. 分层解耦:将协议层、业务层、数据层清晰分离,让新人快速定位代码

  2. 责任链模式:每个Handler职责单一,可独立开发、测试、复用

  3. 适配器模式:新渠道只需实现Adapter,组装Handler即可

目标有了,问题也来了:这是一个对接10余个活跃渠道的业务系统,系统复杂,且每日有数百万请求打进系统,如何在不影响线上业务的前提下进行重构?

渐进式落地,而非一步到位

出于对生产环境的敬畏之心,我们不敢"一刀切"地推倒重来。经过评估,我们选择了渐进式重构策略: 整体改进是一个持续的过程,目标清晰但落地需要时间。我们会逐步验证架构可行性,再慢慢进行迁移,确保每一步都是稳定可控的。

阶段规划:

阶段

时间

目标

第一阶段

1-2周

架构验证:完成1个渠道的规范化改造

第二阶段

1-2个月

核心迁移:完成50%渠道的迁移

第三阶段

3-6个月

全量迁移:剩余渠道全部迁移

第四阶段

持续优化

补充协议Handler、完善监控

关键原则

  1. 新老并行:新架构与旧代码并存,通过配置开关灰度切换

  2. 小步验证:每完成一个渠道,立即上线验证,确保稳定后再推进下一个

  3. 数据对比:新老架构同时执行,对比结果一致性,发现问题及时回滚

二、 基于PDCA思想驱动的人机协作模式

PDCA(Plan-Do-Check-Act)是戴明环的核心思想,特别适合用于:

  • 复杂系统的渐进式改进:将大目标拆解为小任务

  • 风险可控的迭代验证:每个小步骤都可验证

  • 知识沉淀与持续优化:从单次需求到全局改进

在与AI协作时,PDCA的价值更加明显:

PDCA阶段

人的职责

AI的职责

协作模式

Plan

架构设计、任务拆解、确定路径

提供设计建议、分析技术方案

人主导

,AI辅助

Do

编写核心逻辑、Review代码

生成模板代码、实现细节

结对编程
Check

验证业务逻辑、集成测试

生成单元测试、代码检查

人验证

,AI执行

Act

总结经验、沉淀规则

整理文档、提取模式

共同迭代

三、 实战案例:渠道统一Handler架构重构

3.1 Plan阶段:架构设计与任务拆解

3.1.1 原有架构的痛点分析

重构前,我们的代码结构是这样的:

@Service("kaChannelBusinessStrategy")
publicclassKaChannelBusinessStrategyextendsBaseChannelBusinessStrategy{
public EnquiryPriceResult getEnquiryPrice(...){
// 1. 参数校验(50行)
// 2. 解密验签(30行)
// 3. 获取渠道配置(40行)
// 4. 调用报价服务(60行)
// 5. 计算佣金(50行)
// 6. 组装响应(30行)
// 7. 加密签名(20行)
// ... 总计500+行
    }
public CreateOrderResult createRecycleOrder(...){
// 同样的模式,又是几百行...
    }
}

问题总结:

  1. 职责不清:一个类既处理协议,又处理业务,还管数据

  2. 代码重复:AChannelBusinessStrategy、BChannelBusinessStrategy里有大量相似代码

  3. 难以扩展:新增一个渠道,需要复制粘贴800行代码

  4. 测试困难:依赖过多,mock成本高

3.1.2 新架构设计思路

本次我们的设计,是一个基于责任链模式的新架构:

核心设计点:

  1. 分层解耦

    • Facade层:统一入口,参数校验、异常处理

    • Adapter层:渠道适配,协议转换

    • Handler层:责任链模式,每个Handler职责单一

  2. 可复用的Handler

    DuplicationCheckHandler     → 幂等性检查(通用)
    ChannelConfigHandler        → 渠道配置获取(通用)
    ReportMappingHandler        → 报告映射(通用)
    OrderParamAssemblyHandler   → 参数组装(可定制)
    OrderCreationHandler        → 订单创建(通用)
  3. 灵活的编排机制

    // A渠道:标准流程
    chain.addHandler(duplicationCheck)
         .addHandler(channelConfig)
         .addHandler(reportMapping)
         .addHandler(orderParamAssembly)
         .addHandler(orderCreation);
    // KA渠道:额外增加权限校验
    chain.addHandler(duplicationCheck)
         .addHandler(kaAuthCheck)  // KA特有
         .addHandler(channelConfig)
         .addHandler(reportMapping)
         .addHandler(orderParamAssembly)
         .addHandler(orderCreation);

3.1.3 任务拆解

有了架构设计后,我将重构任务拆解为8个小任务:

任务ID

任务描述

依赖关系

T1

定义责任链上下文数据结构

-

T2

定义IChannelAdapter接口

T1

T3

定义BusinessHandler接口

T1

T4

实现5个通用Handler

T3

T5

实现统一对外接口

T2

T6

实现ChannelAdapter

T2, T4

T7

编写单元测试

T4-T6

T8

集成测试与灰度发布

T7

关键点:每个任务都是独立可验证的,这也为后续与Cursor协作奠定了基础。

3.2 Do阶段:与Cursor协同编码

3.2.1 建立清晰的上下文

在开始编码前,我做了三件事:

1、 用自然语言写了一个详细的架构说明文档

AI更擅长理解结构化信息,为了提升Cursor的代码生成质量,我首先为Cursor量身定制了一份"产品需求文档"(PRD)。有了这份文档,Cursor代码生成的有效率大大提升,大部分时间,我只需要微调业务细节,就可以直接使用它生成的代码。

包含:

  • 架构全景图

  • 核心设计模式(责任链、适配器、模板方法、策略)

  • 数据流转过程(Context如何在Handler间传递)

  • 扩展点说明(如何新增渠道、Handler、Action)

2、 定义好接口和数据结构

/**
 * 渠道上下文
 */
@Data
@Builder
publicclassChannelContext{
private String requestId;        // 请求ID
private String channelCode;      // 渠道编码
private String action;           // 业务动作
private Object bizData;          // 业务数据
private Map<String, Object> handlerResults;  // Handler结果
// ...
}

3、 编写第一个Handler作为示例

我手写了一个DuplicationCheckHandler,作为Cursor的参考模板:

@Component
publicclassDuplicationCheckBusinessHandler
extendsAbstractTypedBusinessHandler<CreateOrderBizData, Boolean> 
{
@Override
protected Boolean handleTyped(CreateOrderBizData input, ChannelContext context){
// 1. 根据outOrderNo查询订单
        RecycleOrderVO existOrder = orderService.queryByOutOrderNo(input.getOutOrderNo());
// 2. 如果订单已存在,返回true(跳过后续Handler)
if (existOrder != null) {
            log.info("订单已存在,跳过创建流程, outOrderNo={}", input.getOutOrderNo());
            context.putHandlerResult("ORDER_EXISTS", existOrder);
returntrue;
        }
returnfalse;
    }
@Override
publicintgetOrder(){
return100;  // 最先执行
    }
}

完成了上述步骤后,我开始与Cursor结对编程。

参考DuplicationCheckBusinessHandler,帮我实现ChannelConfigBusinessHandler,用于获取渠道配置。需要满足:

  1. 从ExternalChannelConfigService获取配置

  2. 从PricedSourceService获取报价源配置

  3. 将结果保存到context的handlerResults中

  4. order设置为200

Cursor生成的代码:

@Component
publicclassChannelConfigBusinessHandler
extendsAbstractTypedBusinessHandler<CreateOrderBizData, ExternalChannelConfig> 
{
@Resource
private ExternalChannelConfigService configService;
@Resource
private PricedSourceService pricedSourceService;
@Override
protected ExternalChannelConfig handleTyped(CreateOrderBizData input, ChannelContext context){
        String channelCode = context.getChannelCode();
// 1. 获取渠道配置
        ExternalChannelConfig channelConfig = configService.getByChannelCode(channelCode);
if (channelConfig == null) {
thrownew ChannelException("CHANNEL_NOT_FOUND", "渠道配置不存在: " + channelCode);
        }
// 2. 获取报价源配置
        PricedSourceBO pricedSource = pricedSourceService.getPricedSource(
            channelConfig.getOrgId(), input.getCategoryId());
// 3. 保存到上下文
        context.putHandlerResult("CHANNEL_CONFIG", channelConfig);
        context.putHandlerResult("PRICED_SOURCE", pricedSource);
        log.info("获取渠道配置成功, channelCode={}, orgId={}", 
            channelCode, channelConfig.getOrgId());
return channelConfig;
    }
@Override
publicintgetOrder(){
return200;
    }
}

可以看到,代码结构完全符合预期,异常处理到位,日志也很规范。

3.2.3 快速迭代的秘诀

在Do阶段,我总结出了几个与Cursor高效协作的技巧:

技巧1:更加明确的提示

不好的提示词:

帮我实现所有的Handler

好的提示词:

先实现DuplicationCheckHandler,用于检查订单是否已存在

技巧2:提供参考代码

参考DuplicationCheckHandler的实现方式,生成ChannelConfigHandler

技巧3:明确约束条件

要求:
1. 继承AbstractTypedBusinessHandler
2. order设置为200
3. 必须包含日志
4. 异常使用ChannelException

技巧4:及时Check

每生成一个Handler,我都会:

  • 检查是否符合接口规范

  • 运行单元测试

  • 代码Review(看命名、异常处理、日志)

3.3 Check阶段:代码审查与验证

3.3.1 多层次的检查机制

在Check阶段,我建立了三层验证机制:

第一层:IDE即时检查

  • Cursor的智能提示会提醒语法错误

  • SonarLint插件实时检查代码质量

第二层:单元测试

我让Cursor帮我生成了单元测试:

为DuplicationCheckHandler生成单元测试,需要覆盖:

  1. 订单不存在的场景

  2. 订单已存在的场景

  3. 查询异常的场景

Cursor生成的测试:

@RunWith(SpringRunner.class)
@ContextConfiguration("classpath:scf-spring-test.xml")
publicclassDuplicationCheckBusinessHandlerTest
{
@Resource
private DuplicationCheckBusinessHandler handler;
@Resource
private IRecycleOrderService orderService;
@Test
publicvoidtestHandle_OrderNotExists(){
// 构建测试数据
        CreateOrderBizData input = CreateOrderBizData.builder()
                .outOrderNo("OUT_ORDER_001")
                .channelCode("TEST_CHANNEL")
                .productId(123456L)
                .build();
        ChannelContext context = ChannelContext.builder()
                .requestId("REQ_001")
                .channelCode("TEST_CHANNEL")
                .action("CREATE_ORDER")
                .bizData(input)
                .build();
// 执行
        Boolean result = handler.handleTyped(input, context);
// 验证
        System.out.println("订单不存在场景测试结果: " + result);
        System.out.println("Context中的ORDER_EXISTS: " + context.getHandlerResult("ORDER_EXISTS"));
    }
@Test
publicvoidtestHandle_OrderExists(){
// 构建测试数据 - 订单已存在的情况
        CreateOrderBizData input = CreateOrderBizData.builder()
                .outOrderNo("OUT_ORDER_002")  // 这个订单号在数据库中已存在
                .channelCode("TEST_CHANNEL")
                .productId(123456L)
                .build();
        ChannelContext context = ChannelContext.builder()
                .requestId("REQ_002")
                .channelCode("TEST_CHANNEL")
                .action("CREATE_ORDER")
                .bizData(input)
                .build();
// 执行
        Boolean result = handler.handleTyped(input, context);
// 验证
        RecycleOrderVO existOrder = (RecycleOrderVO) context.getHandlerResult("ORDER_EXISTS");
        System.out.println("订单已存在场景测试结果: " + result);
        System.out.println("已存在订单信息: " + JsonUtils.toJsonWithoutNull(existOrder));
    }
}

第三层:集成测试

我在测试环境跑了完整的下单流程,验证Handler链的协作:

@RunWith(SpringRunner.class)
@ContextConfiguration("classpath:scf-spring-test.xml")
publicclassChannelUnifiedFacadeTest
{
@Resource
private IChannelUnifiedFacade channelUnifiedFacade;
@Resource
private IRecycleOrderService orderService;
@Test
publicvoidtestCreateOrder_FullProcess(){
// 构建完整的渠道请求
        CreateOrderBizData bizData = CreateOrderBizData.builder()
                .outOrderNo("TEST_OUT_ORDER_" + System.currentTimeMillis())
                .channelCode("KA")
                .productId(123456L)
                .categoryId(1L)
                .skuId(1001L)
                .userId(888888L)
                .picList(Collections.singletonList(
                    Pic.builder().picUrl("https://test.com/pic1.jpg").build()
                ))
                .build();
        ChannelRequest<CreateOrderBizData> request = ChannelRequest.<CreateOrderBizData>builder()
                .requestId("REQ_" + System.currentTimeMillis())
                .channelCode("KA")
                .action("CREATE_ORDER")
                .bizData(bizData)
                .build();
// 执行完整流程
        ChannelResponse<Long> response = channelUnifiedFacade.process(request);
// 打印结果
        System.out.println("=== 集成测试结果 ===");
        System.out.println("请求成功: " + response.isSuccess());
        System.out.println("订单ID: " + response.getData());
        System.out.println("响应码: " + response.getCode());
        System.out.println("响应信息: " + response.getMessage());
// 验证订单确实创建成功
if (response.getData() != null) {
            RecycleOrderVO order = orderService.getById(response.getData());
            System.out.println("订单详情: " + JsonUtils.toJsonWithoutNull(order));
            System.out.println("订单状态: " + order.getOrderState());
            System.out.println("外部订单号: " + order.getOutOrderNo());
        }
    }
}

3.4 Act:规则沉淀与持续优化

3.4.1 沉淀提示词模板

经过多次迭代,我总结出了一套可复用的提示词模板:

模板1:生成Handler

角色:你是一个Java后端工程师,熟悉责任链模式
任务:实现一个BusinessHandler,用于[具体功能]
要求:
1. 继承AbstractTypedBusinessHandler<P, R>
2. 输入类型是[P],输出类型是[R]
3. order值设置为[ORDER_VALUE]
4. 从context中获取[DEPENDENCY]
5. 将结果保存到context.putHandlerResult("[RESULT_KEY]", result)
6. 异常使用ChannelException,格式:new ChannelException(errorCode, message)
7. 添加日志:处理开始、处理成功、处理失败
参考代码:[粘贴参考Handler代码]

模板2:生成Adapter

角色:你是一个Java架构师,熟悉适配器模式和责任链模式
任务:实现[渠道名]ChannelAdapter
要求:
1. 继承AbstractIChannelAdapter
2. 注入以下Handler:[列出Handler列表]
3. 根据action构建不同的Handler链:
   - CREATE_ORDER: [Handler顺序]
   - UPDATE_ORDER: [Handler顺序]
4. 添加@Component注解,value为渠道code,用于自动注入
5. 添加完善的日志
参考代码:[粘贴AChannelAdapter代码]

3.4.2 持续优化

在重构过程中,我发现了一个可以提取的通用模式:参数校验。

最初,每个Handler都自己做参数校验:

// DuplicationCheckHandler
if (StringUtils.isBlank(input.getOutOrderNo())) {
thrownew ChannelException("PARAM_ERROR", "外部订单号不能为空");
}
// ChannelConfigHandler
if (StringUtils.isBlank(input.getChannelCode())) {
thrownew ChannelException("PARAM_ERROR", "渠道编码不能为空");
}

在Act阶段,我提取了一个通用的ParamValidationHandler:

@Component
publicclassParamValidationBusinessHandler
extendsAbstractTypedBusinessHandler<Object, Void> 
{
@Override
protected Void handleTyped(Object input, ChannelContext context){
//.....
returnnull;
    }
@Override
publicintgetOrder(){
return50; 
    }
}

现在,只需要在Handler链中加入这个Handler,就能统一处理参数校验了。

最后的话

这篇文章分享的是我们正在进行的探索,而非一个 "完美的成功案例" 。

我们的重构之旅才走了一小步,还有很多坑要踩,很多问题要解决。但我们选择边做边分享,因为:

真实的经验比完美的故事更有价值。

愿你在AI时代,既能拥抱新工具提升效率,又能保持对代码质量的追求、对架构美感的坚持。

关于作者,于天奇,侠客汇Java开发工程师。 想了解更多转转公司的业务实践,欢迎点击关注下方公众号

想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

跳转微信打开

  •  

独家对话DeepMind谭捷:机器人、世界模型与Google

张小珺 2025-11-28 17:34 上海

访谈:张小珺 x 谭捷

今天的嘉宾是Google DeepMind机器人团队的高级研究科学家兼技术负责人谭捷,他的研究方向是将基础模型和深度强化学习方法应用于机器人领域。

中美在机器人领域一直存在两种叙事:市场普遍认为,中国在硬件上发展更快,美国在机器人大脑设计上更领先。

本期节目中,谭捷将带我们一窥硅谷视角,尤其是Google DeepMind视角下的机器人前沿叙事。

前不久,他们刚发布了新工作 “Gemini Robotics 1.5 brings AI agents into the physical world”(Gemini Robotics 1.5将AI Agents带入物理世界),我们也聊了聊他们的最新发现。

01 

机器人是在真实世界里做图形学,图形学是在simulation里做机器人


张小珺:谭老师,请先给听众朋友们打个招呼,并做个简单的自我介绍。

谭捷:大家好,非常高兴能来到这里。我叫谭捷,现在是Google DeepMind的一名研究科学家。我加入这个团队快十年了。

我本科毕业于上海交大,因为小时候特别喜欢打游戏,所以读博时选择了计算机图形学方向。后来我发现图形学和机器人有很多相似之处,可以认为,机器人是在真实世界里做图形学,而图形学是在simulation里做机器人。

为了让自己的工作能产生看得见、摸得着的影响力,我后来就转到了机器人领域。我加入时团队还叫Google Brain,后来与DeepMind合并,就变成了Google DeepMind Robotics team。

张小珺:这是你的第一个工作吗?

谭捷:其实不是。我在读博之前,曾在上海短暂创过业,做过一个startup。那个startup有点像现在的酷家乐——我不知道它还在不在,很久没关心这个领域了。

但当时我觉得时机还不是很成熟,后来我便出国读书。读完书后,我又去了一家做相机的startup,叫Lytro,做光场相机,不知道大家有没有听说过。它在硅谷,特点是可以先拍照后对焦。原理并非通过计算,而是采集一个完整的光场,这是个非常复杂的物理原理,能让相机实现一些特别的功能。

在那儿做了一年半左右,我后来就加入了Google。

张小珺:你的研究方向是怎么发生变化的?

谭捷:我博士期间是做图形学的,当时也在Pixar(皮克斯)实习。我一直做的方向叫动画,动画其实有很多种做法。在Pixar,他们有很多自己的坚持,比如从来不用动作捕捉系统,觉得所有的东西都应该是手调的。但如果做动画研究,其实并非关于手调,而是通过数学和物理的方法,看能否在一个仿真环境里,使一个人形或动物形态自然地行走。

我当时做的方向叫Physics-based character animation(基于物理的角色动画)。做着做着,我发觉这里面有很多AI的成分,我越来越多地用AI来解决这类问题。

大概在我博士第三、第四年的时候,我觉得这个东西跟机器人太相似了,而且我不想自己的工作只为了娱乐、游戏和影视。于是我跟我导师说,我想尝试机器人,要用图形学的方法来变革整个机器人行业。这听上去非常宏大。(笑)

我的导师非常开明,她叫Karen Liu,我当时在Georgia Tech读博士,她后来去了Stanford。她说:“那就做呗。”

我最后一个project就是完全用图形学的方法,在一个很小的人形机器人上让它能够倒立,或者在不同姿势间切换,比如从坐姿变成站姿,做了一些很简单的控制。

那之后我想在美国找一份教职,是2015年。当时我也收到了很多好学校的interview,比如Cornell。但当我说要用图形学方法变革robotics时,大家普遍持怀疑态度。因为我刚涉足这个领域,绝大多数背景还是在图形学上。我并没有拿到我想要的教职,于是就去了硅谷工作——先去了一家startup,后来去了Google。

张小珺:当时robotics处于什么阶段?你为什么认为图形学是变革robotics的一个好方法?之前来我们节目的嘉宾王鹤(银河通用创始人、CTO)也说过,robotics这一拨人很多都是从图形学、计算机视觉领域冒出来的。

谭捷:对,我举几个例子。我是图形学领域的,大家可能知道一位非常著名的Berkeley(伯克利)教授叫Sergey Levine,他以前也是做图形学的。我们以前经常在SIGGRAPH做presentation(演讲),可能是前脚后脚,我先做然后他再做,但我们都不约而同地转了robotics——这说明这两个领域其实非常相关。

当时我觉得robotics还处在一个非常rule-based的阶段,大家用传统的控制方法,比如一种叫MPC(Model Predictive Control)的方法,就是建立物理模型,通过一些最优化算法来计算运动轨迹。

这里面有很多难点。我经常跟别人说,以前做robotics,你肯定需要一个PhD,否则那些数学都搞不明白。但图形学里其实有很多AI算法,这很简单,因为一切都在电脑里,在simulation里面,所以你可以获得机器人需要的所有信息,比如关节、力等等。于是你就可以用AI的手段来解决各种控制问题。

我那时候觉得simulation和真实世界差不多,如果一个方法在simulation里能work,那么它在真实世界也应该能work。

而在那个时候,机器人还很“傻”。当时有一个DARPA Robotics Challenge,很多人形机器人去做一些比较简单的事情,比如过个坡、开个车、拧个阀门什么的,但机器人们经常摔倒,看上去很傻。但在图形学里,也就是在simulation里,机器人已经能翻跟头、能跑步,什么都能做了。

所以我觉得两边的差距很明显。如果我们能把simulation的东西放到真实世界里,那么机器人会有非常长足的进步。这就是我希望用图形学技术变革机器人的原因。

张小珺:你用了多长时间发现这个方向是正确的?

谭捷:这个问题其实还挺难回答的。现在看肯定是正确的。

张小珺:是在Google里发现的吗?

谭捷:对,我在Google的第一篇论文,叫《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》(《从仿真到现实:四足机器人敏捷运动学习》),sim-to-real就是从仿真到真实世界。

我用的方法叫Deep Reinforcement Learning(深度强化学习),这个技术哪怕对于graphics领域也是比较新的,在机器人上更是根本没人用。第一篇paper出来后获得了很多好评。

这也是我觉得过去十年里第一个paradigm shift(范式转移)的发生:用强化学习解决走路和步态的问题。

我给你描述一下,大概十年前,大家觉得最好的机器人是Boston Dynamics(波士顿动力)的,他们的狗叫Spot,人形机器人叫Atlas,能跑酷,非常厉害,但整个学术界都不知道他们是怎么做的。

最近大家才知道他们是用MPC做到极致。但大概五年后,你会发现大家都能跑跑跳跳,打拳跳舞了。比如今年你看到宇树科技的机器人能打拳击、能跳舞,最近各种上墙、翻跟头都行。这其实就是因为大家采用了同一个技术:强化学习和sim-to-real。

所以我个人觉得,我开始做的那篇论文,开创了整个强化学习和sim-to-real在四足机器人上的应用。现在回头来看,那篇论文或者说计算机图形学,的确彻彻底底地改变了机器人最近五到十年的发展。

张小珺:你当时用强化学习,是从大语言模型里借鉴的方法吗?

谭捷:不是,大语言模型的兴起是过去五年的事,而强化学习是七八年前的事了,那是2018年。当时还没有大语言模型。

那时我们是从哪里借鉴的方法呢?当时有个特别火的事件是AlphaGo,就是DeepMind用深度强化学习下围棋。当时有很多方法,其中一个方法叫PPO,就是我利用的一个技术。它和强化学习的兴起在时间上还有一段差距。

但我认为,过去十年里第一个paradigm shift肯定是强化学习,第二个paradigm shift才是大语言模型。

张小珺:国内喜欢把这个行业称作“具身智能”,硅谷习惯称呼为“具身智能”还是叫“机器人”?

谭捷:“具身智能”好像是国内说得比较多,其实都可以。

是这样,以前我们说embodied AI(具身智能)的时候,它不一定代表有硬件本体,你在simulation里做机器人也叫embodied AI。

但对我们来说,我们不光在simulation里做robotics,我们也要在真实世界里做,所以我更倾向于叫它“机器人”。

张小珺:大语言模型出现以后,对机器人领域带来的影响是什么?

谭捷:在大语言模型出来之前,很多机器人还停留在底层的控制,比如怎么好好走路,或者做一些路径规划,使得手能在不碰撞的情况下抓取一个瓶子。但机器人没有common sense(常识),也不懂语言。所以你要让机器人做一件事,你得编程,它才能执行。

有了大语言模型以后,第一,它理解人类语言了。你可以直接用natural language(自然语言)去跟它对话,让它做事,这是一个很重要的突破,意味着任何人都可以指挥机器人。

第二,就是common sense。以前大家觉得机器人难,不仅是控制问题,还因为它没有常识。比如你让它“帮我做杯咖啡”,这样一个简单指令,它完全不知道什么意思,也不知道具体步骤。但如果你现在问Gemini或ChatGPT:“我要做一杯咖啡有哪些步骤?”它会一步步列出来。如果你说需要更细化的步骤,它能给你一个非常详细的plan。

所以,当你用大语言模型来控制机器人的时候,这个机器人就有了common sense,它能理解做一件事需要哪些具体步骤。而如果每个步骤都足够简单,它就能一步步完成。

可以说,以前的机器人没有大脑;有了大语言模型以后,你可以认为它现在有了大脑和认知,使得它可以做很多复杂的事情。

张小珺:强化学习相当于什么?

谭捷:这个有点像大脑和小脑。

大脑负责思维、推理和做计划,所以大语言模型更像大脑。而小脑负责执行,你要走路、控制平衡、控制双手做manipulation(操控),这部分是强化学习非常擅长的。可能大脑、小脑都需要。

02

机器人基座大模型到底是不是一个非常独立的学科?So far, not yet


张小珺:前几周我在杭州主持云栖大会的具身智能专场,有个观点我印象很深:他们提出,具身智能基座模型不应该被视作大语言模型的一个延伸或分支,而是一个独立的方向。

他们觉得为机器人训练的是一个独立的机器人基座模型、属于机器人的大脑。他们非常强烈地强调学科的独立性。你怎么看待这个观点?

谭捷:我觉得没有对错可言,大家会有自己不同的见解。

从我的角度来说,我不得不承认,最近几年的机器人智能发展主要还是依赖于多模态大模型。它不仅仅是语言模型,它是一个多模态模型。

但多模态模型缺什么呢?它缺少robot action的输出。

多模态模型可以输入图像、语言,输出可能是文本,但它不能输出对机器人的控制。于是我们经常做的事情,是拿大语言模型作为一个基底模型,加上一些机器人动作的数据,让它能够输出机器人的动作,控制机器人。

所以从我的角度来说,我做的很多工作还是在补全现在的多模态模型,使它可以输出机器人动作,控制机器人。

它到底是不是一个非常独立的学科?So far, not yet。

我觉得未来,当你碰到各种瓶颈,需要不一样的data format(数据格式),或者需要一个更完善的world model(世界模型)时,它可能会变成一个更加独立的学科。但现在,我觉得绝大多数在做VLA(Vision-Language-Action)、在做机器人大模型的,其实还是在大语言模型或多模态语言模型上做一些fine-tuning(微调)。

张小珺:所以它还是一个延伸。

谭捷:对,至今为止,我觉得它其实并没有质的改变。更多的是采集更多的机器人数据,然后扔到大语言模型里面去做不同阶段的fine-tuning。

张小珺:今天你觉得robotics发展到哪个阶段了?

谭捷:我觉得它的progress非常快,最近一年的进展非常impressed或者surprised。

但要解决具身智能或让机器人有真正的应用,我觉得那个gap还是很大的。的确,现在你可以让机器人模型把一件事情做得非常好。你看到很多网上的video,包括你可能在CoRL上看到Dyna折衣服的那个demo,它在做一个比较窄的领域的操作时,可以做得非常好。

张小珺:这是因为强化学习吗?

谭捷:大家号称是强化学习,但我觉得肯定不止强化学习。我相信Dyna也是VLA加上强化学习的方案,但它依靠了多少VLA、依靠了多少强化学习?这可能只有问他们才知道了。

所以如果你是做一个任务,或者一系列非常接近的任务,现在可以做得挺好了。但如果你要真正的generalization,也就是泛化能力,希望有一个人形机器人能做好多事情,现在还差得很远。

比如像我们最新的Gimini Robotics这样的模型,它非常强调泛化能力,可以做很多事情。你可以用自然语言说“打开这个水瓶盖子”或者“把这个包整理好”,但是它的成功率还不是很高。

对于非常简单的pick-and-place(抓取并放置),比如把东西抓起来放到某个地方,也许成功率有90%多甚至100%。但对于很多需要精细操作的东西,比如把这个拉链拉上——这个就非常难,你要抓到对的地方,然后往一个特定的方向拉——像这种任务成功率可能就是30-40%。30-40%的成功率在现实生活中是不可用的。

所以我觉得,虽然我们的进展非常快,但gap也还非常大,还需要好几年的时间,才能让机器人足够完善,进入各行各业来帮助我们。

张小珺:如果用一个GPT那样的标尺来定义,大概到了哪个阶段?

谭捷:这个其实很难做对应。我是这么想的:现在大家看到了足够的sign of life(生命迹象),表明我们scale up现在的training recipe(训练配方)是会work的。但可能还需要两三年时间,才能达到一个GPT-3、GPT-4那样的水平,让你真正觉得“哇,这东西真的会有用”。

然后我觉得可能还需要额外的5到10年时间,才能让它真正落地。

张小珺:落地的时间更长。

谭捷:一般做research是这样,你有一个想法,从想法到一个prototype(原型),这个过程很快,因为做完prototype就可以写一篇论文,周期可能是6个月到一年。

但从你写完论文,到你有胆量拿出来做live demo(现场演示),而不仅仅是录一段视频,可能需要一两年时间。因为你在写论文时有很多assumption(假设),所以它可能只在一个非常小的区间内工作。

然后从live demo到真正落地,那可能又是5到10年。

你就想自动驾驶。从最开始,比如在DARPA的Robotics Challenge上,你说我可以开好二十几公里;到后来每个厂商都能在一个固定的园区里做demo;再到今天,也许算落地了,因为Waymo和Tesla都有自己的自驾产品。这中间确实隔了十年。

从demo到真正落地,隔十年并不是一个非常夸张的事情。

张小珺:现在L3、L4也没有真正的广泛应用。

谭捷:自动驾驶,像Waymo,它其实有一个robotaxi(自动驾驶出租车)的business,在旧金山也是在有限区域,但它可以把driver(司机)真正地拿掉,所以我觉得已经越来越近了。但这也是另一个例子,说明从你有一个idea到真正落地其实非常遥远。

张小珺:所以我就在想,你看自动驾驶的动作输出是一个这么有限的领域,都需要花费这么多年。那机器人就让它一个领域、一个领域地做就好了,为什么要去追求足够的泛化性呢?——我们为什么需要一个足够通用的机器人大脑来做人形机器人?

谭捷:这是一个很好的问题,这里面的很多争论都比较philosophical(形而上的)。

我的感觉是两条途径都是有可能的:先做非常专业化的事情,在一个领域落地;versus你做一个最general的、通用的人形机器人。

我觉得并没有对错,但这个世界的发展无关乎对錯。

这两条路可能都可行,但最后会发生什么呢?——可能会有一个大佬,他可能是Elon Musk,可能是Steve Jobs,一个visionary(有远见)的人,他灌输了一个概念,说“通用人形机器人是最终局的解决方案”。当一个大佬发话以后,就会有很多follower(追随者)、很多钱和很多talent(人才)进来,最后就促使这一条路径成了真正被解决的路径。

所以说,并不是说做specialized(专用)的机器人,然后一个一个domain(领域)去solve(解决)是错的。只是可能现在因为硅谷的发展,因为有大佬特别提倡这个方向;

同时,大语言模型也证明了,如果你做specialized model(专有模型)——以前的语言模型通常都是specialized model,比如你做英到中的翻译是一个model,做VQA(Visual Question Answering,视觉问答)是另外一个model——但后来你发现,当你真正有一个generalist model(通用模型)的时候,那些specialized model(专有模型)就完全不能与之竞争。

这也是另一个例子来解释,为什么大家更相信通用的机器人。

张小珺:你刚才提到过去一年进展非常快,可能超出预期,它的进展快来自于哪些变量?

谭捷:一个是VLM模型的发展,比如Gemini的发展,GPT的发展。还有很多技术的变革,比如现在很多model是所谓的“thinking model”(思考模型),它在inference time(推理阶段)可以用很多的token budget(token预算)来提高最终答案的准确性。这是一个从技术角度的变革,这也使得robot can think as well(机器人也能思考)。

我们最新的Gimini Robotics 1.5,有一个比较重要的突破,就是利用了这个thinking的能力。这是技术上的。

第二个是从重视程度上,我觉得在硅谷,大家都觉得机器人可能是即将发生的最重要的变革之一。所有的公司都投入巨资去攒他们的机器人团队,去做机器人大模型。如果CEO们都重视了,那么分配的资源、算力都会增长,这也从另一个角度加速了机器人的发展。

第三点,这也使得硅谷现在非常卷。以前大家觉得996是中国特色,现在硅谷也是996了。

至少做AI、做机器人的肯定是996。为什么会996呢?因为没有人想输在这场competition(竞赛)里。所有人都希望自己的公司或团队是世界第一。如果你是世界第二,你团队里最优秀的人就会觉得要去那个世界第一的团队,因为在那里能做成事。

为了防止那个发生,你就只能加速工作、加倍工作,使得你永远保持在第一梯队,或者整个行业的最前列。这使得大家花了更多的精力、更多的时间在科研上,这也是我觉得最近发展特别快的原因之一。

张小珺:这是最近一年发生的变化,还是最近两三年?

谭捷:我觉得是最近一年半到两年。基本上就是ChatGPT出来后,大家意识到这个东西可以用在机器人上,就开始变得非常卷。

03

最大问题是数据问题,Robotics在一个非常复杂的unstructured environment里,可以发生任何事情


张小珺:你刚才说未来有两个关键阶段,一个是要先到达GPT-3的时刻,再去落地。你觉得从现在这个节点到GPT-3,中间差的是哪几步?有哪些关键问题解决了,可能就到了?

谭捷:我觉得一个最大的问题还是数据问题。

对语言模型来说,数据是free的,网上有那么多的语言数据,你可以抓取PDF,可以digitalize(数字化)很多书本,互联网数据太多了。而且语言相对来说也是一个narrow domain compared to robotics。

但是robotics是在一个非常复杂的unstructured environment(非结构化环境)里,可以发生任何事情。所以它需要极大量的、非常diverse(多元)的数据,但这些数据现在是不存在的。

现在有很多startup叫data factory(数据工厂),他们通过比如遥操作的方式来collect(收集)很多数据,通过simulation的方式来collect数据,然后把数据卖给做模型的大厂。所以,数据还是一个从根本上制约发展的bottleneck(瓶颈)。

张小珺:大模型面对的是数据墙的问题,机器人领域面对的是没有数据的问题。

谭捷:对。

张小珺:一个是数据,还有其他的吗?

谭捷:我现在看到最明显的就是数据。我确信,现在的数据量完全没有办法saturate(喂饱)模型的能力。所以当你数据大到一定程度上,我肯定会发现第二个瓶颈,可能是模型的architecture(架构)或者是其他的。

但是因为现在数据如此之少,所以你还没有发现第二个瓶颈是什么。

张小珺:到底需要什么样的数据?怎么定义一个好数据?——真实世界的数据太变幻莫测了。

谭捷:对,所以需要很多很多不一样的数据。

机器人领域经常会聊:“数据金字塔”。

这个金字塔是这样,最底层是量非常大、非常scalable的数据,这可能是互联网上已有的数据。

上面一层可能是video数据,这video数据有可能是我们叫egocentric video data(第一人称视角的视频数据),就是从人的第一视角看到你做事情的那种数据。

这种数据也很多,YouTube上有海量这样的数据,而且也很容易采集,因为你做事情无非就是额外戴一个眼镜或camera。所以它量也非常大。但是因为人和robot的形态很不一样,所以这个数据也不是特别有用,至少大家还不知道怎么用。

再往上可能是simulation数据,这个数据和robot形态可能更接近了,也包含了很多robot action的标注,但是有一个sim-to-real gap(仿真到现实的差距),就是你在simulation里做的数据,和真实世界的物理毕竟还是不一样的,它只是一个数学简化。

再往上,可能就是robot-specific(机器人专有)数据,你通过遥操或其他方式获得的机器人数据。

所以大家一般认为有这样一个金字塔,你每一个level的数据都需要,但是需要的量不一样,采集不同level数据的cost(成本)也不一样,但这些数据都很重要。

张小珺:这是你倾向于认为的观点吗?

谭捷:我觉得是这样的。

底层的数据,需要很大的量,但它的质量可能不是特别高,因为它跟机器人有很大的gap。通常大家说,在训练机器人模型时,有预训练和后训练,也就是pre-training and post-training。

在预训练阶段,你可以用各种各样海量的数据。在预训练阶段,它需要学会的只是一个intuition(直觉)或对物理的理解,并不一定要对自我形态或者对任务的认知,但它需要学会物理,所以你只需要很大量的数据。

但在金字塔最顶端的时候,你需要知道这个机器人是这样一个夹爪、这样一个构型,然后你做这一个任务,比如打开这个瓶盖,它就需要非常精细、高质量的数据,但那个数据量可能不需要很大。

整个金字塔都非常重要。

04

Gemini Robotics 1.5:我们有一个方法叫motion transfer,这是独门秘诀


张小珺:关于数据、架构机器人业界有很多争论,这个我们稍后再说。

我们现在聊聊你们最近的工作吧。你们刚发布了Gemini Robotics 1.5,将AI agents带入了物理世界。在这个工作中,你觉得最重要的发现是什么?

谭捷:我们有两个比较重要的发现。

第一个是我们把“thinking”加入了VLA模型。以前的VLA模型,输入是图像和用语言表达的任务,输出就是马达的角度,直接对机器人进行控制。现在我们把“thinking trace”,也就是机器人是怎么想的,也作为输出。

比如说一个任务是“把我的衣服按照颜色分类”。机器人得先想,因为这个任务挺复杂的,它得想“这是红色的,所以要扔到红色那一堆里;这件衣服是白色的,所以要扔到白色那一堆里”。这里面有很多很小的步骤。

上一代的机器人模型是没有办法想这么细致的东西,做一个multi-step task(多步骤任务)。现在这一代模型能想:“这是什么颜色?如果我知道它是什么颜色,那么下一步应该做什么?”

所以它的输出是,先输出一些文本来思考这个问题怎么解决,然后基于这个文本输出一堆action来做这件事;接着继续输出一些文本来想下一步该干什么,再输出一些action。

这使得一个非常复杂的、需要很多步的任务可以被分解。这是第一点,非常难的任务现在可以做了。

第二个好处是,机器人可以向人表达“我下一步想干什么,为什么我想这么干?”这在人机交互时增加了很多透明度。无论是从安全性的角度,还是从人机交互的角度,都让人更安心一些,因为你知道这机器人是怎么想的。这是我觉得一个比较重要的突破。

第二个非常重要的突破,我们叫cross-embodiment transfer(跨具身迁移)。

什么意思呢?我刚刚说了,机器人数据非常稀缺,尤其是你用机器人A采的数据,只能用来学习机器人A上的task和skill。当机器人A升级了,可能camera换了新的,或者mount(安装)在一个不同的位置,或者手臂多了一个自由度,那么以前采的数据都没有用了。

而且还有其他机器人,比如人形机器人或者机器人B、机器人C,它们因为构型不一样,数据是不能放在一起互用的。这就导致你的数据量更少了。因为你对每一个单一的机器人都得单独采集数据。

在Gemini Robotics 1.5中我们发现,不管你用什么样的机器人——至少我们测试的那三个,一个是Aloha,一个非常简单的双臂机器人;一个是bi-arm Franka,一个更工业级、更powerful的机器人;还有一个是Apptronik的人形机器人。

当我们把所有数据放在一起,并且开发了一个新技术叫motion transfer(运动迁移),它能更好地利用这种cross-embodiment的数据——使得在机器人A上见过的任务,机器人B也能够执行。

举个例子,假设你学会了开车,我从来没有学过开车这个任务,但我也学会了开车,它可以跨本体。这个从根本上解决了一个问题,就是数据量不够的问题。因为任何机器人采集的任务数据都可以被其他机器人利用。

张小珺:先说第一点,把thinking加入VLA。因为机器人的模态转换会比较多,你觉得在不同模态,比如文本和运动之间不停转换,会发生混乱吗?怎么解决这个问题?

谭捷:我们其实没有发现有混乱的问题。因为在输出的时候,一般都会非常清楚地说:“下面我要输出的是文本”,然后会有一个起始符和终止符;然后会说:“下面我们输出的是动作”,也有起始和终止符。所以它们是不会混在一起的。

张小珺:在大语言模型里加入thinking和在机器人里加入thinking,不同是什么?核心难点是什么?

谭捷:大语言模型其实比较大,而机器人模型没有那么大。为什么呢?

因为机器人模型要做很快的inference(推理),它不能等5秒钟再做下一个动作,所以它的inference budget(推理资源预算)非常小。你还是希望比如每0.5秒或每一秒,它能做出一些动作。所以它的thinking长度和大语言模型是非常不一样的。

张小珺:Thinking更短。

谭捷:要短很多。大语言模型为了解决一个问题,可以想20秒,然后给你一个答案,只要那个答案是对的,大家一般都很高兴。但如果你交给机器人一个任务,它每一步都要想20秒,你就崩溃了。所以它可能每一步只想0.5秒,它们的budget非常不一样。

张小珺:能处理的最复杂的问题会是什么?

谭捷:我们在VLA上的thinking还是相对比较弱的thinking,因为它有很多限制。我发觉一般如果一个task只需要几步分解,比如“sort the fruits by color”(按颜色分类水果)或者“sort the clothes by color”(按颜色分类衣服)——它可能第一步是认清楚颜色是什么,第二步是认清楚另外几堆东西里对应的颜色是什么,第三步是把它放到对应的堆里。

这种比较简单的推理是可以的。但是如果你需要它额外地去获取信息,那个是做不了的。

比如我说“你帮我整理一下行李”,它可能会想:“那整理行李的话,我想知道你要去哪里旅行?去多久?那边的天气状况是什么?”它需要额外获取更多的信息,然后通过所有这些信息再做thinking,那个在VLA那一端是做不了的。

所以在我们Gemini Robotics 1.5的工作中,我们做了一个快慢模型的划分。

有一个比较慢的模型,它可以做这种非常长的thinking,做一些决策。比如你让它打包行李,它可以去搜Google Search,可以搜你的calendar,可以搜weather report,然后它可以先想20秒,come up with a plan(制定一个计划),然后问你这个plan是不是合理。

到了VLA那端执行这个plan的时候,它就可以说:“我可能需要把这一堆衣服放进来”,然后一件一件拿。

它们都是大脑,但是大脑也有分层。你很多大脑的事情是要做很多计算、很多planning的,那是比较慢的思考。很多大脑的决策是instinct(直觉),那个是比较快的思考。

张小珺:你们是把它拆分成了一个ER和一个VLA两个模型。

谭捷:ER其实叫Embodied Reasoning(具身推理),它更多是一个慢思考的过程。VLA是要输出robot action(机器人动作)的,所以它更多是在执行端,是一个非常快思考的过程。

张小珺:也就是说,你们选择了一个双模型结构,不是一个端到端的统一模型。你觉得这会是一个过渡的方式,还是一个终极的方式?

谭捷:我现在觉得它应该是个过渡的方式。

因为现在受制于很多限制,比如算力的限制、模型大小的限制。但我觉得可能再过几年,当算力不是很大问题的时候,如果有一个unified model(统一模型),那可能是最佳的。

因为你有两个模型,你总是要界定它们之间是怎么交流的。现在这个大模型和小模型之间是用语言来交流的,但语言并不是一个high-bandwidth(高带宽)的交流方式,它语音会丢掉很多信息。

所以你希望是一个模型,它内部不需要一个额外的interface(接口)来做交流,这样就没有信息损失。但同时,因为现在算力等等原因,使得这个实现非常困难。

张小珺:它需要特别大的算力吗?

谭捷:因为你要做reasoning,要用web search之类的,你是需要一个非常大的模型的。那个模型你很难做到real-time或者每秒做5到10次的决策。但小模型可以。

所以当你要一个unify model(统一模型)的时候,它必须非常大,因为它要做reasoning,而现在的算力不足以支持这样的大模型。

张小珺:现在的快思考和慢思考分成两个步骤、两个阶段来完成,很大一个原因是因为算力还不够。有没有其他原因?

谭捷:我觉得现在主要是算力原因。

张小珺:这个也make sense,自动驾驶最后也过渡到了端到端。

谭捷:但自动驾驶其实它不需要很多planning的过程,它的planning很多是通过传统方法做的。比如我有一个map,有A点,要去B点,怎么找到一个路径?这个都是用传统方法做的,它并不是真正的端到端把mapping和planning都做到和执行一起。

其实planning在自动驾驶里面是一个分开的步骤,是一个传统方法做的,就像Google Map或者百度地图。执行的话,对于自动驾驶它是一个非常快的决策,因为车速非常高,决策的速率得非常高,所以自动驾驶的端到端模型不会很大。

张小珺:你们在做实验的时候,加入thinking容易出错的环节可能是什么?

谭捷:我觉得一个可能是overfit(过拟合)。

当你加入thinking的时候,你需要标注很多它是怎么think的。在做training之前,你采了很多数据,采集数据的时候你得说:“我是这么想的,我下一步要干什么,这是我的动作。”但是如果你的这个标注非常单一,就非常容易出现overfit的状况,使得你只有在做这样一些事情的时候,它的thinking是make sense(合理)的。

如果你做一些没见过的任务,因为他没见过,所以他的thinking trace(思维轨迹)会非常奇怪,他会做完全不make sense的事情。

张小珺:你刚才分享的第二点,是跨本体的数据运用,这个里面有没有更多可以分享的?

谭捷:我给你举个例子,我第一次看到这个结果的时候,印象非常深刻,因为我觉得这真的是一个质变。

大家说跨本体已经说了很多年了,但我觉得这个概念有点oversell(过度推销)。哪怕早期,Google自己做了一篇paper叫RT-X,就是他跟二十几个不同的学校、不同的lab收集不同的机器人数据,混在一块训练一个大模型,然后说发现了这二十几个学校的数据放在一起是有优势的,有benefit。

但那个东西其实很难量化。包括最近看很多机器人大模型,他都会说:“我有五个不同的本体,我把数据混在一起,使得我们这个东西更general。”但这个也很难量化。

这次我们发现,比如说我们有一个Aloha,它是一个tabletop robot(桌面机器人),它做的事情都是在桌面上。我们所有data collection(数据收集)可能就是从桌面上抓一个东西放到别的地方,在这个桌面上开瓶盖、写字之类。它没有见过3D的场景,比如在一个垂直的平面上,或者一个有高低层次的橱柜里做事情,它没有见过这样的数据。

所以如果你给它一个有高低层次的书橱,然后说:“你把上面那一格的书给我拿下来”,它是做不到的。因为这完全在他的训练数据集之外,他还是会在桌面上磨磨蹭蹭地摸一些东西,虽然那个书架是垂直的。

但是我们有另外一个机器人,叫bi-arm Franka,他采集的很多数据都是在垂直的领域,比如他有很多工具,可以从一个垂直的workbench(工作台)上拿下来。当把数据放在一起训练,Aloha是从来没有见过这种垂直场景的,但是当你把Franka能做的事情放到Aloha这个场景里,Aloha突然间也能做这样的事情了。

张小珺:具体是怎么做到的?

谭捷:我们有一个方法叫motion transfer。它就是说,你不仅要把数据放在一块,同时你在模型的architecture上、在training recipe上也要做相应的改动。

张小珺:这是一个能够泛化到很多领域的方法吗?除了你们实验的这三个机器人以外,它还能够有更广泛的泛化性吗?

谭捷:首先,它并不代表我给你一个新的机器人,它不用任何训练就能做那些事情。不是这个意思。只是说,在我有训练数据的机器人里面,虽然我没有见过这个task,但这个task是别人见过的,我就能做那个任务。所以它有一定的泛化性,但它的泛化性是任务层面的,并不是机器人本体上的。

张小珺:这个对于更接近跨形体的通用智能,是一个可行的路径,是吗?

谭捷:我觉得是个可行的路径。

张小珺:这个还挺本质的。

谭捷:我非常同意。所以我们团队看到这个结果以后都觉得非常激动人心。

张小珺:motion transfer怎么做的?

谭捷:这是一个secret sauce(独门秘诀)。

这个问题我被问了很多遍,但真的很难评论。

张小珺:研究者会提到,具身智能的难点不一定在算法,而是在反馈信号,因为它缺乏像语言模型那样清晰、可以验证的反馈。你怎么看这个问题?你们的robotics在系统设计上是如何获取和构造这种信号的?

谭捷:我觉得当你有数据,并且用传统的,比如说imitation learning(模拟学习)的时候,你已经有了足够的信号,我并不理解说缺信号是什么意思。

但是如果你说的是用强化学习,强化学习需要一个reward signal(奖励信号),但很多任务你很难写一个reward function(奖励函数)。比如说“我要把这份菜放到冰箱里面”,这个怎么用一个数学来表达成功与否?这个reward function很难表达出来,我是同意的。

这个我觉得得分不同情况来解释。对于imitation learning来说,我不觉得信号是个问题。但对于强化学习来说,你怎么用reward function(奖励函数)来specify(具体说明)你的任务,的确是一个很难且并未解决的问题。

张小珺:关于reward function,你们现在怎么解决这个问题?

谭捷:我觉得这个问题并没有很好的解决方案。

这可以岔开讲一点——为什么强化学习解决了足式机器人走路的问题?是因为它的reward function相对来说比较straightforward(直接)。你只要向前走了,然后没有摔跤,就可以很容易地写一个数学表达。

但是对于manipulation来说,你有太多的不同任务了。比如我希望抓起一个筷子,你很难用数学表达式来表达“我是否抓起了筷子”。再比如我要把东西放进抽屉里,你也很难写一个数学表达式来表达“这个东西是不是在抽屉里”。

有成千上万个不同的这样的任务,你都要用reward signal来表征它,我觉得这是一个几乎不可能的事情。这就是为什么强化学习在manipulation(操控)里面并没有解决得很好的原因,就是这个reward function非常难以specify。

张小珺:对于这种跨形体迁移的任务,怎么设计呢?

谭捷:因为我们现在主要还是做imitation learning,不是通过强化学习。所以只要你学会了就行,因为你是有榜样的,imitation是有label(标签)的。你只要使得你的神经网络的输出和你的label尽可能接近就没有问题。

张小珺:你们的secret sauce还有什么可以更多分享一点?

谭捷:It's very secret.(笑)

张小珺:哪些因素有可能会决定迁移的上限?

谭捷:对,这是个很好的问题。虽然我们有很多例子证明迁移是成功的,但也有很多例子证明在很多场景中,迁移并不是非常成功。

我觉得两个不同机器人它的形态到底差多少会有很大影响。比如说,我是从一个单臂夹爪机器人要迁移到一个双臂人形机器人,这肯定是一个非常非常难的问题。

你看我们实验的三个机器人都是双臂的,虽然它们构型很不一样,比如有的是6个自由度,有的是7个自由度,有的是更高自由度的,但它们都是双臂。如果你是从夹爪到五指灵巧手,它肯定也会比夹爪到夹爪要难一些。所以有一个embodiment gap(具身差距),如果那个gap非常大,这种跨构型的迁移就会比较难。这是一点。

第二点,我们发觉在不同的embodiment上,你收集的数据量也非常重要。

如果你已经收集了很大量的数据,那么其实不需要其他embodiment的迁移,它做事情就已经做得非常好了,所以其他embodiment给你的那个正向的delta(增量)会非常小。但是如果说有一些机器人,比如人形机器人,你采集数据非常困难,但你可能在Aloha上有非常非常多的数据,这样这个迁移就会非常有效。

张小珺:你们这篇论文的标题是“将AI agents带入物理世界”,你们在AI agents上借鉴了哪些?

谭捷:首先,robot就是一个physical agent(物理智能体)。对agent的定义就是说它能够做决策,并能够execute actions(执行动作)。

这篇文章其实强调了一点,就是有一个非常重要的agent feature,就是它可以use tools(使用工具)。现在我们的embodied reasoning model(具身推理模型),它可以写code,可以查阅网站,就是它可以用这些tools来做决策。

我们有好几个video的例子是,比如说你让它做垃圾分拣,它会根据不同的地点,比如说在San Francisco,它可以search Google Maps找到你的地点,然后根据当地的法律法规决定应该如何做垃圾分拣。

这些都是use digital tool(使用数字工具)的例子,这使得机器人的knowledge base(知识库)宽广了很多。

它不只有大模型已经capture的common sense,它可以通过web search和其他tools,使得机器人的functionality(功能)和capability(能力)有很大的扩展。

05

生成极大量仿真数据,是弥补它缺点的一个重要手段


张小珺:沿着Gemini Robotics 1.5 往后发展,下一步的关键突破口会是什么?

谭捷:这个问题非常好。其实有很多很多方向可以发展,我们在论文的最后一章也讲了一些未来的方向。

我觉得可能我们比较重视的一点还是数据——数据、数据、数据。

我觉得遥操作还是一个非常难以获取的数据。有什么办法可以让我们利用越来越少的遥操作数据,和越来越多我们可以快速获得的数据来训练这样的大模型,可能是非常重要的一步。

所以我们会花更多的精力,比如利用simulation数据;利用human video(人类视频),比如YouTube上的一些数据;利用甚至是现在模型生成的数据,比如VEO生成的一些数据。这种数据因为你可以大量获得,所以我觉得这是一种更经济、更有效的获得机器人数据的方式。

如果我们能在这方面有些突破,那我觉得解决机器人问题就指日可待了。

张小珺:你们现阶段用真实数据用多少?

谭捷:我们现在主要是用真实数据。

张小珺:所以成本会很高。

谭捷:成本非常高。

张小珺:国内在数据问题上有很多争论:王鹤就是仿真数据的代表派,但好像除了他以外,大家更倾向于依靠真实数据,因为真实数据的泛化性更好。

谭捷:真实数据没有sim-to-real gap(仿真到现实差距),但是泛化性是由数据的coverage(覆盖)导致的,并不是因为它本身是真实数据还是虚拟数据。

如果你从来没有采集过在厨房烧饭的数据,你的模型就很难泛化到厨房烧饭。

所以说它是coverage问题,并不是真实还是虚拟数据的问题。

张小珺:过去几年,从大语言模型里应用到机器人领域了很多研究思想,对比一下机器人基座模型和大语言基座模型,它的研究范式有什么不一样吗?

谭捷:我觉得还是很不一样的。它们其实并不是两个独立的学科,更多的是A利用了B。

在大语言模型上,你有很多问题,比如多模态怎么训练?预训练应该怎么样?后训练应该怎么样?RL应该怎么用?

但机器人现在对大语言模型的应用,还是说我加一些更多的data,在已有的大语言模型基础上增加一些新的输出。所以做法上还是很不一样。

很少有公司真正从头开始去pre-train一个机器人的大模型。

张小珺:为什么呀?

谭捷:因为cost和data。你pre-train一个大模型非常贵,可能需要好几万张卡跑好几个月。同时你也没有那么多的机器人数据。

所以基本上大家还是因为数据局限和预训练的成本,在一个预训练好的大语言模型上,加上机器人数据进行一些微调。这就使得整个范式非常不一样。所以两边有相互借鉴的点,但它们并不是两个平行的学科,可以完全一一对应地相互借鉴。

张小珺:我刚才说的云栖大会的那个讨论,在你看来,其实不成立?——他们说“我们是一个独立的大脑”。

谭捷:至少我现在觉得它们还没有那么独立。也许未来,当你发展到一定地步,当机器人数据足够多,当机器人大模型遇到新的瓶颈时,它们可能会变成完全独立的学科。但是现在,我觉得机器人大模型还是非常依赖于已有的大模型。

张小珺:这个有利于大公司,因为大公司有基座大模型。

谭捷:我是这么觉得的。

张小珺:我们回到数据的话题。

国内有一个非常鲜明的仿真数据驱动派,就是王鹤。他的观点跟你类似,就是说雇人遥操采集真实数据的成本非常高。

他当时给我算了一笔简单的账,说一台人形机器人制造成本最少10万,买1万台用于数据采集,意味着10个亿。每台两班倒雇人遥操需要4个人,一个月可能就是小几万。此外还需要标注和质检,每个月维护1万台机器人的成本在数亿到十亿。

你觉得他这个账算得对吗?

谭捷:你刚刚说的那些数字比较快,我没有仔细算。但是in general,我是同意他的。遥操需要机器人成本、运营成本、质检成本,这些东西加起来是非常非常贵的。

虽然我没有算那个账的具体数字对不对,但我觉得这肯定是一个不是很scalable(可扩展)的方式。而且,我会非常诧异,如果最终大家是通过完全遥操的数据来解决机器人问题的,我觉得这个可能性非常低。

张小珺:在这个背景之下,仿真数据就是一个可行的方案?

谭捷:对,但“仿真”这个定义现在越来越模糊了。

以前的仿真是指物理仿真,大家说的可能是Bullet、MuJoCo、Isaac Gym这些,它其实是在计算机里面解物理方程,计算运动轨迹。

但现在因为video generation model(视频生成模型),比如VEO、Sora 2的兴起,很多人认为仿真其实就是生成一段视频。如果这个视频看上去物理是正确的,它也是一种新意义上的仿真。

张小珺:是生成式AI带来的一种新的仿真形式。

谭捷:对,而且我觉得在不远的将来,传统物理模拟仿真会慢慢地被生成式模型的仿真所取代。

张小珺:这个生成式模型的仿真现在发展到什么阶段了?

谭捷:刚开始。

真的经济吗?它可能不经济,因为你要生成视频其实更贵。

它需要更多的算力成本。但是你其实解决了很多问题。比如我要生成任意场景,在传统的仿真里面,你需要有人建模,建完模以后就像做游戏一样,需要很多designer把所有的场景、所有的资产拼在一块。

我要500个家庭场景,你就得一个个手建,这就非常困难。但是我要500个家庭场景的视频,你只要500个不同的prompt,你说:“我要有一个粉色的床,加上两个床头柜。”另一个你说:“我想要一个很大的白色的床。”

你只是输入的语言不同,就可以瞬间生成两个完全不同的视频或仿真。但以前在传统的仿真里面,你就得手工一个一个地把这个场景给建出来。

张小珺:说到Sora 2,它是否带来了一个革命性的变化吗?

谭捷:从Sora到Sora 2肯定是质的飞跃。但Sora 2和VEO 3,我觉得没有太本质或让我觉得特别惊艳的地方。

但有一点可能值得说一下,在过去两三年里面,视频生成模型的发展是非常迅速的。我自己可能也有一个比较错误的判断。

我记得可能几年前,《流浪地球》的导演来硅谷,他就问我们,《流浪地球3》上映的时候,那是几年之后,他导演这样一个工种是不是还存在?或者电影制片的很多工种是不是还存在?

因为好像开始你只要说几句话就能生成一个小的clip(片段),然后可以拼成一个电影。那个时候我觉得那不可能,可能还有好远好远才能有真实的video generation。所以我就安慰他说:“不急,那个还要好久,我们正在努力地做,但是时间没有你想象中来得那么快。”

张小珺:你当时觉得要多久?

谭捷:我当时觉得可能2030年,你可以开始有一些可以应用的视频生成模型。现在才快2025年了。我肯定是低估了视频生成的发展速度。

张小珺:他们这个行业确实能帮助到你们的数据问题,视频生成的进展让机器人领域的人很兴奋,是吗?

谭捷:我觉得所有的视频生成模型的进展都会让机器人领域感到非常兴奋,因为这就是一个新的仿真或者新的world model。

世界模型的定义是:如果给上前一帧,再给上机器人的动作,你可以预测下一帧。

现在绝大多数的视频生成模型,都不是说我可以通过输入一个机器人或人的动作来改变下一帧的结果。所以现在我还不会称之为世界模型,但是感觉从现有的视频生成模型到世界模型不是很遥远。

或者从另外一个角度,VEO它是一个视频生成模型,但是Genie它更像一个世界模型。因为Genie是你可以玩的,你可以通过按键来改变你生成的下一帧是什么样子的。你可以驾驶着一只龙,然后说我要左转、右转,看到完全不同的世界。

所以当你在每一帧的时候,可以有一个输入来改变你的下一帧,那个感觉就是世界模型。但是如果它是一个已经生成好的、几秒钟的静态视频,那就不是。

张小珺:现在谁做得最好?在硅谷。

谭捷:Google DeepMind。我觉得OpenAI的Sora做得也不错。还有很多小公司也在做。

张小珺:真实数据和仿真数据,可能的优劣势是什么?怎么弥补仿真数据的缺点?

谭捷:生成极大量的仿真数据,是弥补它缺点的一个很重要的手段。

仿真数据它不够真实,但是如果你在仿真的时候不断地变化它的一些参数,同时生成极大量的数据,那么从平均的意义上,它可能也足够cover真实世界的物理了。所以说有一种方法是用compute来解决精度问题。

张小珺:用算力来换精度。

谭捷:对,你没有那样的精度,但是你可以生成极大量的数据。这样当你做平均、当你学习的时候,因为数据量大,其实你是取了个均值。这可能就和真实世界的物理比较接近了。

张小珺:用视频生成来做仿真,现在的瓶颈在哪?

谭捷:第一个是它有很多幻觉,第二个是它有很多非物理现象。

有很多人经常测视频生成模型是通过生成做体操的视频。如果你生成一段做体操的视频,在整个过程中那个人还是两条腿,说明这个模型还不错。但很多时候,这个人在翻滚的过程中,就不知道有多少条腿会被生成出来。有很多这种hallucination(幻觉)或者非物理的现象。

张小珺:不相信仿真数据的真实数据派,他们的逻辑是什么?

谭捷:我个人感觉是,仿真数据是需要一段基础研究的,它不是那么简单直接。

但是真实数据,现在已经证明,你有更多的数据,效果就会更好。所以它可能会有一个玻璃天花板。虽然它加速很快,因为你有数据就可以马上看到效果的提升,但是因为你最终的数据不可能无穷无尽。

张小珺:它很快会达到这个领域的数据墙?

谭捷:我不知道是不是很快,但是eventually它会有一个数据墙。

但如果是仿真数据,你现在因为有sim-to-real gap,所以可能开始的时候效果不是很好。你加数据,会觉得很多东西可能都在noise的范畴之内,你没有看到很明显的提升。但是一旦research有了突破,它就没有那个玻璃天花板。

张小珺:所以,这是一个信仰问题。

谭捷:绝大多数research都是信仰问题。

张小珺:你信仰的是仿真那一派?

谭捷:我信仰的是scalable data那一派。Scalable data包括仿真数据,包括人带着camera采集的数据,包括用视频生成模型生成的数据。这些东西都是可以用算力来给你无穷无尽数据的。

但真实的机器人数据是需要operation、需要cost、需要robot,那个我觉得不是一个很scalable的数据源。

张小珺:不管怎么样,只要它scalable就可以。听起来仿真数据是一个更可能scalable的方案——这个是不是也可以用来解决大语言模型的数据墙问题?

谭捷:现在其实很多大语言模型,感觉大家经常会说有一个“吃了吐、吐了吃”的问题。就是你先吃了internet-scale data(互联网规模数据),然后它开始生成各种各样新的文本、新的数据,然后它再吃回去,又生成新的。这也是一种解决data不够的方式。

张小珺:在一个robotics团队里,做仿真数据的人多吗?

谭捷:这完全看团队的信仰是什么。像Google DeepMind,它有一个叫MuJoCo的团队,是一个非常知名的仿真团队。

张小珺:硅谷基本上都是仿真派吧?

谭捷:那也不是。

硅谷的公司大家都会讲差不多的故事,区别只是他们数据mixture里仿真数据的比例问题。大家不会孤注一掷地只用一种数据源,都在不断探索。

但数据质量非常重要。如果数据质量非常差,越多的数据可能效果越差。

张小珺:怎么评判数据质量?

谭捷:这个领域其实没有评判数据质量的标准。大家还是凭researcher的经验,看着数据感觉“这个数据太抖了,不够smooth(平滑)”,或者“这个数据已经采集过了”。有很多这样人为的评判标准,并没有标准化。

这也使得一个新兴产业,叫data foundry,面临一个困难:data foundry采集了很多数据,但我们并不能告诉他们采的数据好不好。

所以我们拿来用,如果效果不好,我们就会说是data没采好,他们肯定会说是你们模型没训好。这里会有一个扯皮的过程,原因就是data quality没有很好的定义。这的确是一个科研问题,现在没有很好的定义。

张小珺:如果具身智能机器人领域,只解决一个最重要的问题就能带来飞跃,你认为是数据问题?

谭捷:我觉得是数据问题。

张小珺:你怎么看王兴兴(宇树创始人兼CEO)说,大家对于数据的讨论太多了,忽略了架构本身的创新。

谭捷:我觉得架构本身的创新是重要的。Gemini Robotics 1.5,我说的motion transfer等,其中很多就是架构和算法的创新。

但是,巧妇难为无米之炊。

如果你只创新架构,也许在机器学习中会变得更加efficient(高效),但如果数据的量和coverage不够,那么泛化能力肯定不行。

06

世界模型就是Vision-Language-Vision,vision和language in,生成下一帧的图像


张小珺:国内还有一个关于模型架构的争论。一派是端到端的统一模型派,另一派是分层式。这两种技术路线最终会殊途同归吗?我刚刚听你说的感觉是会殊途同归的。

谭捷:我可以再分享另外一个故事。

虽然我说了我在Google的第一篇论文是做强化学习,但我个人并不是特别相信。虽然我在那篇论文里看到了很强的sign of life,觉得这东西可能行,但我也碰到了很多难点。

比如reward function(奖励函数)怎么调?如果training效果不好怎么办?因为那时候PPO(Proximal Policy Optimization,近端策略优化)效率非常低,所以那时候我在想有没有什么捷径?

于是我就想,要不我们把传统控制理论和强化学习结合一下?底层还是传统控制理论,但用强化学习来调一些参数。我们团队也沿着这个方案做了很长一段时间,效果也不错,因为它立竿见影。因为底层的东西已经差不多work了,强化学习可以立刻让它变得更好。但整个历史的轨迹并没有朝着我想象的方向走,而是走向了完全端到端的强化学习,就是state-in, action-out。

几年之后,这个方向的确成为了主流。

我觉得有的时候,你为了解决一些现实中的问题,或者希望在短期内取得更好的效果,你会采取一些shortcut(捷径),做一些分层的模型。但是至少从我过去的经验告诉我,也许你直接投入最终你相信的那个端到端的大模型或unified大模型,最后那个可能会胜出。

张小珺:你们现在投入了吗?

谭捷:我们现在基本上都是端到端的。除了那个短期的,给你做一个proof of concept,说ER和VLA可以interact,短期内你可以用这个模型。但同时,我们也是大量投入在端到端的unified模型上。

张小珺:VLA会是一种终极架构吗?或者VLA+RL?

谭捷:VLA是现在我觉得效果最好的模型。但大家也在讨论,language可能在描述机器人,尤其是非常复杂的行为时是不够的。因为language就像我说的,它是一种有信息损失的表达方式。

所以大家经常说,也许下一代是world model(世界模型)。因为world model生成的是visual,是下一帧。

你可以看到,比如说我在转笔的过程中,我的每个手指是怎么动的。但是假设我在转笔或者用筷子的时候,你要用语言来表达我下一步应该干什么,那是很困难的。

所以说,很多好的表达方式可能是visual的。所以world model现在在硅谷非常流行,被认为是可能下一个新的范式。

张小珺:它是替换VLA的吗?

谭捷:它不一定替换VLA,可能会跟VLA共存。可能VLA会变成……我不知道,创造一个新的名词,就是VLVA,你的vision进去,你的language进去,它可以生成下一帧的image或者vision,然后再基于这个生成下一步的action。

张小珺:世界模型跟它的关系是什么?

谭捷:世界模型其实就是Vision-Language-Vision,vision和language in,然后它可以生成下一帧的图像。

张小珺:你认可王兴兴说VLA+RL是一个相对傻瓜的架构吗?

谭捷:不傻瓜,我觉得这个做出来可厉害了。

张小珺:只是世界模型会更好。

谭捷:至少现在很大一部分研究方向是朝那边的。

张小珺:它更符合世界物理的规律。

谭捷:我同意。

还有一点,大家可能觉得VLA看上去比较傻瓜,是因为现在很多VLA的探索都比较成熟了。

你想一年以前,VLA完全不work的时候,大家还有各种各样的exploration(探索)。比如说我怎么表达action?是用action token,还是用一种action expert,还是用diffusion,还是用其他方式?

很多东西在过去一年里面慢慢地converge了,所以大家觉得可能套用一个模式就可以得到一个结果。但其实我觉得整个VLA的发展还是需要很多talent和时间。

07

如果你有灵巧手,触觉就非常重要,之所以我前面觉得触觉不重要,是受限于当时的硬件


张小珺:我们在讨论一个机器人大脑的时候,国内叫具身智能,它这个“智”的定义是什么?

谭捷:它聪明,它知道该干什么,它能够思考、决策和行动。

张小珺:它有一个非常确切的定义吗?是让它更灵活,还是让它大脑更聪明?

谭捷:两点都有,大脑小脑都有。

大脑需要有common sense,需要有解决问题的能力,需要能够根据现有状况给出一个很好的规划,这是“智”的一个体现。

在小脑方面,或者在运动控制方面,你需要能够dexterous(灵巧的),比如用五指解决很多manipulation(控制)问题;你可以用双足很敏捷地做跑跳这种运动相关的任务。所以我觉得“智”是包含大脑和小脑的。

张小珺:机器人的大脑需要增加更多的模态吗?——除了我们说的视觉、语言、动作,还需要增加触觉、力觉、嗅觉这些吗?

谭捷:这个到底应该在大脑端还是在小脑端是不一定的,但我觉得机器人的发展肯定是需要增加更多模态的。

这里有个小故事可以分享一下,是我的心路历程。

大家一直都说tactile sensing(触觉)非常重要,我也是一直相信的,因为intuitively(直觉上),你每天都有皮肤感受着触摸到的世界。

但是在Stanford有一篇论文叫Aloha,那是我第一次看到人可以通过纯视觉遥操一个Aloha机器人做非常复杂的事情,包括从皮包里拿出一张信用卡,一个非常薄的东西。

我以为这种事情只有触觉才能做成,但是Aloha的出现狠狠地打了我的脸,我意识到其实很多东西用视觉也是可以解决的。于是我hold这个belief for a while,觉得可能视觉就够了,或者说视觉可以做95%的事情,剩余5%才需要触觉。

直到最近,灵巧手开始变得越来越普及,我开始去一些地方用遥操的手段来控制灵巧手。有一个例子是用灵巧手使用剪刀。

用剪刀是一件非常简单的事情,你把手往两个环里一套就可以用。但那个时候他是没有触觉反馈的,我完全通过视觉把被控制的灵巧手往剪刀那两个环里套,然后我这边开合我的手。但因为没有触觉,我不知道什么时候开,什么时候关。因为那两个环非常大,所以有的时候你在不恰当的时间开关,手只是在两个环里面动,但并没有控制整个剪刀的开合。

这时候让我意识到,如果你有灵巧手,触觉就非常重要。

之所以我前面觉得触觉不重要,是因为它其实受限于当时的硬件。如果你只是一个夹爪,那么你可能远远地看到夹爪是开着还是关着,就能做很好的判断。但是当你有一个灵巧手,有五个手指,要做很复杂的行为和任务时,那么触觉感觉是必不可少的。

张小珺:当你觉得触觉不重要的时候,可能是当时的发展阶段还没有到。加入更多模态是必然的,只是今天觉得它不必须,是因为可能硬件水平还不够。

谭捷:对,而且我们还在解决一些非常简单的问题。

张小珺:视觉可以解决95%的问题?

谭捷:在那个夹爪时代。

张小珺:现在你觉得视觉能解决多少问题?

谭捷:现在还在夹爪时代。所以在夹爪时代,在所有夹爪能完成的任务里面,我还是觉得视觉可能可以解决95%的问题。

视觉是对于现在已有硬件最重要的模态。

张小珺:马斯克的一个观点是,Optimus系统最终将通过观看YouTube视频学习执行任务,他觉得纯视觉就ok了。你不认可他这个观点?

谭捷:我不知道马斯克的原话是不是这样,还是somehow经过了剪辑,把两句可以有非常不同含义的话贴在了一块。

机器人看YouTube视频学会任务,我觉得非常重要,这个其实印证了我前面一个观点,说你不需要遥操,需要的是video数据,因为它是一个scalable的数据。这个我完全没有任何异议,非常同意。

我以前在很多我自己的talk里也会说,希望有一天我们的机器人可以坐在电视机前看看Netflix,看看YouTube,就学会了各种技能。这个我没有任何反对意见。

但下一句话说“它可以完全通过视觉解决所有的问题”,这个我是不同意的,而且这句话跟前面一句话是没有任何关系的。因为你通过视觉学习东西和通过视觉解决问题是两个不同的问题。

张小珺:自动驾驶还是通过纯视觉在解决问题吗?

谭捷:自动驾驶是通过纯视觉在解决问题,至少Tesla选了一条纯视觉的道路。

张小珺:但你觉得机器人不行。

谭捷:对,因为manipulation是一个非常复杂的问题。

张小珺:它需要跟现实世界有反复的互动,而且每一个互动的形式可能是不一样的。

谭捷:是的。当我们说是一个通用人形机器人,它有五指灵巧手,能做人能做的所有任务的时候,那个时候触觉就必不可少。

张小珺:现在的硬件没有收敛,未来出现的硬件有没有可能不适配今天的大脑?

谭捷:这个就说明cross-embodiment(跨本体)非常重要,说明我们做的这个研究方向还是非常重要的。

但是我个人还是觉得,在未来,人形机器人会成为一个主流的形态。它不会成为唯一的形态,但一定是个主流的形态。

如果你只能bet on一种embodiment,我还是会bet on人形。

张小珺:也就是说,如果只bet一种架构,它是端到端的;如果只bet一种形态,它是人形的——不要去做那些比较现实的那种分支,因为它可能会浪费很多时间。

谭捷:这个其实有很多可以聊的地方,完全取决于你是在一个大公司做事,还是在做一个startup;也可能取决于你是在硅谷做事,还是在中国做类似的问题。

因为我觉得每个人的目标是不一样的。如果你的目标是solve AGI in the physical world(在物理世界实现AGI)——这也是我个人倾向于做的事情——那么我会非常聚焦于最终的形态是什么样子,最终的模型是什么样子,所有其他的东西可能都是distraction(干扰)。

但是如果你是一个创业公司,资本对你的生存或者盈利有期待,那么你其实很难撇开所有的,我就是不盈利,说“我要做20年以后的最终模型”。于是你可能想的是,我能够在短期内有一些落地,然后把数据飞轮转起来,慢慢地来把这个问题解决。

这个其实有一个对比,可能不一定非常恰当,就是Waymo和Tesla采取了非常不同的策略。他们都想解决自动驾驶。

Waymo是看到最后,我要L4,我要在任何地方都没有人驾驶,我连方向盘都不要。所以他做的很多决策都是为了达到L4。

但是Tesla就说,我们不急,我们反正卖车,可以从L2、L2.5一点点往上做,把数据飞轮转起来,eventually我们可能也会达到L4。所以我觉得这两条路没有对和错。

我也并不是鼓励大家一定要做端到端、一定要做人形,只是大家殊途同归,用不同的方式解决同样的问题。

张小珺:你举的这个例子非常有意思,但是今天大家会觉得特斯拉是一个更正确的道路?

谭捷:这很难评判。Waymo也有非常成功的,在旧金山或者好几个地方运营的案例。而且我觉得Waymo有一点特别伟大的地方,是他真的把驾驶员从车里拿走了。

我自己也是Tesla用户,我觉得FSD非常非常厉害,我经常用,但是这个和你有勇气把驾驶员拿走,我觉得是一个从0到1的突破。

08

一个有使命感的人,他不会容忍说“I'm on a wrong ship”


张小珺:你很有意思,你之前创过业,然后加入大公司,在大公司待了10年,为什么?你接下来的10年会愿意在大公司,还是会愿意自己创业或者加入一个创业公司?

谭捷:我觉得很多人都会有个创业梦。(笑)我本科的时候也年轻,想闯一闯,想看看这个世界什么样子,想知道创业是什么感受。

那会正好有一些朋友有一样的志向,于是我们就去创业了,非常锻炼人。我觉得不管是从技术、产品、融资,各个角度都非常锻炼人,所以我非常感激那段创业的经历。

现在我觉得在大公司是一个非常不错的选择,主要原因还是现在很多事情感觉只有在大公司能做。因为大公司有资源、有算力,聚集了一大批和你一样有着使命感、非常聪明的人。像这种大模型时代,尤其是当你的使命是solve AGI in the physical world的时候,我觉得其实并没有太多其他的选择。

张小珺:你什么时候有很深刻的这种感受?

谭捷:可能是最近几年。以前我觉得在大公司挺好的,pays well, nice environment, free food,有很多自由去explore你想做的事情。

但这一两年,当AI真的开始卷起来的时候,你也看到很多学校老师要么去创业了,要么在大公司兼职,其实他们都是需要有更多的资源、更多的算力。如果有一个大公司,他能提供给你算力资源,而且领导足够重视,大家有相同的goal,我觉得是一个非常难得的机会。

张小珺:我们刚才其实说你个人的研究主线没有说完,你在Google做了第一个强化学习的paper以后,后来的发展是什么样的?

谭捷:我做了强化学习之后,就做了很长一段时间的步态,也就是locomotion。我做了四足机器人,做到一个地步,我觉得那个领域就非常卷了。因为有了强化学习,而强化学习并不难用,其实非常好用。

这再岔开讲一下,从宏观上来讲,当一个技术越来越容易用的时候,它很快就会普及。比如步态控制,人形机器人走路,如果像我开始说的用MPC,那你需要一个PhD才能真正理解那个数学,解那个方程。那么这个算法或技术离普及就还差好远。

后来强化学习出来了,我觉得现在很多高中生都可以网上下载一个强化学习的包,比如PPO,从NVIDIA拿一个Isaac Gym,把它放在一起,train一下,deploy一下,很多高中生都能做这个事情了。于是这个东西说明马上会变得非常卷,因为很多人能够进入这个领域来做贡献。

的确,强化学习瞬间就解决了所有的locomotion问题。

同时,在未来你可以看到,prompt engineering是几乎所有人都能做的,因为是自然语言。你可以用各种方式让模型帮你做事。所以大语言模型的出现可能很快会解决很多问题,不仅是robotics,是各个行业的问题。

所以,当我会做一个阶段以后,我发觉强化学习已经普及了,不管是在美国还是在中国,大家都开始用强化学习解决机器人步态问题的时候,那时候我觉得I should move on,去解决一个更难的、还不是全民都可以解决的问题。于是那个时候我就开始做机器人大模型,也就是基础模型。那是21、22年的时候。

那个时候Google发了好几篇相关的论文:SayCan是用语言模型让机器人有了common sense,可以一步步分解一个很复杂的任务;RT-1是说我们可以用一个transformer架构吸收很多很多数据,使得它的performance越来越好;RT-2是说,我本来就有一个VLM,它经过了internet-scale data的训练,我可以加上一些action的训练,使得它可以借用所有internet上的知识来做很多事情。再到后来就是Gemini Robotics 1.5 ,有一个非常强大的基座模型Gemini。

By the way,Gemini非常非常的强大。

我们发现,如果你的基础模型非常强,那么你在加入action data的时候就不需要那么费力,而且你的泛化性等方面都会变得更好。

张小珺:我突然意识到,强调机器人基座模型独立性的人,多是创业公司,因为他们自己没有那个基座大语言模型。你们在Gemini之上,感受可能不一样。

谭捷:是的,可能根据你实际在做的事情,你的认知也会非常不一样。

比如如果我跟一年前的自己聊,或者跟很多在学校做机器人的老师、学生聊,大家会觉得泛化能力非常重要且很难做,那个叫visual generalization(视觉泛化)。当光照、布景、颜色变化的时候,机器人本来能做的事情可能突然间就做不了了。因为你可能没有收集过这类的数据。

但是因为我们训练Gemini,它有一个非常强的vision encoder(视觉编码器),那个vision encoder已经见过了全世界所有互联网上的数据(假设),我们就发觉visual generalization comes for free。我们不需要做任何的研究,它的visual generalization就已经特别好。

所以当你有一个已经非常强的基座模型,和你没有这个,或者你用一个开源模型,或者你从头开始train一个模型,我觉得大家的认知会不太一样。

张小珺:你觉得这几年Google AI或者robotics的研究文化上有没有发生过变化?

谭捷:我觉得变化还是很大的。怎么说呢,我也算元老级的员工了,9年前加入的时候,正好是这个team起步的时候。

那个时候其实非常的松散管理,每个进来的researcher都独当一面,你想做什么就做什么,大家给你足够的信任。而且人比较少,所以资源分配也不是问题。

张小珺:当时有多少人?

谭捷:我加入时可能10个人。现在150个人,就robotics。

张小珺:所以十年、九年前只有10个人在研究robotics。

谭捷:在Google Brain。而且那时候可能Google Brain也没有很大,也就几十个人。

张小珺:你会不会更怀念那个时候?

谭捷:我觉得感受是不一样的。那个时候“you can do whatever you like”,感觉是非常爽的一件事情。但同时你也发觉,你个人的impact非常有限,其实你就像一个very well-paid PhD,或者一个very well-paid assistant professor,你有一些自主权,决定要做什么研究,然后Google pays you well,但是你很难想象我能做一个惊天动地的大事情。

因为每个人都非常松散,我也很难聚一拨人大家做一个大的事情。

慢慢地,我觉得Google也意识到这一点,觉得我们不想只是有一个academic lab, but very costly。所以Google也希望你们可以有更多的人做类似的事情,非常聚焦地解决一个很大的问题。所以不管是从promotion、performance review、incentive,还是各种各样的structure上,Google想创造一个环境,使得更多的人可以一起解决更大的事情。

张小珺:它需要团队协作。

谭捷:对。到最近,你可以看Gemini Robotics,不管是第一代3月份的那个版本,那时候可能已经是120个人在author list上,这次可能有160到180个人。

就说真的是需要一个很大的团队齐心协力。

有一些人是解决infrastructure,比如data pipeline或training pipeline的问题;有些人是做research;有些人做evaluation,因为你有很多robots要并行地做测试;有些人得做data collection、做maintenance。你真的需要一个非常大的团队,非常强的算力,才能把这样一件事情做好。

张小珺:从比较分散的结构到一个能够集团军作战的结构,管理方式发生了变化吗?

谭捷:变化非常大。

张小珺:你会不适应吗?

谭捷:因为我一直在这样一个团队里,我是随着它在不断的变化,并不是说我开始在一个非常松散的团队,突然间空降到一个集团军作战的团队。如果是那样,我能够非常想象会有culture shock(文化冲突)。

但是我随着它不断变化,其实也在不断地shape这个变化,所以对我来说并没有不适应,而且我觉得这是一个好的变化。

张小珺:很多人会讨论AI的组织是要自上而下还是自下而上,你们是什么样的?

谭捷:我们是都有。

像Gemini Robotics,它更多是自上而下。你得确定一个方向、一个timeline。你想,那么多人要做实验,资源也不是无限的,你也不是有什么几百万张卡可以随便用,所以还是有很多coordination,有很多自上而下的决策。

但同时,我们除了Gemini Robotics 1.5 ,还有很多其他的research,那个是自下而上的。因为researcher都很强,他们都非常紧跟时代潮流,会想到各种各样新的方法,想做实验。他们会自下而上地和几个人一起形成一个小团队,做这种非常快速的迭代,然后fail fast。如果这东西做成了,他们会想把这东西集成到比如Gemini Robotics 1.5 里面,使得它有更大、更广的impact。

张小珺:我们今天反复在聊的那个secret sauce,就是motion transfer,它是自上而下产生的还是自下而上产生的?

谭捷:那个是自下而上产生的。我们的目标是想解决data bottleneck。细分下来会有一块,就是我需要可以train on multiple embodiment data(在多种具身数据上进行训练)。所以这个“what”是自上而下的,我们要什么。但“how”其实经常是自下而上的。

于是当很多人知道我们需要这个的时候,他们会有各种各样的想法,说我怎么做这个。然后就会有很多小团队,他们尝试不同的方法。其实很多方法都是work的,很多方法甚至是compatible的,可以像搭积木一样搭在一起。

这个motion transfer就是这样一个例子,其实有三四个不同的团队,他们有一些想法,而且这个想法是你可以全部integrate到一个系统里面的,最终造就了motion transfer。

张小珺:Google现在相信大力出奇迹吗?

谭捷:“大力”是必须的,但“大力”不是sufficient(足够)的。有necessary condition和sufficient condition,充要条件。

“大力”是必要条件,如果你不scale up,我觉得就很难有奇迹发生。但是如果你光scale up,不够聪明,没有足够的创新,光堆算力、堆data,我觉得是不够的。

张小珺:你们最卷能卷到什么程度?

谭捷:我最近回国,我知道国内很卷,所以我就想知道国内有多卷。

我发觉好像国内不一定比我卷。虽然我们team都挺卷的,我跟别人说我一周可能工作70到80个小时,感觉可能比996还要更辛苦一点。但这个在硅谷现在的AI圈子里面已经是常态了。

张小珺:大家一提到Google都会说它研究的文化很好,研究的底蕴很好。但同时,大公司也会有大公司病,你觉得现在还强吗?

谭捷:大公司病肯定是存在的。大公司在决策上要一层、一层地获得approval,在很多地方都非常conservative,总是有各种各样的PR risk,所以总体来说还是比较conservative的。

除了做研究,我还有另外一个对team负责的工作,叫research iteration speed(科研迭代速度)。就是我要保证大家想做的东西很快能做出来。但这就是要fight整个大公司病。

如果researcher说“我想要用这个data”,但大公司说“我要用这个data,需要过due diligence(尽职调查)、过legal compliance(法律合规)、过这过那”,流程非常复杂,你可能需要几周都用不上那个data。或者说“我想试一下这个新的机器人”,同样,以前在Google可能需要超过30个business days,从你表达意愿到你可以把purchase order发出去,都非常的慢。

我不得不跟很多Google内部的团队,比如legal团队、operation团队合作,跟他们说这个时代你是等不起的,你等了30天以后,那些非常有使命感的researcher都跑了。

真的,这个时代真的是等不起,不然别人都做出来了。

我觉得自上而下来看,Google DeepMind对robotics还是非常重视的,所以他们也开了很多special case,使得我们可以加速采购、实验、数据等各个方面的iteration speed。

所以我想说的是,大公司病仍然存在,但是如果你工作在一个非常重要、非常competitive的area,你还是有一定的leverage(杠杆作用)使得公司为你们团队做出一些变化。

张小珺:你们怎么考核researcher?

谭捷:这是个非常好的问题。每个公司都会有自己的标准。我们一直说impact是最重要的。impact有很多方面。

像以前Google还在发很多论文的时候,你的论文数量、质量、citation就是一个非常重要的指标。如果你论文发布的东西被集成到产品里面,这个产品所带来的价值和收益就是另外一个很重要的指标。它会有各种各样不同的axis(坐标),综合评价一个人的performance。

张小珺:你们会末位淘汰吗?

谭捷:“末位淘汰”是一个非常vague的定义。Google的performance review非常rigorous(严谨的)。对于最底下的那个bucket(分组),叫“needs improvement”,如果你的performance没有达到标准,会有一个plan,你的manager会work with you,让你能够达到标准,否则是会被淘汰的。

它可能不如有一些公司,比如说Meta,非常clear-cut,有一个比例,这个比例之下可能就被直接淘汰了。

Google可能会更耐心一点,文化也稍微好一点。因为每个人都有自己的priority,有生活中各种各样的状况,所以哪怕你在一个performance review里面表现不是很好,you will have a second chance to prove yourself(你将有第二次机会证明自己。)。

张小珺:Meta对于最近硅谷的人才流动有带来什么变化?

谭捷:变化非常大。

我觉得Meta做了好几件事情。第一,他把AI人才的价格炒高了,非常高。

AI人才是不是真的值这么多钱?我其实不知道。有很多种说法。

第一种是说这是供求导致的,所有的大公司都希望AI first,所以有大量的需求,但是AI人才的供给,尤其是最优质的AI人才供给是非常有限的。所以因为供需关系,使得价格非常高。

第二种说法是AI人才的确值这个价。因为算力非常贵,如果你把算力浪费了,那个钱也是很多的,不如花钱招一些好的人,好好利用这些算力创造价值,因为那个价值远大于这些人的cost。这是第二种说法,value is there。

还有第三种说法,就是挖这些人和买类似的公司比,挖人还是便宜的,所以这个价格还是值的。我不知道,其实很难判断是不是一个人值一亿美金,但是我觉得Meta最近的一系列操作的确扰动了整个硅谷对AI人才的价格。

张小珺:对你们是好事。

谭捷:从某种程度上是好事,因为整体水涨船高。

张小珺:但对于留住人才不是好事。

谭捷:对,作为一个manager,我经常得想,诶,他说“Meta那边给了我一个offer多少钱”,我就得想……

张小珺:你有什么招呢?

谭捷:首先看看那个价格是不是合理。如果价格不合理,或者会非常影响整个team的公平性——因为其实很难一个人比别人强特别多,当然有这种情况,但可能很多时候就是一个single case在Meta获得一个非常高的薪水——如果是这种情况,并且会影响到team的公平的话,你可能还是会从别的方式来留住这个人,而不仅仅是从薪水。

张小珺:能留住吗?

谭捷:经常是能留住的。我觉得很多人,尤其最优质的人才,那些被挖的人,他真正care的不一定是钱,他真正care的是他们相信在机器人行业很快会有一个质的、巨大的变革。

张小珺:bet Meta还是bet Google?

谭捷:Not yet。如果这个变革发生,他们希望在driver's seat。我觉得一个有使命感的人,他不会容忍说“I'm on a wrong ship”。我一定要在the right ship上。那么就是bet on Meta还是bet on Google,在哪边有更多的资源、算力、支持和talent。

张小珺:所以你经常能够留住人?

谭捷:对,我经常可以留住人。

张小珺:有失败的吗?

谭捷:当然也有失败的。

张小珺:哪个多?

谭捷:成功的更多。

张小珺:Meta为什么花这么多钱挖人?他是着急了吗?

谭捷:我觉得有很多因素。Meta的确肯定是着急的,因为整个AI行业发展如此迅速,而在过去一两年里面,Meta的模型并不在first tier了。他们肯定也希望自己的AI和大模型团队能够挤进first tier。从头培养一个大模型团队还是非常困难的,所以可能挖人是一个最直截了当的方法。

张小珺:在robotics领域华人有多少?

谭捷:还是挺多的。

我加入Google Brain Robotics的时候,好像是唯一的华人。当然那是9年以前了。这几年AI和robotics融合越来越多,AI界华人其实很多,CV界华人也是很多的。像我们team可能50-60%是华人。

张小珺:为什么华人在这一波浪潮里面这么多人?有什么背景原因吗?

谭捷:AI有很多是数学,我觉得华人数学比较好。华人特别吃苦耐劳,他们又有talent又能吃苦,所以特别容易取得成绩,这可能是主要原因。

张小珺:在AI之前,大家会说硅谷大公司里面华人做的管理层很少。你觉得AI是不是会改变这个现状?

以前也会抱怨说华人在海外不团结。

谭捷:我觉得会改变。

我在美国十五六年了,并没有感觉到华人不团结的问题。

我觉得印度人其实他是有一些优势的。我的确能很清楚地看到在美国的高层里面印度人的比例占比更高。但的确印度人的表达能力更好。

他们可能很多英语是母语,而且很多印度人,尤其是家境条件比较好的,他受到的教育在表达能力上还是要强于中国的传统教育。而且印度人可能更外向,更愿意speak up,这个在西方文化中非常重要。

张小珺:华人在这一波里面会改变这个格局?

谭捷:肯定是会改变的。华人其实更刻苦、更talented,很多华人也在不断地adapt西方的文化或游戏规则,所以我觉得毫无疑问,华人会在硅谷的大公司占据越来越重要的位置。其实有很多华人高管了。

我可以再举一个很有意思的例子。我最近招人,有一个白人,美国的PhD毕业了,他在考虑是不是要签我们。

我就跟他聊了一下,然后他就跟我说:“我真的希望你们team能多招点华人。”我说为什么?这不是非常不diverse吗?

他说他有很多华人的collaborator(合作者),他跟很多华人合作,觉得做AI、做机器人的华人非常的努力,而且非常的productive。

然后他说,他也学到一个词叫“牛马”——他说他特别喜欢自己做牛做马。(笑)

张小珺:他对这个词有什么误解?(笑)

谭捷:(笑)对,可能是。这个词在他心目中就是刻苦努力的象征。他觉得很多华人都说自己是牛马,他自己也想当牛马,所以他希望team里可以有更多的华人。

张小珺:录了没?

谭捷:录了。

09

当一个generalist真正成型,specialist很难生存


张小珺:回到机器人领域,你觉得未来5年、10年,我们可以看到什么样的世界?

谭捷:我觉得未来两三年,我们应该会看到一个就像你说的GPT时刻。在这个时刻,人们会真实地意识到“robots are coming”,general-purpose robots are coming。那时候机器人领域会更热,会有更多的钱投入。那是未来两三年。

然后我觉得未来5年之内,有泛化能力的机器人会更快落地,开始在各种产业里面发挥它的作用。在家庭里面广泛地落地需要更长的时间。

所以开始的落地可能还是偏传统领域,比如说制造、物流或者超市等等,但它也不再是以前那种自动化的、一成不变的动作,它们会有一些泛化能力,可以做更多的事情。

然后我觉得在10年的周期里面,机器人开始广泛地进入家庭,的确可以开始为人们每天的生活做出非常多的贡献。

张小珺:如果机器人拥有了智力,它到底是机器还是人?

谭捷:那人工智能是人工还是智能?这个可能不是特别重要。我觉得很多东西,它的“智力”更多只是一个统计规律上的结果。所以,至少用现在的方法做人工智能、做机器人,它可能还是更接近于机器。

张小珺:你这次回国,跟国内具身智能机器人领域的人交流,你觉得中美有什么不一样?

谭捷:我听到的是,第一点,中国的硬件发展特别快。这个我在美国也能非常明显地看到,宇树也好、智元也好,很多硬件公司像雨后春笋般地为全世界提供着便宜又优质的机器人硬件。

从AI的角度来说,我觉得中国发展也非常的快,但我也听说,中国的大环境和文化和硅谷还是不太一样的。在硅谷,大家会有一个信念,就是哪怕你并没有做出什么初期的结果,只要大家相信一个东西,还是愿意花时间、花精力、花钱上去做的。

张小珺:这个时间能有多长?十年?

谭捷:可以很长,比如十年。我听说在国内,大家会相对追求比较短期的目标,你在短期内要落地、要盈利、要看到快速不断的发展,否则的话你可能不会受到很大的重视,或者得到足够的资源。

但是我觉得,在大模型时代,你真的需要烧很多钱才能看到结果。很多时候,你要看到scaling law,比如在robotics上你需要几万小时的数据。

如果你只有几百小时的数据,其实你都无法验证scaling law。

但是很多国内的企业家、投资人也好,他们希望的是“我先给你一点点钱,你采十几个小时数据,给我看结果不错,我再给你继续投资或投算力”。但是,可能开始的初期这些钱是远远不够的。

所以说,真的有的时候在技术上需要一个信仰。我觉得马斯克是一个很好的例子。马斯克说我们要做什么的时候,绝大多数人是不信的。但好在他做成了很多事情,可能也使得在硅谷,大家愿意相信一个看上去非常ambitious、非常不着边际的信仰,大家愿意相信,愿意投钱,促成了很多硅谷让人难以想象的快速发展。

张小珺:但是也会有一种观点说,硬件的发展还是要在国内。对于你们要做机器人来说,当然你们现在做的是大脑,那如果要做机器人本体的话怎么办?

谭捷:这我同意。不考虑地缘政治关系的话,我相信肯定是中美应该更好地合作。

很多智能的发展可能在美国会有更快的发展,但是比如供应链、硬件制造、本体甚至一些控制,我觉得国内其实做得相当好了。如果中美能够有更好的合作,我觉得对全人类来说,尤其是在机器人领域,会是一个非常重要的里程碑。

张小珺:我突然在想,Google这条路可能类比于自动驾驶里的Waymo;那像国内这些公司,因为它有硬件,可以大量采集数据,它是不是更像特斯拉的路线?

谭捷:你可以这么说。

但本质的区别是特斯拉的车是有用的,所以它有数据飞轮。现在虽然中国很多企业有更好的硬件,可以采数据,但是这个硬件还没有达到一个bar,使得它是有用的,所以数据飞轮转不起来。所以你其实很难跟特斯拉类比。特斯拉解决的是一个更简单的问题。

张小珺:特斯拉有的是一个非常好的垂直场景。那你现在看到类似的垂直场景在机器人上吗?当然,自动驾驶也是一种机器人。

谭捷:我只能从我熟悉的这些创业公司来讲。比如在CorL让人非常惊艳的Dyna的demo,我觉得是一个还挺不错的垂直领域。至少在美国,人力成本比较高,不管是在收拾衣物、折餐巾,还是各种这样的垂直领域,cost还是挺大的。

而这些柔性布料的manipulation,传统来说是非常难的,因为你很难写一个controller或传统规划算法来做好它,这的确是需要AI的价值的。

所以我觉得Dyna找到了一个AI能够增加value、取代传统算法,同时那个vertical的确有一定的量和需求的交集点。总体来说,我觉得要找到那个交集还是挺难的。

张小珺:但这不是你想做的事情,对吗?

谭捷:Solve AGI in the physical world.

张小珺:Dyna现有场景,如果通用机器人大脑实现的话,会覆盖掉这个领域吗?

谭捷:会的,是的。我觉得当一个generalist真正成型的话,specialist其实很难生存。因为我一个机器人可以做你的事情,但我还可以做100个其他不同的事情。

张小珺:极端一点,你想做的事情能覆盖掉特斯拉在做的?如果通用机器人足够通用,自动驾驶这个垂类机器人是不是就失效了?

谭捷:当我有一个人形机器人,它能够像人一样或者超越人的智能,那么的确,我不需要车来自动驾驶了,我可以有个机器人来做自动驾驶。

张小珺:你相信这个吗?

谭捷:我觉得没有必要,但是可以取代。

但是你想想,未来如果你反正买一个这样的机器人,你有两种选择去买车:一个是带自动驾驶功能的,它要更贵;一个是不带自动驾驶功能的,但是你知道你家里买的那个人形机器人可以帮你做自动驾驶。

也许你就不需要再去买那个有自动驾驶功能的车了。虽然我觉得这个场景不一定会实现,就像你说的非常极端,但是当一个generalist真的进入这个世界的时候,很多specialist都很难生存。

张小珺:generalist多少年能进入世界?

谭捷:两到三年应该有足够的突破,五到十年是它能真正落地的一个时间线。

张小珺:你觉得它能有多general?能通用到所有任务吗?

谭捷:我以前在硅谷跟大家交流的时候,我说机器人的发展有这么几个阶段。

第一个阶段我叫它automation(自动化),这个已经实现了,就是你在车厂,所有东西都是机器人,但是都是编程的,固定的规则,固定的trajectory(轨迹)。

第二个我叫它teleoperated robot(远程操控机器人),就是这个机器人硬件很完善,但它没有大脑。但是你可以通过遥操的方式让它做很多事情。这个现在基本上你也可以看到,Tesla在很多场景里面它是遥操的,但你有时候分不出来它是遥操还是自主的,这说明它的机器人硬件已经非常完善了。

第三块就是它是一个generalist(通才),但它不是特别的general,它能做一个narrow domain的事情,其实self-driving就是其中一个场景。它是智能的、自动的,但是它不做所有事情。下一个就是真正的generalist,它可以开始做家庭里所有的事情。

它可能跟人一样capable,这个时候可能就是人形机器人在家庭落地的时候。

最后一个stage叫superhuman capability(超人能力)。因为强化学习,因为机器人它可能有碳基生物所没有的一些存储、power density之类的,它可能在很多领域会超越人类的智能和体能。那可能是最后一个stage。

张小珺:听说你日常生活是一个很潇洒的人,你平时会干嘛?

谭捷:我平常会干各种各样的事情,喜欢出去旅游,也比较喜欢种花。

我有时候会去练练赛车。后来发觉在真实赛道练赛车太贵了,我在家里买了一个很好的模拟器练赛车。

张小珺:那你还是work-life balance的。

谭捷:我还练钢琴。

怎么说呢,人总是需要一些爱好,总是需要一些解压的手段,否则工作压力还是很大的,工作时长也很长。所以工作之余还是会花一点时间。

我还有两个娃,他们年龄差距也特别大。大娃12岁,我可以开始教他一些编程、机器人的东西,特别有意思。然后小娃5个月,特别可爱。所以说工作之余还是有很多非常有意思的事情。

张小珺:你会在训机器人和带娃的过程中感觉到两者有什么本质的不同吗?

谭捷:非常相似。

其实娃的学习基本上就是两种学习方式,一个是强化学习,他不断探索,获得一定的reward,然后reinforce他做事情的能力;第二个是imitation,他看着爸妈做什么,看着身边的小伙伴做什么,然后慢慢学习。就这两个是非常相似的。

我经常会做一些类比,说“我们这个机器人it's like a two-year-old”。因为随着小朋友的发展,他有了视力以后开始慢慢学会抓取,然后慢慢可以坐起来,开始走路。

很多东西和AI的发展是非常相似的。只是somehow,我觉得manipulation happens earlier for kids(对于儿童来说,操作行为发生得更早),但是对于机器人来说,manipulation is way harder than locomotion(操作远比移动困难得多)。

张小珺:人类学习中的数据是什么?

谭捷:就是你视觉看到的东西,触觉摸到的东西,和你听到的东西。

我们在不断地获取数据,我们有个大脑,它可以存储很多数据,可以distill(蒸馏)这些信息,然后strengthen(强化)一些神经元之间的连接。所以整个学习过程和机器学习是非常像的。

张小珺:机器人真的到现在像几岁的小孩?

谭捷:如果是locomotion(移动)的话,那我觉得机器人已经比我强了。前不久不是北京有一个机器人运动会吗?我觉得宇树的那个人形机器人已经跑得比我快了。

但是从灵巧手的manipulation(操控)来说……先不说灵巧手,就说夹爪,我觉得它可能真的像两三岁的小孩,他抓的不是很稳,但是能够大概理解你要他干什么,follow the instruction,然后他可能尝试几次能做对,可能两岁的小孩的水平。但如果是灵巧手的话,我觉得nothing works。

张小珺:从一个完整的人来说,它像几岁?

谭捷:这是一个很奇怪的问题,因为它的走路和行动能力感觉已经超越成年人了,但它抓取和大脑的能力可能还是像一个小孩。所以我不知道你怎么average他们。

张小珺:它发展的非常不同步、不均衡。

谭捷:对,因为我觉得在这个步态行走、locomotion上,强化学习在过去五年里面基本上解决了这个问题。但是在手的控制和manipulation上,我们并没有找到一个很好的解决方案。

张小珺:当人和机器人共存的世界出现以后,你觉得人和机器人本质区别会是什么?你能接受你的小孩以后跟机器人谈恋爱吗?

谭捷:这是一个我没有仔细思考过的问题。

这个问题得仔细思考一下,我并没有一个很好的答案,说他们的区别是什么。因为这跟机器人是不是真正有意识是相关的。

张小珺:意识又是什么呢?好像也没有定义。

谭捷:对,这是一个哲学问题。

现在的机器人对我来说,只是从大数据里面找到一个统计规律。我觉得和人的意识还是非常不一样的。但是意识究竟是什么?从什么时候开始你可以判断机器人有了意识?这个我并没有更好的答案。

张小珺:机器人这个行业会不会有巨大的泡沫?

谭捷:有可能会有巨大的泡沫。这个取决于机器人到底发展有多快,这是第一点。也许在未来两年中它持续加速。

第二个是大家有没有找到落地的场景。就像大家开始找落地场景了,一年以前我觉得是不可能落地的,这种AI机器人在短期内。但现在大家似乎找到了一些可能可以落地的方向。如果这些速度持续加快,落地持续发生,可能它不是个泡沫。但是人形机器人进入他们的生活,还挺遥远。

张小珺:一个时代可能会有几个最重要的需要被定义的问题。你觉得机器人领域最重要的几个被定义的问题会是什么?

谭捷:这是个很好的问题,我真的希望机器人领域有这样的问题。但是机器人是一个非常复杂的学科,是很多一系列问题叠加而成的综合性问题,而不是说如果我解决一个问题,机器人就突然间能够work。

如果你一定要说有一个问题,那就是“如何能够获得高质量、大规模的数据”,这是可能我们现在第一个亟待解决的问题。

张小珺:最后几个快问快答。一个全球范围内你喜欢的食物?

谭捷:我有太多喜欢吃的了,我是个吃货。

硅谷在我家边上有一个叫Ping's Bistro,那家是一个云南菜。我觉得在硅谷云南菜还挺少的,所以我特别喜欢。

张小珺:一个全球范围内你喜欢的地点?

谭捷:上海。

张小珺:基于所有读过的书,推荐两本必读书。

谭捷:有一本书叫《Start with Why》,那本书彻底改变了我的communication skill。第二个叫……我记不起确切的名字了,《The 7 Habits of Highly Effective People》。

张小珺:你心目中影响机器人进程的几篇论文?

谭捷:那很多论文都是我们team的论文。像我说的,我的第一篇论文《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》是一篇非常重要的强化学习论文。后面的就是Robot Transformer系列的论文,RT-1, RT-2, RT-X,包括Gemini Robotics 1.5 ,这些都是非常重要的论文。

张小珺:基于你当下的认知,一个关键的、重要的bet是什么?

谭捷:对机器人领域重要的bet就是,你得相信synthetic data(仿真数据)的价值。光靠real data是解决不了机器人问题的。

收听播客


推荐阅读


阅读原文

跳转微信打开

  •  

有赞AI研发全流程落地实践

原创 有赞共享技术 2025-11-26 16:45 浙江

本文介绍了有赞研发团队在 AI Coding、AI Test 及 Agent 评测体系的全流程落地实践。分享了从“人主导”向“算力驱动”转型的技术架构与实战经验。

1. AI 时代的研发变革

1.1 AI编程的火爆

25年可以说是 AI 应用的元年,在编程领域从最基础的代码补全到辅助编程,到 AI 工程师,再到 AI 开发团队,各种概念层出不穷。

编程工具迭代涌现,从老牌的 Github Copilot 到爆火的 Cursor,再到 Claude Code,和最新出的 Codex。

对应的用户规模也爆发增长,Github Copilot 用户超过 2000 万,Cursor 用户超过 230 万,Claude Code 在短短 3 个月用户增长 10倍,Github Copilot 年度 ARR 超过 3 亿美元,而 Cursor 和 Claude Code 都超过了 5 亿美元。

随着编程工具的发展,编程门槛被大幅降低,氛围编程(Vide Coding)开始兴起,让更多非专业开发者专注创意和结果。

在有赞内部有产品同学开始用代码交付交互式的 PRD,在一些创新型项目中这会成为第一版代码。

1.2 AI对企业研发的变革

我们开始思考,AI 对企业研发意味着什么?

首先,传统软件研发生产要素,由人力、技术、信息组成,核心逻辑是多招人,就能多做项目,就有更多产出。 围绕人这个要素存在一系列问题:好人才难招、新人要培养、人才会流失、个体的动性、人的协作效率。

AI 时代人力开始向算力转移,增长逻辑编程多买显卡,获取更多算力,就能有更多产出。大部分体力工作向算力迁移,部分脑力工作可沉淀到算力中,算力能快速扩大。

最近看到一些新闻,硅谷的大厂一边裁员,一边争相购买显卡。

在这个过程中,人从直接产出转为对算力的设计与编排。

“让子弹飞”是一部经典的电影,这里引用其中一张截图,模糊度恰到好处。

远看是火车即将超越马,近看是马在拉着火车,这很有意思。和我们目前落地 AI 有点相似,“朋友圈”看起来各种炫酷,实际落地需要大批人马参与。

但这就意味着火车不如马吗?

显然不是,我们都知道最终火车一定会超越马,亦或,马拉火车的方式本身就错了。

1.3 有赞研发的AI+

出于对 AI 趋势的坚信,在有赞研发内部,我们有大量的 AI 探索与实践。

横跨研发的完整流程,包括需求、设计、编码、测试、上线的各个阶段。

所有这些实践可以,归纳为三类:AI Coding、AI Test、AI DevOps, 以及围绕 Agent 本身的研发与评测。

1.4 AI编程小案例

在 AI 探索的初期我们遇到了两个很有意思的小故事。

1.4.1 一位产品的氛围编程之路

第一个故事是,我们的一位产品同学用氛围编程做了一个简单的日常需求,他给了一个反馈:严重缺乏安全感。

我们深入了解后发现来源于三点:

  • 心理不可接受:由于企业级工程规模大、系统复杂度高,系统/功能间依赖关系较深。非专业人员面对生产稳定性和大量线上用户压力时,心理负担急剧增加。本质是判断力缺失;

  • 效率不可持续:判断力缺失也导致效率不可持续,导致需要频繁的和开发者沟通,氛围编程变成了 AI 和开发者之间的传声筒。编程的耗时被极大的转换成了沟通确认的耗时,最终效率不升反降;

  • 质量不可信赖:虽然 AI 做对了效果,但是实现方案不合理,最后返工。现代企业级软件工程,除了完成需求外,还需考虑健壮性、可维护性、架构一致性等因素。AI 由于缺少上下文输入,这方面做得并不好;

1.4.2 一位开发带领的编程团队

第二个故事是,五月 Claude Code 发布后,我们看到一些开发者编程模式的变化,如图是一位同学的 Cli 工具:

左侧是 4 个 Agent 分别在完成一个项目的 4 子需求,右侧是他在验证和提交代码。

这种模式类似一位技术 Leader 带领一个小团队做项目,由 Leader 负责任务拆分、方案设计、过程把控和代码CR。

过去需要几个人的小组,现在一位开发者加上多个 AI Agent 就可以做到了。

这给了我们不少启发,我们开始思考如何把这种模式推广到更多项目中。

1.5 企业级软件工程四大特点

在经过了初步的观察和尝试后,我们总结了 AI Coding 落地需要解决的关键问题,归纳为四点:

  • 大规模:这对 LLM 的多仓库理解、上下文窗口提出了要求;

  • 高复杂:通常涉及多个业务系统、历史兼容等,需要解决 LLM 的注意力缺失问题、准召率低问题;

  • 多协作:一个项目往往涉及多职能、多部门的协作,不同团队间对 AI 的理解和应用有深浅,如何协同?以及,人在哪些环节以怎样的力度监督 AI?需要合理地规划 AI 落地的节奏以及人机协作模式;

  • 私有化:企业内部有大量分散在各处的信息,不透明、不标准,难以被 AI 检索,需要建设内部知识库、对接内部工具;

1.6 AI落地的三个阶段

明确关键问题后,我们将 AI 落地划分为了三个阶段:

  • AI 增强阶段:人主导 AI 辅助,此阶段重点聚焦用 AI 做单点提效;

  • AI 驱动阶段:AI 主导人监督,此阶段 AI 有能力接管单一研发环节;

  • AI 自主阶段:AI 自主人少量介入;

对于不同的场景应该匹配适合的阶段,过度追求 AI 适得其反,我们踩过不少坑,AI 的落地无法一蹴而就,需要循序渐进。

目前我们的实践大量在 AI 增强阶段,有少量能到 AI 驱动阶段。

2. AI Coding:从个人助手到规模协同

2.2 设计路线

首先,是关于 AI Coding 的设计路线,我们有两个选择:以人为主 Agent 为辅、以 Agent 为主人监督。

我们观察了一些开发者的辅助编程模式,我们发现以人为主的模式存在一些问题:

  • 协作还是以人为中心,相互沟通靠声音、工具调用靠手速,信息传递效率低;

  • 个人经验内化不共享,Agent 配置没有复用,信息分布式存储;

  • 另外,人的规模化需要时间;

因此,我们选择了第二条路线,其可以系统化解决以上三个问题,并且“天花板”更高。

2.3 构建框架

明确了设计路线后,让我们开始构建 Coding Agent,这个过程类似从 0 到 1 搭建一个开发团队:

  • 它们都需要有好用的工具,无论是硬件、软件还是技术选型;

  • 它们都由专业的个体组成;

  • 并且这些个体能高效协同完成复杂的任务;

让我们先从设计一个专业的 Agent 开始!

2.4 设计演进

通用 AI Agent 和计算机很相似:

  • 它们都有计算单元,一个是 CPU,一个是 LLM;

  • 它们都有短期存储,一个是内存,一个是上下文;

  • 它们都需要获取外部信息,一个通过网络,一个通过搜索工具;

  • 它们也都可以多节点进行协同,完成复杂任务;

当我们把通用 AI Agent 细化到 Coding Agent,一些选型会更具体:

  • LLM 需要选用垂直的编程 LLM;

  • 上下文需要引入企业的开发规范/约束;

  • 长期存储需要对接企业内部知识库;

  • 搜索工具聚焦在代码仓库的搜索和理解;

  • 工具需要对接企业内部的工具链和平台;

  • 协同系统的拆分应该以企业内部的协作流程或领域分工来拆分;

2.4.1 选型与选择

在明确了核心模块后,需要先回答两个问题:方案的选型、自研的选择。

在 AI 时代行业解决方案百花齐放,无论是大模型还是配套的技术,且迭代速度极快,比如近期的Gemini3(11月18日)、Nano Banana Pro(11月20日)。

做的越多越容易陷入追赶的局面,最大程度的借助行业能力,并将其与企业内部资源串联是关键。

我们的核心策略是将通识的交给行业,集中资源做私有部分,通过行业迭代来提升底层能力。

2.4.2 Base Agent & System Prompt

明确策略之后,首先是基础模型的选择,在25年初时我们基本有共识,LLM 应该交给大厂,我们则专注于应用。

到了 5 月份我们发现 Agent 系统也有不错的行业实践,因此问题被延展成了选择基础模型还是选择基础 Agent? 也就是 Claude 还是 ClaudeCode?

围绕这个问题我们做了一些研究,发现 Claude Code 作为通用编程 Agent,在子 Agent 调度、MCP 集成、通用开发工具、上下文压缩方面已经做得不错了。

因此,我们选择了 Claude Code 作为基础 Agent 的底座,通过其强大的扩展能力,将其连接到我们内部的研发体系。

首先是系统提示词,这方面 Claude Code 已经做的不错了,我们仅做了少量扩展,总共不到 200 行,主要是一些内部的编程规范、特定约束。

2.4.3 Dev Tools

接着是工具,和人一样,Agent 也需要开发工具。比如,当开发者让其参考历史需求,它需要能访问需求管理平台查看。又比如,它可以通过飞书文档创建一篇技术方案给开发者审阅。

这些工具散落在内部的各个系统、平台,有些在外部,我们通过 MCP 将这些工具集成到一起,交由 Agent 决策使用。

2.4.4 Codebase Search

有了工具后,接着是代码理解能力,这也是 Coding Agent 的关键能力之一。

我们将其分为了三层:目标仓库定位、跨仓库依赖代码召回、工作区代码理解。目标仓库定位比较简单,我们用的是知识库 RAG 的方案。

在代码理解上,业内常见的方案有:向量索引检索(RAG)、抽象语法树(AST)、文本搜索(grep)、预生成文档(deepWiki),在实际应用中有不少组合的情况。

Cursor 选择的是 RAG 方案,好处是速度快,适合大的单体仓库,缺点是精度丢失(向量化),实时性不高。

Claude Code 则选择比较纯粹的文本搜索方案,和人很像,好处是精度高、实时性强,但性能会差一些。

在有赞对于跨仓库依赖代码,由于仓库数量庞大,采用的是 RAG 方案,同时更新频率没有 Cursor 这么高,我们基于 Git 的提交记录进行增了更新。对于工作区代码理解,由于基础 Agent 是 Claude Code,直接采用它的文本搜索。

另外,代码安全也十分重要,无论是发送给向量嵌入模型还是大模型的代码片段,都通过安全扫描进行脱敏。

2.4.5 Knowledge Base

有了代码,接着是内部知识,和开发者一样 Agent 需要理解业务知识,比如产品模块有哪些、业务术语是什么意思。也需要理解专业知识,比如技术选型用了什么、编程规范是怎样的,以及工程现状。

这些额外的上下文可以让 Agent 的编码更符合预期,避免写出“与众不同”的代码。

过往企业知识库建设有两大痛点,一是信息孤岛(无法统一检索/重复建设严重),二是内容老旧(因为缺少审核/运营机制,大量过期/错误内容)。

为此,我们内部成立了专门做知识工程的团队,由他们推动知识透明和更新。他们围绕知识增长、内容质量、知识使用进行建设,为上层应用提供高质量的知识。

至此,一个 MVP 版本的 Coding Agent 完成了。我们拿去做了一些需求,发现效果并不好,原因是还有大量经验在开发者的头脑中。

2.4.6 Long-term Memory

为此,我们会 Agent 打造了基于长期记忆的学习系统。简单来说,就是将开发者和 Agent 的监督对话提取为长期记忆,后续遇到类似场景时进行召回使用,这也可以实现跨会话的复用。

这就如同一个经验丰富的老员工手把手带教实习生,整个过程分为:

  • 记忆提取,该阶段重点关注符合事实、保留细节、不归纳泛化。

  • 记忆储存,我们采用自然语言+标签的形式储存而非结构化,并且保留了原文引用。

  • 记忆合并,定期将类似记忆归纳合并。

  • 记忆检索,业内根据场景不同常见的有:向量数据库、知识图谱、分层存储,我们采用的是向量数据库。

  • 记忆遗忘,随着记忆数量的增加,根据时间和使用频次进行遗忘。对于高频使用的记忆经过泛化后转化为知识。

虽然设定了很多提取规则和后处理,但在实际应用中,通过人工标注及修正的方式,可以较快加速记忆的可用性。

我们在 AI Coding 做了测试,同类任务未接入记忆需要 5-10 轮对话修正,接入记忆后仅需 1-3 轮,有较大提升。

2.4.7 Cloud Sandbox

Agent 构建完成后,无论是运行、调用工具、拉取代码等等,都需要一个环境,如同为开发者配置一台电脑一样。

通过对本地辅助编程的观察,我们发现本地运行存在一些问题:复杂环境导致额外上下文、工程化适配问题、安全与监管难解决。

因此,我们选择了云端部署的方案,为每个 Agent 的每次会话分配了独立且标准化的沙箱(Sandbox),其中包含了开发环境,以实现交付结果预览。

同时对会话及沙箱做了无状态化,实现水平扩容能力。我们将会话存储在共享存储中,当开发者开启或继续一个会话时,会动态分配随机沙箱,并从共享存储中恢复会话。

这一切都需要通过统一网关,以解决安全和监管问题。

2.4.8 Multi Agents System

随着接入环节的增加,我们发现单一 Agent 面对个多环节,由于 LLM 上下文长度导致了遗忘、性能等问题。

为此,我们引入了多 Agent 系统,将这些复杂度分而治之。

  • 在 Agent 的编排上有 Workflow 和 Agentic 两种方式。由于企业级工程对稳定性、观测性的要求较高,我们采用 Workflow 串联多个 Agent。在部分 Agent 内部通过 ReAct 模式发挥 LLM 的自规划能力。

  • 在 Agent 的拆分上有流程拆分和领域拆分两种方式。我们都做了尝试,从落地情况看按流程拆分基本可以解决大部分问题。

同时,我们为每个 Agent 做了差异化的基模选择,主要根据 Agent 的任务特点、LLM 的优劣势以及成本。

  • 需求解析和仓库定位较简单用 GTP-4o;

  • 代码定位用向量嵌入模型 voyage-code-3 并配合 deepseek-v3 做一些后处理;

  • 方案和编码则用 Claude-sonnet-4.5,其中记忆用 GTP-5 效果出色;

  • 代码审查则用 Gemini 2.5 它的上下文窗口较大,可以把更多代码片段给到 LLM;

2.4.9 人工监督(HITL)

整个 Agent 系统的运行离不开人工监督(Human in the loop),我们面向开发者、管理者分别设计了两套监督系统。

  • 面向开发者的监督系统主要基于飞书 IM,它是一个天然的对话流,同时结合飞书文档、GitLab。开发者可以在 Agent 的每个阶段对产物进行审核,包括:需求清单、技术方案、改动代码、实际效果等,并通过多轮对话进行修正;

  • 面向控制者的监督系统主要基于多维表格及其仪表盘,管理者对每个需求的情况一目了然,包括:交付率、对话轮次、Token 消耗、对话明细等;

其中,对话明细可以转化为评测集,用于后续 Agent 的评测。

2.4.10 对接发布系统

最后,我们通过部署发布 Agent,打通了发布系统。如图所示,通过对话就可以很方便的部署到预发,或发布至生产:

2.5 产品形态

这就是我们最终的产品形态,已经交付了不少需求。当然实际落地中,这种人机交互模式也有局限性,因此我们正在开发 Web 端,类似 manus 的效果。

2.6 需求选择与落地

在 AI Coding 落地的需求选择上,我们分了三个维度:多职能、多仓库、需求规模,和新人一样在 Agent 能力还不够时,先从单职能单仓库的日常需求开始。通过做小需求验证 Agent 并积累数据,同时小需求因优先级不高而积累,用 AI 来做具有提效价值。

在我们将 AI Coding 推广到兄弟团队时,发现大家对 AI 期望很高,大家会给它做非常有挑战的需求,我们需要理解 AI 不是万能的,人做不了的它也是。

目前我们的 AI Coding 已经可以实现单职能多仓库的日常需求,已交付近百个需求。综合提效 30%,包括人工监督的耗时,单个需求 Token 费用不到 100 人民币。

接下来我们会重点向多职能多仓库、项目级需求两个方向迭代。

2.7 实践案例

2.7.1 翻译型事务

在落地过程中,我们也发现了一些特别适合 AI 做的共性需求。

第一类我们称之为:翻译型任务。 已经有明确方案且较为简单的任务,AI 可以快速完成,且质量还不错。比如:技术债务治理。

有一个基础库升级的案例,涉及基础库、业务库和23个业务应用的升级,原本需要超过50人日,通过 AI 几十分钟就好了。

2.7.2 降低开发门槛

第二类是跨域编程,我们工作中经常会需要跨团队、跨领域支援,过往人的学习和熟悉过程会有额外的时间。通过 AI Coding 我们的开发者进行了不少的跨域编程,这部分时间几乎被抹平。

2.7.3 小插曲:移动编程

另外有个比较有意思的小插曲分享一下:

相信程序员都有共鸣,随身携带电脑是大家的痛点之一。在我们落地 AI Coding 的过程中发生了另外一个小案例,有个开发同学出去聚餐没带电脑,这时候来了个 Bug:

  • 他掏出手机打开飞书用聊天唤起了一个 Agent

  • 把 Jira 和说明丢过去

  • 让 Agent 先改着,就先吃饭了

  • 过了几分钟 Agent 改完了

  • 他看了没问题就让 Agent 发布了

这虽然只是很小很小很小的案例,但确实让我们看到了 AI 正在慢慢改变我们的编程方式。

2.8 完整架构

以上,就是我们在 AI Coding 方面的实践:

  • 首先,我们做了好用的工具,也就是云端 Sandbox;

  • 其次,基于上下文工程,我们打造了专业的 Agent 个体;

  • 最后,通过 MAS 让他们协同工作;

  • 另外我们也做了人机交互界面,让人可以监督 Agent;

3. AI Test:从自动化到智能化

3.1 传统测试的局限

在开始之前,先简单回顾下传统测试的挑战:技术栈多样化、设备终端碎片化、工程规模增大,因此对测试效率提出了要求。

自动化测试被引入,提升了一些效率,但有一些局限:编写有门槛、维护成本高、难扩展复用、失败排查困难。

3.2 AI时代的新挑战

在 AI 时代,随着编码效率提升,对测试效率提出了更高的要求。同时由于 AI 生成代码不确定,影响面和风险更大,对测试带来了新挑战。

同样 AI 也对测试带来了新的可能:

  • 在测试设计阶段,能做 AI 用例生成、AI 用例优化、AI 用例选择(精准测试)等;

  • 在测试执行阶段,能做 AI 数据构造、AI 驱动执行、AI 增强录制、AI 无参考测试等;

  • 在评估优化阶段,能做 AI 失败归因、AI 用例修复、AI 分析报告等;

我们在这方面踩了不少坑,也有些在部分场景落地了。

3.3 AI用例标准化

首先是,AI 用例标准化,在我们开始结合 AI 和测试时,碰到的第一个问题就是:用例。

过往历史用例缺乏维护,质量参差不齐,如左图各种隐式步骤、断言缺失。另外用例还分散在各个平台,比如文本和自动化用例互不相通。

这就导致了GIGO(Garbage in, Garbage out)的现象,你给 LLM 的输入质量低,它的输出质量也低,幻觉严重。

于是,我们开始思考如何解决用例的问题,我们发现 LLM 本身有强大的自然语言理解能力。这让传统文本用例和自动化用例的融合成为可能,也就是自然语言用例,让用例兼具语意性和可执行性。

我们探索了两个方向:AI 存量用例优化、AI 增量用例生成。

首先是存量用例优化,根据已有的测试目标和测试步骤由 LLM 生成更规范的用例名、标签等,同时逐步优化用例步骤、补充断言。

其次对于增量的用例,我们结合业务知识库,并参考现有用例进行生成。

所有的这些自然语言用例放在一起,它们本身就是一个高质量的测试知识库。

一个新的用例生成过程分为三步:

  • 填写基本信息:测试目标、开启 AI 规划;

  • 选择参考用例:从历史用例库选择供 LLM 参考;

  • 用例生成:LLM 会生成用例的基础信息,以及完整的测试步骤,这里的步骤是自然语言,一目了然,且可被执行;

目前,用例生成的准确度和覆盖场景还有很大空间,仍处于探索阶段。

3.4 AI增强录制

我们还有不少用例是录制的,因此我们做了 AI 增强录制,下面看一段视频:

视频中人在操作的同时,会先录制图片加坐标,交给多模态 LLM 去分析,生成自然语言的步骤。

可以看到这个过程是并行的,不影响人工操作,一次生成大约5秒左右。

录制完成后,回放执行也非常顺畅,AI 可以较快的执行几乎和人操作一样。

我们是怎么做的?

首先先简单回顾下传统录制的局限:定位不精确、录制步骤冗余、需要人工校准、维护成本高。如下图:

通过 AI 增强后,测试步骤可以精确识别用户的意图:输入价格1、输入划线价2,且较为精炼:

整个增强过程大致分为几步:

  • DOM+截图输入:首先是捕捉用户的操作,将完整 DOM 和截图丢给多模态 LLM,目前通用多模态 LLM 已经比较强大了,我们第一版就能做到 70% 准确率。即使不提供 DOM,LLM 也可仅依赖截图识别,从而支持跨平台录制。但这个方案的 Token 消耗是巨大的,且上下文太长会带来一些幻觉导致不稳定;

  • DOM 预处理:通过对 DOM 进行裁切,降低噪音和 Token 消耗,同时标注重要内容提升大模型注意力。另外一些敏感的信息和代码也会被过滤。做完这些后我们的上下文能裁切大约 99%;

  • 交互区域标注:接着我们把 70% 准确率进一步提升,遇到了一些问题。在用户操作无交互表现的情况下,LLM 无法很好的理解,如左图,这里点击“…”没有交互状态变化,LLM 只理解到“点击空白区域”。我们通过增加交互区域标注来解决,这让 LLM 可以准确理解用户交互的区域,效果如右图,LLM 可以理解到“点击更多按钮”;

  • 父级元素标注:虽然增加了交互标注,但在一些复杂业务,元素之间是有关联的。如左图,“?”的图标,LLM 可以理解到是“帮助”,但它并不理解是“退款资金状态的帮助”,如果一个页面中有多个类似图标就不准确了。为此,我们增加了父级元素标注,把交互区域前后的父级 DOM 元素一起给到 LLM,让其理解更多上下文关系。如右图,增加后 LLM 可以理解到“点击退款资金状态的帮助”;

做完这些后,我们的准确率可以做到 89%,单次增强的耗时在 5-10 秒之间,这得益于模型能力的提升,从 Qwen2.5-VL 的 20 秒到 GTP-4o 的 10 秒以内。

目前这套方案是跨全平台的,包括Web、Pad、桌面等设备,Android、iOS、鸿蒙等系统,以及各类小程序。

3.5 AI用例执行

有了用例之后,接下来是用例的执行。目前我们的用例执行都会统一注册到任务中心,由其下发到两大集群,分别执行浏览器任务、App任务(包括小程序)。

AI 在执行方面有天然的优势,跨平台支持,具备一定自适应能力,比如一些设备有像素抖动的情况,LLM 可以识别提升用例稳定性。

目前我们的用例执行量超过每天 10 万次,任务成功率 96%。

当然,这个过程中也遇到了一些问题:模型执行速度慢、模型幻觉问题、模型识别精度问题。

  • 解决“模型执行速度慢”:我们先做了基于图像和 Prompt 的识别缓存。但未命中缓存时 AI 指令的秒级,和程序指令的百毫秒级差距依旧很大。因此我们做了 AI 提速,用例解析后首先程序执行,失败时 AI 兜底执行,执行成功后由 AI 进行自愈,提取成功的信息更新程序脚本;

  • 解决“模型幻觉问题”:幻觉问题不是太大,通过 LLM 二次优化步骤 Prompt,同时采用更准确的 AI 指令(如 Midscene 中用 AI Input 替代 AI Action)基本可以解决;

  • 解决“模型识别精确问题”:看下图中右上角的图,红框是 Qwen-vl-max,绿框是UI-TARS-1.5,它们对于小元素的识别精度差异很大。从我们时间来看 Qwen-vl-max 对小图标识别能力较差,开启 deepThink 有所改善。UI-TARS-1.5 具备较强的探索能力,它们在断言方面都不如 GTP-4o。我们也从元素定位、元素断言、内容提取、任务规划方面,测试了 5 个主流端,UI-TARS-1.5 在元素定位精度和移动端表现较好,也是我们目前的选型;

3.6 AI无参考测试

做了 AI 执行后,我们开始思考 LLM 本身具备常识,也知道企业内部知识,是否可以做 AI 无参考测试?

我们做了探索,首先要做无参考测试,对模型精度要求较高,通用的多模态 LLM 较难满足。

因此,我们引入了监督微调(SFT LoRA),主要让 LLM:具备更细化的任务定义、明确输出格式便于工程化对接、注入内部知识和评判标准。

我们的算法团队做了不少建设,让业务团队可以聚焦在微调数据集。一条微调数据包括:Instruction、Input、Output,下图是一个最简单的案例:

当然这条微调数据并不好,它的 Output 缺少了很多内容, 比如:作答风格、结构化输出、内部知识、分析的过程和原因。我们从指令微调、思维链微调两部分对这条数据进行优化,如下图:

定义了数据结构,接着是如何生成大量的微调数据,一般需要训练集、验证集和测试集,前两者用于训练过程,后者用于最后的评估。

整个数据集包括正样本、负样本和混合样本,一般比例为 1:3,避免模型过度偏向“总是发现问题”。

数据集通过 LLM 合成,首先通过脚本抓取线上的原始样本(正样本),然后通过程序合成多个负样本。

结合样本图片和特定的 Prompt 用 LLM 来生成 Output,Prompt 中包括我们的内部知识、预期输出结构、作答风格。

目前我们的垂直模型正在微调中。

3.7 AI归因归类

当用例执行完成后,我们需要对失败用例进行分析,过往需要人工分析效率较低,100 条失败需要15分钟。

我们通过 AI 来提速这个过程,首先由 LLM 将单个失败总结核心原因,然后将类似原因的分组归类。

如右下图,一共 85 条失败用例,被快速归为了 3 组,且标明了核心原因。

人工可以非常快速的进行分析,100 条仅需 1 分钟。

整个归因归类过程,首先是对用例执行报告进行程序预处理。

程序主要将失败图片进行切片、步骤进行拆分。前者解决多模态 LLM 在大图下的幻觉及不稳定性,后者解决性能问题。

接着切片交给图片归因 Agent、步骤归因 Agent,进行并发分析。

再由总结 Agent 对原因进行合并总结,最后归类 Agent 对原因类似用例进行分组。

目前我们线上用例已 100% 覆盖 AI 归因归类,归因准确率为 85%。

3.8 AI用例修复

做了 AI 归因归类后,我们发现既然原因都知道了,何不让 LLM 自己修复?

因此,我们正在探索了 AI 用例修复,目前主要针对像素差异率波动、非核心元素变化的场景实现了修复。

如下图,AI 会对可修复场景进行建议,人工确认无误可一键修复。目前修复准确率 60%。

3.9 与 AI Coding 结合

以上就是我们在 AI Test 方向的实践,后续我们计划串联 AI Coding 和 AI Test。由 Coding Agent 生成测试目标,交由 Test Agent 对用例进行召回和生成,并完成后续的自动化测试工作。

4. Agent 评测:从炫酷飞起到生产落地

在 AI Coding 和 AI Test 中我们构建了大量的 Agent,需要一套 Agent 评测体系对它们进行评估反馈。

4.1 为什么需要评测

先看一张大家都很熟悉的图,我们看别人的 Agent 时都会觉得好炫酷跃跃欲试,然后自己也开始手搓 Agent。

做完后在开发环境或者小范围测试中表现也不错。

发布到生产后,各种奇奇怪怪的情况,用户提问的思路无法捉摸,最后还是要转人工。

我们需要知道,Agent 和传统软件不同,没办法列举完整的用例来保障效果。

软件测试目标固定、标准化、可复现,而 Agent 评测具有不确定性、开放性(比如用户提问)、多样化(比如模型回答)。

发布标准上,传统软件主要看功能点完成度,测试通过与否。 Agent 则需要用评测集进行多维度的指标评估。

Agent 开发完并不意味着达到生产发布标准,应该用评测指标作为依据。

4.2 评测集

开始 Agent 评测,首先需要准备评测集, 评测集的类型有:有参考、无参考、参考资料三种。

接着是评测集的构造,常见的方法有:人工标注、LLM 泛化、线上采样。

一个全新的 Agent 没有线上采样数据,我们可以通过人工标注 50-100 条的种子集,然后让 LLM 进行泛化。

评测集根据场景不同,也可以划分为:种子集、Badcase集(一般来源于用户反馈)、扩展集、对抗集、场景集(一般由业务场景决定)。

4.3 评测器

有了评测集之后是评测器,评测可以分为两种:人工评测、自动化评测。新的 Agent 初期由于评测标准不确定,可结合人工评测,随着调用增加,将人工评测维度沉淀为自动化评测。相较于人工,自动化评判尺度统一、主观偏差少。

自动化评测器包括: 托管(平台自带的评测器,可以快速启动评测项目)、 自定义(自行根据业务编写 Prompt 的裁判模型)、外部(由外部平台/服务提供)。自动化评测器可以由 LLM 作为裁判,可以是特定的算法验证(如 BLEU、CLIPScore等),也可以是业务逻辑验证。

评测器设计一般包括:评估步骤、打分标准、推理指令、少样本提示(正例/反例)、边界案例、基于业务的判断要点(如合规、医疗等场景)。评测打分用 0-5 分制归一,可以兼顾可解释性和区分度,让不同评测维度可以横向对比。另外,为裁判模型添加 CoT 可以提升可解释性、一致性,便于后续人工分析和优化。

4.4 评测指标

接着是评测指标的设定,首先需要先明确评测主体,可以是:基础模型、提示词版本、工具版本、召回的记忆等。

围绕主题设定评测指标,通常有四类:效果指标、技术指标、用户指标、业务指标。

另外裁判模型自身需要有评测指标:

  • 人工一致性, 衡量模型评分与人工标注结果的一致程度;

  • 评分方差,衡量模型打分的稳定性;

  • 异常打分率;

4.5 反馈系统

除了人工评测、自动化评测外,生产中用户真实的反馈至关重要。能够帮助我们发现 Agnet 在实际应用中遇到的各种边界场景和潜在问题。

一般有两种方式:

  • 显示反馈:需要用户明确操作(点赞/点踩)反馈,意图明确但反馈率较低;

  • 隐式反馈:是用户使用流程中的行为数据,被采集并解释为反馈,可以获得较高反馈率,比如 AIGC 生成多张图片时,用户选用其中一张图;

对于反馈率低的问题,通过预设标签来减少用户行动成本,通过预设高评分来增加用户反馈意愿(人们更倾向吐槽而非夸赞)。

4.6 评测体系

以上这些组合在一起构成了我们完整的评测体系。

  • 项目启动:由专门的评测人员和项目组成员,共同设定评测维度、创建评测器、建立种子集、泛化评测集,基于评测不断迭代/验证/反馈 Agent;

  • 开发过程:在 Agent 迭代过程中,通过评测集和评测器进行线下实验;

  • 生产环境: Agent 会产生日志和反馈,日志会通过评测器进行线上评测,Trace 可采样沉淀到评测集,另外反馈的 Badcase 也会沉淀到评测集;

所有 Agent 发布前都需要经过评测验证。

5. AI落地的一些经验

5.1 AI与程序的结合

首先是 AI 与程序,常见构建 Agent 的模块包括:程序计算节点、单一 LLM 节点、Workflow、Agentic。

可能有些人会觉得,Agentic 比 Workflow 好,Workflow 比单一 LLM 节点好,单一 LLM 节点比程序好。从我们实践来看,这四者之间没有绝对的优劣,通常需要根据业务场景进行多选和组合,其取决于场景对确定性、稳定性、创造性、自主性的侧重。

另外,程序和 LLM 也并非替代关系,LLM 更适合理解、规划、生成类任务,程序更适合确定性、稳定性、高性能任务。通过程序规避 LLM 的弱项是必要的,避免过度追求 AI 含量

5.2 AI与人的陷阱

接着是,AI与人,需要警惕两个陷阱:

  • 在落地 AI Coding 的过程中,出现开发者对 LLM 生成代码的依赖,甚至出现不作判断直接提交的情况。保持开发团队的主观判断力非常必要。另外分场景追求 AI 生码,比如核心业务逻辑人写,非核心交由 AI 写;

  • 在落地 AI Agent 的过程中,需要人工监督,应该警惕人工监督大于迭代 Agent 的情况,将监督数据用于 Agent 迭代;

5.3 AI落地经验

最后总结下 AI 落地的关键经验:

  • 区分创造性和执行性工作,现阶段 LLM 可以较好的完成执行性工作,这类场景较为合适;

  • 落地从传统研发流程切入,寻求快速出 MVP 进行单点突破;

  • 现阶段 AI 仍需大量人参与,过程中充分考虑人机协作,比如人机交互(人好用)、知识外化(人转化)、责任归属(人敢用);

  • 同步建设私有化的 AI 基建,将行业能力与企业内部能力串联;

  • Agent 的迭代不能先方案再开发,应该基于测试集和上下文工程快速试错;

  • 最后在不同的场景分阶段落地,不要一蹴而就;

6. AI实践全景

以上是我们在研发全流程落地 AI 的实践:

  • 我们通过软件工程(Software Engineering)和上下文工程(Context Engineering),将程序与 LLM 结合;

  • 围绕研发的设计、编码、测试阶段落地 AI 能力;

  • 过程中建设了 Agent 评测体系,不断反馈,持续迭代;

阅读原文

跳转微信打开

  •  

MyBatis-Plus踩坑血泪史:那些年我们踩过的坑!

原创 朱洪旭 2025-11-24 18:26 北京

前言:我们在生产环境里跑MyBatis-Plus很多年,几乎把能踩的坑都踩过了。每次出事故,都能追溯到我们当初以为“框架会帮忙搞定”的某个细节。于是我们把这些真实经历写下来,用更接地气的方式聊聊根因和解法,帮你少熬几次夜。

1、时代背景与ORM选择

1.1 互联网时代的数据挑战

业务量暴涨,数据也跟着狂飙。百万级数据在几年前还算大,如今动不动就上亿。与此同时,微服务拆分得越来越细,数据访问层变得又厚又复杂。大家一边要追新需求,一边又要兼顾性能稳定。没有趁手的开发工具,根本顶不住节奏。

1.2 MyBatis-Plus的诞生与定位

于是,Java团队开始在ORM世界里不断找平衡。Hibernate太重,原生MyBatis又太多手工活。MyBatis-Plus正是在这种“又想快又想稳”的诉求下出现的。它不是简单的“语法糖”,而是一个为了生产环境而生的增强框架。

MyBatis-Plus的核心价值:

  • 简化开发:CRUD都有封装,少写很多SQL,手更轻

  • 功能增强:逻辑删除、自动填充、乐观锁、多租户、代码生成器等都现成

  • 性能优化:内置分页、性能分析、批量优化、缓存插件,跑得更快

  • 无缝集成:兼容MyBatis,老项目也能慢慢替换,几乎不用重构

这些卖点让MyBatis-Plus迅速走红。不过,功能多并不等于好用。特别是到了生产环境,隐藏的坑一个接一个。


2、生产环境挑战

开发环境里一切都很顺。saveBatch()轻松搞定批量插入,@TableId(type = IdType.ASSIGN_ID)一写就有分布式ID,看起来稳得很。

然而,真正部署上线后问题才暴露出来。

凌晨3点的告警:主键冲突,订单系统停摆。我们发现两个容器实例生成了同一个雪花ID。理论上“不可能发生”的事,就这么发生了。

再往下排查,批量操作乱序、枚举字段写入异常、自动填充失灵……问题一个比一个离谱。

这些事故有个共同点:开发环境一切正常,生产环境却崩成一片。根本原因是单机和分布式、低并发和高并发之间的差异,被框架默认配置无限放大,结果就是“看着没事”的代码在生产里频频掉链子。

我们因此整理出MyBatis-Plus在生产环境最容易暴雷的6大陷阱:

  1. 雪花算法ID生成重复问题

  2. 批量插入乱序问题

  3. 枚举字段存储风险

  4. 驼峰转换错位

  5. 批量操作时自动填充失效

  6. 写入时JSON数据丢失或格式异常

接下来我们把这些问题逐一拆开,聊聊背后的逻辑,再给出实测可行的解法。


雪花算法ID生成重复问题

3.1 问题现象

// 看起来很正常的代码
@TableId(value = "id", type = IdType.ASSIGN_ID)
private Long id;
// 但在生产环境中却出现了这样的错误:
// Duplicate entry '1234567890123456789' for key 'PRIMARY'

“ID怎么还能撞?” 这是我们第一次遇到时的真实反应。

3.2 雪花算法身份证结构

先搞清楚雪花ID里面装了什么,再谈如何防重复。可以把它想成一个超长身份证号:

身份证号码:1234567890123456789
分解结构:
┌─────────┬─────────┬─────────┬─────────┐
│  时间戳  │ 数据中心 │ 机器编号 │ 序列号  │
│ (41位)  │ (5位)   │ (5位)   │ (12位)  │
└─────────┴─────────┴─────────┴─────────┘
  • 时间戳像出生年月日

  • 数据中心ID类似省份

  • 机器ID对应城市

  • 序列号就是同一毫秒的排队号

3.3 问题根源

我们把雪花ID重复的元凶总结成四类。

3.3.1 元凶一:未配置机器ID,所有实例走默认值

很多人以为框架会自动算出唯一的workerId,于是干脆不配。结果大家都走同一个默认流程。

MyBatis-Plus获取机器ID的策略:yBatis-Plus获取机器ID的策略

看似严谨,然而一旦进入第二步,容器环境下“撞车”概率直线上升。

3.3.2 元凶二:容器环境的MAC地址克隆

先看Docker容器MAC地址的规律:

Docker容器MAC地址格式:02:42:ac:11:00:XX
                     ├─────────────┤├─┤
                     固定前缀      变化部分
容器1:02:42:ac:11:00:02
容器2:02:42:ac:11:00:03  
容器3:02:42:ac:11:00:04
...

如果继续依赖“取后两字节再模32”的做法,就会出现下面的情况:

MAC地址计算流程:
1. 提取后2字节 → 00:02, 00:03, 00:04...
2. 位运算处理 → 得到不同的中间值
3. 模32取余 → 问题就出在这里
实际结果:
├─ 容器1-32:机器ID = 0-31 ✅
├─ 容器33:机器ID = 0 ❌
├─ 容器34:机器ID = 1 ❌
└─ 以此类推...

如此可见,只要实例超过32个,就一定有重复。

3.3.3 元凶三:Kubernetes环境的虚拟MAC

再看K8s。Pod里的网络接口本来就是虚拟的,MAC地址由CNI随机分配,还可能拿不到。 Kubernetes Pod网络特点:

  1. 每个Pod都有虚拟网络接口

  2. MAC地址由CNI插件分配

  3. 同一节点的Pod可能模式一致

  4. 某些环境下干脆拿不到MACyBatis-Plus获取机器MAC地址

这种情况下,100个Pod全用workerId=1,冲突直接拉满。

3.3.4 元凶四:时钟回拨

雪花算法非常依赖系统时间。一旦时钟被调回,就会闹出大问题。

雪花ID生成流程如下所示:雪花ID生成流程但是,如何出现时钟回拨,就会出现如下问题时钟回拨

当以下条件同时满足时,重复就无可避免:

相同的机器ID (workerId=1)
相同的数据中心ID (datacenterId=1)  
相同的时间戳 (timestamp=1634567890123)
相同的序列号 (sequence=0)

3.4 解决方案:给每台机器一个专属身份证

方案一:外部获取唯一的分布式ID

@Slf4j
@Component
publicclassIdHelper{
publicstaticlonggetIdc(){
try {
return ZZIdcClient.getInstance().get();
        } catch (Throwable e) {
            log.error("act=getIdc error={}", e.getMessage());
        }
// 兜底逻辑:为了不影响业务,如果从架构拿不到id,就采用IDHelper
// IDHelper有问题,并发情况下可能会生成重复id
        log.info("k=s act=getIdcByIDHelper");
return IDHelper.generator(0);
    }
}

方案二:使用数据库自增ID

package com.baomidou.mybatisplus.annotation;
publicenum IdType {
    AUTO(0),
    NONE(1),
    INPUT(2),
    ASSIGN_ID(3),
    ASSIGN_UUID(4),
/** @deprecated */
@Deprecated
    ID_WORKER(3),
/** @deprecated */
@Deprecated
    ID_WORKER_STR(3),
/** @deprecated */
@Deprecated
    UUID(4);
privatefinalint key;
}
/**
     * 主键ID
     */
@TableId(value = "id", type = IdType.AUTO)
private Long id;

4、批量插入乱序问题

4.1 问题现象

场景1:父子订单批量插入。当子订单准备入库时,父订单还没完成,外键直接挂掉。

// 期望:先插入父订单,再插入子订单
heroPackageService.saveBatch(packages);  // 父订单
heroOrderService.saveBatch(orders);      // 子订单
// 结果:外键约束失败!
// Cannot add or update a child row: a foreign key constraint fails

场景2:远程接口返回一个有序列表,我们存到数据库里,想在后续查询中保持原有顺序,结果还是乱了。

// 期望:远程获取数据之后,存在数据库,后续从数据库获取有序列表的快照
//远程获取外部有序集合
List<HeroPackage> heroPackageList = recycleRpcService.getHeroPackageList(uid)
//将远程获取数据存入数据库
heroPackageService.saveBatch(heroPackageList)
//从数据库获取有序集合数据
List<HeroPackage> heroPackageList = heroPackageService.list(uid);
// 结果:有序集合的顺序被打乱
// 

明明是按顺序调用的,为什么会乱序?

4.2 原理

可以把它想成快递分拣。你按顺序交包裹,分拣中心为了效率会重排路线,于是最终顺序就变了。

4.2.1 MyBatis-Plus的两种批量插入模式

官方其实有两套批量逻辑,差别非常大。

模式一:默认BATCH模式(逐条插入)

MyBatis-Plus默认saveBatch的执行流程:

  1. 接收数据列表

    1. Listpackages (1000条数据)

    2. 默认批次大小:1000

  2. 创建批处理SqlSession

    1. 使用 ExecutorType.BATCH

    2. 逐条执行INSERT

  3. 逐条加入批处理队列

    1. 第1条:INSERT INTO hero_package VALUES (...)

    2. 第2条:INSERT INTO hero_package VALUES (...)

    3. ...

    4. 第1000条:INSERT INTO hero_package VALUES (...)

  4. 达到批次大小后 flushStatements()

特点:

  1. 支持主键回填

  2. 单线程下顺序可控

  3. 多线程+驱动优化后容易乱序

  4. 网络往返次数多,性能一般

模式二:优化批处理模式(合并SQL)

配置方式:要么改全局配置,要么写自定义SQL

执行流程:

  1. 接收列表

  2. foreach拼成一条多值INSERT

  3. 一次性落库

特点:

  1. 单次往返,性能高

  2. 顺序完全可控

  3. 主键需要自己准备

  4. SQL过长时得自行分批

两种模式对比:

特性

默认BATCH模式

优化批处理模式

性能

多次往返,速度一般

单次往返,极快

顺序保证

单线程可控,多线程不稳

完全可控

主键回填

支持

不支持

适用场景

依赖数据库生成主键

自己能生成主键或无主键需求

4.2.2 根本原因二:JDBC驱动的批处理重排序

MySQL JDBC驱动为了提速,会把同表操作合并。原本交错的SQL被重新分组,顺序自然就乱了。

JDBC批处理模式:

模式1:rewriteBatchedStatements=false

  1. 逐条执行

  2. 顺序稳定

  3. 性能一般

模式2:rewriteBatchedStatements=true

  1. 自动合并SQL

  2. 性能飙升

  3. 顺序可能被“优化”

例子:
原始SQL:
INSERT INTO hero_package VALUES (..)
INSERT INTO hero_order VALUES (..)
INSERT INTO hero_package VALUES (..)
INSERT INTO hero_order VALUES (..)
驱动优化后:
INSERT INTO hero_package VALUES (...), (...)
INSERT INTO hero_order VALUES (...), (...)

顺序彻底变了。

4.2.3 根本原因三:数据库层面的执行优化

MySQL优化器也会“帮忙”重排执行计划。同一张表的操作被集中,避免频繁切换表,性能是好了,但依赖顺序的逻辑直接崩。

期望:
Package1 → Order1 → Package2 → Order2
实际:
Package1, Package2 → Order1, Order2
优化器心声:
既然都是INSERT,就分组吧
省得来回切换表         

问题在于,Order引用Package的主键。如果Package还没落库,Order插入必失败。

例如下面的真实案例。两个线程并发创建订单。批处理时队列不保证FIFO,于是订单项和订单的关系全乱套。

期望: 订单A → 订单项A → 订单B → 订单项B

现实: 线程A、线程B同时写入 批处理队列交错 驱动/数据库重排 → 可能先执行线程B的订单项,再执行线程A的 → 外键和业务逻辑全乱

4.3 解决方案:控制批处理节奏

我们常用两个思路:要么“分批+强制刷新”,要么“自定义SQL一次写完”。

方案一:分批次执行,强制刷新

@Transactional
publicvoidcreateOrdersInSequence(List<OrderData> orderDataList){
int batchSize = 100;
for (int i = 0; i < orderDataList.size(); i += batchSize) {
        List<OrderData> batch = orderDataList.subList(i, 
            Math.min(i + batchSize, orderDataList.size()));
// 先插入父订单
        List<HeroPackage> packages = buildPackages(batch);
        heroPackageService.saveBatch(packages);
        sqlSession.flushStatements(); // 强制执行,确保顺序
// 再插入子订单
        List<HeroOrder> orders = buildOrders(batch);
        heroOrderService.saveBatch(orders);
        sqlSession.flushStatements();
    }
}

方案二:自定义SQL,一次性插入

// 使用自定义SQL,完全控制执行顺序
@Insert({
"<script>",
"INSERT INTO hero_package (id, seller_uid, create_time) VALUES ",
"<foreach collection='packages' item='pkg' separator=','>",
"(#{pkg.id}, #{pkg.sellerUid}, #{pkg.createTime})",
"</foreach>",
"</script>"
})
voidinsertPackageBatch(@Param("packages") List<HeroPackage> packages);

5、枚举字段存储风险

5.1 问题现象:枚举字段存储异常

// 枚举定义
publicenum OrderStatus {
    PENDING(1, "待处理"),
    PROCESSING(2, "处理中"),
    COMPLETED(3, "已完成");
privatefinal Integer code;
privatefinal String desc;
}
// 实体类
publicclassHeroOrder{
private OrderStatus orderStatus; // 期望存储code值(1,2,3)
}
// 结果:数据库中存储的是枚举名称("PENDING", "PROCESSING", "COMPLETED")

5.2 深入原理:MyBatis的默认枚举处理

// MyBatis默认的枚举处理器
publicclassEnumTypeHandler<EextendsEnum<E>> extendsBaseTypeHandler<E> {
@Override
publicvoidsetNonNullParameter(PreparedStatement ps, int i, E parameter, JdbcType jdbcType){
// 默认使用枚举的name()方法!
        ps.setString(i, parameter.name()); // 存储"PENDING"而不是1
    }
}

5.3 解决方案:使用@EnumValue注解

publicenum OrderStatus {
    PENDING(1, "待处理"),
    PROCESSING(2, "处理中"),
    COMPLETED(3, "已完成");
@EnumValue// 标记这个字段用于数据库存储
privatefinal Integer code;
privatefinal String desc;
// 构造函数和getter...
}

6、驼峰转换错位

6.1 问题现象

// 数据库字段:seller_uid, buyer_uid, create_time
// 实体类字段:
publicclassHeroPackage{
private Long sellerUid;    // ✅ 正常映射
private Long buyerUID;     // ❌ 映射失败!
private Date createTime;   // ✅ 正常映射
private String XMLData;    // ❌ 映射失败!
}

6.2 原理

MyBatis-Plus的驼峰转换算法对连续大写很无奈。

// 驼峰转换算法(简化版)
publicclassCamelCaseConverter{
public String camelToUnderscore(String camelCase){
        StringBuilder result = new StringBuilder();
for (int i = 0; i < camelCase.length(); i++) {
char c = camelCase.charAt(i);
if (Character.isUpperCase(c)) {
if (i > 0) result.append('_');
                result.append(Character.toLowerCase(c));
            } else {
                result.append(c);
            }
        }
return result.toString();
    }
}
// 转换结果:
// sellerUid -> seller_uid ✅
// buyerUID -> buyer_u_i_d ❌ (期望: buyer_uid)
// XMLData -> x_m_l_data ❌ (期望: xml_data)

6.3 解决方案:明确字段映射

方案一:使用@TableField注解
publicclassHeroPackage{
private Long sellerUid;
@TableField("buyer_uid")  // 明确指定数据库字段名
private Long buyerUID;
private Date createTime;
@TableField("xml_data")
private String XMLData;
}
方案二:统一命名规范
// 推荐的命名规范
publicclassHeroPackage{
private Long sellerUid;     // 驼峰命名,避免连续大写
private Long buyerUid;      // 而不是buyerUID
private Date createTime;
private String xmlData;     // 而不是XMLData
}
方案三:自定义命名策略
@Configuration
publicclassMybatisPlusConfig{
@Bean
public MybatisPlusInterceptor mybatisPlusInterceptor(){
        MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
// 自定义命名策略
        GlobalConfig globalConfig = new GlobalConfig();
        globalConfig.setDbConfig(new GlobalConfig.DbConfig() {{
// 自定义字段命名策略
            setColumnFormat("`%s`"); // 字段名加反引号,避免关键字冲突
            setTableFormat("`%s`");  // 表名加反引号
        }});
return interceptor;
    }
}

7、批量操作时自动填充失效

7.1 问题现象

// 实体类配置
publicclassHeroOrder{
@TableField(fill = FieldFill.INSERT)
private Date createTime;
@TableField(fill = FieldFill.INSERT_UPDATE)  
private Date updateTime;
@TableField(fill = FieldFill.INSERT)
private Long createBy;
}
// 自动填充处理器
@Component
publicclassMyMetaObjectHandlerimplementsMetaObjectHandler{
@Override
publicvoidinsertFill(MetaObject metaObject){
this.strictInsertFill(metaObject, "createTime", Date.class, newDate());
this.strictInsertFill(metaObject, "createBy", Long.class, getCurrentUserId());
    }
@Override
publicvoidupdateFill(MetaObject metaObject){
this.strictUpdateFill(metaObject, "updateTime", Date.class, newDate());
    }
}
// 问题现象:批量操作时自动填充失效!
List<HeroOrder> orders = buildOrders();
heroOrderService.saveBatch(orders); // createTime和createBy为null!

7.2 原理

// MyBatis-Plus的自动填充机制
publicclassDefaultSqlSession{
publicintinsert(String statement, Object parameter){
// 只有通过MyBatis-Plus的insert方法才会触发自动填充
if (parameter instanceof BaseEntity) {
            metaObjectHandler.insertFill(parameter); // 触发填充
        }
return executor.update(statement, parameter);
    }
publicintupdate(String statement, Object parameter){
if (parameter instanceof BaseEntity) {
            metaObjectHandler.updateFill(parameter); // 触发填充
        }
return executor.update(statement, parameter);
    }
}
// 但是批量操作使用的是JDBC批处理
publicvoidsaveBatch(Collection<T> entityList){
// 直接执行批量SQL,跳过了自动填充逻辑!
    String sql = "INSERT INTO table VALUES (?,?,?)";
    PreparedStatement ps = connection.prepareStatement(sql);
for (T entity : entityList) {
// 没有调用metaObjectHandler.insertFill()
        ps.setObject(1, entity.getId());
        ps.setObject(2, entity.getName());
        ps.addBatch();
    }
    ps.executeBatch();
}

7.3 解决方案:手动填充 + 批量优化

方案一:批量操作前手动填充
@Service
publicclassEnhancedOrderService{
@Autowired
private MyMetaObjectHandler metaObjectHandler;
publicbooleansaveBatchWithFill(Collection<HeroOrder> entityList){
// 手动触发自动填充
        entityList.forEach(entity -> {
            MetaObject metaObject = SystemMetaObject.forObject(entity);
            metaObjectHandler.insertFill(metaObject);
        });
// 然后执行批量保存
return heroOrderService.saveBatch(entityList);
    }
}
方案二:自定义批量保存方法
@Component
publicclassBatchSaveHelper{
public <T> booleansaveBatchWithAutoFill(Collection<T> entityList, 
                                           Class<T> entityClass,
                                           BaseMapper<T> mapper)
{
if (entityList.isEmpty()) {
returntrue;
        }
// 获取当前用户和时间
        Long currentUserId = getCurrentUserId();
        Date now = new Date();
// 反射设置自动填充字段
        entityList.forEach(entity -> {
try {
                setFieldValue(entity, "createTime", now);
                setFieldValue(entity, "updateTime", now);
                setFieldValue(entity, "createBy", currentUserId);
            } catch (Exception e) {
                log.warn("自动填充失败", e);
            }
        });
// 分批保存,避免SQL过长
int batchSize = 1000;
        List<T> list = new ArrayList<>(entityList);
for (int i = 0; i < list.size(); i += batchSize) {
            List<T> batch = list.subList(i, Math.min(i + batchSize, list.size()));
            mapper.insertBatch(batch); // 自定义批量插入方法
        }
returntrue;
    }
privatevoidsetFieldValue(Object obj, String fieldName, Object value)
throws Exception 
{
        Field field = obj.getClass().getDeclaredField(fieldName);
        field.setAccessible(true);
if (field.get(obj) == null) { // 只有为null时才设置
            field.set(obj, value);
        }
    }
}

8、写入时JSON数据丢失或格式异常

8.1 问题现象

// 实体类定义
publicclassHeroPackage{
private Long id;
private String packageName;
// JSON字段存储扩展属性
private Map<String, Object> extendInfo;
private List<String> tags;
}
// 保存数据
HeroPackage pkg = new HeroPackage();
pkg.setExtendInfo(Map.of("color", "红色", "weight", 1.5));
pkg.setTags(Arrays.asList("电子产品", "二手", "9成新"));
heroPackageService.save(pkg);
// 查询结果:extendInfo和tags字段为null!

8.2 原理

// MyBatis默认只能处理基本类型
publicclassDefaultTypeHandlerRegistry{
publicDefaultTypeHandlerRegistry(){
        register(String.class, newStringTypeHandler());
        register(Integer.class, newIntegerTypeHandler());
        register(Long.class, newLongTypeHandler());
// 没有Map和List的处理器!
    }
}
// 复杂对象会被toString()处理
Map<String, Object> map = Map.of("key", "value");
String result = map.toString(); // "{key=value}" - 不是标准JSON!

8.3 解决方案:数据类型规范化处理

我们的共识是:能不用复杂字段就别用。如果必须用,就自己管序列化。

方案一:数据库字段类型规范化
  • 表里尽量只放基本类型

  • Map、List先拆成具体字段,或者转成独立表

  • 复杂场景在业务层处理转换

方案二:手动序列化处理
  • 确实需要存结构化数据时,先序列化成JSON字符串

  • 存入VARCHAR或TEXT

  • 查询时再反序列化

实施建议: 优先走方案一。只有在业务强依赖动态结构时,再考虑方案二,记得封装好序列化逻辑,别把JSON工具散落在业务代码里。


总结与思考

种种案例都在提醒我们:框架默认值是给理想环境准备的,到了生产就得重新审视。如果不了解内部机制,就很容易掉进坑里。

启示一:默认配置靠不住
开发环境通常是单机、低并发,默认配置自然没问题。可一上生产,容器化、分布式、高并发齐聚,默认值瞬间变成隐患。别指望框架“自动”处理所有边角料。

启示二:机制理解少不了
只有搞清楚框架怎么运转,才能提前发现风险;真出事时,也能快速定位。知其然而且要知其所以然。

启示三:方案要服务于环境
你在什么环境里跑,就得配什么策略。容器、K8s、云原生都在挑战旧有假设。没有银弹,只有适配。

关于作者,朱洪旭,侠客汇Java开发工程师。

想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

跳转微信打开

  •  

一个能用的 AI Agent,是怎么“长”出来的?-- Prompt 调优篇

原创 有赞共享技术 2025-11-21 10:28 浙江

不是写一次提示词就完工,而是在反复测试、负优化、回滚、拆解中“长”出来的。本文来自一线团队的实战复盘:如何用量化评测驱动 Agent 迭代?为什么 Few-shot 用多了反而更差?怎样通过精简输入和职责拆分,让准确率和速度双双提升?

01 背景

最近几周,我们在 AITest 中增加了提速、归因等 Agent,目标是通过 AI 帮助测试人员提升效率、辅助决策。

开发这些 Agent 是非常快的,我们的第一版几乎只花了一两天的时间就完成了。

但是当我们开始真正评测这些 Agent,并且开始效果调优时,我们遇到了很多问题。 考虑到其他正在开发 Agent 时也会遇到类似问题,因此写这篇分享文档,希望能提供其他的开发者一些可借鉴的经验。

02 开始前的准备

2.1 定义成功的标准

推荐阅读:《定义你的成功标准 - Claude Docs》[1]在开始之前,就应该知道我们本次所开发的 Agent

  1. 需要做的事情是什么?

  2. 什么样才是符合预期的?

  3. 需要哪些输入?

  4. Agent 的输出什么?

2.2 准备评测用例集

尽快去做,这一步应该在做 Agent 刚开始就应该被考虑,无论用什么方式,多维表格还是文档,还是 excel,还是 langfuse,可测量是做 Agent 非常关键的一步

如果我们的 Agent 可被测量,那一定也同时意味着我们可以反复复现相同效果。

只要当 Agent 可以反复被测试且达到预期值时,这个 Agent 才能算相对稳定,如果只是本地随便跑两下,一旦到线上真实环境运行的时候,大概率就是效果不佳的。

量化效果不仅能帮我们冷静客观地找到问题,并且能在一堆失败 case 中找到共同点。

那么如何建立这样的评估体系呢?

第一步:我们需要清楚现在做的 Agent 要达到的目标是什么?效果是什么?他的输入信息是什么?

以归因为例: 目的是:基于测试报告找到真正失败的测试步骤并且说清楚错哪里了; 效果是:1. 定位准确的失败步骤;2. 输出准确清晰简洁的错误原因 输入是:1. 测试报告;2. 操作快照;3. 测试步骤

第二步:准备评测集

因为第一步,我们已经知道,Agent 需要什么(输入),并且产出什么(定位失败步骤和原因说明)

那么我们准备的评测集需要有:

  1. 一个失败的测试报告

  2. 人工提供预期定位的测试步骤和预期的错误原因

第三步:立刻开发 Agent 第一版(只要有大概输出结构即可)

第四步:把评测集用例挨个塞给 Agent(对错无所谓),输出第一版评估报告,创建多维表格

第五步:分析报告

主要需要分析几个问题

  1. 和预期是否相符?

  2. 失败的 case 原因是什么?有没有解决方案?

重复 3 - 5 直到达成预期指标

2.3 快速初始化提示词

推荐使用 AI 快速生成第一版系统提示词(这也是 Claude 推荐的做法)

我们手工编写系统提示词的第一版往往很低效,因为我们在初始阶段对目标结果是模糊的;另外,既然我们都已经在用 AI 了,那么应该更多的利用 AI 提升效率

我们在初期,已经明确了大致的目标(只是还未细化),因此,我们可以简单的将目标扔给 AI 让 AI 帮我们完成第一版提示词,快速进行量化评估

不必纠结第一版是否完美,跑通整个 Agent 流程(v0.1 Agent + 一个评测集 + 自动化跑评测数据)才是关键



    我正在做测试用例失败分析的助手,这个agent
    我会提供给这个agent 3个内容
    1. report 测试用例执行失败的报告详情(json数据)
    2. flow 测试用例的具体测试步骤(json数据)
    3. analysis 基于对测试报告执行的每一步进行的分析(json数据)


    ....

    03 提示词调优

    推荐阅读:《使用我们的提示词改进器来优化您的提示词 - Claude Docs》[2]

    3.1 改进提示词的提示词

    想不到吧?还有提示词的提示词 :) 我还是推荐用 AI 进行提示词改进(这种做法是目前社区中的主流),尽量不要手动调整系统提示词,原因有二: 一是系统提示词调优是快速多次的事情,可能从第一版到阶段性终版之间需要调几十轮提示词,如果人工调整,人力成本巨大费事费力 二是人工调整往往意味着效率低下,机加工往往比纯手工快很多倍,在快速迭代过程中,应该用机器的力量加速我们的 Agent 开发

    3.2 调优提示词模板

    回过头来继续聊改进系统提示词,在调整系统提示词的过程中,我们需要反复告诉 AI 几个内容:

    1. 我们现在的系统提示词

    2. 我们输入的内容

    3. Agent 输出的内容

    4. 需要调优的目标

    在我多次调优 Agent 的过程中,我发现几乎每次都需要这些内容,AI 才能帮助我们调优,因此我准备了一个简单的调优提示词

    以下提示词是万能模板,input 是输入的内容; output 是 Agent 输出的内容; system-prompt 是完整的系统提示词;存在的问题 部分可以描述当前存在的问题详细信息



      ## 提供给 agent 的 input 如下


      <input>
      </input>


      ## Agent 返回的 output 如下


      <output>
      </output>


      ## 系统提示词如下


      <system-prompt>
      </system-prompt>


      ## 存在的问题是

      04 提示词调优实践技巧

      4.1 经验一:结构性提示词

      4.1.1 确定目标(角色设定)

      推荐阅读:《通过系统提示给 Claude 赋予角色 - Claude Docs》[3]

      通过目标设定/角色设定,我们可以将 Agent 的工作限定在某个范围内,增强 Agent 的表现 Claude 文档中所说的是给 AI 赋予角色,但是在实际开发 Agent 的过程中,基于我个人的经验和理解,我认为并不是说一定要为 Agent 赋予某个角色,因为在某些 Agent 上他做的事情就是非常单一单点的,此时我们强行赋予角色的含义其实并不是很合适。

      更好的做法应该是将 Agent 的核心目标定义清楚即可,换句话说,并不是每个 Agent 都需要角色设定,角色设定只是为了帮助 Agent 更好的完成目标

      他们都能达到很好的效果表现。

        我会给你一个测试步骤执行的结果,以及他执行前后的快照(如果是打开页面的测试步骤可能只有一张快照)我希望你能帮我判断一下测试步骤执行是否符合预期。

          你是一个专业的测试用例失败分析助手,负责分析自动化测试执行失败的根因,并输出标准化、结构化的失败摘要与改进建议。你的结论将用于下游系统的程序化处理,因此必须严格遵循输出格式与字段含义。

          4.1.2 思维链(CoT)/任务拆分

          推荐阅读:《让 Claude 思考(思维链提示)以提高性能 - Claude Docs》[4]

          思维链和任务拆分的本质是帮助 Agent 将任务拆分成更小的颗粒度,逐步完成,这样有助于提升最终表现

          以 失败原因总结 Agent 为例,由于入参是所有的测试步骤执行结果,我们需要告诉 AI 怎么样准确找到失败的步骤,并准确的描述失败原因,因此我们在提示词中加入了以下内容

          这能帮助 Agent 更好地理解入参并进行失败原因分析,在实际测试中,它避免了 Agent 直接采用最后失败步骤作为失败原因的情况



            ## 生成逻辑步骤(算法)


            1. 遍历 analysis 数组(按已有顺序,不重排)。
            2. 对于每个步骤,若 passed=false,需对比 refAnalysis 中同 index 步骤的 summary 和表现:
               - 若本次表现与历史成功表现基本一致(如都为“前后截图一致”且历史被判定为通过),则该步骤判定为通过,继续下一个。
               - 若本次表现与历史成功表现有明显差异(如历史成功时页面有变化/目标达成,本次未达成),则判定为失败,作为首个失败步骤。
            3. 选取第一个实际失败步骤,提取:
               - index -> startFailNumber
               - 类型 -> startFailType(按前述优先级推断)
               - simpleFailReason:结合本次与历史成功表现的差异,提炼为“未进入 XXX 页面”、“未显示 XXX 内容”等具体描述。
               - summary:整合分析+建议,突出与历史成功表现的对比。
            4. 返回 JSON。

            4.1.3 使用 XML 格式

            使用 XML 格式我个人最大的感受有几点:

            1. 顺序无关,我们不再需要保证严格的提示词顺序,XML 通过标签包裹的形式,我们甚至可以将一些信息放在末尾,在其他位置引用

            2. 更灵活的引用,例如提示词中可以写: 请根据 <input> 中所提供的内容进行分析...,而 <input> 部分,我们可以放在提示词的任意部位,可以是开头也可以是结尾

            3. 局部更新,当我们开发了多个 Agent 之后,会发现一件很头痛的事情,即每次修改提示词就会改变整个提示词,那么通过 XML 我们可以将一些固定内容排除掉,比如说本次我们有 <examples> / <instructions> 这些 XML 标签时,我们可以避免更新里面的示例内容,专注与调整提示词的其他部分

            4.1.4 使用示例(Few shot)

            推荐阅读:《使用示例(多示例提示)来引导 Claude 的行为 - Claude Docs》[5]

            使用示例可以帮助我们提升 Agent 表现,尤其是当我们的 Agent 已经能在评测中取得 60-70 分时,再往上提升发现通用提示词无法解决的边缘 case,可以通过示例在教 Agent 怎么做才是对的

            比如我们之前在做提示词转测试步骤的 Agent 时,提供了一些示例来帮助 Agent 理解一些特殊场景



              ## 处理示例


              ### URL 操作处理


              // 输入:打开 URL:https://store.youzan.com/v4/channel/xhs/dashboard
              // ⚠️ 重要:必须使用 aiAction 类型,不能使用 nativeUrl 类型
              {
              "flows": [
                  {
                  "type": "aiAction",
                  "prompt": "打开 URL:https://store.youzan.com/v4/channel/xhs/dashboard",
                  "action": {
                  "type": "url",
                  "url": "https://store.youzan.com/v4/channel/xhs/dashboard",
                  "weappPath": ""
                  }
                }
                ]
              }

              4.1.5 精简提示词

              上述提到的所有提示词技巧,不应该无脑加到提示词中,通过我个人的 Agent 开发经验来看,系统提示词上下文越大,Agent 响应速度越慢

              比如说当你使用思维链时,的确能提升准确度,但是代价是响应变慢;当你使用示例时,的确能提升单个 Case 的表现,但是代价是过拟合的几率增加

              因此,保持提示词精炼也是编写提示词的一个重要考虑

              以下为测试用例提速 Agent 精简提示词前后的响应速度表现

              优化前,平均响应时间都在 ~20s/次,tokens消耗 ~30k
              优化前,平均响应时间都在 ~20s/次,tokens消耗 ~30k
              优化后,平均响应时间降低至 <10s/次, tokens 消耗降低至 ~3k(表现相同)
              优化后,平均响应时间降低至 <10s/次, tokens 消耗降低至 ~3k(表现相同)

              4.2 经验二:减少系统提示词中的 Few shot

              过多的 Few shot 会出现过拟合的问题,导致我们编写的系统提示词无法普适到更多的用例中。

              也许我们增加了某个 Few shot 之后,马上之前失败的一个指定 case 立刻就会成功,但这不是真实的,当我们去跑更多的 case,会发现 Agent 出现很死板的回答。

              4.2.1 具体案例

              我们在 Agent 提示词中提供了一个 case,举例说明 SG781228015809656268 表示 操作编号

              由于这个需要业务理解,Agent 才能知道 SGxxxx 是 操作编号,那么最快的方式就是添加 Few Shot 让 Agent 能理解

              预期是希望 Agent 在发现 css 选择器如果是这样的值,则优化成 操作编号

              4.2.2 问题表现

              但实际情况是,我们发现,增加这个 Few Shot 之后,一旦 Agent 识别到 SG781228015809656268 无论他是不是在 选择器字段中,都无脑优化成 操作编号 ,甚至是操作步骤里输入内容的值都优化掉了。

              但是我们并没有告诉 Agent 要优化 value 这个字段。

              4.2.3 推荐做法

              1. 0 Few shot: Agent 初期,系统提示词不应该有 Few shot 最好一个都不能有(尽量用逻辑表述让 Agent 理解怎么做才是对的)

              2. 增加 Few shot 的时机: 当系统提示词已经能做对大部分 case 时,如果要再进一步提升,可以增加少量少量的 Few shot

              3. 模糊具体名词: 在编写 Few shot 的时候,尽量不要模糊掉一些具体词汇,比如某某商品、xxxx 名称之类的具体词最好不要出现

              4.3 经验三:精简输入

              起初我们在做 提速 Agent 的时候,我们希望将完整的测试报告和测试步骤全部提供给大模型,希望大模型能自己定位到所有需要提速的步骤,然后一次性优化掉。

              这里我们犯了一个很大的错误,我们希望 Agent 一次性完成整个任务 这样做的结果是:

              1. 分析不全:有些测试用例,需要同时优化 5 个测试步骤,但实际上 Agent 只识别到 4 个测试步骤。

              2. 说谎:当我们调整提示词,需要 Agent 先分析需要优化几个步骤,再对这几个步骤进行优化的时候,我们发现 Agent 会说已经优化好了,但实际上一个步骤都没有优化。

              3. 注意力不集中:当 Agent 的确分析对了 5 个步骤,并且也优化了 5 个步骤之后,有时候 Agent 会出现根本没有基于测试报告的信息进行优化,比如需要优化的是第二步,他获取的是第三步测试报告中的信息,优化第二步

              4. 捏造事实:当我们进行更严格的系统提示词限制时,Agent 认为他无法优化,但他又不能违背提示词规则,他会凭空创造一些选择器,填充到需要优化的步骤中

              这些问题反复会出现,无论你调整多少轮提示词,都无法做好,给人的感觉就像是掺了水的沙子做的雕塑,看着是一个合理的形状,但是稍微一用力就碎了。

              4.3.1 具体案例

              自优化 Agent 输入:

              1. 测试用例执行报告(report)

              2. 测试步骤(flow) 预期输出: json 格式数据 { "summary": "<string, 对本次优化总结>", "needUpdate": "<boolean, 是否需要更新>", "newFlow": "<array, 优化后的 flow>", "fallbackAIFlow": "<array, 降级到 AI 执行的 flow>" }

              4.3.2 问题表现

              一:非 JSON 格式,Agent 输出时在末尾跟着一些解释性内容

              二:从 output.summary 中可以看到 Agent 认为有 4 个降级步骤,但实际上有 7 个

              三:从 output.summary 中可以看到 Agent 认为有两个可以优化,另外 2 个无法优化。但实际上对比 oldFlow 和 newFlow 我们发现 Agent 优化了 3 个步骤

              4.3.3 推荐做法

              之后我们开始思考如何解决这个问题,我们猜测应该是给的内容太多了,我们把需要优化的步骤和不需要优化的步骤都提供给了 Agent,在 Agent 的输入中掺杂了很多不必要的信息

              那么,有没有可能进一步减小 input 呢?我们想到,因为测试步骤是一个数组,测试报告中的每个步骤也是一样。

              那么,我们是否可以通过程序代码,先做一遍筛选,只将需要优化的步骤以及测试报告中对应的执行结果告诉 Agent。

              这样,Agent 得到的必定是要优化的测试步骤,它再不需要判断得到的信息中哪些要优化,哪些不要优化,只要专注于做一件事情——把这个测试步骤尽可能优化好。

              这样做了之后,我们发现 Agent 输出的质量有了明显的提升。 同时,我们惊喜的发现,不仅是质量提升,响应速度也有明显提升,从原先 > 60s 响应,锐减到 6s 响应,10x 提升

              beforeafter

              所以,精简输入是非常有用的方法,仅把最小必要信息提供给 Agent,不仅能提升输出质量还能提升响应速度。

              所以,为什么会出现 ReAct,也是有迹可循的对吗?前人早已总结了经验,不应该企图让 Agent 一次性完成工作

              4.4 经验四:拆分更小的 Agent

              一个 Agent 只做一件事情,我的意思是说,一个 Agent 只做一个小点 刚才,我们已经表达了精简输入的收益很大,但是假如你的 Agent 做很多事情,它既要分析、又要生成、最后又要总结某些内容,那么可以基本断定,这个 Agent 很难调优。

              缩小单一 Agent 的职责范围,已经是目前比较主流的一种做法

              4.4.1 推荐做法

              我们在做失败归因的时候(失败归因是指:通过使用 LLM 找到测试报告真正失败的测试步骤。一些情况下,上报失败的步骤并不是真正导致失败的根因,可能是之前的步骤点击没有生效导致的,我们尝试用 LLM 找到根因步骤,并告诉测试人员,减少测试人员人工检查失败原因的时间)

              就将整个归因目标拆分为 4 个 Agent 实现,每个 Agent 做很小一块工作,最后我们通过代码将整个流程串起来

              Agent

              能力描述

              分类师(Classifier)

              失败错误分类

              Diff 检查员 (Inspector)

              Diff 步骤详细失败原因分析

              分析师(Analyzer)

              测试步骤执行结果分析

              协调者(Coordinator)

              基于 Diff 和测试步骤执行结果 -> 总结失败原因

              这样做的好处是:

              1. 单个 Agent 更容易调优

              2. 响应速度更快

              3. 提示词可以更加精准

              4. 影响面可控(我们知道 Agent 系统提示词,一次改动就彻底推翻了,如果我们将所有工作都在一个 Agent 中完成,那么当我们需要迭代 Agent 的时候,就会非常困难)

              4.5 经验五:考虑 Agent 回滚

              4.5.1 保管好老版本的系统提示词

              Agent 和写代码完全不一样,每一次系统提示词更新就是对上一次的全部推翻( 所以说量化效果很重要:( 上次对,这次不一定就对了 )

              所以,务必要创建一个临时的文件,保存好上一次的提示词,这样我们在遇到负优化的时候可以轻松的回撤到上一个版本

              4.5.2 接受无法做到 100 分的事实(甚至 80 分)

              从我们的经验来看,绝对采纳率一旦上到 70 之后(可能 60+就开始了),后面的系统提示词调整,大概率会出现负优化,会反复卡在一个点位上优化不上去,加把劲就可能直接跌到 30%采纳率。

              所以,说真的,Agent 开发,比 E2E 测试还要难,E2E 测试起码还能控制变量进行测试,对就是对,错就是错,我们可以做到整个用例集 100%通过。

              但是 Agent 评测,我们会发现好的 Agent 大概能覆盖大部分常见场景,但是一旦试图让他全部做对的时候,一定会出现过拟合(其实有据可循的,要么就是加 Few shot,那就是思维僵化;要么就改更复杂的系统提示词,描述复杂不清晰后就开始负优化)

              这时候,我们的重心不应该再局限于提示词调优上了,而是应该通过其他方法去提升效果比如说 ReAct 、 RAG

              另外,在 Claude Docs 中有很多有用的方法,比如说提到过 N 次最佳验证 的方式进行准确率提升

              N 次最佳验证:多次使用相同的提示运行 Claude 并比较输出。输出之间的不一致可能表明存在幻觉。

              05 写在最后

              提示词技术还在快速进化,每天都有新方法出现。我们要保持开放心态,多动手实践,多交流心得。

              重点:好的 Agent 不是一次设计到位的,而是在不断测试、迭代、优化中“长”出来的。

              参考资料

              [1] 

              《定义你的成功标准 - Claude Docs》: https://docs.claude.com/zh-CN/docs/test-and-evaluate/define-success

              [2] 

              《使用我们的提示词改进器来优化您的提示词 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/prompt-improver

              [3] 

              《通过系统提示给 Claude 赋予角色 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/system-prompts

              [4] 

              《让 Claude 思考(思维链提示)以提高性能 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/chain-of-thought

              [5] 

              《使用示例(多示例提示)来引导 Claude 的行为 - Claude Docs》: https://docs.claude.com/zh-CN/docs/build-with-claude/prompt-engineering/multishot-prompting

              阅读原文

              跳转微信打开

              •  

              ITCP联盟第五届技术大会【AI基建专场】报名火热开启!

              人才发展中心 2025-11-19 15:03 北京

              以下文章来源于:Qunar技术沙龙

              Qunar技术沙龙

              Qunar技术沙龙是去哪儿网工程师小伙伴以及业界小伙伴们的学习交流平台。我们会分享Qunar和业界最前沿的热门技术趋势和话题,为中高端技术同学提供一个自由的技术交流和学习分享平台。

              大会介绍 在AI从探索走向深度融合的关键阶段,可靠的基础设施与成功的场景应用已成为推动业务创新的双

              大会介绍

                    在AI从探索走向深度融合的关键阶段,可靠的基础设施与成功的场景应用已成为推动业务创新的双引擎,越来越多的企业在AI实践中取得了可喜的阶段性成果。

                    秉持“近一步,更进一步”的精神,本次ITCP联盟技术大会特设【AI基建专场】与【AI应用专场】,旨在搭建汇聚AI前沿理念与实战经验的交流平台,并携手联盟内各公司,共同展示在AI基础设施建设与应用落地方面的优秀成果与最佳实践。

                    本次【AI基建专场】,我们特别邀请了去哪儿旅行、转转、核桃编程的技术专家,他们将详细分享在智能体平台建设、研发流程自动化、强化微调、UI自动化测试系统等AI项目中的具体做法、遇到的挑战以及克服这些挑战的策略,帮助参会者更好地理解AI基建建设中的实践经验与最佳路径。

              【时间】11月29日(周六)13:45-17:50

              【地点】北京市维亚大厦8F大会议室

              报名直通车

              报名时间

              11月19日-11月25日

              报名方式

              扫描二维码,提前预定席位

              现场席位有限,先到先得呦

              精彩预告

              大会讲师及主题简介

              马阳阳

              去哪儿基础平台Java组负责人

              负责去哪儿研发效率、质量类平台建设。近年探索 AI Agent 应用,主导自研公司级智能体平台 QMoss,已在内部实现规模化落地。曾担任公司内外多场技术大会明星讲师。

              AI 小软件革命:

              智能体平台驱动的万级 PD 提效实践

                   为解决产运团队在日常工作中面临的大量重复、低价值的任务痛点,我们抓住大模型技术浪潮,探索出“AI 小软件”这一提效新范式。本次分享将阐述我们的核心解决思路:通过构建“智能体平台 + 多维表格”的黄金组合,实现 AI 应用的低门槛、规模化落地。

              听众收益:

              a、AI Infra 团队-如何建设智能体平台并大规模落地

              b、产运团队-掌握 AI 小软件技能,提升工作效率

              c、研发团队-AI 落地的场景挖掘思路及一套新研发模式

              分享大纲:

              1. 从人力到智能:LLM 引爆运营新纪元

              2. 打造智能中枢:智能体平台建设实践

              3. 业务创新实践:AI 小软件的多场景落地

              4. 价值与经验:智能体平台的提效成就

              5. 迈向未来:自进化的 AI 小软件生态

              车天博

              转转算法专家

              负责转转大模型算法的后训练、百晓生问答(质检答疑)和智能客服应用,近期探索图文多模态问答。

              强化微调(RFT)在转转后训练中的应用

              在大模型广泛应用于业务场景的背景下,微调是最常见的优化方法。然而,传统微调在带来性能提升的同时,也会引入诸如通用能力下降(遗忘现象)与生成内容重复(复读机现象)等负面影响。本次分享将聚焦如何通过强化微调(RFT)技术优化模型后训练流程,更深入地挖掘数据潜在规律,并有效抑制上述常见问题,为大模型在业务中的稳定落地提供更可靠的技术路径。

              通过本次分享,听众将系统性了解微调中常见问题的成因及应对思路,掌握 RFT 技术方法,并获得一套后训练体系的优化与业务模型效果提升的可借鉴解决方案。

              分享大纲:

              1. 强化微调(RFT)技术简介

              1.1 强化微调训练流程

              1.2 强化微调应用场景

              2. 强化微调在百晓生(质检答疑)问答中的应用

              2.1 百晓生业务简介

              2.2 强化微调提升问答准确率

              2.3 效果评估与展望

              杨洪

              核桃编程资深前端开发

              主导核桃编程复杂组件库与通用业务模块的设计与实现,负责直播教师端、学生端相关系统、内部业务系统的核心模块开发与重构升级。

              喜鹊 AI助手:从需求到上线的“自动驾驶”

              在智能研发的浪潮下,如何让研发流程更加高效与智能化成为众多公司关注的核心议题。喜鹊工具应运而生,它覆盖了需求全生命周期,通过 AI 测试用例生成、AI 需求遗漏分析、AI Code Review 等核心能力,实现研发流程的全面智能化,并支持自动拉群、技术方案集中管理、一键回填上线信息、构建信息直达测试等功能。

                   依托五大 AI 能力,喜鹊工具实现了全流程的自动化与智能提效,操作零门槛,使研发流程节点人工操作量减少 50%。

              听众收益:

              a.产品经理:需求文档质量提升,减少反复澄清。

              b.开发工程师:提升代码提测质量,将问题前置。

              c.测试工程师:测试用例生成节省50%工时。

              d.整个团队:沟通成本大幅降低,机器人自动传递关键信息。

              分享大纲:

              1. 应用场景介绍

              2. 可行性方案

              3. dify实践与优化

              4. 长期演进:由辅助转向主导,自适应迭代

              崔宇

              去哪儿大前端中心

              用户增长负责人

              负责去哪儿用户增长前端工作,负责公司 UI 自动化测试系统 TARS 平台及用户行为回溯平台,有多年前端客户端开发经验。

              去哪儿TARS AI 自动化测试系统

              在 AI 浪潮的推动下,UI 自动化测试作为提升测试效率的重要手段,一直备受业界关注。尽管市面上已出现了众多借助 AI 实现 UI 自动化测试的工具与案例,看似功能完善,但在实际落地过程中仍面临诸多挑战。本次分享将深入介绍去哪儿在推进 AI 自动化测试落地过程中的实际问题与应对经验,带来一线的实践洞察与思考。

              分享聚焦真实痛点与实战经验,内容干货满满。听众将不仅能够全面了解 AI 自动化测试方案的整体架构思路,还能掌握实践中常见问题的解决路径,为未来的测试体系建设提供有益参考。

              分享大纲:

              1. AI 为 UI 自动化测试带来的新机遇

              2. 实际落地遇到的问题

              3. 去哪儿 UI 自动化测试实践经验

              4. 落地场景案例

              5. 总结展望

              大会流程

              汇聚 AI 先锋,共探技术前沿;

              这场干货盛宴,等你赴约!

              跳转微信打开

              •  

              自动驾驶系统的局部最优陷阱

              原创 刘兰个川 2025-11-17 17:13 浙江

              曾经推动进步的海量廉价数据,如今反而成了前进的桎梏。

              作者:刘兰个川(Patrick Liu)

              作者毕业于北京大学物理学系,目前供职于英伟达自动驾驶团队,撰稿仅代表本人立场。

              01

              技术演进之路


              自动驾驶技术这些年的进步有目共睹。

              十年前,系统主要依赖2D物体检测和语义分割来理解环境。随后,单目3D检测和车道线估计技术的出现,让系统能从单一摄像头中推断出深度与结构。发展到今天,多摄像头鸟瞰图感知技术(Multi-Camera BEV Perception)已经能将车辆周身环境融合成一个无缝的360度全景画面。

              “看”得越准,便“想”得越远。

              感知能力的进步也带动了预测和规划模块的发展。端到端驾驶系统应运而生,它能将视觉信号直接映射为控制指令,其驾驶表现比传统的规则系统更平滑、更自然,也更接近真人。

              这一切的背后,都离不开一个核心引擎:数据飞轮。其运作流程“部署→路测→挖掘→训练→再部署”构成了一个驱动系统持续进化的强力闭环。

              图:一个2019年的典型的数据飞轮,引自Andrej Karpathy的ICML主题演讲,2025年的数据飞轮没有太大变化

              与学术界聚焦固定数据集的研究范式不同,工业界的逻辑是让系统能力随数据规模而生长。一旦评测发现系统的薄弱环节,便能自动挖掘海量相似场景投入训练。

              对于特斯拉、理想、小鹏这类拥有庞大真实车队的公司而言,这些数据正是用户日常行驶中产生的天然副产品,收集成本极低。车队的每一公里行驶,都在为模型注入新的养分。

              特斯拉将这一模式发挥到了极致:通过数百万辆行驶中的车辆,它构建了人类历史上可能规模最庞大的现实世界机器学习闭环。这一闭环或许确实能将安全水平提升至超越人类驾驶员的平均值,但其底层逻辑并未改变:系统的能力源于对大量数据的记忆,而每一个故障案例,都依然需要一个对应的数据补丁。

              这个闭环设计精巧,却也隐含着它的终极和局限。

              02

              数据补丁的局限与出路


              如果每次遇到特殊路况,第一反应都是“堆数据”,那我们打造的终究只是一套“擅长打补丁的系统”。

              这类系统看似能闯过不少复杂关卡,本质上却依赖机械记忆而非真正理解,因此难以举一反三。一旦现实场景在已有数据的边缘发生细微变化,哪怕只是光照、天气或道路布局的差异,模型就可能再度失灵——它们是训练出来的“场景专家”,却成不了灵活应变的“通用司机”。

              随着自动驾驶的运营设计域(ODD)不断拓宽,需要修补的漏洞数量几乎呈指数级增长。孟买的复杂换道、柏林的高速汇入、东京的窄路调头……每个问题都要经历独立的数据采集、标注和模型迭代。系统规模确实在变大,但我们“打补丁”的速度却远远跟不上新问题出现的节奏。

              更严峻的是,容易解决的场景逐渐被覆盖殆尽,剩下的往往是数据稀缺、逻辑复杂的“硬骨头”,收集成本急剧上升,最终导致系统性能陷入平台期。

              曾经推动进步的海量廉价数据,如今反而成了前进的桎梏。

              当前的自动驾驶系统,本质上是一本写满“如果-那么”规则的电子操作手册。在熟悉的场景中它们游刃有余,一旦跨出已知边界就显得力不从心。

              它们精于重复,却弱于泛化。现有技术路线基于一个美好却脆弱的前提:所有问题都能通过“投喂”更多数据,在有限时间内解决。然而,当系统面对那些真正罕见、完全超出其训练经验的“黑天鹅”事件时,这条路径便走到了尽头。

              要实现真正的全自动驾驶,我们必须转向构建具备通用法则理解能力的系统。这样的系统能够推理他车意图、洞悉因果链条、理解物理约束与社会惯例,从而突破数据本身的局限。唯有掌握这种“举一反三”的认知能力,才能系统性地解决长尾难题。

              操作手册式的系统注定无法规模化,“场景专家”也永远走不出舒适区。这正是自动驾驶技术面临的局部最优困境:

              我们在一条看似正确的道路上不断前进,却最终抵达了一座无法逾越的高墙之下。

              03

              机器人学的逆境启示


              自动驾驶领域一直享受着廉价数据的“红利”,机器人学却长期面临着“数据饥荒”的考验。

              正如英伟达GEAR团队负责人Jim Fan在近期演讲中指出的,如果说互联网规模的文本是大语言模型赖以发展的“化石燃料”,那么机器人学几乎是在“无米之炊”的困境中前行。这个领域依赖的是珍贵的“人力燃料”——需要专家进行繁琐的遥控操作,而机器人本身能够自主工作的时长又极为有限。

              面对这种先天不足,机器人学家们被迫在算法层面寻找突破口。他们打造的模型必须具备“小样本学习”的能力:既要能消化多种传感器传来的异构信息,又要能进行跨模态的推理,还要善于从有限的真实数据中提炼出普适的规律。

              这种严苛的要求,反而催生了视觉-语言-动作模型(VLA)的突破。VLA模型的精妙之处在于,它既继承了互联网预训练赋予的常识推理能力,又能将这些知识与真实的传感器观测相结合,最终转化为精准的底层控制指令。在这个过程中,语言充当了“思维链条”的角色,让机器人在行动之前能够进行必要的逻辑推演。

              颇具讽刺意味的是,正是这种数据的极度稀缺,反而锻造了机器人学独特的竞争优势——在有限信息中提炼智慧的能力。当自动驾驶还在依赖数据量的堆砌时,机器人学已经走上了一条更具普适性的道路。

              04

              语言智能体的启示


              在数字世界的另一端,语言智能体正以另一种形态快速发展。虽然它们没有物理实体,无法像自动驾驶汽车或机器人那样直接与环境交互,但它们的演进轨迹同样为我们提供了宝贵镜鉴。语言模型预训练的成功经验揭示了一个关键认知:构建真正可用的智能体是一项系统工程,其复杂程度远超训练单个模型。

              CoALA框架集成了数十年认知系统研究的精华,并针对大语言模型时代进行了重新设计。这个框架清晰地勾勒出智能体的核心架构:长期记忆、工作记忆与外部环境构成的三位一体。在这个体系下,智能体通过感知获取环境信息,借助检索或推理整合知识,基于内在的决策逻辑做出判断,最终通过行动改变环境或更新自身的记忆体系。

              图:语言智能体的架构图,引自Cognitive Architecture of Language Agents论文

              值得深思的是,无论是模块化设计的传统自动驾驶栈,还是端到端的新一代系统,都可以纳入这个统一框架来分析。它们确实具备了智能体的基本构件——感知、记忆、决策、执行,但仔细审视就会发现一个关键缺陷:深度推理能力的缺失。

              这种对比直指问题的核心:当我们在自动驾驶系统中不断追求更高的感知精度、更大的记忆容量、更优的决策规则时,是否忽略了最根本的认知能力——推理?

              语言智能体的发展路径给我们敲响了警钟:真正的智能不仅在于知道“是什么”,更在于理解“为什么”。

              图:各类语言智能体和自动驾驶系统的对比,扩展自Cognitive Architecture of Language Agents论文

              05

              自动驾驶2.0到3.0:范式跃迁


              业界常将端到端的“学习型驾驶”范式称为自动驾驶2.0,其核心理念是从海量数据中直接学习驾驶能力。它用一个能够将像素直接映射为控制信号的神经网络,取代了自动驾驶1.0时代需要手工构建的感知、预测和规划等独立模块。

              英伟达是这条技术路径的早期开拓者,而特斯拉的FSD系统也遵循着相似的逻辑:不依赖人工设定的明确规则,而是通过不断积累的数据和持续的模型迭代,实现系统能力的渐进式提升。

              尽管这种方法取得了令人瞩目的进展,但其发展瓶颈也已显现。当系统面对训练数据中罕见或完全未见的场景时,往往表现得束手无策。究其根源:自动驾驶2.0本质上是数据驱动,而非推理驱动。

              要突破这一局限,我们必须转向以推理为核心的新架构。

              这个即将到来的新阶段——自动驾驶3.0,旨在打造这样的系统:它不仅能够从历史数据中学习,更能在实际运行中进行逻辑推断、提出合理假设,并动态调整自身行为。

              06

              自动驾驶3.0的四大支柱


              • 推理能力

              推理的实质是在运行过程中动态创造新知识,这是一种基于理解的推断能力,而非简单的模式匹配。它使系统能够建立假设、推演不同方案的可能结果,并在信息不完备的情况下做出符合因果关系的决策。

              即使在那些不需要复杂推理的场景中,这种能力也能显著提高数据的利用效率,降低对大规模重复训练的依赖。

              • 常识性认知

              一个具备推理能力的智能系统,必须掌握人类在日常生活中积累的那些不言自明的知识——我们称之为常识。它需要懂得“雨天路滑应提前减速”、“行人徘徊在斑马线旁可能准备过马路”,以及“车辆在出口车道减速很可能是要驶离高速”。

              • 长时程记忆

              真实的驾驶决策建立在数分钟的时间维度上,而非单个瞬间。

              一个合格的驾驶系统必须能够记住刚刚发生的事件(比如前方道路突然封闭,或者旁边车辆强行并线),并据此调整后续的驾驶策略。这就要求系统具备持续存在的长时程记忆,能够在整个行驶过程中保持对环境和决策上下文的理解。

              • 解释与交互

              自动驾驶绝不能停留在“黑箱”状态。为了赢得用户信任,系统必须能够解释自己的行为逻辑(例如,“我减速是因为检测到前车刹车灯亮起”),同时理解人类的自然指令(比如,“在下一个路口的咖啡店停车”)。解释能力建立透明与信任,交互能力则让机器智能真正为人所用。

              07

              从代码,到数据,再到推理


              自动驾驶的决策体系的演进经历了三个鲜明的阶段:

              • 自动驾驶1.0是代码优先:这一阶段的决策逻辑完全由工程师手动编写——成千上万行的“如果-那么”规则、启发式判断与优化算法,构成了系统的“大脑”。虽然能在特定场景下有效运转,但整体系统脆弱且僵硬。

              • 自动驾驶2.0转向数据优先:基于庞大车队收集的真实驾驶数据所训练的端到端模型,逐步接管了各个驾驶模块。系统驾驶风格因此变得更平滑、更类人,但其智能本质上仍是对所见数据的“高级模仿”,难以超越训练集的范围。

              • 自动驾驶3.0将是推理优先:模型不再仅仅记忆数据,而是开始内化驾驶规则、理解事件间的因果关系,并有效利用记忆进行思考。这将赋予系统真正的“外推”能力——即使面对从未见过的场景,也能基于理解做出合理的决策。

              如果说2.0的精髓是“熟能生巧”,那么3.0的目标就是“融会贯通”。

              这一范式转变已初现端倪。英伟达在2025年10月发布的Alpamayo-R1模型,便将显式的因果推理与轨迹规划整合进一个统一的VLA架构中。无独有偶,特斯拉在ICCV 2025及近期财报会上也明确表示,其下一代FSD系统将是一个端到端且推理增强的驾驶智能体。

              这些不约而同的战略转向,昭示着一个新共识:自动驾驶的未来,正从“用数据打补丁”迈向“用推理求突破”。

              08

              为什么语言至关重要


              虽然推理能力本身不局限于语言,但在现有的所有信息模态中,语言无疑是技术最成熟、控制最精准、且扩展性最强的载体。大语言模型的出现,已经将语言从单纯的交流工具,升维为一个支撑智能的基础设施——这套设施已经初步具备了实现自动驾驶3.0所需的核心能力。

              • 推理:大语言模型是第一批展现出“涌现”推理能力的人工智能系统。尽管多模态推理的研究日新月异,语言在其中依然扮演着不可替代的“思维骨架”角色。

              • 常识:语言是我们通往人类集体智慧最宽广的桥梁。大语言模型是目前唯一能成功从互联网级别的数据中,有效提炼出人类常识的知识蒸馏系统。相比之下,视觉等模态的预训练至今仍面临“能识别,难理解”的瓶颈。

              • 记忆:语言天然是经验的容器。瞬息万变的驾驶体验,可以通过语言被凝结成一段段可追溯、可解读的“叙事日志”。系统能够随时调阅这些持续滚动的上下文,就像现代智能体框架(如LangGraph)通过分层摘要和检索来高效管理记忆一样。

              • 解释与交互:语言生来就具备可解释的基因。一个统一的语言接口,就能完成决策解释、指令遵从、意图对齐等一系列关键任务,让机器与人的协作变得自然流畅。

              语言或许不是自动驾驶的“终极答案”,但它无疑是当下最可行的路径。它为我们搭建并验证“推理优先”的系统架构,提供了一条清晰且坚实的工程栈道。

              人类语言并非偶然的造物,而是数百万年认知进化锤炼出的工具。正如研究员姚顺雨所言:“语言是人类为了泛化而发明的工具。”

              在大语言模型的推动下,它已成为我们构建认知系统最得力的接口。即便未来具身AGI会引入新的交互模态,语言也仍将作为智能的核心骨架,是所有理解得以构建、分享与传承的基础。

              09

              认清语言的边界


              当然,语言并非自动驾驶的万能钥匙。它善于处理高层决策,例如规避高风险行为(如快速变道加塞、跟车太近不刹车),也能理解复杂的长尾场景(道路封锁、临时标志)。

              然而,语言模型难以解决细微的运动控制控制问题,比如在湿滑路面上精确控制刹车,或在急弯中规划最优轨迹。这类问题仍需在自动驾驶2.0的框架下,通过高质量的数据驱动方法来解决。

              一言以蔽之:我们必须在2.0的层面上把“车开稳”,才能在3.0的层面上让“车开好”。

              10

              跳出局部最优


              到了“推理时代”,我们需要的数据也变了。不再是同一种情况的无限重复,而是富含推理过程的数据:

              • 决策背后的思考链条:不仅记录行为,更要捕捉人类做出该决策的完整推理过程;

              • 语言引导的示范教学:通过自然语言指令,演示如何在不同情境中分析、判断与执行;

              • 反事实推演训练:系统性地探讨“如果当时选择另一条路径,结果会怎样”的假设性问题;

              • 长程记忆的构建与使用:模拟人类在持续行驶过程中对关键信息的记忆、提取与运用。

              这意味着,我们的核心任务从标注“发生了什么”,转变为解读“为何这样发生”。

              如果你也身处自动驾驶或具身智能领域,现在也许是时候审视自己的技术路线了:

              • 我们是否陷入了“用数据解决数据问题”的循环?

              • 系统的“情境记忆”能持续多久?它以何种方式影响后续决策?

              • 假如我们停止无休止的数据修补,转向构建真正的推理能力,整个系统会发生怎样的质变?

              自动驾驶的下一轮突破,不会来自又一个更大的数据集。现在,或许正是我们共同跳出这个舒适区的时刻。

              致谢

              感谢与赵京伟(小米)、陈龙(前Wayve,现小米)、詹锟(理想汽车)和José Álvarez(英伟达)的深入交流,他们的见解为本文提供了重要启发。

              参考资料

                The Physical Turing Test: Jim Fan on Nvidia's Roadmap for Embodied AI

                张小珺Jùn|商业访谈录: 对OpenAI姚顺雨3小时访谈:6年Agent研究、人与系统、吞噬的边界、既单极又多元的世界

                Ilya Sutskever full talk at NeurIPS 2024 Vancouver 15/12/2024

                Cognitive Architectures for Language Agents

                ReAct: Synergizing Reasoning and Acting in Language Models, ICLR 2023

                RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

                A Crash Course of Planning for Perception Engineers in Autonomous Driving

                End to End Learning for Self-Driving Cars, Nvidia

                Reimagining an autonomous vehicle, Wayve

                Memory Overview, LangChain

                A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains

                Workshop on Knowledge-Intensive Multimodal Reasoning, ICCV 2025

                Thinking with Images for Multimodal Reasoning: Foundations, Methods, and Future Frontiers

                Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail, Nvidia

                Tesla's approach to Autonomy, ICCV 2025

                Tesla Q3 2025 Financial Results and Q&A Webcast

                附录

                长期记忆:智能驾驶的认知基石


                缺乏持续的记忆,任何复杂的推理都难以立足。

                让我分享一个亲身经历。在硅谷的一个夜晚,我与同事驱车返回公司时,发现主干道因夜间施工全部封闭。更麻烦的是,导航应用因数据更新延迟,提供的绕行路线完全无法通行。

                我们连续尝试了两条备选路线,都在施工路障前被迫折返。最终的成功来自记忆与实时推理的协同作用:我们需要准确记住已经证实不可通行的路口,同时根据实时观察到的路况,动态优化新的行驶路径。经过十分钟的第三次尝试,我们终于找到了有效的绕行方案。

                这正是人类驾驶员的优势所在:我们的决策建立在分钟级别的时间维度上,而非秒级的瞬时反应。我们能够构建并维护一个动态的“认知地图”,记住过去的经验教训,并用于指导未来的决策。

                而这一点,恰恰是当前自动驾驶系统的核心短板。

                主流系统普遍缺乏持续数分钟的上下文记忆能力。它们为每个瞬间独立做出判断,导致容易在相同的困境中重复失败。这正是传统“数据补丁”方法无法解决的根本问题——你不可能为所有依赖记忆和情境理解的动态场景预先准备训练数据。

                解决方案或许在于语言的力量。设想一下,如果系统能够将感知到的事件(比如“Oak路口封闭”、“El Camino绕行失败”)实时转化为简洁的语言记录,形成连续的“航行日志”。那么,决策系统就获得了一个稳定、可检索、可推理的“记忆基座”。

                这也揭示了全自动驾驶与通用人工智能之间的内在联系。要想在任何环境下实现人类水平的驾驶能力,系统必须掌握抽象思考、长期规划、持续记忆和社会化推理——这些能力的有机结合,在功能层面已经趋近于AGI的核心特征。

                推荐阅读


                阅读原文

                跳转微信打开

                •  

                有赞微信小程序接入Skyline的实践

                原创 有赞共享技术 2025-09-03 11:19 浙江

                本文讲述了有赞微信小程序接入 skyline 引擎,来实现我们的打开商详场景的“秒开”效果

                有赞微信小程序接入Skyline的实践

                小程序与移动端体验

                移动端技术早期主要由两大平台主导:从 Web 演变而来的H5技术,以及手机厂商的原生(Native)技术。受限于当时的技术与开发效率,许多厂商依然选择 H5 承载业务,并借助 Hybrid 方案调用原生能力。微信小程序作为轻量化应用的早期探索者,为此提供了标准化的解决方案。

                随着移动端技术持续进步,用户对体验的要求不断提高。习惯原生应用流畅体验的用户,对 Hybrid 等类 Web 方案体验感受越来越差。而微信小程序基于 Webview 引擎的原因,也没法实现更多 Native 的体验。为提升用户体验,微信小程序进行了技术革新,推出Skyline渲染引擎,显著提升了渲染性能与交互流畅度,使小程序的用户体验接近原生应用。

                微信小程序
                微信小程序

                针对电商的高频场景,商品列表打开商详,我们从技术发展的角度,给大家一些案例,直观的感受下不同技术实现能带来的体验差别。

                我们先对比 传统 Web 和 微信小程序,传统 Web 跳转切页有明显的 loading 加载过程。而微信小程序的技术架构,让整个切页加载体验有了大幅提升。

                H5页面跳转
                H5页面跳转
                小程序跳转
                小程序跳转

                再看看,小红书、淘宝等原生 APP 的切页过程。

                小红书
                小红书
                淘宝
                淘宝

                很明显,原生 APP 在同样的跳转交互下,做到了更优的体验。其中有几个关键的细节:

                • 新页面在展开过程中,无白屏、闪动的现象。

                • 整个展开过程,有过渡动画,由点击卡片向全屏展开

                • 打开速度非常快,秒级直出。

                有赞小程序在对部分页面接入 Skyline 引擎后,持续优化。最终实现了类似原生体验的路由切换效果,整个跳转过程做到了首帧无白屏,包含过渡效果,并且达到秒级直出。

                先看效果:有赞小程序

                接下来我们对整个优化的几个关键点做具体介绍。

                如何实现页面切换首帧无白屏

                什么是首帧?

                有赞对于首帧的定义是切页出现后,用户看到的第一帧画面。

                图中红色区域标记的为用户看到的第一帧画面,即为首帧。

                切页首帧
                切页首帧

                哪些内容可以进入首帧渲染?

                只要在组件 attached 生命周期前(含)通过 setData 设置上去,就会在首帧渲染。微信文档[1]

                官方文档未明确说明数据注入的姿势,考虑大家实际的业务场景,我们这里需要对比同步数据和等待异步数据两种注入方式。



                  // 示例数据
                  const testContent = 'Lorem ipsum dolor sit amet, consectetur adipiscing elit…………'; 


                  data() {
                      content: '';
                  }


                  // 同步代码示例
                  attached() {
                      this.setData({
                          content: testContent
                      });
                  }


                  // 异步代码示例
                  attached() {
                      setTimeout(() => {
                            this.setData({
                              content: testContent
                            });
                      }, 200) // 200ms 模拟等待异步执行
                  }
                  同步注入
                  同步注入
                  等待异步注入
                  等待异步注入

                  关注切页后的【红色文字内容】,只有通过同步注入,才能在首帧进行渲染展示。而异步注入的内容,则会错过首帧渲染,直到页面打开之后才展示。

                  那是不是只要在 Webview 引擎下保证首屏数据在 attached 周期注入,就能确保“首帧无白屏”了呢?我们通过简单的实验来验证。

                  我们首先验证最简单的场景,在 Webview 下直接注入首屏数据,观测是否能实现首帧无白屏渲染。

                  实验一:Webview 下直接注入数据



                    // 示例数据
                    const testContent = 'Lorem ipsum dolor sit amet, consectetur adipiscing elit…………';


                    data() {
                        content: '';
                    }


                    // 同步代码示例
                    attached() {
                        this.setData({
                            content: testContent
                        });
                    }
                    Webview 快速注入
                    Webview 快速注入

                    结论:Webview 在 attached 直接注入简单数据,可实现首帧无白屏。

                    少量的数据往往是在验证阶段编写 demo 采用的。但实际业务情况是,页面的首屏会有大量数据,并包含一系列的执行逻辑和计算过程。我们用实验二来模拟更接近实际的运行场景。模拟的方式是加一段阻塞代码,模拟业务逻辑执行等。

                    实验二:Webview 下模拟大量计算逻辑后注入



                      // 示例数据
                      const testContent = 'Lorem ipsum dolor sit amet, consectetur adipiscing elit…………';


                      data() {
                          content: '';
                      }


                      attached() {
                          function sleep(ms) {
                            const start = Date.now();
                            while (Date.now() - start < ms) {
                              // 空循环,持续检查时间差
                            }
                          }
                          sleep(1000); // 模拟计算逻辑阻塞
                          this.setData({
                              content: testContent
                          });
                      }
                      Webview
                      Webview

                      结论:在 attached 中包含一定量的计算逻辑后,Webview 路由先完成,渲染后完成,会产生白屏闪一下的问题。

                      实验三:Skyline 下模拟大量计算逻辑后注入



                        // 代码同实验二
                        Skyline
                        Skyline

                        结论:在同场景下,Skyline 切页过程是渲染先完成,路由动画后完成,整个过程无白屏。

                        通过上面的实验,我们可以得出结论,Skyline 即使在有数据逻辑阻塞下,也能保证首屏内容的稳定输出。接下来,我们还可以继续对 首屏数据 和 路由动画这两个点进行深度优化。

                        首屏数据准备

                        首屏数据作为首屏渲染的关键依赖,想要更加顺畅的提升速度。可以有以下思路进行优化:

                        • 在前一页面预加载下一页首屏数据,抽象一个预加载模块,专门用于商品信息预加载的逻辑。

                        • 拆分下一页数据,仅保留首屏视窗内可见的数据。

                        • 服务端承担部分计算逻辑,确保页面拿到数据可以直出。

                        路由动画接入

                        在 Skyline 引擎下,使用微信内置的 open-container 组件,可以轻松实现和原生页面切换一样的路由动画效果。还支持多种切换模式,以及自定义配置。官方文档[2]



                          <open-container class="card-item" bind:tap="goDetail">
                              <small-card class="card-item" />
                          </open-container>
                          路由动画
                          路由动画

                          从上面的分析中,我们发现 Skyline 包含诸多优秀的新特性,可以让用户体验进一步提升。接下来我们简单介绍下 Skyline 引擎如何接入,以及在接入过程中需要注意的地方。

                          接入 Skyline 引擎

                          Skyline 以性能为首要目标,因此 CSS 特性上在满足基本需求的前提下进行了大幅精简,目前 Skyline 只保留更现代的 CSS 集合。另一方面,Skyline 又添加了大量的特性,使开发者能够构建出类原生体验的小程序。小程序支持页面使用 WebView 或 Skyline 任一模式进行渲染,Skyline 页面可以和 WebView 页面混跳。 所有从 Webview 引擎的页面接入 Skyline 引擎后,页面大概率会出现样式结构错乱的。我们适配的重点,就在于 样式和结构上的调整。

                          样式和结构的适配调整,包含诸多细节,这里只列举了常见的问题,更多细节调整可以参考官方文档。

                          样式适配

                          在 Skyline 下 text-overflow:ellipsis,仅用于 text 组件,原先如果是 view 组件实现的,会出现文字超长无法省略,可以用 text 重新实现。

                          结构适配

                          在 Skyline 下,overflow 不支持 scroll 属性,只能通过 scroll-view 实现;不支持单独设置 overflow-x/y。

                          Skyline 配置

                          小程序对于 Skyline 引擎的使用是具体到页面的,并不需要考虑整体小程序切换的影响,可以渐进式,对部分页面进行逐步升级。接入的话,需要分别 app.json 和页面的 index.json 写入配置代码。



                            // app.json
                            "rendererOptions": {
                                "skyline": {
                                  "defaultDisplayBlock": true,
                                  "defaultContentBox": true,
                                  "tagNameStyleIsolation": "legacy",
                                }
                            },
                            "lazyCodeLoading": "requiredComponents",



                            // 页面 index.json
                            "renderer": "skyline",
                            "componentFramework": "glass-easel",

                            灰度上线

                            为保证线上商家小程序稳定,有赞 Skyline 小程序上线过程中,灰度控制是重要的一环。 我们的灰度包含两个环节控制

                            • 有赞内部的小程序灰度机制,对商家进行分流,部分商家接入 Skyline 版本,部分接入Webview 版本。

                            • 微信提供的 Skyline 灰度机制。针对终端用户的灰度筛选,控制项包含微信版本、基础库版本等。官方文档[3]



                              // app.json
                              // 可分别控制 基础库、iOS、Android、鸿蒙设备微信版本
                              "rendererOptions": {
                                  "skyline": {
                                    "disableABTest": true,
                                    "sdkVersionBegin": "3.0.1", // 基础库最低版本
                                    "sdkVersionEnd": "15.255.255", // 填最大值,否则之后的新版本会不生效
                                    "iosVersionBegin": "x.y.z", // iOS 微信最低版本
                                    "iosVersionEnd": "15.255.255", // 填最大值,否则之后的新版本会不生效
                                    "androidVersionBegin": "x.y.z", // 安卓微信最低版本
                                    "androidVersionEnd": "15.255.255", // 填最大值,否则之后的新版本会不生效
                                    "ohosVersionBegin": "1.0.5", //  HarmonyOS 微信最低版本
                                    "ohosVersionEnd": "15.255.255" // 填最大值,否则之后的新版本会不生效
                                  }
                              },

                              结语:Skyline 特性在电商场景的更多探索

                              有赞微信小程序目前在 Skyline 引擎方面目前只接入了路由切换这一场景,配合数据预加载和首屏数据的优化,实现了首帧无白屏的秒开效果,当然还有更多场景可以探索,比如分段半屏,搜索栏吸附,沉浸式商品浏览等。官方Demo[4]

                              引用

                              [1]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/share-element.html

                              [2]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/open-container.html

                              [3]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/migration/release.html#%E5%8F%91%E5%B8%83%E4%B8%8A%E7%BA%BF

                              [4]https://developers.weixin.qq.com/miniprogram/dev/framework/runtime/skyline/experience.html

                              文末福利

                              有赞研发团队前端、后端、客户端、测试、AI开发、运维开发、数据开发等多个岗位招聘中,看机会的伙伴可以将简历发送至 zhuzhuyun@youzan.com。

                              阅读原文

                              跳转微信打开

                              •  

                              AI Test:AI 测试平台落地实践

                              原创 有赞共享技术 2025-08-27 10:46 浙江

                              人工智能正在深度改变各行各业,软件测试也不例外。随着 AI 在自然语言理解、图像识别、意图规划等方面的成熟发展,测试方法正在从【人 + 代码驱动的传统测试】 向 【AI 驱动的智能测试】转型。

                              AI Test:AI 测试平台落地实践


                              一、AI 正在重塑软件测试领域

                              人工智能正在深度改变各行各业,软件测试也不例外。随着 AI 在自然语言理解、图像识别、意图规划等方面的成熟发展,测试方法正在从 “人 + 代码驱动的传统测试” 向 “AI 驱动的智能测试” 转型。

                              AI 的出现,使构建低门槛、高覆盖、强适应性的测试体系成为可能。

                              AITest 项目的提出,正是为了探索如何解决测试领域长期存在的难题。


                              二、AI 落地的现实挑战

                              1. AI 模型的固有局限

                              • 幻觉问题:模型可能输出看似合理却错误或编造的信息,在高精度场景中尤为致命。

                              • 不确定性:LLM(大型语言模型)是概率生成模型,决策过程不透明,输出难以解释且结果不稳定。

                              • 性能问题:大模型存在响应速度慢、吞吐能力有限的问题(多模态更严峻),在低延迟、高并发的场景中很难满足要求。


                              2. 与系统/工作流的集成挑战

                              系统集成误区

                              误区一:AI = 聊天机器人
                              简单地把 AI 理解为交互方式的变化,只关注对话体验,而忽视了 AI 在决策、规划、自动化上的潜力,人为限制了 AI 的价值发挥。

                              误区二:AI 能力 = 产品能力
                              把 AI 的生成能力直接当作产品能力,而忽视了完整的 产品化、工程化过程。这样做出来的往往只是一个 demo,不具备生产可用性。

                              误区三:直接接入大模型 = 平台智能化
                              低估工程化的投入。要使 LLM 具备业务理解力、稳定性和可控性,需要大量“辅助工程”,包括数据预处理、模型微调、知识图谱、反馈机制等。

                              系统集成思路

                              明确现有工作流

                              • 梳理清楚现有系统的工作流,明确人、程序各自负责的节点,识别确实存在的痛点。

                              • 探讨可行的技术方案,评估 AI 接入是否真正能解决问题。

                              识别切入点

                              • 哪些环节可以引入 AI?例如需求理解、环境搭建、用例调试、报告分析。

                              • AI 能解决哪些痛点?主要聚焦于意图理解、模式识别、信息提取与生成等任务。

                              集成策略设计

                              • AI 的输入/输出与现有系统如何对接?

                              • 执行闭环如何建立?如何通过反馈机制让 AI 持续改进?

                              • 如何保证 AI 系统具备环境感知和自我调整的能力?

                              AITest 工作流

                              图片
                              图片

                              3. 与人的集成挑战

                              AI 的落地不仅是技术问题,也涉及人机关系的再设计。

                              AI 信心指数

                              • 经验丰富的人员对确定性要求极高。

                              • 一次小失误,就可能大幅削弱他们的信任,破坏其高效工作流。

                              人机协同困境

                              • 缺乏明确的人机协作边界。

                              • 难以判断 干预时机、修改方式、对 AI 的合理预期。

                              信息指数
                              信息指数

                              4. 产品交互与 AI 效果的优先级

                              在 AI 项目中,产品交互的价值常被讨论,有两种观点:

                              交互重要派

                              • 好的产品交互是兜底手段,在 AI 出现不确定性时,引导用户修正;

                              • 清晰的反馈、明确的状态、可控的流程;

                              • 能够帮助用户降低门槛、增强信任。

                              交互不重要派

                              • AI 的核心价值在于能力,而不是外壳;

                              • 如果 AI 效果不好,再好的交互也无济于事,无法真正解决用户目标。

                              实践建议

                              • 早期项目:优先打磨 AI 核心能力,确保核心流程跑通。

                              • 中期项目:完善交互作为兜底,优化流程,保证最基础的用户体验。

                              👉 总结:好的交互体验是必要条件,但真正的优先级应当给到 AI 核心能力。

                              产品交互优先级
                              产品交互优先级

                              三、AI 驱动测试的理想与现实

                              • 理想愿景:完全自动化测试 —— AI 能够独立理解需求、生成用例、执行验证,甚至自动修复。

                              • 现实状态:目前的 AI 还难以独立承担复杂逻辑处理、数据初始化、状态追踪等任务。

                              因此,在相当长的一段时间内,AI 测试必然处于 “AI + 人” 协同模式。
                              人机协同,是当前价值最大化的可行路径。

                              换句话说,AI 测试的未来方向很明确:走向完全自动化。但在能力尚未成熟之前,我们必须接受一个“AI + 人”共存的过渡阶段。

                              什么时候能实现理想愿景?要么依赖大模型能力的重大突破,要么通过更强的工程化手段解决幻觉、不确定性、性能等问题。

                              👉 所以,完全自动化是目标,但人机协同才是当下的现实与必经之路。


                              四、AITest 的项目经验

                              1. 核心经验总结

                              • 经验一:模型 ≠ 系统
                                模型只是具备单一能力的 Agent,应专注于特定任务。凡是可以由传统程序解决的,不必交给模型。

                              • 经验二:差异化协同策略

                                • 简单任务 → 由 AI 决策,人工审核;

                                • 复杂任务 → 由 AI 辅助,人工决策;

                                • 人始终保持最终控制权,并通过反馈机制修正 AI 的结果。

                              • 经验三:AI Native ≠ 颠覆产品形态
                                AI 的价值在于增强功能、优化工作流,而不是推翻既有产品形态。
                                解决痛点 > 炫技式重构,这是更现实的落地路径。


                              2. 实践要点

                              模型定位与预期管理

                              • 明确 LLM 的核心价值(意图理解、模式识别、原因分析等),不要期待它成为万能解法;

                              • 避免过度依赖,把 AI 视为“辅助工具”更符合当前能力。

                              人机职责划分与协作

                              • 清晰定义边界:AI 负责用例生成、初步分析;人负责审核、决策、确认;

                              • 设计便捷的人机交互界面,让用户能随时修改 AI 结果并提供反馈。

                              工作流程闭环

                              • 数据驱动:沉淀 AI 生成结果、执行数据、缺陷与反馈;

                              • 效果评估:设定指标(用例生成效率、缺陷发现率、误报率、修正成本);

                              • 持续迭代:定期优化 Prompt、模型与知识库,保证系统长期演进。


                              五、AI × 程序的协同设计

                              1. AI 与程序的角色

                              AI 的角色

                              • 负责理解、规划与探索,这些任务是传统程序难以胜任的;

                              • 在这些场景中,AI 扮演了“人的能力”,能够处理模糊、非结构化信息。

                              程序的角色

                              • 具有高度准确性和一致性;

                              • 在绝大多数标准化、重复性的任务中表现稳定可靠,效率高于 AI。

                              协同原则
                              在设计 AI 产品或 AI 驱动的测试系统时,应充分利用两者的互补优势:

                              • 程序负责核心执行,确保稳定性和性能;

                              • AI 在边界场景提供辅助、兜底与纠错能力;

                              • AI 输出可用于订正程序配置,形成闭环优化。

                              2. AITest 实践示例:用例执行

                              1. 程序优先执行

                                • 高性能执行标准化测试用例,保证效率与一致性。

                              2. AI 兜底执行

                                • 对程序执行失败或边界异常的用例进行补充执行,提升整体稳定性。

                              3. 循环优化

                                • AI 识别的信息反馈给程序配置,用于下一轮优化;

                                • 形成 AI + 程序的闭环协同,持续提升测试质量与效率。


                              六、反馈与优化的重要性

                              AI 的输出天然存在不确定性,因此失败是优化的前提。在 AI 项目中,反馈与优化是持续提升系统能力、实现可控性的核心机制。

                              闭环优化的核心目标
                              让 AI “记住教训”、形成偏好、学习更优策略,构建可追踪、可学习、可演进的系统能力。

                              关键步骤

                              1. 案例数据沉淀

                                • 收集失败案例和人工修正样本;

                                • 将高价值数据沉淀,用于后续训练和改进。

                              2. 提示词进化

                                • 基于沉淀的案例数据持续优化 Prompt;

                                • 提高生成结果的准确性和实用性。

                              3. 质量度量

                                • 建立关键指标,如生成准确率、修正率、误报率等;

                                • 通过量化效果评估优化策略,确保 AI 输出可控和可预测。

                              📌 核心理念
                              反馈与优化不是一次性的修复动作,而是系统性能力的建设。
                              持续沉淀数据、迭代优化提示、量化效果,形成闭环,让 AI 在实践中不断进化.

                              信息指数
                              信息指数

                              七、未来展望

                              AI 在软件测试中的演进将分为三个阶段:

                              1. AI 辅助测试

                                • 人主导,AI 辅助;

                                • 聚焦单点突破。

                              2. AI 驱动测试

                                • AI 主导,人监督;

                                • 接管大部分测试任务。

                              3. AI 自主测试

                                • AI 全面掌控测试流程;

                                • 人仅在复杂场景中介入。


                              结束语

                              AI 在测试领域的应用,核心在于 工程化思维 + 人机协同模式。
                              通过合理的模型定位、清晰的职责划分、完善的反馈机制,AI 才能逐步从辅助走向驱动,最终实现自主化测试。

                              AITest 项目的实践表明:AI × 程序 × 人 的协同,是推动测试智能化的最佳路径。

                              文末福利

                              有赞研发团队前端、后端、客户端、测试、AI开发、运维开发、数据开发等多个岗位招聘中,看机会的伙伴可以将简历发送至 zhuzhuyun@youzan.com。

                              阅读原文

                              跳转微信打开

                              •  
                              ❌