铃阅时讯
❌

普通视图

AI 实践:Code Insight 代码搜索定位的实践分享

2026年1月6日 17:54

有赞技术中台 2026-01-06 17:54 浙江

代码检索领域,本文结合团队半年实战,解析向量检索(RAG)与AST静态分析两大技术路径。分享了代码问答、TraceAI 排障、测试用例生成的应用场景。

Code Insight 代码搜索定位的实践分享

代码索引是为了帮助我们提高代码搜索和导航效率的技术。常见的使用场景:

  1. IDE 中代码跳转,当点击跳转到实现时,IDE 会在索引中找到对应变量类的对应文件和行数,执行跳转动作。

  2. 开发者可能想询问代码中某个具体的业务实现代码在哪个模块/文件中。

  3. 非开发者:如产品/技术支持等同学可能希望在不借助开发者中介的情况下,对代码的某块业务实现有较准确的了解。

在AI编码工具普及的今天,"代码索引"已成为支撑研发流程的核心能力。无论是IDE中的快速跳转,还是AI助手的精准问答,都离不开高效的代码索引技术。本文将结合团队近半年的项目实践,探讨从语义检索到结构化分析的技术路径。

01 初识代码索引

提到代码索引,开发者们并不陌生。当我们在IntelliJ IDEA或VSCode中看到底部"Indexing..."的提示时,正是工具在后台构建代码索引。这些索引如同代码库的"智能地图",支撑着各类开发工具的运行。

indexing
indexing

1.1 从常用工具看索引:每天都在用的技术

不同开发工具采用的索引策略各有差异,这也反映出代码索引技术的多样性:

  • IDE工具:跳转、补全、引用分析等核心功能,都依赖代码索引的提前建立;

index2
index2
  • Cursor:聊天栏右侧提示可见其会使用 grep 等文本匹配方式,而系统配置中"Vector Index"选项表明还融合了向量索引能力;

cursorcursor2

  • Claude Code:坚持采用grep纯文本匹配机制,而不考虑引入RAG方案。这也引发了社区关于两种技术路线的争议。

claude
claude

1.2 代码索引的核心定义

本质上,代码索引是通过特定技术快速定位目标代码的能力,它为庞大的代码库建立了高度智能的"目录"与"词典"。目前主流的实现方案包括向量嵌入索引、AST索引、ES全文索引等,本文将重点聚焦前两种在AI时代更常见的技术方案。

1.3 为何要在公司内部自建代码索引

在AI应用爆发的背景下,作为公司提供底层技术支撑的团队部门,我们对代码索引的需求主要来自三个方面:

  1. 支撑AI编码场景:AI编程、agent模式问题定位等相关工具需依赖精准的代码索引获取上下文,关联代码的准确性直接决定大模型输出质量;

  2. 保障代码安全:避免将包含密钥、密码等敏感信息的代码发送至外部大模型,通过自建索引实现敏感数据前置扫描;

  3. 降低使用成本:第三方AI编程工具单次问答成本可达数美元,而自研方案成本可控制在几毛钱人民币,落地得当可大幅降低长期投入。

02 实现方案:从语义检索到结构分析

团队在实践中重点探索了两种方案:基于向量嵌入的RAG方案和基于抽象语法树(AST)的方案。前者擅长语义理解,后者专注结构化分析,二者形成互补。下文将先探讨应用 RAG 方案。

2.1 方案一:基于向量嵌入的RAG方案

引入向量嵌入索引技术的核心目标,是构建支持语义理解的代码定位能力,结合大模型打造智能代码问答系统。

2.1.1 RAG的核心原理

RAG的核心逻辑是"先检索再生成":在大模型回答问题前,先从外部知识库(代码库)中检索最相关的信息,将这些信息与问题一同交给大模型,从而提升回答的准确性。业界绝大多数RAG实践均采用向量检索,因此下文以RAG代指。

一个完整的RAG流程包含分块(Chunking)、嵌入(Embedding)、检索(Retrieval)三个步骤。

2.1.2 分块——平衡精度与上下文

分块是将代码或文本切分为更小处理单元的过程,直接决定后续检索质量。块过大易包含无关信息,块过小则会丢失上下文,常见分块方式有三类:

  • 固定大小分块:设定固定token数量(如512个),以滑动窗口方式切割,相邻块保留重叠区域(如50个token)。实现简单、计算高效,但可能破坏语义边界,适合项目初期快速验证;

  • 语义分块:对句子向量化后计算余弦相似度,当相似度低于阈值时进行切割,能保证块内语义连贯,分块质量更高,但实现复杂度增加;

  • 场景化分块:Markdown、PDF等采用章节分块,代码则按语法边界分块,需结合语法树解析,同时控制块大小避免过长。

项目初期我们采用固定大小分块方案,在实现成本与效果间取得了平衡。

2.1.3 嵌入——语义的向量化转换

嵌入是将人类可理解的代码符号,转换为计算机可处理的多维向量的过程。在高维空间中,语义相近的代码片段,其向量距离也会更近。例如"用户登录验证"与"userAuthentication"的向量会呈现强关联性。

嵌入说明
嵌入说明

这个转换过程由专门的嵌入模型完成,转换后的数据会连同原始文本、来源文件、行号等元数据,一同存储到向量数据库中,为后续检索做准备。

2.1.4 检索——精准定位相关代码

当用户提出问题(如"系统如何处理用户登录?")时,检索流程会按以下逻辑执行:

  1. 问题嵌入:使用相同嵌入模型将用户问题转换为向量;

  2. 相似度搜索:在向量数据库中查找与"问题向量"最接近的K个代码块向量(K通常设为5-10);

  3. 相似度度量:常用余弦相似度(关注向量方向差异)而非欧氏距离(关注绝对距离),更贴合语义关联需求;

  4. 高效搜索:采用HNSW等算法构建分层图结构,通过"顶层粗搜+底层精搜"提升检索效率,适配百万级或以上向量规模。

HNSW
HNSW

2.1.5 工程实现

在实际落地中,我们围绕框架、模型等方面选型了一套实践方案:

  • 框架选型:对比LangChain与LlamaIndex后,选择后者作为基础框架。因其基于RAG概念做了轻量化封装,同时对接多类大模型/嵌入模型厂商,调试更便捷;

  • 模型选择:通过设计内部业务逻辑测试集,横向对比国内外嵌入模型,最终选出相关代码召回率达95%的模型;大语言模型方面选用的是成本综合较低的deepseek-v3,效果也还不错。

  • 安全保障:所有代码片段在发送给模型前,均通过敏感信息扫描工具脱敏,避免密钥泄露;

  • 上下文策略:优先将召回的完整文件发送给大模型,超出上下文限制时再采用分次查询汇总,默认控制召回Top 5文件覆盖核心需求。

2.1.6 RAG全流程梳理

从全局视角看,RAG实现分为索引构建与查询两个阶段,形成完整的数据流转链路:

  • 索引阶段:原始代码 → 安全扫描与脱敏 → 分块 → 嵌入 → 存储到向量数据库;

  • 查询阶段:用户提问 → 问题预处理 → 问题嵌入 → 向量检索 → 召回Top K代码块/文件 → 组织Prompt上下文 → 提交大模型生成答案。

RAG完整流程
RAG完整流程

2.2 方案二:基于AST的结构化索引方案

RAG方案在语义理解上表现出色,但在处理结构化信息时存在明显短板,这促使我们开始探索基于抽象语法树(AST)的索引方案。

2.2.1 RAG的技术瓶颈

在实践中发现,向量索引工具擅长特定业务问题找回少数关联文件进行分析,但对于涉及多文件(超出上下文长度),跨仓库等场景难以发挥效果。难以捕捉调用关系、继承关系等长链条结构;无法完成"代码改动影响范围分析""调用链图谱生成"等跨大量文件、仓库的程序分析任务。于是我们把目光放回了语法结构分析的老鼻祖:静态分析。具体来说是抽象语法树解析、字节码解析等技术,下面从语法解析角度简要介绍。

2.2.2 AST+符号表:构建代码的结构化认知

以下面的源码为例:

    ounter(line
    let answer = 6 * 7;

    计算机理解这段代码分为两步:

    • 第一步:词法分析

    编译器/解释器会先把代码字符串“切碎”,变成一个个有意义的“单词”(称为 Token)。[ let, answer, =, 6, *, 7, ; ]

    • 第二步:语法分析

    然后,它会根据编程语言的语法规则,把这些 Token 组合成一棵结构化的树。这就是 AST。 一个简化版的 AST 结构可能长这样:(不同的解析器生成的 AST 节点类型可能略有不同)

      Program
        |
        └── VariableDeclaration (kind: 'let')
              |
              └── VariableDeclarator
                    |-- id: Identifier (name: 'answer')
                    └── init: BinaryExpression (operator: '*')
                          |-- left: NumericLiteral (value: 6)
                          └── right: NumericLiteral (value: 7)

      简而言之,AST 代表的是程序的骨架结构,而如果需要采集分析代码中的资产,我们还需要建立符号表。

      • AST的核心作用:将代码语句转换为树形结构,明确"哪里调用了某个函数",但无法定位函数定义位置与参数信息;

      • 符号表的价值:如同代码标识符的"注册表",在遍历AST时记录变量、函数、类的名称、类型、作用域、定义位置等信息。

      二者结合可构建程序调用关系图谱,实现精准的影响范围分析。例如当method 3修改后,能快速定位method 3→method 5→method 1的影响链路,其中method 1为Dubbo API。

      调用关系图谱
      调用关系图谱

      03 落地实践:代码索引的应用场景

      无论是RAG还是AST方案,最终价值都体现在业务落地中。目前我们已将代码索引能力集成到部分开发流程中,下面介绍几个应用场景。

      3.1 智能代码问答:提升业务理解效率

      该功能基于内部 OPS 平台的应用视角提供,核心是通过AI快速查询并总结应用的业务逻辑,下面是几类常见使用场景:

      • 前端接口与后端Dubbo接口的快速匹配,无需手动查询代码仓库,查问题再也不用从前端到后端拉一串人了;

      • 自动总结并绘制业务流程图,助力新人快速上手掌握陌生业务;

      • 较低的问答成本,作为 cursor 的日常平替。

      代码问答示例
      代码问答示例

      3.2 TraceAI问题定位:加速故障排查

      项目目标是结合大模型 Agent 的工具调用能力和规划能力,让 Agent 将代码问答能力与链路追踪(Trace)日志结合,自主进行线上问题定位。

      traceai
      traceai

      3.3 智能测试用例生成:适配代码改动

      基于AST解析得到代码改动关联的接口,自动生成对应的测试用例建议。该功能可推导出受影响的API接口,结合大模型对改动点的理解,确保测试覆盖核心改动点,提升测试效率与准确性。

      测试用例生成示例
      测试用例生成示例

      04 实践心得与业界对比

      在推进代码索引项目的过程中,团队积累了一些经验,也对比了一些业界方案,下面是一些心得分享。

      4.1 实践心得

      • 数据质量决定上限:遵循"GIGO"的机器学习原则,高质量的代码索引是AI编码辅助的前提,直接影响最终输出效果;

      • 拥抱不确定性:大模型存在固有随机性,相同问题与上下文可能产生不同输出,需通过多次运行汇总等工程手段弥补;我们对 AI 产出的预期也不能像程序运行那样去追求确定性。

      • 重视问题拆解:对于复杂任务,需将问题拆分至足够小的规模,通过大模型解决小问题后再组合成果。

      4.2 业界主流方案对比

      工具名称

      核心索引方案

      特点与优劣

      参考资料

      Cursor

      RAG方案

      基于Merkle Tree实现快速增量更新,分块引入语义化策略,检索精准度较高

      https://cursor.com/cn/docs/context/codebase-indexing

      ClaudeCode

      纯代码匹配方案

      实现简单,但易出现Token消耗多、上下文冗余的问题

      https://juejin.cn/post/7559836484209229843

      Aider

      repo-map方案

      早期方案有启发价值,但对大仓库处理能力不足,效果稳定性欠佳

      https://aider.chat/docs/repomap.html

      关于是否采用RAG,我们的感觉是:RAG方案前期索引成本高,但语义理解准、Token消耗少;纯文本匹配方案实现简单,但依赖大模型上下文能力,长期成本高。但是随着token成本长期的下降也许成本不再是关键因素。

      05 未来展望:从能用走向好用

      当前代码索引能力已在内部发挥价值,未来我们将继续探索以下方向,进一步释放技术价值:

      • 跨仓库分析能力:突破单仓库限制,适配微服务架构下多服务协同的业务场景,实现跨服务代码关联分析;

      • 问题定位Agent落地:将TraceAI等能力融入日常运维开发流程,降低平均故障修复时间,转化为实际业务收益;

      • 业务文档自动生成:基于代码与AST分析,自动生成并更新API文档、业务流程图等,减少文档维护成本。

      代码索引技术现在还在快速演进,我们实际做下来最深的感受是:各种技术擅长的方向不一样,取长补短融合后可能会有更好的效果,比如 RAG 和静态分析技术两种,前者擅长搞定“找相似逻辑”这类语义理解需求,比如问“用户登录在哪处理”;后者则专注解决调用链、改动影响范围这种需要精准分析的问题。把两者结合起来,才能覆盖开发的更多场景。接下来我们也会继续打磨这两种技术的融合方案,把代码理解做得更准、更高效,真正帮大家省下查代码、捋逻辑的功夫。

      阅读原文

      跳转微信打开

      2025 转转技术团队精选文章汇总

      2025年12月31日 15:07

      原创 转转技术团队 2025-12-31 15:07 北京

      在 2026 年春节将至之际,我们从中精选了一批年度文章:既有架构与性能的硬核实战,也有前端、移动端、测试与效率工具的体系化沉淀。希望这份精选文章能成为你回顾与进阶的捷径:少踩坑、少走弯路,多一点确定性与灵感。

      时光翻篇,技术却从不按下暂停键。回望 2025 年,转转技术团队把“能跑”进一步做到“跑得稳、跑得快、跑得省”。从线上稳定性建设到高并发秒杀,从亿级流量开放平台的架构演进到亿级核心表的字段扩展,我们在真实业务压力下打磨系统韧性;从“慢 SQL”治理到统一缓存 Easy-cache、从 MyBatis-Plus 的踩坑复盘到深度实战指南,我们用工程方法把效率与规范沉淀成可复用的能力。与此同时,AI 也不再只是概念:LLM 在主搜向量召回场景落地,让“理解用户意图”真正进入生产系统;在研发协作上,从日志插件到 Cursor 提效,再到自动化走查、压测巡检、双库同步工具与 AI 规则驱动测试,我们让工具链和流程一起进化,把时间还给创造。

      在过去的这⼀年⾥,转转研发中⼼三个公众号《转转技术》、《⼤转转FE》和《转转QA》共计发表百余篇技术⽂章,涉及各个部⻔的⼀线实践经验。在 2026 年春节将至之际,我们从中精选了一批年度文章:既有架构与性能的硬核实战,也有前端、移动端、测试与效率工具的体系化沉淀。希望这份精选文章能成为你回顾与进阶的捷径:少踩坑、少走弯路,多一点确定性与灵感。

      愿你在阅读的每一篇,都能找到可直接落地的方案与可迁移的方法论;也欢迎把它分享给同样关心工程实践与 AI 落地的朋友,一起交流、共同成长。新的一年,我们继续在技术与生活的交汇处,把复杂问题拆解成清晰路径,把用户体验做得更好。

      祝大家新年快乐,阖家幸福,身体健康,工作顺利!


      01 要想线上事故少,系统稳定性建设得搞好

      系统的稳定性建设是一个庞大的话题,其贯穿了产品研发整个流程:需求阶段、研发阶段、测试阶段、上线阶段、运维阶段。从系统规模上看,小到单个系统,大到一个域的系统集,再大到支撑整个公司全业务的系统全集,都离不开系统稳定性建设。大家日常工作中可能会有一些关于系统稳定性的疑惑,比如经典三问“是什么、为什么、怎么做”,本文从一个后端研发的视角,来和大家聊一聊系统稳定性建设的总结与思考。(阅读原文)


      02 高并发下秒杀系统的设计

      在电商这片红海,秒杀活动无疑是屡试不爽的流量密码、销量利器。然而,在应对其并发请求时,其中的设计门道暗藏玄机。并发量小,数据库单表便能一夫当关,稳保活动无虞;一旦碰上爆款引爆流量,并发呈井喷式增长,单表瞬间独木难支,此时,一套高并发 “抗压” 组合拳必不可少。接下来,咱们就一起深挖业界那些屡建奇功的妙招,直击高并发痛点,重点解析其中两大 “硬核” 方案,助你轻松拿捏秒杀场景的技术难点。(阅读原文)


      03 打造亿级流量开放平台的架构演进与工程实战

      开放平台不是简单的API接口聚合,它是一个需要承载高流量、高并发的系统,是边界清晰的“操作系统”,也是具备持续演进能力的产品级架构体系。真正有生命力的开放平台,一定是 “稳定、扩展、安全、生态” 兼备的长期主义架构产物。本文将结合工程实战,从整体架构拆解到底层技术演进,逐步解构如何打造高性能、高可用、可持续演进的亿级流量开放平台系统。(阅读原文)


      04 亿级核心表如何优雅扩展字段?中台团队实战经验揭秘

      亿级数据的核心表新增一个字段,远不止一句简单的“ALTER TABLE”,锁表风险、页分裂、索引性能衰减……每一个问题都可能引发线上事故。如何在不影响业务的前提下,只需简单的配置,即可实现字段的动态扩展?本文将带你揭秘中台团队的实战解决方案。(阅读原文)


      05 加Log就卡?不加Log就瞎?”——这个插件治好了我的精神内耗

      本文提出的优化方案突破传统日志分级思维的桎梏,创新性地提出双轨制日志管理体系:将日志划分为功能型与诊断型两类,前者确保核心业务脉络的持续可见,后者实现按需动态管控。通过编译期字节码增强技术,我们实现代码行级别的精准控制,配合IDE插件的可视化操作,使开发人员能够像调试断点般自由启停日志输出。这种"外科手术式"的日志管理,既避免了传统方案"一刀切"的弊端,又赋予系统在高负载场景下的弹性适应能力。(阅读原文)


      06 Easy-cache:统一缓存解决方案,让开发人员告别重复的缓存代码

      本文介绍 Easy-cache 统一缓存解决方案,旨在让业务开发“只写注解、不写缓存逻辑”。它基于 Spring AOP 提供注解式读写缓存能力,默认采用 Redis 集群 + 本地二级缓存的多级架构,并通过健康度监控实现动态升降级与容错。为解决一致性与击穿等问题,方案使用 Redis-Hash + Lua 脚本原子操作实现分布式锁与“标记删除/弹性过期”,在可控不一致窗口(默认 1.5s)内保障最终一致,必要时可切换实时一致;同时通过 Lua 预加载与 EVALSHA 降低高并发下的网络开销。(阅读原文)


      07 "慢SQL"治理的几点思考

      本文围绕“慢SQL治理”做阶段性复盘:从一次线上慢查询告警切入,解释 MySQL 优化器如何基于 IO/CPU 成本选择执行计划。指出“加了索引也不生效”的常见原因(区分度、数据分布与回表代价),并提醒关注表统计信息与内存/页碎片对性能的影响。同时结合案例总结前缀索引在唯一约束下的坑、索引合并的适用场景,以及磁盘负载、长事务等“SQL本身没问题但仍变慢”的系统性因素,为排查与治理提供思路。(阅读原文)


      08 MyBatis-Plus踩坑血泪史:那些年我们踩过的坑!

      本文以生产事故为线索,总结 MyBatis-Plus 在高并发、容器/K8s 等真实环境里最易“暴雷”的坑:雪花ID重复、批量插入乱序、枚举落库不按 code、连续大写导致驼峰映射错位、批量写入自动填充失效、复杂 JSON/Map/List 字段写入丢失或格式异常,并给出可落地的排查与修复思路(如显式配置 workerId/改用自增或外部ID、控制批处理刷新/自定义批量SQL、@EnumValue、@TableField 明确映射、批量前手动填充、统一序列化或结构拆分)。(阅读原文)


      09 MyBatis-Plus 深度指南:从基础到实战,让 DAO 层开发效率起飞

      本文是一份 MyBatis-Plus 的“从能用到用好”实战指南:先用“零侵入增强”的视角解释其价值——在保留 MyBatis 灵活性的同时,把单表 CRUD、条件构造等能力工具化,并通过拦截器/插件补齐安全与规范(分页、全表更新/删除拦截、乐观锁、多租户等)。进一步给出工程化落地方案:在微服务/RPC 场景用自定义 QueryCondition 替代 QueryWrapper,配套 Builder 实现类型安全的查询、排序、分页与字段选择,并增加全表扫描/全表更新拦截,形成可复用的 DAO 分层架构。(阅读原文)


      10 LLM在转转主搜向量召回的应用

      本文介绍 LLM 在转转主搜“向量召回”中的落地实践,聚焦多品类(N 品类)因黑话/隐性术语导致的“少无结果 query”问题:传统 ES 文本硬匹配难以理解如“小痰盂”等圈内表达。团队选择“不造大模型”,走“中小型领域模型 + 极小任务模型”的敏捷路线,采用“离线训练—在线推理”架构:离线用私域支付日志约 30 万条 query-商品对做 Post Training 与 LoRA 注入业务知识;再用硬负样本+对比学习(InfoNCE)提升向量区分度;最后通过知识蒸馏把 qwen2.5-7B 能力迁移到 BERT,将模型体积压缩到约 1/60、显著提升推理速度,并在线上提升召回全面性与筛选精准度。(阅读原文)


      11 转转前端覆盖率优化方案

      通过创新性引入NYC工具链,彻底解决了Vue多版本混编场景下的代码覆盖率失真难题!方案突破传统插桩技术局限,实现三大升级:

      精准解析:基于AST的源码行号映射,攻克Vue2/3混合项目、装饰器语法等复杂场景的覆盖率误报问题;

      智能合并:独创跨Commit覆盖率数据继承算法,确保增量代码统计连续性;

      性能飞跃:通过Clover格式解析优化,将报告生成速度提升300%。(转转前端覆盖率优化方案)


      12 188工时压到149!揭秘我们如何用Cursor让前端效率狂飙

      通过Cursor实现前端开发效率飙升21%,188工时压至149工时!揭秘五大核心场景:1)原型图秒变路由代码,命名规范自动生成;2)UI设计稿精准转DOM,接口字段智能匹配;3)Mock数据与TS类型一键生成;4)复杂组件AI智能拆分,主文件严控800行;5)动效逻辑深度优化。经验表明:AI最擅长结构化任务(提效60%),而复杂业务逻辑仍需人工把控。(188工时压到149!揭秘我们如何用Cursor让前端效率狂飙)


      13 RN技术在转转的落地与实践 (前端篇)

      从Webview技术栈转向React Native的探索,通过混合开发模式实现了高效迁移与性能提升。文章详细介绍了工程架构选择(Expo CLI+自定义脚本)、组件库适配(基于react-native-elements二次开发)、多包拆分策略(基础包+业务包)及热更新方案。创新性利用AI辅助Vue2到RN的代码转换,通过精准提示词工程和组件映射知识库提升迁移效率。实践数据显示RN页面加载时间从2137ms降至842ms,业务转化率提升4%,兼具热更新能力与原生体验。(RN技术在转转的落地与实践 (前端篇))


      14 转转UI自动化走查方案探索

      创新性地通过结构化数据比对(而非传统图像识别)破解UI走查效率难题!该方案将Figma设计稿JSON与前端DOM树归一化为同构数据,独创节点间距算法处理CSS margin折叠、行高等复杂场景,实现像素级精准比对。核心突破在于:1)AST解析解决Vue2/3混编覆盖率失真;2)动态调校px2rem误差;3)智能合并padding提升比对稳定性。实践数据显示走查效率提升300%,异常标注耗时从3小时压缩至30分钟。这不仅是一套工具,更重新定义了"设计-开发"协作范式——让主观的UI还原度变得可量化、可追溯,推动团队在规范层面达成共识。(转转UI自动化走查方案探索)


      15 Android图片编辑器的自研之路:从需求痛点到技术突破

      团队针对仓内质检场景的特殊需求,自主研发了一套高效精准的图片编辑器,彻底解决了传统方案无法满足的四大痛点:多图批量编辑、旋转后框线保持、撤销重做功能和自定义标注需求。基于Android原生API构建的编辑引擎,创新性地采用命令模式管理操作历史,结合Matrix变换实现精确的坐标系转换,并通过状态管理机制支持多图无缝切换。(Android图片编辑器的自研之路:从需求痛点到技术突破)


      16 测试工程师的「武器库」:这8款效率神器让你告别无效加班

      在软件研发这条高速运转的流水线上,测试工程师往往站在最靠近“质量风险”的位置。一边要保障功能正确、系统稳定,一边还要应对接口调试、抓包分析、数据校验、日志排查等大量重复却不可或缺的工作。时间被切碎、精力被消耗,无效加班也就成了不少测试同学的日常写照。

      但问题的根源,往往不在于工作不努力,而在于工具是否趁手、方法是否高效。选对工具,很多原本耗时耗力的操作,其实可以被大幅压缩,甚至“一键完成”。这篇文章,正是基于真实测试场景,系统整理了一份测试工程师的「效率武器库」——从浏览器插件、抓包工具,到 IDE 插件与日常辅助工具,帮助你减少机械劳动,把时间和精力真正留给分析、判断和质量本身,告别无意义的加班。(测试工程师的「武器库」:这8款效率神器让你告别无效加班)


      17 例行压测巡检-设计&实践

      在服务规模不断扩大、系统复杂度持续提升的背景下,单纯依赖人工经验和被动响应的质量保障方式,已经难以支撑业务的稳定运行。压测是否执行、结果是否有效、问题是否被及时发现,往往依赖人工巡查与事后补救,不仅效率低,也容易留下隐患。

      基于此,我们设计并落地了「例行压测巡检」这一主动式、自动化的服务质量保障能力。它不再等问题暴露后再处理,而是通过自动巡检、智能分析和精准通知,持续感知服务健康状态,将风险前移、将执行自动化。该项目旨在构建一套可扩展、可复用的智能化质量保障体系,推动服务稳定性从“人为保障”向“系统保障”演进,为业务持续增长提供可靠底座。(例行压测巡检-设计&实践)


      18 告别人工搬运!TiDB/MySQL双库同步工具如何为业务提效100%?

      你是否也经历过这样的时刻:测试执行被迫中断,只因为线上和线下一个不起眼的配置不一致?一次看似简单的问题排查,跨 QA、PM、RD 多方沟通,最终发现只是“少配了一项”,却轻易消耗了 1–2 个小时的测试时间。

      这篇文章正是从这些真实而高频的卡点出发,拆解配置不一致给测试效率、产品质量和系统安全带来的连锁影响。我们逐步意识到,问题不在某一次配置失误,而在“数据如何在不同环境间被可靠同步”这件事本身。于是我们探索并落地了一套更通用、更安全的数据同步能力。目标只有一个:数据同步不是复制粘贴,而是业务流程的隐形引擎,让配置和数据不再成为测试的隐形阻力。(告别人工搬运!TiDB/MySQL双库同步工具如何为业务提效100%?)


      19 从"人工催办"到"AI 规则驱动":我们如何解放测试团队的生产力

      很多测试同学在承担测试工作的同时,还被动接过了项目管理的职责,逐渐变成了项目里的“人工待办清单”。我们靠记忆去记节点、靠人工去催进度,结果是:真正该投入在深度测试、质量分析和风险识别上的精力,被流程管理一点点消耗掉。

      这篇文章正是从这一真实困境出发,讲述我们如何意识到“问题不在个人能力,而在管理方式本身”,并尝试用一种更轻量、更贴合日常协作习惯的方式,把项目管理从“人肉记忆”交还给规则和工具。通过让规则在项目群中主动提醒、主动校验、主动推动事情发生,我们希望减少无效消耗,让测试回归测试,把时间和精力用在真正有价值的质量工作上。(从"人工催办"到"AI 规则驱动":我们如何解放测试团队的生产力)

      想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

      跳转微信打开

      回收团队基于Cursor集成MCP的智能代码修复提示词生成实践

      2025年12月26日 18:20

      原创 刘雅斌 2025-12-26 18:20 北京

      一、痛点

      痛点一:为什么我的Token消耗的这么快

      Token的消耗量通常受到下面两个因素的影响

      • 输入和输出的Token数量:输入的Token越多,输出的Token也会相应增加,因为模型会基于输入的上下文进行内容生成。

      • 任务复杂性:更复杂的任务通常需要消耗更多的Token,而多模态的Agent往往消耗的Token会更高。

      为什么模糊的提示词会增加Token的消耗量?

      • 模糊的提示词可能包含大量与输出不相关的内容,增加输入的Token量。

      • 模糊的提示词通常缺乏具体细节或明确约束,导致模型无法直接理解用户意图。为了覆盖可能的解释,模型倾向于生成更长、更全面的响应,以避免遗漏关键信息,从而增加输出token数量。

      • 模糊的提示词往往无法精准地生成用户想要的内容。用户可能因输出不符合预期而多次修改提示,形成无效交互循环,无形中浪费Token。

      痛点二:AI修复代码为什么总是"差点意思"?

      一般都是拿到Sonar 扫描结果复制粘贴, 让AI修复后,一个一个改, 又太慢, 太多问题要么修复不准确,要么把好的代码也改坏了,还有就是问题 太多, 上下文超限修改失败

      举个真实的例子:Sonar报告:ActivityServiceImpl.java 第120行存在空指针风险

      我的提示词(第一版):

      请修复以下问题:第120行存在空指针风险
      代码:
      [粘贴整个ActivityServiceImpl.java文件,可能是几千行]

      AI的回复:

      • 情况1:"这个文件太长了,请提供更具体的代码片段"

      • 情况2:修复了空指针,但把旁边的业务逻辑也改了

      • 情况3:"Token超出限制,无法处理"

      问题根源在哪?

      1. 上下文冗余:超大文件代码中,真正相关的可能只有20行

      2. 缺乏规范引导:没告诉AI要遵循什么编码规范

      3. 信息不准确:没有精确指出问题在哪个方法、什么结构中

      4. 没有示例:AI缺乏类似问题的修复参考

      二、转机:Cursor结合MCP打造自动化修复流程

      关键问题在于:如何将Sonar扫描结果转换为AI能高效理解的结构化提示词。

      于是,我利用MCP(Model Context Protocol)协议为Cursor开发了一套智能提示词生成系统。

      什么是MCP?

      MCP(Model Context Protocol)是一个开放协议,Cursor支持这个协议,允许我们通过Python等语言编写自定义工具,直接集成到Cursor的AI助手中。简单说就是:让AI拥有调用你自己编写的工具的能力。

      我的方案架构

      三、核心方案:六步智能提示词生成法

      这套方案的核心思想是:让AI精确理解问题,而不是让AI去猜测问题。

      整个系统基于以下6个步骤构建:

      第一步:问题类型识别

      classIssueTypeClassifier:
      """将Sonar规则映射到问题类型"""
          RULE_MAPPING = {
      # 空指针问题
      "java:S2259": "NullPointer",
      "java:S2637": "NullPointer",
      # 资源泄露
      "java:S2095": "ResourceLeak",
      "java:S2093": "ResourceLeak",
      # 安全漏洞
      "java:S3649": "SQLInjection",
      "java:S2076": "CommandInjection",
      # 代码规范
      "java:S117": "NamingConvention",
      "java:S1192": "DuplicateString",
          }
          @staticmethod
      defclassify(rule_key: str) -> str:
      """根据规则ID分类问题类型"""
      return IssueTypeClassifier.RULE_MAPPING.get(
                  rule_key, 
      "General"
              )

      第二步:AST代码结构解析

      什么是AST?

      AST(Abstract Syntax Tree,抽象语法树)是将代码理解成树形结构的技术。

      当Sonar告诉你"第120行有空指针问题",我们需要知道:

      • 第120行在哪个方法里?

      • 这个方法从哪行开始,到哪行结束?

      • 方法的完整信息(方法名、参数、返回值)

      AST解析 = 像编译器一样理解代码结构

      想象代码是一个家族,AST就是家谱树:

      ClassDeclaration: ActivityServiceImpl(类)
       │
       ├─ FieldDeclaration: activityFacadeHelper(成员变量)
       │
       ├─ MethodDeclaration: queryActivityListWithNewImei(方法)
       │   ├─ position: line 106
       │   ├─ parameters: [Long orderId, String newMachineUuid]
       │   ├─ return_type: OrderAllowActivityMiVO
       │   └─ body: {...}  ← 第120行在这里
       │
       └─ MethodDeclaration: editActivityListWithNewImei(另一个方法)

      使用javalang进行AST解析

      javalang是一个纯Python库,用Python重新实现了Java语法解析器,不需要安装Java环境。

      import javalang
      classJavaCodeParser:
      """Java代码结构解析器 - 使用AST精确解析"""
          @staticmethod
      defextract_method_context(file_path: str, line_number: int) -> Optional[Dict]:
      """使用javalang进行AST解析,精确定位方法"""
      with open(file_path, 'r', encoding='utf-8') as f:
                  code = f.read()
      # 1. 解析Java代码,生成AST(语法树)
              tree = javalang.parse.parse(code)
      # 2. 遍历AST,查找包含目标行的方法节点
      for path, node in tree.filter(javalang.tree.MethodDeclaration):
                  method_start = node.position.line
                  method_end = calculate_method_end(node)  # 计算方法结束位置
      # 3. 检查目标行是否在此方法范围内
      if method_start <= line_number <= method_end:
      return {
      'class_name': extract_class_name(path),
      'method_name': node.name,              # 方法名
      'start_line': method_start,            # 方法开始行
      'end_line': method_end,                # 方法结束行
      'modifiers': node.modifiers,           # ['public', 'static']
      'return_type': node.return_type.name,  # 返回值类型
      'parameters': [p.name for p in node.parameters],  # 参数列表
                      }
      returnNone

      AST解析的价值:

      1. 精确定位:直接知道第120行在queryActivityListWithNewImei方法内,而不是editActivityListWithNewIme方法

      2. 完整信息:获取方法名、参数类型、返回值等元信息

      3. 语法理解:像编译器一样理解Java语法,不会被注释、字符串、Lambda表达式干扰

      4. 高准确率:准确率可达99%+

      javalang的特点:

      • 纯Python库,只需pip install javalang

      • 不需要安装JDK或Java环境

      • 提供完整的Java语法树节点

      • 支持Java 8+的语法特性

      第三步:智能上下文提取

      classContextExtractor:
      """根据问题类型智能提取代码上下文"""
      # 不同问题类型的提取策略配置
          EXTRACTION_RULES = {
      "NullPointer": {
      "range": "full_method",           # 提取完整方法
      "max_lines": 150,
      "include_imports": True,           # 包含import语句
      "include_class_declaration": True, # 包含类声明
              },
      "ResourceLeak": {
      "range": "full_method",
      "max_lines": 100,
      "include_imports": True,
      "include_class_declaration": True,
              },
      "SQLInjection": {
      "range": "full_method",
      "max_lines": 120,
      "include_imports": False,
      "include_class_declaration": True,
              },
      "NamingConvention": {
      "range": "surrounding",            # 只提取周围代码
      "max_lines": 30,
      "include_imports": False,
      "include_class_declaration": False,
              },
      "General": {
      "range": "surrounding",
      "max_lines": 50,
      "include_imports": False,
      "include_class_declaration": False,
              },
          }
          @staticmethod
      defextract(file_path: str, line_number: int, issue_type: str) -> str:
      """智能提取代码上下文"""
              rules = ContextExtractor.EXTRACTION_RULES.get(
                  issue_type,
                  ContextExtractor.EXTRACTION_RULES["General"]
              )
      try:
      with open(file_path, 'r', encoding='utf-8') as f:
                      lines = f.readlines()
                  context_lines = []
      # 1. 提取package和imports(如果需要)
      if rules.get("include_imports"):
      for line in lines[:50]:
      if line.strip().startswith(('package ', 'import ')):
                              context_lines.append(line)
      elif line.strip() andnot line.strip().startswith('//'):
      break
      if context_lines:
                          context_lines.append('\n')
      # 2. 提取方法或周围代码
      if rules["range"] == "full_method":
                      method_info = JavaCodeParser.extract_method_context(file_path, line_number)
      if method_info:
                          start = method_info['start_line'] - 1
                          end = method_info['end_line']
      # 如果需要类声明,向上查找
      if rules.get("include_class_declaration"):
      for i in range(start, -1, -1):
      if'class 'in lines[i]:
                                      context_lines.append(lines[i])
                                      context_lines.append('    // ... 其他成员 ...\n\n')
      break
                          context_lines.extend(lines[start:end])
      else:
      # 回退到周围代码
                          start = max(0, line_number - 25)
                          end = min(len(lines), line_number + 25)
                          context_lines.extend(lines[start:end])
      else:
      # 提取周围代码
                      max_lines = rules["max_lines"]
                      start = max(0, line_number - max_lines // 2)
                      end = min(len(lines), line_number + max_lines // 2)
                      context_lines.extend(lines[start:end])
      # 3. 限制总行数
      if len(context_lines) > rules["max_lines"]:
                      context_lines = context_lines[:rules["max_lines"]]
                      context_lines.append('\n// ... 后续代码省略 ...\n')
      return''.join(context_lines)
      except Exception as e:
                  logging.error(f"提取失败: {e}")
      returnf"// 无法读取文件: {file_path}"

      核心策略:

      • 差异化提取:空指针问题提取150行含imports,命名规范只提取30行

      • 智能回退:AST解析失败时自动回退到简单提取

      • Token控制:通过max_lines限制,避免上下文过长

      第四步:分层模板体系

      classPromptTemplateEngine:
      """分层的提示词模板引擎"""
      # Java语言规范
          JAVA_STANDARDS = """
      请遵循以下Java开发规范:
      1. 遵循阿里巴巴Java开发手册的编码规范
      2. 所有可能为null的参数必须进行防御性检查
      3. 资源(文件流、数据库连接等)必须使用try-with-resources自动管理
      4. 异常必须妥善处理,不得吞掉异常
      5. 方法复杂度不得过高,保持代码可读性
      6. 变量和方法命名要清晰、符合驼峰命名规范
      """
      # 问题类型特定模板
          ISSUE_TEMPLATES = {
      "NullPointer": {
      "task": "修复以下代码中的空指针风险问题",
      "requirements": """
      修复要求:
      1. 在方法开始处对可能为null的参数进行检查
      2. 如果参数为null,抛出IllegalArgumentException异常,并提供清晰的错误信息
      3. 保持原有业务逻辑不变
      4. 不要修改方法签名
      5. 确保修复后不影响其他正常调用
      """
              },
      "ResourceLeak": {
      "task": "修复以下代码中的资源泄露问题",
      "requirements": """
      修复要求:
      1. 使用try-with-resources语句包裹需要关闭的资源
      2. 确保在任何情况下(正常或异常)资源都能正确释放
      3. 保持原有异常处理方式
      4. 保持方法签名不变
      """
              },
      "SQLInjection": {
      "task": "修复以下代码中的SQL注入安全漏洞",
      "requirements": """
      修复要求:
      1. 必须使用参数化查询(PreparedStatement)替代字符串拼接
      2. 使用占位符(?)和参数绑定传递用户输入
      3. 不得使用字符串拼接或格式化方式构建SQL语句
      4. 保持查询逻辑不变
      """
              },
          }
          @staticmethod
      defgenerate(issue_type: str, issue_data: dict, code_context: str, examples: str = "") -> str:
      """生成最终提示词"""
              template = PromptTemplateEngine.ISSUE_TEMPLATES.get(
                  issue_type,
                  {"task": "修复以下代码问题", "requirements": "保持代码风格与项目一致"}
              )
      # 组装提示词
              prompt = f"""你是一位精通Java开发的资深工程师。
      任务:{template['task']}
      编码规范:{PromptTemplateEngine.JAVA_STANDARDS.strip()}
      """
      # 添加示例(如果有)
      if examples:
                  prompt += f"\n{examples}\n"
      # 添加问题详情
              prompt += f"""
      问题详情:
      - 规则ID: {issue_data.get('rule', 'Unknown')}
      - 问题类型: {issue_type}
      - 严重级别: {issue_data.get('severity', 'MAJOR')}
      - 问题描述: {issue_data.get('message', '')}
      - 问题位置: 第{issue_data.get('line', 0)}行
      待修复代码:
      ```java
      {code_context}
      ``` {data-source-line="360"}
      {template['requirements'].strip()}
      输出格式:
      - 仅输出修复后的完整方法代码
      - 使用```java```格式包裹代码
      - 不要输出多余的解释文字
      - 确保代码可以直接替换原有方法
      """
      return prompt

      模板设计:

      • 三层结构:角色设定 + 编码规范 + 问题类型特定要求

      • 灵活扩展:新增问题类型只需添加模板配置

      • 规范注入:自动注入阿里巴巴Java开发手册规范

      第五步:Few-shot示例库

      classExampleRepository:
      """问题修复示例库 - 提供修复前后的对比案例"""
          EXAMPLES = {
      "NullPointer": """
      参考示例:
      示例1 - 空指针防御性检查:
      修复前:
      ```java
      public String getUserEmail(User user) {
          return user.getEmail();
      }
      ``` {data-source-line="395"}
      修复后:
      ```java
      public String getUserEmail(User user) {
          if (user == null) {
              throw new IllegalArgumentException("用户对象不能为空");
          }
          return user.getEmail();
      }
      ``` {data-source-line="404"}
      示例2 - 多参数空值检查:
      修复前:
      ```java
      public void processOrder(Order order, User user) {
          order.setUser(user);
          order.setStatus("processed");
      }
      ``` {data-source-line="413"}
      修复后:
      ```java
      public void processOrder(Order order, User user) {
          if (order == null) {
              throw new IllegalArgumentException("订单对象不能为空");
          }
          if (user == null) {
              throw new IllegalArgumentException("用户对象不能为空");
          }
          order.setUser(user);
          order.setStatus("processed");
      }
      ``` {data-source-line="426"}
      """
      ,
      "ResourceLeak": """
      参考示例:
      示例 - 使用try-with-resources:
      修复前:
      ```java
      public String readFile(String path) throws IOException {
          FileInputStream fis = new FileInputStream(path);
          byte[] buffer = new byte[1024];
          int length = fis.read(buffer);
          return new String(buffer, 0, length);
      }
      ``` {data-source-line="440"}
      修复后:
      ```java
      public String readFile(String path) throws IOException {
          try (FileInputStream fis = new FileInputStream(path)) {
              byte[] buffer = new byte[1024];
              int length = fis.read(buffer);
              return new String(buffer, 0, length);
          }
      }
      ``` {data-source-line="450"}
      """
      ,
      "SQLInjection": """
      参考示例:
      示例 - 使用PreparedStatement:
      修复前:
      ```java
      public User findUserByName(String name) {
          String sql = "SELECT * FROM users WHERE name = '" + name + "'";
          return jdbcTemplate.queryForObject(sql, User.class);
      }
      ``` {data-source-line="462"}
      修复后:
      ```java
      public User findUserByName(String name) {
          String sql = "SELECT * FROM users WHERE name = ?";
          return jdbcTemplate.queryForObject(sql, User.class, name);
      }
      ``` {data-source-line="469"}
      """
      ,
          }
          @staticmethod
      defget_examples(issue_type: str) -> str:
      """获取相关示例"""
      return ExampleRepository.EXAMPLES.get(issue_type, "")

      示例库价值:

      • Few-shot学习:让AI通过案例学习修复模式

      • 格式统一:修复前/后对比,清晰明了

      • 易于扩展:新增示例只需添加字符串配置

      第六步:整合到MCP服务

      现在,将所有组件整合到MCP服务中:

      from mcp.server import FastMCP
      import httpx
      import logging
      import os
      mcp = FastMCP("intelligent-code-fix")
      classIntelligentPromptGenerator:
      """智能提示词生成器 - 整合6步生成法的核心类"""
          @staticmethod
      defgenerate_for_issue(issue: dict, base_dir: str) -> dict:
      """为单个issue生成智能提示词"""
      try:
      # 1. 提取issue信息
                  rule_key = issue.get('rule', '')
                  component = issue.get('component', '')
                  file_path = component.split(':', 1)[1] if':'in component else component
                  full_path = os.path.join(base_dir, file_path)
                  line_number = issue.get('line', 0)
                  message = issue.get('message', '')
                  severity = issue.get('severity', 'MAJOR')
      # 2. 问题类型识别
                  issue_type = IssueTypeClassifier.classify(rule_key)
                  logging.info(f"处理问题: {file_path}:{line_number} - {issue_type}")
      # 3. 提取代码上下文
                  code_context = ContextExtractor.extract(full_path, line_number, issue_type)
      # 4. 获取示例
                  examples = ExampleRepository.get_examples(issue_type)
      # 5. 生成提示词
                  issue_data = {
      'rule': rule_key,
      'severity': severity,
      'message': message,
      'line': line_number,
                  }
                  prompt = PromptTemplateEngine.generate(
                      issue_type=issue_type,
                      issue_data=issue_data,
                      code_context=code_context,
                      examples=examples
                  )
      # 6. 计算元数据
                  token_estimate = len(prompt) // 4# 粗略估算
      return {
      'success': True,
      'prompt': prompt,
      'metadata': {
      'file': file_path,
      'line': line_number,
      'issue_type': issue_type,
      'rule': rule_key,
      'severity': severity,
      'token_estimate': token_estimate,
                      }
                  }
      except Exception as e:
                  logging.error(f"生成提示词失败: {e}")
      return {
      'success': False,
      'error': str(e),
      'file': file_path,
      'line': line_number,
                  }
      @mcp.tool("auto-fix-sonar-issues")
      asyncdefauto_fix_sonar_issues(
          project_name: str,
          cookie: str,
          base_dir: str,
          branch: str = None,
          page_size: int = 10,
          page_num: int = 1,
          is_new_code_period: bool = False
      )
       -> str:
      """智能修复Sonar扫描问题 - 核心MCP工具"""
      # 获取Sonar问题列表
      asyncwith httpx.AsyncClient() as client:
              params = {
      "components": project_name,
      "ps": page_size,
      "p": page_num,
              }
      if branch:
                  params["branch"] = branch
      if is_new_code_period:
                  params["inNewCodePeriod"] = "true"
              response = await client.get(
      "https://sonar.zhuanspirit.com/api/issues/search",
                  params=params,
                  headers={"Cookie": cookie},
                  timeout=10.0
              )
              data = response.json()
              issues = data.get('issues', [])
              total = data.get('total', 0)
      # 为每个issue生成智能提示词
          results = []
          success_count = 0
      for idx, issue in enumerate(issues, 1):
              result = IntelligentPromptGenerator.generate_for_issue(issue, base_dir)
      if result['success']:
                  success_count += 1
                  metadata = result['metadata']
                  results.append(f"""
      {'='*80}
      ## Issue {idx}: {metadata['file']} (第{metadata['line']}行)
      **问题类型**: {metadata['issue_type']}
      **严重级别**: {metadata['severity']}
      **预估Token**: {metadata['token_estimate']}
      ### 生成的智能提示词:
      {result['prompt']}
      {'='*80}
      """
      )
      # 组装最终输出
      returnf"""
      # 智能代码修复提示词生成完成
      ## 统计信息
      - **项目**: {project_name}
      - **总问题数**: {total}
      - **本批次**: {len(issues)} 个
      - **成功生成**: {success_count} 个
      ## 智能提示词列表
      {"".join(results)}
      ---
      由智能提示词生成引擎提供支持
      """
      if __name__ == "__main__":
          mcp.run("stdio")

      整合要点:

      • 错误处理:每个issue独立处理,单个失败不影响其他

      • 元数据追踪:记录文件、行号、问题类型、Token估算

      • 结构化输出:Markdown格式,便于Cursor展示

      安装依赖包

      在使用MCP服务之前,需要先安装必要的Python依赖包。创建requirements.txt文件:

      # 智能代码修复MCP服务依赖包
      # MCP框架 - 用于构建MCP服务
      mcp>=0.9.0
      # HTTP客户端 - 用于调用Sonar API
      httpx>=0.27.0
      # Java AST解析器 - 精确解析Java代码结构(强烈推荐)
      # 优势:准确率99%+,不受注释、字符串、Lambda影响
      # 注意:这是纯Python库,不需要Java环境
      javalang>=0.13.0

      安装命令:

      pip install -r requirements.txt

      依赖说明:

      • mcp:MCP协议框架,让Python脚本能够被Cursor识别和调用

      • httpx:现代化HTTP客户端,用于调用Sonar API获取扫描结果

      • javalang:纯Python的Java AST解析器,用于精准定位代码结构,无需安装Java环境

      配置MCP(让Cursor识别你的服务)

      %这里改成你本地的路径% 在 ~/.cursor/mcp.json 中添加:

      {
      "mcpServers": {
      "intelligent-code-fix": {
      "command": "python",
      "args": ["/Users/Desktop/cursor/intelligent-code-fix.py"],
      "env": {}
          }
        }
      }

      配置说明:

      • intelligent-code-fix:MCP服务名称,在Cursor中通过@intelligent-code-fix调用

      • command: Python解释器命令

      • args: Python脚本的绝对路径(请修改为你的实际路径)

      • 修改配置后需要重启Cursor生效

      四、使用体验:在Cursor中一键修复

      配置好MCP后,在Cursor中的使用非常简单

      步骤1:在Cursor聊天窗口调用MCP工具

      使用 auto-fix-sonar-issues 工具修复Sonar问题
      参数:
      - project_name: hunter_partner_recycle_core
      - cookie: sso_uid=xxx; ticket=xxx; aid=xxx
      - base_dir: /Users/xxx/projects/hunter/src/main/java
      - branch: feature-3278-163 (可选)
      - page_size: 10

      步骤2:MCP服务自动处理

      系统自动完成:

      1. 调用Sonar API获取问题列表

      2. 为每个问题智能生成提示词

      3. 返回结构化的修复建议

      步骤3:AI生成修复后的代码

      已生成10个问题的修复建议:
      Issue 1: ActivityServiceImpl.java 空指针修复
      修复后代码:
      [完整的修复代码]
      Issue 2: FileUtil.java 资源泄露修复
      修复后代码:
      [完整的修复代码]

      步骤4:一键应用修复

      直接在Cursor中review并应用修复

      改进效果:

      1. 成本降低70% :精准提取上下文,token使用量大幅减少

      2. 准确率提升30%:结构化提示词+示例引导,AI理解更准确

      3. 效率提升3倍:自动化流程,无需人工干预

      4. 质量可控:分层模板确保代码符合团队规范

      5. 易于扩展:新增问题类型只需添加配置

      五、写在最后

      真正有效的AI辅助开发,不是简单地把代码扔给AI,而是要做好:

      • 问题的精准识别:知道是什么类型的问题

      • 上下文的智能提取:给AI最相关的代码,而不是全部代码

      • 规范的有效注入:让AI知道要遵循什么标准

      • 经验的系统沉淀:用示例库让AI学习最佳实践

      这套方案不仅适用于Sonar,也可以推广到其他代码扫描工具(ESLint、Checkstyle等)。核心思想都是:将非结构化的扫描结果转换为结构化的AI提示词。

      希望这篇文章能给大家带来启发。如果大家也在探索AI辅助开发,欢迎交流!

      关于作者,刘雅斌,侠客汇Java开发工程师。

      想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

      跳转微信打开

      一家投资OpenAI的硅谷基金的深度研究

      2025年12月25日 17:30

      原创 张小珺 x Freda 2025-12-25 17:30 上海

      我非常厌恶信息孤岛。

      访谈:张小珺 x Freda Duan

      《站在2025年之外》是我们推出的年终对话系列,由5篇投资人访谈组成,他们分别从中国本土与硅谷视角出发,共同描绘我们走过的2025年,并对2026年做预测与前瞻。

      5位嘉宾分别是:(排列依据播客的发布时间顺序)

      金沙江创投主管合伙人 朱啸虎

      真格基金管理合伙人 戴雨森

      Altimeter Capital合伙人 Freda Duan

      红杉中国合伙人 郑庆生

      拾象CEO 李广密

      他们的播客已陆续发布在播客节目《张小珺商业访谈录》。

      今天推出第一篇的文字版本:

      一个多月前,在2025年11月初,Sam Altman上了一档由美国基金Altimeter Capital创始人主持的播客节目,在主持人连续追问OpenAI如何为1.4万亿美元级别算力与基础设施承诺买单时,Sam称:“If you want to sell your shares, I’ll find you a buyer. Enough.”(“如果你想卖掉你的股份,我可以帮你找到买家。够了。”)

      随后,AI板块整体出现波动,关于AI是否存在泡沫的讨论进一步升温。

      我们今天的嘉宾Freda Duan就来自这个名叫Altimeter Capital的基金,她担任合伙人。

      Altimeter是一个硅谷科技基金,横跨一二级。在一级市场投资案例有OpenAI、Anthropic、字节跳动等,在二级市场投资案例有NVIDIA、Snowflake、Robinhood等。

      这集节目,Freda将深入分析美国这些明星公司,给他们的巨额投入算算账;她也从一线硅谷投资人的视角聊聊,美国资本的新秩序,他们眼中的坏小孩、反叛者、刺猬型和哪吒型创始人,以及泡沫。

      01 

      美国投资三条主线


      张小珺:Hello Freda,先给听众朋友们打个招呼,并且做一个简单的自我介绍。

      Freda:大家好,我是Base在硅谷的一个科技投资人,在一家叫Altimeter Capital的基金。

      张小珺:Freda应该是很少在美国一线基金里面的华人,能不能先给大家介绍一下你们的基金和这家公司的创始人和创立的背景。

      Freda:我们是一家位于硅谷的一线科技投资机构,覆盖一级和二级市场。创始人自己是一个连续创业者,在一级市场比较出名的是包括重仓OpenAI、Anthropic、字节一系列公司。在二级我们比较敢于重仓敢于做一些非共识投资——包括2022/23年Meta、Nvidia,今年的Robinhood,以及之前作为Snowflake等很多软件公司的大股东。

      一个与众不同比较有意思的点是我们是美国少有的很愿意公开自己研究和思考的基金——很多人知道我们是通过一个叫BG2的播客——最近几周有和Sam Altman、Jensen Huang的很多公开采访;我们几个合伙人也会在Twitter和Substack上分享自己的认知。我在里面分享AI和一些前沿科技——包括AI应用,互联网、硬科技和金融科技比较多。

      张小珺:说起来我觉得很恍惚啊,因为21年、22年,我记得硅谷还是笼罩在裁员风波里,那到了现在25年,似乎情绪和叙事发生了非常大的变化,你看Meta现在又开始天价的挖人。

      身为一线投资人,你觉得这几年你的真实体感是什么样的?能不能描述一下每一年你身处其中,你心里非常能够定义那一年的一些瞬间?

      Freda:每年说一点几个重点词吧:

      2020年是疫情、降息、市场火爆;

      2021年市场是持续火爆,但其实你能看出来一些就是潮水退去的迹象,比如说股票里面,中小盘或者说质量没有那么高的股票,他们的顶部就是在2021年的2月份,然后大票类似微软是11月份是开始掉头;

      2022年就是非常悲惨的一年,通货膨胀,纳斯达克指数跌了35%,像Meta这样的股票都跌了70%;

      2023年就是在大家都完全没有反应过来的时候,AI开始火热了;

      2024年AI叙事,其实作为我们投资角度算是最好做的一年;

      2025年是关税、中美关系,然后还是继续AI这个浪潮。

      张小珺:你怎么看这几年的这些起起伏伏?

      Freda:你说对,起起伏伏确实很多,我觉得其实挺不正常的,因为如果你看过去几十年的历史,美股是一个长牛式的逻辑,你从2000年开始算,纳斯达克其实一共只有6次是下跌幅度超过20%的,但是在2020年之后,我们就经历了3次,所以这个频率是有变高的。

      张小珺:你看23年之后突然一下子整个市场就被AI主导了,回头来看你觉得在当初有没有一些端倪,有可能更早的预见吗?还是说就是非常突然?

      Freda:我觉得其实是有非常明显的预兆的。2022年当时是市场一片灰暗,但当时有非常奇怪的融资现象。那个公司叫Inflection AI,就是Mustafa的大模型公司,当时也是大模型至少是前五前十这样子。它的A轮就融了2亿美金。而且不只是他一家,很多家公司,包括Anthropic、Cohere、Stability,都是那一波的模型公司,每个人都是融了几个亿的A轮。

      这里面我觉得其实几个点都非常奇怪,第一就是他们实际上是用VC的钱去做资本支出,第二就是从来没有人A轮融2亿,平均可能就应该融个1000万吧。第三就是整个二级市场都在暴跌了。对VC是应该有一个传导的,所以这种热度是完全不应该的。

      因为我其实一二级都会做嘛,所以会去见这些创始人。我印象特别深,当时跟他们聊,就发现这个逻辑异常简单。他们就说这几个词,就说,哦,Scaling Law,然后我要买卡,然后Nvidia的卡就是这么贵——所以有的时候赶上这个正确的时间和机会,投资的这个逻辑就是这么简单。

      张小珺:所以VC的钱最后都冲去了Nvidia。

      Freda:可以这么说。这里面也说到Crossover基金的好处,就是一二级都做。23年初的时候,市场上20多家自己大模型公司,那个时候很难判断哪家能成功成为第一梯队。

      但因为基金是Crossover的结构,一级二级都做,而且是同一个团队;所以我发现可以很容易的用Nvidia在二级市场去表达我们对模型对AI的观点。这两年其实做好的AI标的绝大部分都在二级市场,包括云、包括电力,包括AI受益受损两边的标的。

      张小珺:23年开始AI进展到现在也两年了,我们的播客也邀请过非常多的AI Founders来聊天,到了今天你觉得美国一线的顶级投资人都在投什么?他们的整体情绪是什么样的?

      Freda:今天其实非常清晰,美股有三条主线,第一条肯定是AI,第二条叫Reindustrialization,就是再工业化,第三条叫Digitization of Finance,就是一个金融产业的创新。这三条主线其实非常有意思,因为它们中间有千丝万缕的联系。

      AI这条大家都很熟悉了——芯片和云。

      再工业化这条线其实包括非常多东西,包括稀土,包括美国本土制造业的回流,包括数据中心,再长期就要看机器人能不能拉平美国和新兴市场劳动力的水平。

      我觉得大家可能还没有意识到,比如这次4月份,特朗普闹了一通关税的交易,像日本韩国这两个国家就合起来答应要投一万亿到美国。这个钱其实是会用来投资美国的基建项目的,包括能源,包括数据中心。

      那么这里呢,就和我们刚刚说的第一条线,就是AI是实现了一个闭环的。那现在市场可能最担心的就是说AI投资这么多钱从哪来?我觉得其中一部分其实是要把这块考虑进来的。因为我们已经看到,包括日本啊,可能已经投了得有1000亿在就是能源相关的这个项目了,就是去Power这些数据中心的。

      第三条刚刚讲的叫金融产业创新吧,也非常有意思。今年在七月份的时候,美国有一个非常重要的法案叫Genius Act,它是一个稳定币法案。稳定币支付就是我们Cheaper, Faster, Better。你看等下个月如果有这个叫Agentic Commerce,让Agent去帮我付款买东西,那Token或者说稳定币这个概念我觉得就会被重新提起来,那这里也就和刚刚我们讲的第一条AI又形成了一个闭环。

      我觉得这三条主线之上如果说还有一个层面,那我觉得就是这一届非常有自己想法的政府,明年美国的中期选举也是他们非常重视的一个事件。

      张小珺:美国投资人现在怎么看待中国市场?

      Freda:我觉得很热闹,但是我跟踪下来,我觉得实际的投资金额其实和过去几年没有明显的变化。但是今年确实开始,一批一批的投资人都去中国去参观,然后所有人去参观都对我们这个EV还有机器人感到非常的震撼。

      美国投资人重视两件事——一个是中美谈判的结果,一个是港股的IPO的活跃度。IPO这块我看从量的角度其实今年是上来了,但是很多是一些消费的公司在港股上市,如果之后有更多的科技IPO,我相信美国一些投资的金额是会回到中国市场的。

      02

      几个具体公司的深度研究


      张小珺:你刚才也提到你们投了一些美国的大的公司,而且是重仓。我们能不能来聊一下具体的几家大的公司,比如说OpenAI,你们是它的股东。你们当时是在什么时候看到什么样的趋势判断下注的?

      Freda:最早看出来OpenAI是一个产品公司不只是模型公司的时候。

      这个结论现在听起来就非常共识。但23年大家是很担心2C这边竞争格局,觉得GPT没有粘性——那个时候Perplexity、Claude、Grok,竞争格局并不清晰。

      一个好的产品远不止需要模型;用户体验也是很大的一部分。GPT其实如果你细想,并不是像Meta那样强网络效应的商业模式。它就是一个一对一的分发。但就是先发优势+更好地用户体验,让这个产品有很强的粘性。

      张小珺:最近OpenAI它完成5000亿的融资,我们看到媒体报道说它收入预测2030年是有2000亿,但同时现在烧钱还是非常的多,能不能给我们讲讲你们是对这个商业模式是怎么思考的?

      Freda:对,首先像你说的OpenAI包括Anthropic的数字其实媒体都有报道的七七八八,所以我今天说的所有数字都是用媒体披露的。

      这个商业模式的本质非常的简单暴力,它的成本大头就是用卡。那其中包括Inference,包括Training,然后训练的成本呢,大概是按照Scaling Law,也就是每年可能上涨10倍这样子。

      所以如果你上一年的训练成本为1的话,你第二年大概是能以2的这个收入去收回上一年的训练成本。但是同时你需要减去10,也就是你新的这一个模型的训练成本。所以你第二年你就是加2减10,所以你就变成一个负8。

      大模型这个商业模式本质是一个负向滚雪球,每一年都会比上一年现金流烧更多。如果说有一天现金流能翻正的话,就从逻辑上就只有两个可能。要么就是你第二年的收入不再是前一年的2x,而是一个很大的一个数字。要么就是你不再去烧一个新的十倍的模型,只有这两个可能性。

      Anthropic的CEO Dario也讲过这个逻辑,他又把后者,就是烧钱停止这件事做了细分,他说这个烧钱停止又有两个可能性,要么就是你到了一个物理限制了,就是模型太大了,你纯从一个模型训练的角度训不动了,或者说可能你要把全世界的钱都烧进去;

      第二个可能性呢就是可能模型的大小本身还可以,但是因为Scaling Law到变慢,所以你不值得再烧10倍,或者说你就索性不再继续烧下一个了。在结束的这个时间点,其实非常有暴力美学,这个公司的利润表是会非常好看的,因为就像我们刚才简易的那个例子,就是你加2,但是你不再减10了嘛,所以就是这么一个非常简单的数学问题。

      OpenAI确实很神奇的商业模式,在科技领域本身其实很少有资本密集型的业务。但也不是没有发生过,比如Netflix。Netflix的现金流前几年都是负的,而且负向滚雪球,每年都比前一年负更多。

      因为Netflix也是,你前期要花很多钱去拍剧做内容,而且它的那个内容其实也是有折旧的,然后也是四年的这么一个折旧摊销,所以你细想,很多地方跟数据中心挺像的。

      现金流上它最惨那年是2019年,它是负的30亿,然后非常有意思的就是,在2020年,它现金流突然就大幅翻正到20亿,所以这个涨幅非常快。然后你说为什么?其实就是因为疫情了,然后所以大家不能再出来拍电影、拍电视剧了,所以你的这个你叫内容成本或者叫训练成本也好,所以就没有了。

      所以说的最直白的话,就是你烧钱的东西只有在不烧的那一天你才会真正有现金流,这就是模型公司的本质。

      张小珺:但是像Netflix这种内容平台,它如果未来不投入做内容的话,品牌优势是会消失的。你想迪士尼也不可能不做内容。

      Freda:对,Netflix不是没有内容投入,只是它这个增长的幅度下来了,不像它前期冲用户数的时候需要扩张内容那么猛了。现在是全世界他应该是有这个3亿订阅用户,粘性很强,他只需要维护住自己的位置就好了。模型公司一样的,我也不觉得有一天他会不训练了,就是可能训练成本不再每年几倍的增加,对于利润率来说就足够了。

      张小珺:之前确实没有听过把Netflix去和OpenAI对比,那你觉得这个行业的格局会类似于流媒体吗?

      Freda:内容是没有排他性的,所以媒体本身竞争格局非常的分散,YouTube、Netflix,像你刚才说的迪士尼啊,每个人可能都是个位数的这么一个市场份额,因为内容上来讲并不是完全商品化的内容,不同的剧你要在不同平台追。

      而Chatbot你会希望一家能记下你的所有内容。GPT目前来看我觉得会像搜索的格局,市场集中度高,谷歌和微软的Bing两家搜索占领整个市场,用户选择自己更喜欢的。

      张小珺:对于OpenAI来说,现在除了ChatGPT,还有什么其他的收入,它的收入结构是什么样?

      Freda:媒体有报道出来4条线:

      1、ChatGPT 75%,里面也包括企业GPT;

      2、API:今天OpenAI API收入对应Anthropic一半;中期Anthropic自己预测是OpenAI的5x;

      3、Agent:包括软银合作;

      4、新产品。

      很多讨论集中在GPT,但公司预测其实后两条线增长更快,未来占比更大。纯看GPT的话,可以看到3亿订阅,然后每个月30块钱,这个就是1000亿的体量差不多了。

      另外就是,大家都在讨论2C的GPT,把他当成一个纯面向消费者的公司在看;普通投资者看不到的今天个人/企业占比差不多大。

      我觉得市场大大低估了企业端——企业端本身用户数也有几百万,比如我就是企业端的用户,我就用GPT连上了我公司的邮件、Slack,我公司内部系统,这个是协同起来是非常好用的,想象空间很大。

      美国本来就是很大的企业市场,中国不是。

      报道出来的是公司说年底200亿年化营收;对应今年130亿收入。

      张小珺:很多人说OpenAI是想做一个超级入口。

      Freda:对的。它希望其他App应用程序都能在它上面构建。

      消费端而言:比如让这个Agent帮我买个东西或者叫个Uber。这里面现在有两个问题,一个是还是会存在一个登录问题,第三方网站会监测和屏蔽Agent的登录;一个是商家会很抵触,商家希望用户直接来自己的平台。比如亚马逊,只有我过去了,它才能在我买牙膏的时候推荐我买牙刷、买牙线,才能增加销售额。而且亚马逊有700亿的广告收入,如果换成Agent用了,这个广告收入还收不收的上都是问题。

      企业端,其实反而好很多;谷歌和OpenAI这么竞争,谷歌的办公套件都很容易的让OpenAI直接调用,因为软件的收费模式简单很多,就是只要用户还在用还在付费,他们不在乎自己是不是Top of the Funnel获客漏斗最上层。

      所以算个非共识,我觉得OpenAI企业端作为超级入口可能发展非常快,有非常大的想象空间。

      张小珺:我看OpenAI是不是还要开始卖广告了?还有没有其他的变现方式?

      Freda:对,今天没有广告收入。但广告这个逻辑太顺了。

      今天超过8亿的WAU,其中5%付费用户。

      他完全可以和用户讲说如果你是一个免费的用户,那我肯定要赚钱,所以会通过广告。比如我搜索跑步鞋,如果我免费用户,我可能会看到Nike的广告;如果我是付费用户,GPT可以保证它的推荐结果会绝对公允,所以会有其他小众的品牌。

      广告上量会很快。

      另外一个我觉得比较有意思业务模式是云。Sam Altman也有讲,这是他业务非常自然的一个延展,因为你如果回想就是亚马逊AWS是怎么起来的,也就是他自己先建数据中心,然后给自己用,然后发现其实他也不可能完全控制他对数据中心的这个利用率,然后数据中心本身又是一个非常看使用率的这么一个商业模式。

      所以就有点就是随手的事情吧。可能就把自己不是那么需要的时候就租出去,慢慢的可能就成了一个很大的这么一个业务。GPU这一波也一样,所以云在美国的竞争格局,我觉得会有挺大的改变的。

      张小珺:OpenAI和其他模型公司今天的竞争是一个什么样的状态?

      Freda:OpenAI内部觉得自己的最大竞争对手从来不是Anthropic或者xAI,而是谷歌。

      谷歌的占位实在太好了,是一个完美的T型,横向有面向消费者的搜索、YouTube;面向企业的Workspace(谷歌办公套件);纵向从云一直到自己的芯片。

      Gemini 6.5亿月活 vs GPT 10个亿。

      谷歌对OpenAI的价格战这里面几个角度可以打——第一就是绝对价格,因为谷歌用TPU,纵向整合,同样模型能做到的利润应该比OpenAI高;第二是捆绑销售,很经典的销售模式——比如我现在是20块钱每月YouTube订阅,它可以说加个10块钱给我Gemini,捆绑起来很容易产生更高的利润。

      最近Gemini对OpenAI用户时长有一定冲击。我觉得比较合理的是谷歌吃下中低端市场,比如20块钱每个月订阅水平;然后把高端的,几百块钱甚至之后几千块钱一个月的订阅市场留给GPT。

      张小珺:这两家你会站队哪家呢?

      Freda:都是赢家。但我觉得现在整个对OpenAI的负面情绪,以及对谷歌的正面情绪也有点太一边倒了,因为谷歌面临的威胁并没有被解决。

      今天谷歌搜索广告收入没有掉,是因为今天大家还是把ChatGPT当一个大型Wikipedia在用的,做研究、问它天为什么蓝,这些问答本身谷歌也是不变现的。但是比如保险,比如律所,这些是谷歌今天最大的广告商。比如我买车险,我今天Google一下然后选择最上面的广告位,Geico;但这个太适合去问GPT,GPT给我一通比较,然后我选择最适合自己的;这里面GPT很可能有我的历史,知道我开车开的很差,所以定制一个最适合我的。你等GPT开始做广告,你等他这个月开始做Agentic Commerce电商,这个格局一定会变。

      往大了说,每年美国广告收入就这么多,谷歌和Meta今天是垄断,OpenAI想卖广告,就得从这两家出。

      总结来说,OpenAI来自谷歌的竞争确实存在;但谷歌面临的威胁也同样真实。

      张小珺:谷歌是怎么突然格局就变好的?我看巴菲特也买了。

      Freda:就是模型能力上来;以及搜索广告收入没有掉。

      模型能力这块也很有意思。听说内部找到了优秀研究员的正确打开方式,就是把激励制度绑定到模型榜单上,谁能刷榜刷上去,谁就升职加薪,非常适合谷歌这些年的学霸文化。

      江湖也有传言,说Noam Shazeer,就是之前Character.AI的创始人,在回到谷歌之后,徒手改了一个bug,从此Gemini的Pre-training就好用了;

      Gemini 3出来证明Pre-training也没有撞墙;整个趋势都在继续。

      张小珺:那肯定是一个价值好几十亿的Bug。

      Freda:对;这是一个天才研究员的世界;Noam做这个比做个2C的公司CEO合适太多了。

      张小珺:谷歌搜索这个格局你觉得有变化么?

      Freda:变化太大了。

      一度我很担心OpenAI做不好搜索。因为谷歌不给他用谷歌的搜索API。但这一年用下来不管是OpenAI还是Perplexity,搜索效果都非常好。

      因为搜索的护城河彻底变了。

      之前谷歌搜索压倒性的好用,这个好用是因为我能在最上面的两三条找到我最想找的信息,这个是对人最重要的;第二页第三页完全没人看。但现在模型做搜索,非常的不辞辛苦,它能一秒钟翻几十页,直到找到最符合问题的信息,你用Bing或者自己做的搜索索引都可以。

      这件事很大,因为搜索这个行业护城河彻底变了。

      张小珺:怎么看待OpenAI的管理层?Sam这个人最近也是引发很大的争议?

      Freda:Sam不是技术背景,但他能做一号位,员工对他还是很服气的,这个很有意思。

      我聊下来,员工都很信任也很感谢Sam带领员工致富;另外有一点一定也要给Sam Credit,他真的是最早去强信念相信AGI的,这个是他引领了市场。

      最近大家也听到1.4万亿的这个数字,其实本意是很聪明的,因为AI就是很烧钱,所以他想把一条线的公司都绑在一起。但时间线上一下拉的太远了,数字太大吓到市场了。可能他一下指引一下一两年的支出效果会好很多。但我觉得市场会慢慢消化的。

      张小珺:OpenAI是不是这几年回报最好的投资?

      Freda:这里面有一个概念,我们看到的300亿到5000亿,说的都是估值;但投资人拿到的是每股股价。

      这里面OpenAI从300亿到5000亿,每股价值并不是接近20x,而是6x;股权稀释很严重。

      张小珺:你怎么看待OpenAI最近的一系列上市的操作?

      Freda:我觉得这个非常合理。而且最近OpenAI和微软把股权转清楚了,这件事非常重要。

      像比如媒体报道出来的时候,如果2027年有一万亿市值的这么一个IPO,大概对应它的收入预测是10倍这样子,所以只要收入能做到,这个估值挺合理的。我们开玩笑说就是在美国波士顿可能有一条街都是那种非常大的基金,包括Fidelity啊什么的。每个人出100亿,这个1000亿的IPO就出来了。

      我知道媒体很多人在那说,就等这个上市啦,上市就是泡沫顶峰了。我觉得没有那么刻舟求剑,因为你就算是回到上一波互联网,就Netscape网景通信,它的IPO是95年,那后面确实是泡沫越吹越大到破裂也是5年之后的事情了。

      张小珺:说到OpenAI,也想聊聊Anthropic,这两个在你的观察中有什么异同吗?

      Freda:它们俩业务不一样,一个是2C,一个是2B。

      Anthropic超过80%都是ToB的业务。从用户粘性来讲,都非常好看;这两个公司,看这个用户来看,都是有我们叫微笑曲线。就是可能你一开始存留下去一点,之后还会再回来。而且新用户也比老用户同期的存留率要更好,所以这方面目前都是没有任何问题的。

      再有也是媒体应该有报出来,就是Anthropic的利润率增长非常快。大概也就是一年之内吧,他从大概就是收入一块钱,能亏两块钱,就比如往这个水平,到今年底他会,他能做到跟OpenAI差不多的毛利率。所以这里面是做了很多功课,给我也是挺大的一个震撼,就是觉得它对整个自己的毛利率其实是有巨大的掌控的,不管是从模型架构,还有她叫Auto-scaling,包括优化,都做得非常快,非常到位。

      所以现在整体对于模型公司,我觉得毛利率这里是没有任何有必要担心的,我觉得长期都会是七八十,这种毛利率是没有问题的。

      从增长的角度,这两个也是一个追赶的一个状态吧。从1个亿到10个亿收入的这个阶段,OpenAI快非常多,用了两个季度不到,然后Anthropic可能用了大概四五个季度,然后从10个亿往上是反过来的;Anthropic年化收入从10到70个亿就用了10个月。最近的这个几个月,两个公司每个月增加的年化收入基本是数量上基本差不多。

      Anthropic的产品路线也挺清晰的。

      一个是选择几个比较大、比较有利润空间的垂类,包括Coding,包括Finance——Claude Finance非常非常好用,包括生命科学、法律。

      另一方面就是做最好的模型给Agent用,Claude Skills = Mini Agents系统。

      张小珺:Anthropic媒体报道出来的现金流是不是要比OpenAI好?我听说他们花在训练的钱要有效率很多?

      Freda:我还是回到刚才讲的大模型的商业模式,抛开商业模式去看公司现金流预测没有任何意义。

      这两家模型的财务预测非常有意思。

      OpenAI就是它假设自己的这个总的算力在28年之后就不再增长了,所以是靠我们刚才说的第二点训练成本不再那么迅猛增长,去把自己利润率升拉上去的。

      Anthropic如果你去细抠的话,它其实是在假设模型的这个ROI这个回报率逐年提升,对应我们说的第一点,不再是一块钱收回两块,而是能一块钱第二年收回五块钱,所以是主要是靠这个去拉上去的。

      并不是Anthropic花的少,而是它假设了更高的回报率。

      这个预测非常有意思,值得去细想,为什么他们做出了这两个方向的假设。

      张小珺:另外两三家模型公司你有看他们的进展么?

      Freda:现在根本不止大家熟悉的这两三家,最近几个月又有小10家模型公司出来融资,我们叫Neo Labs。就像Neo Cloud一样,很多都是学术背景的人出来做的,融资都在10亿的规模。

      我没有特别想清楚,不知道之后会不会有一个时间点,大家觉得大模型就是头部一两家,剩下的会放弃自己做训练去拥抱开源模型。

      大家熟悉的几个名字:

      SSI Ilya;

      Continuous Learning持续学习;

      Mira Thinking Machines Lab;

      Tinker是他们的首款产品;帮用户去定制训练开源模型。但我也没想清楚,投这个的背后就是在Bet开源市场的规模。

      张小珺:我看这些模型公司都在融资,投资人会怎么估值这些模型公司呢?

      Freda:会看他们的收入预测,然后给个倍数。

      但说实话都会和OpenAI做一个对比,比如今天的OpenAI 5000亿,其他模型公司融资的时候其实投资人都会对标,看这个公司值多少百分比的OpenAI。

      张小珺:所以说回来,今天市场上最重要的公司标杆,就是OpenAI。

      Freda:对,100%;一级二级市场最重要的标杆。

      张小珺:很多人让我问你们Robinhood这个票,说你是最懂这个公司的。今年标普500表现排名第一个股票,我看到披露你们是大股东,你们当时是怎么看懂这个股票的?能不能跟我们讲讲你们投资Robinhood当时是看到了什么,为什么下这个判断?

      Freda:Robinhood这个公司非常有意思,今年圈了很多粉,但你真的看懂这个业务,本质上Robinhood的商业模式是很差的,可以说是一手烂牌。因为证券交易本身有非常强的周期性,不是一个好生意。很多人炒股都是这样,牛市一通操作猛如虎,熊市趴着不动。它的交易收入就是交易额乘以佣金率。交易额和市场活跃额度正相关。这里有几点是它能做的:

      第一,最容易想到的,就是多元化,不再只是交易收入,所以你看Robinhood非常积极的去做银行,去做这个叫Prediction Market预测市场,去做财富管理,去做国际市场,它现在已经有11条线的这个业务超过了1个亿的收入,这个还会很快增加。

      第二,就是抢占市场份额。市场的强周期性你无法控制,但是你可以用抢份额去平滑这个周期性。

      第三,就是定价权,比如Robinhood加密这块从10个点佣金涨到60个点。自己去控制自己的命运。

      当然还很重要的就是成本端,因为投资人最在乎的是利润增长,所以如果收入波动,但你成本端能配合收入端的波动也还可以忍。反例就是2022年的Meta,收入下跌,成本暴涨,所以现金流被砍了一半。你看Robinhood的运营成本从22年开始就零增长,一条水平线,控制的非常好。

      只有理解到这个程度,才能明白Robinhood的发力方向,才算看懂这个公司。

      张小珺:所以不是牛市买券商这个逻辑是吧?

      Freda:很多人这么说,我觉得投资挺重要的是要对自己诚实,要知道自己赚什么钱,是Beta还是Alpha,可能最简单的你把Coinbase的股价,你和比特币去做一个对比回归,你会发现2022年开始,Coinbase相对于比特币是没有任何Alpha的。

      所以如果说你判断一个加密周期牛市来了,那你不如去买比特币。这就是我说的这个市场的Beta。但Robinhood如果你做这么一个回归的话,你会发现不管它是相对于比特币还是相对于纳斯达克都是非常强的这个Alpha,走出了非常不一样的路径。

      张小珺:你怎么看这个公司的增长性?

      Freda:美国很明显一代人有一代人的账户。

      60岁以上婴儿潮这代人用嘉信理财;45这个年龄层用E-Trade;Robinhood用户的平均年龄30多岁,这个就是美国新一代中年人和年轻人的账户。

      公司的模式你可以把他想成一个漏斗,只要钱能进来它这里,他就能通过让你做一系列的交易产生收入。所以最重要的是增加每个用户的平均资产。今天Robinhood上用户平均1万块钱的资产,嘉信理财和IBKR盈透证券都是15万以上。

      Robinhood用户平均年龄是34岁。这个很重要因为在美国35岁是一个财富的重要分水岭,35-40相比之前5年有一个3x的跨越,55岁达到高峰。

      所以今天Robinhood什么都不做都会有很自然的资产增长。

      而交易账户只是它的开始。随着这些用户步入中年开始有积蓄,很自然的就会有理财的需求,所以你看嘉信理财60%的收入是从财富管理那边来的;然后也很自然的会有储蓄的需求。

      在漏斗吸收进来这些资产之后,重要的就是让这些钱动起来,这里Robinhood非常会互联网的打法,增加用户的活跃度。

      比如我同时有Robinhood和Coinbase两张信用卡,很明显Robinhood会有很多拉新活动,奖励机制,让我不停的回到它的App去看;而Coinbase我可能最多一个月看一次。

      所以Robinhood就是下一个嘉信理财。

      张小珺:你们是今年初买的对吧?是买了一次还是多次?

      Freda:对,年初。多次。

      我印象非常深,股价跌得非常狠,市场也很差。但我觉得这个业务被低估了。Coinbase 1000亿 vs. HOOD 300亿,Coinbase是在跌份额,掉价格,Robinhood执行能力极强到处抢份额这个故事没有被市场看到;大家觉得他俩都是Beta,都差不多。

      所以当时是顶着巨大的压力,想着今年可能是个熊市了,依然买了Robinhood。

      张小珺:就是大家说的,别人恐惧时候你贪婪。今年涨了接近3倍,接下来怎么看这个公司呢?是不是已经不便宜了。

      Freda:不便宜。但这是最有机会成为一站式金融应用的公司。

      这个公司一直有一种为普通人平权的使命感。很多普通人第一次拿到IPO的份额都是通过Robinhood。

      我很看好的一个方向是他们的VC基金。VC这样的另类资产在美国超过10万亿的规模,很多好公司,包括OpenAI,SpaceX,机构拿在手上,但普通人完全买不到。

      如果Robinhood搞出一个VC基金——里面有所有耳熟能详的大公司的股份——然后收费比如2-3%类比ARKK——任何人都能认购——这个的需要是巨大的,做到上百亿也不奇怪。

      张小珺:他们主要业务在美国?

      Freda:其实不止。它今年非常巧妙地进入了欧洲,用了现在最火的概念叫Tokenization代币化。

      欧洲有几十个小国家,每个有自己的监管,如果我一个一个拿牌照需要一两年。但是代币化直接一下就在整个欧洲铺开了;交易费还会便宜很多。

      张小珺:你怎么看这个团队?

      Freda:这个团队非常不一样。它动作非常快,就是你去看它一年出的产品的量,可能是别人5到10年那么多,完全不夸张。

      创始人的性格也挺有意思的,比如说这个Coinbase的创始人非常的,我叫他乖小孩吧,他创业第一天就说我一定要强调合规。所以我个人觉得他到今天他的运营成本砍不下来,合规可能占挺大一块的。

      Robinhood的这个创始人叫Vlad,他就比较像坏小孩似的,他非常的有冲劲,非常的敢想敢干,他这种性格也让他和公众沟通的时候非常的有张力,散户非常喜欢他。

      他会非常真诚地问我,哪些公司是他需要学习的,尤其是那些比他规模大时间长的公司,他会问我哪些地方是别人做的比他今天好的。这个学习的能力以及这个热情我觉得是非常难得。

      Vlad同时非常的Aggressive、很强势,他想拿下的市场和业务,他会很激进的去抢。我自己也和他学习了很多。

      张小珺:现在资本更喜欢乖小孩还是坏小孩?

      Freda:硅谷么,还是喜欢这种Founder Led敢于打破常规,坏小孩。

      张小珺:Robinhood这个产品速度它背后是怎么支撑和做到的?

      Freda:这块好像挺少有媒体报道,其实Robinhood在2022年的时候,几乎重新做了一遍这个公司,彻底改变了它的组织架构,它之前是非常中央化的,然后它改成了Single GM这个结构,就是说每一个业务单元有自己独立的架构,包括独立的PM、Developer、CFO、HR,所以它是去非常努力的去赋能每一个业务单元去疯狂的创新出产品。

      张小珺:这个组织架构能更利于不同产品同时能涌现出来?

      Freda:对,很明显。

      张小珺:说到散户,这两年我们也越来越多地听到了散户的声音。疫情的时候,有WallStreetBets,到后面很多公司大家都叫散户票,那你觉得这个是一个可持续的现象吗?

      Freda:散户到今天,我觉得,尤其就美国散户已经太大了。就是你看一些期权上面,可能超过80%、90%都是散户。我觉得有一些基金经理非常厌恶这个现象,但是我觉得散户是市场上非常重要的组成部分,在我的这个投资框架里面,我觉得市场就是一个挺混沌的这么一个体系,大家每个人感觉都是各玩各的,都做自己觉得能赚钱的事情,但你最终这个股价表现其实是一个合理的这么一个结果,去知道去了解这些重要的市场组成部分怎么运营,非常重要的。

      Twitter上面你打开的话有很多散户,很多这些股票最终你你会发现能追回到一两个这种就跟KOL似的,就像一个部落一样,比如说有的人大家管他叫The Robinhood Guy,有的人叫The Palantir Guy,我其实和大部分他们这些KOL线下都很熟,所以也会去了解比如说散户喜欢什么类型特定的票,他们的交易体系,我觉得这个本身其实非常有意思。

      而且我敢说,比如Robinhood和Palantir这两个票,散户的研究深度其实是完爆机构的,而且在他们身上我就看到的是那种非常纯粹对投资的热爱。

      一个你说选股思路是去找这种散户喜欢,但是机构也能喜欢这种股票。这种股票通常都能比较强,而且没有那么多零和博弈。

      零和博弈的典型就是美股这几年的软件股,里面几乎没有散户,全都是Hedge Fund,都没有长期的钱,就是很短钱的博弈,所以股价上下百分之三十,充满了痛苦。

      张小珺:你刚刚也提到几次新物种,也提到坏小孩、乖小孩。我看你们公司网站上写你是负责颠覆性科技的合伙人,这个颠覆性代表的是什么?

      Freda:哦,这个范围非常广,就是你往大了说呢,科技投资其实也就是去寻找这些可持续增长的公司,这些公司通常都会具有颠覆性,比如说刚才说了,讲了很多,就Robinhood、OpenAI,然后包括拼多多、TikTok,包括Nvidia、Netflix这些公司,它最初刚出来的时候都被视为非常的不合常理。

      比如说Robinhood是零佣金,然后OpenAI就狂烧钱,然后Netflix是改变了整个DVD的租赁模式,都各有各的奇特,但是它们最终都颠覆了市场。

      张小珺:这种颠覆性的公司在你看来共性是什么?

      Freda:总结下来可能有这么几点吧:

      一是巨大TAM市场规模——比如Robinhood现在要做整个金融行业的超级应用;

      二是产品要完美——不管是Google、Netflix、GPT,最好的产品是不需要销售的,在很长一段时间都保持极高的增长;

      三是我们通常回头看的时候都会说觉得天时地利人和。都是你觉得好像就是注定会在那个时候出这么一个颠覆者。比如说智能手机带宽到一定程度就能诞生短视频TikTok;摩尔定律终结,GPU推动AI;然后下沉市场的空白造就当年异军突起的拼多多。

      其实每个都有点宿命感。

      张小珺:那你现在觉得有什么有趣的新的物种吗?——当然我们这个不作为投资建议。

      Freda:今年看下来最有意思的可能是Prediction Market,就是预测市场。大家可能听过叫什么Kalshi、Polymarket。我因为本来看Robinhood,所以最早发现这块量上的非常的猛。像Kalshi这么一个预测市场,它最新的这个交易量已经超过600亿。季度环比都是百分之百的增长,是非常典型新物种野蛮增长。

      在这个预测市场上面大家可以用一两块钱去押注一切事件。你可以押注美国大选谁是总统,你可以去押Tesla的财报是否会超预期,甚至还有人在那预测Taylor Swift今年会不会怀孕,是一个百花齐放的状态。它绝对不是一个小众市场。Bloomberg、Google Finance都接入了它的数据。

      这个行业的出现也充满了天时地利人和:

      首先就是美国主流媒体信誉危机非常严重,然后又因为这两年不管是疫情、关税,时局非常动荡,民众想知道真相。

      而且这个世界上似乎总有人能知道点什么,比如谷歌模型哪天出,Polymarket早早就有人下注11月18号,精准到天。

      另外就是预测市场在全美国都是合法的;而到今天在加州、德州很多地方,连体育博彩都是不允许的。

      当然还有这届政府监管上比较宽松——Prediction Market正好趁机把量做上去。

      所以Prediction Market拿了一手王炸的牌,就看之后能做多大了。

      03

      自动驾驶和机器人投资


      张小珺:我们说了很多AI的应用,还没说到自动驾驶和机器人。今年有没有什么新的想法?

      Freda:今年最大的惊喜是Waymo。执行能力和速度非常超预期。

      现在5个运营地区,马上10几个城市,已经可以上高速;

      观察开城的速度在明显加速:

      三番:5年;

      奥斯汀:2年;

      硅谷这边:半年。

      而且成本并不高;几千万美金开一个城市。

      今天一共2500辆车在路上,年化收入算下来8个亿。明后年上量可能会非常非常快。和他们合作的韩国现代车企在美国佐治亚州已经有现成的工厂,你去看这个工厂是可以10万量产的。等这个量上去,对整个交通行业都会有很大影响。

      今天Waymo和Uber的价格差不多;但量产BOM Cost物料成本下来,对Uber这种业务会挺大影响。今天Waymo在三番已经盈利了。最大的成本是折旧——假设整车17万,然后4年折旧。其他主要成本包括它的远程安全员,运营和保险费用。都算下来今天也是盈利的。

      张小珺:我看Uber和Waymo也是合作的关系。

      Freda:今天Waymo和所有人都有合作,包括Uber,包括租车公司,包括车队运营公司。但我会去思考,本质上Waymo到底需要什么?

      需要人做清洁,维护,充电,需要有现成的地方去停车;Uber并不是一个劳动密集型的公司;运营这个生意更适合Avis租车公司或者专业的车队运营团队。

      当然Waymo需要解决的是——怎么平衡峰值和低谷的需求。Uber做这个就很合适,她轻资产,可以通过调节价格去做车队的调配。Waymo需求低谷时候车队闲置,就很影响利润。

      张小珺:Tesla和Waymo这两个怎么比较?哪个是长期的赢家?

      Freda:Waymo和Tesla这两个一个有硬件问题,一个有软件问题。

      Waymo现在是硬件问题也是商业模式问题。他的硬件肯定成本会下来,问题是能下来多少。现在拆开看,车子和传感器分别是7-8万;然后车里的芯片2-3万。成本减下来需要一个过程,而且怎么也减不到Tesla 3万的这个价格。所以Waymo的命运要看Tesla能不能成功。

      Tesla没有任何硬件问题,可以随便量产,要多少有多少;他的问题是软件问题;Elon 10几年前吹的牛,不用激光雷达,纯视觉,到今天还没有在Robotaxi上真正的证明自己。

      张小珺:美国这边自动驾驶是不是就剩下Waymo和Tesla两个玩家?

      Freda:目前是的,收敛的非常快。

      自动驾驶这个市场是非常大的。就是美国人每年开车大概是三万亿英里这样子,假设每英里一块钱,这个市场就会有一个3000亿每年的这么一个收入。

      一块钱对用户非常有吸引力,对应Uber是接近三块钱每英里;只要安全,自动驾驶这个市场不存在任何需求问题。

      我让GPT帮我算过——在美国前十大城市中,要拿到大约10%的市场份额,需要多少台Robotaxi?GPT 1万,很小的数字 vs. 今天美国Uber 300万。

      自动驾驶大规模实现之后,很多行业的格局都会变化。比如交通、比如房地产——住的更分散。

      张小珺:自动驾驶终于要实现了吗?在美国就会是这两家占领整个市场么?

      Freda:今天自动驾驶用的还是模仿学习,10亿量级的小模型——因为模型运行在端侧,有Latency延迟的考量。

      比如模型看到STOP Sign,他并不是真的理解STOP是停车的意思,只是去模仿人类开车,人类通常在长这样的标识面前停下来,所以它停下来。没有真的理解这个世界,比较死记硬背,很多Overfit。有网上视频如果你把停车这个标志穿在人身上,有的模型也会在人面前停下来。

      所以我在思考的是垂类小模型和大模型的路线。我们是不是还是需要真正的智能,通用大模型去理解驾驶的规则,不是去记住去模仿,才能去解决一切的Corner Case边缘案例。

      其他的垂类都发生了——图像,视频,编程——通用模型就是比垂类小模型效果好,所以我想看看大模型公司会怎么做自动驾驶这件事,Latency能不能被解决。

      张小珺:机器人这一块呢?这些年美国的发展是怎么样的?

      Freda:很火的赛道;很多VC在闭眼投。

      行业Locomotion或者下半身基本解决了,机器人能跑能跳做很多基本的动作;但Manipulation上半身的操作目前还差的比较多。

      已经几年下来了,我也很Frustrated,路径上还是没有共识。硬件上,是人形还是四足,如果人形,人形长什么样?数据上,有人只用真实世界数据,有人只用模拟,有人混合起来用,完全没有共识。

      但往好了想,也不是毫无进展,认知上面还是有一些收敛:比如共识逐渐收敛到硬件软件需要一体去做训练,而不是只做模型层。比如越来越多的人同意住宅用比工业是一个更合适的落地场景。还是有更多的人从第一性原理来看,站队人形机器人,也是因为老黄和Elon在带队伍。

      但还是太早了。还处于刚刚要从Research走到Engineering的阶段。而且实在太缺数据了,这里面很多噪音——这就像10年前的自动驾驶,当模型过于缺数据的时候,你给他喂任何数据都会觉得帮助很大,但这里完全不能线性外推,这个进程会比想的慢。

      投资人很难去评估——不像大语言模型好歹有一个榜单,好歹能看看模型大小,因为任务完成度都不高,所以我也没法定性的去判断;除了赛道真的很大以外,很难出手下重注。

      张小珺:机器人下一步;或者叫GPT Moment会是什么样子的?大概什么时候会出现?

      Freda:希望2-3年之内有一个机器人的GPT Moment。

      就是Manipulation,能做一些通用的动作,包括叠衣服、收东西、放洗碗机;这些简单的东西完成度都不会很高,但慢慢从这里做起。

      明年挺重要的,几家机器人公司都会有产品卖到客户家里,包括1X;

      我自己的预期很低——市场一定需要先解决自动驾驶再解决机器人。机器人这边硬件和数据都还不到位。自动驾驶我们好歹都知道车是什么形态;机器人还不没有确定的形态。数据的话,机器人差的还太远了。

      张小珺:这一块中美之间的对比你怎么看?

      Freda:我见了也体验了中美几乎所有的自动驾驶和机器人公司。

      自动驾驶方面——中国发展我觉得会非常好,也会比美国有更多玩家参与在里面,因为有数据。

      很多人不知道,美国这些油车数据都是没法采集,因为数据都不联网;就算联网,车身只有一个最多两个摄像头,采集的数据也是没法用的。

      中国因为经历了EV,大家技术都更新了,车身很多摄像头,数据是不缺的。所以非常期待中国这方面的发展。

      机器人方面——中国的硬件能力肯定是世界最厉害的。

      04

      硅谷投资圈揭秘


      张小珺:刚才我们聊的是硅谷的一些明星公司。我也很好奇,开头其实也提到你是很少在美国一线基金里面的华人,你对于在美国的华人,不管是研究者还是投资人,你有什么建议吗?

      Freda:更勇敢吧。

      整体感觉硅谷这边其实挺公平的。比如说推特这个平台,我觉得非常神奇,网站做的很烂但美国这些CEO每天花非常多的时间都上面。只要你的内容有意思,他们都会主动回应。中国人整体比较内敛,所以还是要敢想敢做,不要不好意思。

      张小珺:你有VC和对冲基金的两边的视角,你觉得这两边的投资逻辑有什么明显的差异吗?一个投资人能同时做好两边吗?

      Freda:我觉得是有不一样逻辑上,二级其实最好的投资都是非共识,VC就是共识投资。二级你追求的是High Risk High Return,比如说22年的Meta,今年的Google,都是高回报的反转投资;VC其实追求的是共识,因为你每一轮都要烧很多钱,其实你需要市场认可你的观点,一直和你一起支持你选中的这个公司,这过程可能需要很多年,所以是非共识和共识这么一个明显区别吧。

      张小珺:这两种投资,关注的东西有什么明显不同么?

      Freda:看的都是人 - 产品 - 市场,这三点。

      早期VC看人更多;之后会看市场更多;经验来看,一个很优秀的创始人,哪怕需要转型几次,很少会搞砸。比如Elon做过各种有的没的,但从来没亏过投资人一分钱,所以他今天出来融资,就一页纸,写的就是我融资过上百轮,没有让一个投资人亏钱,这就是他的底气。

      张小珺:看人的话,每家基金会不会有什么偏好?

      Freda:审美会有些不一样。我挑几个有意思的说吧:

      有一个叫Altos Ventures——就是Roblox和Coupang大股东,他们喜欢这种叫刺猬型人才,刺猬一辈子都在挖洞;所以他们比较推崇巴菲特,创始人一辈子就做这一件他人生最有热情的事情。他们不喜欢那种到处找热点,管自己叫持续创业者这种人。

      然后像Ribbit Capital我非常喜欢,他们喜欢这种叫“Rebel”反叛者,就是带着坏小孩叛逆气质想要跟这个世界大干一场的创业者,的这种人比较有爆发力。Robinhood是典型他们喜欢的团队。

      还有Hummingbird VC,这家喜欢我叫哪吒型创始人,创始人通常有很大的心理创伤,我命由我不由天,要证明世界都错了;Kraken还有几个游戏公司是他们的典型投资,创始人是死都不会卖公司套现的。

      整体差别不会太大——优秀的人是挺明显能看出来的。

      张小珺:美国基金在投资策略上,这些年有没有什么明显变化呢?

      Freda:有一个,就是集中仓位下重注。

      这里面有一个投资的基本思路。你肯定也听过,很多人说投资就是鸡蛋不能放在一个篮子里,要分散风险;但风险并不会因为你分散了就变小,市场要跌一起跌,买几十个仓位就是自己买出了一个大盘。

      美国有一个投资人叫Druckenmiller,我非常欣赏,他会说,最好的投资就是你把你所有的鸡蛋都放到一个篮子里,这个其实非常的反直觉,但你敢都放到一个篮子里面,你肯定是做很多的研究才敢下这个判断,所以反而风险比你半懂不懂乱投要低很多;因为只有一个篮子,你会花全部的精力认真的去看着你这个篮子,和这个鸡蛋一起成长。

      当然我说的是如果你想去产生超额的收益,如果只是追求一个比银行好一点的,百分之几的收益率,那我建议你直接买S&P就非常好了。

      超额收益只能靠重仓集中仓位去实现。

      而且做久了也会发现,世界上好公司真的不多;我能把几十只最好的公司研究透,交易做好,就足够了;没必要什么都看。

      张小珺:鸡蛋都放在一个篮子里确实是一个反直觉,这里有没有什么成功案例?

      Freda:比如Ribbit Capital,21年那个时候是Robinhood出了一点用户的一些事情,Ribbit 24小时之内放了5个亿进去,这一笔应该翻了七倍。

      然后是Carvana,有基金在10块钱的时候抄底,30倍收益。

      2022年的Meta,23年的Nvidia,今年的Google——可以是逻辑反转;也可以是清晰的龙头;只要看准然后量上够,就是超额受益。

      像Greenoaks这个基金很有意思,它会控制合伙人每周出去开会的数量,我听的是每个人不超过五个——就是在鼓励少做判断,敢于重仓。

      张小珺:所以大家都在找这样的机会?

      Freda:对,但其实很多基金的规模和结构让他不可能做到。基金大了之后,组织结构就不可能灵活。每个合伙人每年都要做项目,但好项目根本没那么多。

      又是一个反直觉,就是VC的回报率通常都是很低的。

      我们跟踪2400支VC基金的回报数据,其中有223支基金实现了3倍以上的DPI,有86支基金实现了5倍DPI,而在这80只基金里,最大的一支基金规模为5亿美元。

      而且5倍净回报,10年,也就是16%的IRR;3x就是10%。

      举个例子,一支规模200亿美元的基金,如果要给LP实现5倍的净回报,就必须向LP净返还1000亿美元。假设最终退出时能拿到10%的持股。这意味着需要1万亿美元的总退出规模,大致相当于过去5/6年全部美国IPO市值的总和。这个根本不能做到。

      张小珺:看来VC行业的回报率比我们想的都要低很多。而且听上去很难上规模,反而是需要小而美。

      Freda:对,这个总结完全正确。

      除了共识和非共识,VC和二级另一个区别就是体量。VC基金想做好没法上量,但是二级的容量是无限的。

      所以很多时候看到一个赛道一个机会,用二级市场去表达会容易很多,而且钱不会被锁定10年。像2023年买Nvidia,那个时候去判断50个大模型公司哪个能成功太难了,但可以重仓Nvidia实现超额收益;算上股权稀释,Nvidia回报是最高的。

      05

      看好的AI应用


      张小珺:我们能不能把硅谷火的赛道,给听众过一下你怎么看?哪个你比较看好?

      Freda:今年最火的肯定是编程。

      投资里面我们有一个公开的秘密,就是如果一个领域,一年之内,能创造10个亿的年化收入,这个领域,不管我之前理解不理解,现在都必须投进去,因为这是市场告诉我,这里要产生世界级的公司。这样的领域很难遇到。

      Coding这块,一年之内创造了50亿的年化收入,这个的重要程度不言而喻。编程的话,你看年化收入,四家超过6亿,前四里面Claude Code和OpenAI Codex占两个,都是在发布之后直线拉升,斜率非常陡峭在抢占市场。我看好这个市场,但这里面的竞争才刚开始。你看刚刚谷歌和Windsurf把编程免费了。那这个对Cursor意味着什么?所以竞争格局很难看清。

      今年除了编程,还有很多垂直领域非常火,包括金融,法律,企业软件这些。这个也很有意思,因为你上一轮软件的发展其实都是从这个horizontal就是通用就是平行软件层开始做,然后再去做垂类,但现在创业感觉只有垂类能做一做,因为通用这层被大模型吃掉了。

      在这些垂直领域里面,编程是最适合大模型公司亲自去做的:它其他垂类不一样,不需要去特意采集具体领域的知识;Go to market非常自然不需要雇佣一个团队的销售,所以模型公司做起来是特别顺手和合理的。这个和金融、法律,这些都不一样。

      张小珺:视频领域我们之前也讨论了很多,这个你怎么看?

      Freda:我非常看好视频。首先就是大——美国媒体产业是一个8000亿的市场。我判断视频会是AI和人类交流的一个重要载体,它是对大脑来说带宽最高的输入形式。

      再有就是视频行业逻辑彻底变了:之前TikTok就是匹配——让创作者产出视频,然后再想办法匹配给用户;优化的是匹配函数。但现在视频本身第一次成了可以被直接优化的对象。你可以随便设定目标函数,然后去强力优化。我们现在可以直接拿用户参与度当目标,去直接优化视频;或者把广告点击率作为目标,直接对它进行优化。能做的太多了。

      我判断这里会出来百亿的大公司。Google、Meta、老马,都要搞这一块。

      对明年的强判断是:短视频(包括短剧)吃长视频(包括电影电视)的时长。因为AI已经能制作很多短视频了,你的创作速度指数上升,成本指数下降,这里面是要出大的范式变化的。

      张小珺:我看你写过一个Agentic Commerce的深度研究报告。这块是不是也比较火?

      Freda:对,这个是OpenAI接下来要做的一个方向,可能这个月就能看到。这个对整个互联网行业会有非常多的影响——广告,电商,电子支付。

      Agentic Commerce就是Agent替我买东西。比如我描述我想买一个面膜,Agent帮我一通推荐最适合我肤质的,然后直接帮我付钱。想清楚的话,这个对大部分商家都是噩梦——因为商家都希望用户直接来自己网站,这样才能多卖我一些它店里的东西我们叫crosssell。而且流量是很贵的。

      比如说Booking.com,中国可能是携程,它交易额的一半是谷歌广告帮它引流过来。很多人不知道Booking.com通过谷歌引流的这部分是0利润,完全赚不到钱!因为Google的广告费很贵。长期Agent也一定会收费的。流量越来越靠Agent引流不是任何商家想看到的。你再看亚马逊每年广告收入能有1000亿,广告收入我们也叫眼球收入,都是用户直接来他的网站去买东西,他才会有机会卖广告。这里也会有很大变数。

      所以对亚马逊来说最差最差的可能性就是:失去广告收入;增加引流的支出;减少销售(因为crosssell的机会变少了)。

      我想来想去这里唯一受益的就是长尾的商家 ——之前他们花不起广告费拿不到很多流量,现在Agent可以很精准的,翻阅几十页的谷歌搜索,找到最适合我的一款小众面膜,而这些商家通常在Shopify开店。Shopify很有机会成为AI Agent的统一基础设施架构。

      支付行业也会很多变化。今天很多人用PayPal这种快捷支付按钮。为什么我用它,因为它是我的钱包,存了我信用卡的信息,我不用自己输入。而PayPal因为提供了便捷所以收一个溢价。但到了Agent时代,Agent不怕麻烦,ChatGPT就是我的电子钱包,他有我一切的信息。这里还需不需要PayPal这个中间商是个挺严肃的问题。

      所以Agenda Commerce不止是一个公司一个应用,真的做起来整个互联网格局都会变,把这个想清楚了就彻底理解互联网和支付的本质了,很费脑子。

      张小珺:美国之前软件特别的火,你怎么看软件和AI公司的区别呢?

      Freda:我们开玩笑说,SaaS takes like chicken,软件公司的财务报表就像鸡胸肉一样,味道非常一致,基本可以闭眼睛流水线处理:清一色的毛利率80%;净留存率 120%。

      到了AI,很多投资人不想碰,因为毛利率都很低。但AI应用公司的毛利率是一个反直觉,越是有人用,你的毛利率反而越低。现在大家还没有统一意见怎么给AI公司估值。我觉得应该看利润的绝对金额$$。因为虽然毛利率低,但AI合同金额通常更大,我看到客服的AI单价,能是可比软件SaaS每seat收入的5倍。

      这个就像AWS刚出来,50-60%毛利率,很多人也不看好觉得没有软件赚钱,但这个市场比所有软件都要大,增长也更持久。

      06

      泡沫讨论


      张小珺:我们聊了很多明星公司和重点赛道,也聊了硅谷投资圈的揭秘;现在很火热的一个话题,就是市场在不在一个泡沫里。

      这些AI公司说的收入规模都挺巨大的。你觉得这些钱是从哪里来?它是一个存量的概念,比如说从现在这些已有的大公司,Google、Meta来,还是说有一些别的新的方向?如果是存量的,那这么大一笔的AI巨额投资意义在哪里?

      Freda:问的非常好。

      首先有一个概念我叫互联网收入或者电子税,这个一共在美国一共也就是4000亿的总收入。其中一块就是线上广告支出2600亿。然后第二块电子商务佣金收入,就是我们叫 3P E-commerce的这个take rate,是1000亿的这个收入体量。第三块就是订阅收入吧,包括Netflix、Youtube,就是有的没的那些东西加起来一共是500亿。

      所以你如果是去抢互联网存量的话,其实这个数目没有那么大,就4000亿总收入。所以如果说OpenAI进来,像媒体曝的2000亿营收,如果你拿了那么多的话,那就是Google、Meta、亚马逊这些都要去给它去让这个份额。

      所以你说的是对的,如果我们花了上万亿去烧出一个小谷歌,去抢存量互联网收入,可能意义就没有那么大。

      张小珺:广告收入会因为AI而增加么?

      Freda:很多人会这么问。我不同意。美国广告收入过去20年增长很稳定,就是年化5-6%增长。广告总额没有什么理由增加。美国公司加起来,平均花3%的收入在广告上,AI来了也没有理由去花超过3%,不减少就不错了。美国到今天线上广告渗透率有80%,我也不觉得这里有很大的上修空间。

      张小珺:如果模型的收入不从你定义的电子收入里面来,能从哪里出呢?

      Freda:我知道这个听着过于宏大,但大逻辑真的要看劳动力成本。美国GDP 30万亿,美国的劳动力成本是有15万亿这么大。客服就是3000亿这么大。这里面撕出一个口子很容易就几千亿的收入体量。Michael Dell和Jensen Huang的逻辑,如果AI哪怕仅提升10%全球生产率,就能产生11万亿美元GDP增量,为此每年投入3-4万亿美金建设算力也“合理”。

      我的思路是,最开始,尤其是模型能力还没太上来的时候,最容易吃的就是电子收入这一块,所以OpenAI肯定会去抢,广告的竞争格局肯定会恶化;但是给点时间,模型能力上来,真正Agent或者AI for Science涌现,那我们去创造新的价值,也去吃15万亿劳动力的大市场,这个账就算过来了。

      张小珺:但是如果你去大幅度的提高了劳动力的水平,导致了公司的裁员,谁来消费?会不会对经济的影响非常差?

      Freda:我觉得要分情况看吧。最简单的就是举个例子,你今天是100个人,能产出100个商品,如果你用了一通AI,然后你效率更高了,你80个人,你能产出110个商品,而且你这个商品还能更便宜更好,那你整个这个叫real GDP吧,就是能有个10%的增长,你剩下80个人的收入是肯定会大幅提升的,你这个公司的利润也会大幅提升的,所以其实是积极的这么一个消费循环。

      你被裁掉这20个人会比较惨,这里不知道AI受益的大公司会不会去交一个AI税,或者裁员税,去帮助一下这些受影响的人;你看到Ro Khanna就是加州议员已经在说这件事了,所以不是危言耸听。

      但我还是比较乐观,如果你真的回看历史上每一轮生产力的提高,每次也都伴随着裁员潮。当然都是可能花一段时间,社会都会去吸收这个变化,重新就业,然后财富再有一个重新的分配。

      张小珺:很多人关注AI的投入产出比,这里的回报你是怎么算的?

      Freda:这个本身是不可能完全算清楚的,因为AI是一个既能有收入同时也有一个节省成本的概念。包括我之前提到很多实体经济用AI已经可以量化效率的提升,但你不可能一家一家去算传统行业(银行、地产、物流)的AI收入。可以过一下现在能看的到的比如未来12-18个月比较清晰的AI收入:OpenAI 300亿;Anthropic看到一半150亿;这里很可能有超额收入。

      有两个接近20亿的收入的垂类:编程;视频生成。

      有几个5亿量级的垂类:音频;客服;法律;医疗。

      我统计下来一共有3/40家非上市AI公司ARR超过10亿。

      上市公司里面谷歌,Meta的纯AI收入能有小几百亿。

      加起来能看到700亿AI收入。

      但最重要的就是,能跟踪出来的AI收入,大头只有OpenAI和Anthropic。剩下所有的创业公司加起来就几十亿最多了。

      张小珺:那所以你觉得市场到底是不是一个Bubble,有没有泡沫?

      Freda:我觉得去空谈是不是泡沫很主观也很空。两个层面思考:

      1、今天是不是?肯定不是。本轮AI应用的落地速度快得多:ChatGPT出现不到三年,用户普及度已相当于互联网发展十年的成果,已经产生了几百亿的AI收入。大公司投资AI之后每个季度的ROIC投资回报比都在提升。

      2、有没有可能不是一个Bubble?我觉得是有可能的。这个就回到我们说的GDP劳动力成本这个维度的问题,理论上是有可能不是一个泡沫的。

      3、到底这一路上会不会成为一个Bubble?这里面就看两点:第一模型是不是一直在进步——这个还是挺乐观的,包括continous learning,infinite context window,很多可能的范式升级,就算没有范式变化很多研究员认为我们也能在5年左右实现AGI。

      Gemini3的模型证明Pre-Train还在继续scale并没有撞墙;明年2季度Blackwell train出来的模型非常值得期待。第二点就是AI收入是不是在增加——回到我们上面聊的ROI投入产出比这个问题,也值得把精力都放在这里持续关注。

      07

      美股Mega 7 + 2026投资展望


      张小珺:我们做了很多重要的讨论,能不能给我们做做明年的展望?

      Freda:市场有一个最明显的变化,出现在过去一两个季度,就是在Reward有实打实的有AI收入公司,Punish只是单纯大额投资AI的公司;这在几个季度之前明显不是这样的,那时候只要你投入,市场就会正反馈。

      我能看着股价图精准的指出来市场最近每天的涨跌都是因为什么:跌是跌OpenAI 1.4万亿投资金额太大,跌OpenAI用户数和收入的放缓;涨是涨OpenAI融资估值的上涨,涨对AI收入预期的变好。

      这个是市场告诉我们,明年最重要的是去找AI应用公司。一切也都是天时地利人和,AI投入三年,也到了出收入的时候了。

      我的一个强判断就是明年会看到AI Infra基建公司跑输AI Application就是AI应用公司。这个是大思路。

      在这种思路之下,我会去想明年哪些AI应用会是:第一,比较成熟,第二,体量比较大。这里有几个我会重点关注,也是之前提到过的:自动驾驶;多模态;端侧AI;企业端使用AI受益/AI在实体经济的应用;Agentic Commerce;当然还有太空(因为SpaceX上市)。

      张小珺:能不能说一说美股几个大票的排序。当然,不做成任何投资建议。

      Freda:在上面说的找AI收入的思路之下,我整体在美股都想找的是AI应用,在Mega 7里面,强应用的有特斯拉(自动驾驶);苹果(端侧AI);Meta和谷歌(这两个都是多模态大户,同时谷歌还有企业端AI和手机端侧AI这些牌)。具体来看:

      特斯拉:特斯拉比较简单,只有一件事重要,就是能不能把安全员从车里彻底拿出来真正做成Robotaxi;如果再多加一条,就是对xAI(或者包括其他马斯克公司)的投资以什么形式,会造成多大的股权稀释。自动驾驶这边对于什么是“成了”,每个人的判断或者说risk tolerance会有不一样,有的人觉得一两个车子,在奥斯汀小区域能自己跑,就是“成了”;有的人觉得要100辆无安全员的车,在几个城市,跑上三个月不出事才是“成了”;我自己的偏好肯定是是在中间。

      这种经典的宏大叙事Disruptive Tech颠覆式科技,在“成了”的前18月是投资最舒服的时候,因为投资人都会线性外推,就像2019/2020年的电车,有个1%的渗透率投资人就敢外推到50%(当然结果是到今天美国渗透率也只有不到10%),这个范式会在每一次宏大叙事颠覆式科技投资的时候重复。

      苹果:苹果明年有所谓“双击”的可能性:3/4月份新的Siri出来,加上9月份折叠手机出来,软硬件两边都有牌打,是有可能出现今年谷歌这种反转的,就是大家可能突然开始说“其实苹果才是最稳、占位最好的”。

      这个股票也很神,目前完全没有AI股价都表现的很好。苹果文化挺不一样的,其他公司都是先把产品发出来,不断试错不断修改,而苹果是要等产品要绝对完美再发出来,非常用户导向产品导向。虽然听到的都是苹果AI不行的坏消息,但我自己很期待明年看看它Siri AI这张牌。明年应该也很快能看到Tim Cook卸任,最近经常在Palo Alto吃饭买咖啡都能撞见他,感觉很松弛。

      谷歌:当之无愧的共识龙头,模型SOTA,占位最好,这个很多人都讲了。但我就是想不明白广告收入的竞争格局,像之前讲的,广告收入在美国是一个存量逻辑,今天是垄断,那么新玩家进来、上量,这个钱只能从谷歌(或者Meta)的口袋里面出。

      OpenAI是一定要做广告的;另一个玩家是被大家遗忘十分能打的TikTok,TikTok在美国和Instagram 一样的用户数,时长比Instagram高,但收入只有Instagram的三分之一。我脑子里预演了各种可能性,但还是觉得明后年广告竞争会加剧。当然这也是好事,就是倒逼模型公司包括谷歌去寻找新的业务变现方式。如果有读者对广告收入这个点有不同的看法,非常欢迎找我沟通。

      Meta:Meta的Setup也挺清晰的,市场就是要看小扎重金烧出了什么,再根据这个结果去推测小扎之后还要投入多少,以及能收回多少AI收入。所以就看明年它新模型Avacado的表现能不能SOTA。但整体感觉明年很难,因为现金流肯定是跌的。

      有一个我总结的规律,Meta股票上市15年,每一年股价都是涨的,只有两年是跌的,那两年现金流是负增长。所以明年这个票不容易。我自己很想看Meta多模态这张牌,因为有unique data,多模态明年是大年。

      视频多模态这块我对明年的强判断是:短视频(包括短剧)吃长视频(包括电影电视)的时长。因为AI已经能制作很多短视频了,你的创作速度指数上升,成本指数下降,这里面是要出大的范式变化的。

      三朵云(微软 亚马逊 谷歌):

      三朵云明年增速都会很好,谷歌GCP季度都能看到50%以上增速。但我不喜欢云的竞争格局变化:今天一共三朵云,能做到35-40%的利润率。但现在竞争格局变了,Oracle作为一个新入场的玩家,拿项目时候只要求10%的利润率,很多neoclouds像coreweave层出不穷,还有模型公司几家都会下场顺手做云的业务(上面讲的OpenAI的云业务线)。

      所以一个市场一下子从3朵云到10朵云,虽然市场大了,但竞争格局恶化对利润肯定会有影响,你从40%利润率跌到20%,20%也是不错的利润率了,你的收入需要多一倍才能勉强做到利润持平,存量玩家太难了。

      云现在业务有两个基本问题:1、GPU租赁本质上同质化 - 长期各家都必须做自己的自研芯片;2、客户集中度过高 - Azure增量70%都是Openai。微软CEO Satya直接承认,他的利润不来自于出租GPU,而是来自于附加项目,包括数据库、存储、安全,这些。

      微软:微软的话我还会担心企业这边的竞争格局。谷歌全家桶发力,OpenAI企业端发力,那么微软的企业收入怎么办?我已经一年没打开过Office Word了。这里我同意Sam Altman的观点,就是未来的交互不应该是我打开Excel然后Excel有AI的功能给我用,而是我不需要打开Excel,可以直接和Agent就数字问题进行直接交互,入口会变的。

      英伟达和芯片股:一个最最重要的,就是上半年重点关注英伟达Blackwell训练出来的模型效果,这个能决定AI叙事的方向。另外明年关注很多自研芯片能不能deliver。

      谷歌TPU也要卖给外面的用户了也是一个竞争格局的变化。一个缺电的世界让GPU和自研芯片的价格差可能没那么重要,关注点都是Flops per watt上面,就是单位能源的产能效率。

      张小珺:除了这几个大票,明年整体投资机会怎么看?

      Freda:大方向,经济会分化的很明显。会是典型的对冲基金市场,有做多做空两边的机会。简单来说就是:做多AI受益,做空AI受损(包括外包服务、内容制作等行业)。

      我觉得超额收益会来自于AI应用公司,而AI应用很多其实在传统领域:有一件事很重要,就是三季度财报是第一次多家S&P 500公司给出具体的AI提效数据,并明确体现在财务表现上。这个是非常快的,之前上云那波,S&P 500的大公司大概花了五年时间,才开始广泛迁移到云端。

      另外你从市场历史看,大约每四年就会出现一次非科技板块跑赢科技板块的阶段,而明年刚好就到了第四年了。非科技通常在通胀(或再通胀)出现、估值均值回归,或市场进入风险偏好下降(risk-off)阶段表现更好。

      这里面举几个例子:

      比如大家都熟悉的沃尔玛:用了一年AI做供应链的需求预测,缺货率降低30%;每年卡车行驶里程都减少了3,000万英里,可以直接看到利润的改善。

      金融行业也很明显:比如银行,类似Nubank一家拉美的银行,AI能大幅提升贷款额度和审批率,处理时间缩短80%;同时违约率还能降低一半。已经有大银行用了AI直接提升了净利润15%。再有就是贷款公司叫Rocket,做房贷的,用了AI之后审批时间可以节约80%,实打实的受益。

      物流公司:CH Robinson全球最大的物流公司,今天一半的预定现在都是AI负责;过去两年生产率提升约35%。

      所以去挖掘这些本身传统行业龙头,然后AI能直接受益的标的我觉得很有意思,也很顺应市场的风格。

      张小珺:所以市场的热点会转到AI收入这里?

      Freda:对。

      还有太空股。如果明年散户热钱从今年的能源和量子计算转到太空股,我觉得挺正常的。

      机器人明年也会很多讨论,一个是白宫会有政策支持,一个是World Model世界模型开始训练了,这里会有很多变化。

      再有就是明年也是Event大年,历史上最长最多球队参与的世界杯会在美国举办,期待看我们Prediction Markets预测市场的表现。

      张小珺:今天市场最需要关注的是什么?有没有普通人也能关注的很好的抓手?

      Freda:有一个概念,今天的美股市场就是AI市场。今年上半年美国GDP增量中有90%都来自于AI投资。所以整个大盘都是AI撑着的。

      今天市场的风向标其实不再是英伟达,因为市场最关注的AI的收入而不是担心AI的投入。今天能追踪到的,规模最大最可量化的就是OpenAI的收入,量级上其次是Anthropic的收入。所以整个市场的锚定都在这一两个公司上面。这里面可以关注的包括用户的增速、收入的增长,以及政府会不会以某种形式参与他的基建项目,是最关键的。

      张小珺:那明年美国的宏观需不需要担心呢?

      Freda:消费目前整体健康;财政赤字下来很多;明年一季度还有刺激经济的举措:退税、小费免税;总体来看,美国底层民众明年的状况可能会比今年更好,消费能力也会好一些。

      最大的风险在失业率,和可能的再通胀。如果通胀没有大问题,联储新的主席肯定会降息,所以高息类型公司表现会还不错。

      但这里最重要的,就是明年美国的中期选举,这届政府的KPI非常重视股市的表现,其实知道这个就足够了。

      张小珺:前面聊了非常多干货。我想问一个好奇的问题。我看你Substack和Twitter有很多深度研究,也有很多人关注。大部分人其实不太分享,想问一下你是出于什么目的去做,我猜也很辛苦的事情?

      Freda:首先是我本来也要做这些研究。我可能比较有执念,想不清楚一件事情就会一直想。我自己是希望在我研究的领域,能理解得比较透彻吧。

      再有就是我非常厌恶信息孤岛,纯靠信息差赚钱我觉得没有格局也做不大;超额的收益靠的应该是格局和判断。我觉得今天这个世界在信息层面没有、也不应该有什么秘密,当然你拿到这个信息,能理解到什么程度是个人的造化。其实我的很多内容,太干了,我觉得可能就一两个人真的看完看懂了,但这样我觉得也很好。

      算是对社会的一种回馈吧。

      *免责声明:

      所有内容仅代表嘉宾观点,不做任何投资建议。

      收听播客


      推荐阅读


      阅读原文

      跳转微信打开

      ASR+LLM+RAG视频内容识别全方案

      2025年12月24日 18:10

      原创 顾守业、王志远 2025-12-24 18:10 广东

      ASR+LLM+RAG视频广告品类识别全方案:从架构到落地实操

      1 引言:技术背景与核心挑战

      在视频内容爆发式增长的当下,品牌广告植入场景日益复杂,如何快速精准判断推广品类,成为转转内容运营、竞品分析的核心需求。当前传统方案主要依赖关键词匹配与规则引擎,面临三大技术痛点:

      ASR 转写准确性不高,输入数据质量低下

      产品表述异构性

      模型泛化与迭代能力弱

      本文提出基于 “ASR+LLM+向量知识库” 的技术方案,通过分层处理、语义修复、历史常见词匹配、知识检索融合,解决上述痛点,实现推广品类的精准识别与自迭代优化。

      2 技术架构设计

      [视频语音输入] → [ASR转写层] → [文本预处理层] → [精准匹配层] → [模糊检索层] → [识别结果输出]
                                                      ↑                            ↓
                                               [映射case反馈]     ←          [人工审核反馈]

      2.1 各模块核心功能与技术选型

      2.1.1 ASR 转写层

      语音输入 → [降噪预处理(远场降噪 + 双声道分离)] → [语音转写]  → 原始文本输出

      ● 功能:将视频语音流转换为原始文本

      ● 技术选型:采用 ASR 引擎,配置 “远场降噪”“口语化清洗” 参数

      2.1.2 文本预处理层

      ASR 原始文本 → [语义纠错(错字 / 口音修正)] → [语序规整(如 “苹果手机”→“手机苹果”)] → [字段校验(过滤无核心信息文本)] → 预处理结构化文本
      • 功能:基于LLM对ASR文本的语义修复,修正上下文文逻辑错误(如“手机苹果 IPHONE15”→“手机苹果 iPhone 15”)

      2.1.3 精准匹配层

      ● 功能:实现标准化文本与已知产品信息的精准映射,分为两级匹配:

      ○一级匹配:基于 MySQL 存储的标准产品库(字段包括 “产品 ID、标准型号、品类、品牌”),采用 “全量字符串匹配 + 前缀匹配” 策略,命中则直接输出品类结果;

      预处理文本 → [全量字符串匹配(标准型号完全命中)] → 命中则输出品类

      ○ 二级匹配:基于 人工历史确认 库(存储 “错误表述 - 标准型号” 映射关系)进行匹配,ASR文本修复后仍有错别字问题(如“手机华硕11U”→“手机华硕 ZenFone 11 Ultra”)

      预处理文本 → [错误表述映射(如 “米 14U”→“小米 14 Ultra”)] → 命中则输出品类

      2.1.4 模糊检索层

      预处理模糊文本→ [文本向量化]  → [余弦相似度检索(Top-10 结果)]  → [LLM 判断映射匹配(匹配型号 + 品类)] → 识别结果输出

      ● 功能:解决未命中精准匹配的模糊表述识别,核心技术为知识库搭建:

      ○ 知识库构建:采用向量数据库存储产品信息,将 “标准型号” 转换为向量嵌入;

      ○ 检索逻辑:将预处理后的模糊表述(如 “某品牌 14 寸笔记本”“米 14U”)转换为向量后,采用 “余弦相似度排序 + Top-3 结果筛选”,结合 LLM 生成标准化匹配结果;

      2.1.5 常见映射case 闭环模块

      识别结果 → [人工审核(错误案例标记)] → [错误纠正] → [自动入库(常见case映射)] → [同步至预处理层(修复词典更新)] → 效果监控(错误复发率统计)

      ● 功能:实现错误案例的回收与复用,流程包括: 

      ○ 人工审核:通过轻量化平台完成 “错误表述 - 标准型号” 标注,支持批量审核与规则配置 

      ○ 自动入库:审核通过的案例自动同步至【常见case映射库】

      3 关键技术难点与解决方案

      3.1 单 LLM 节点拆分:降低负载与提升准确率

      问题:传统方案采用单 LLM 节点处理 “语义修复 + 产品提取 + 识别”,导致上下文过长模型注意力机制分配失衡、准确率下降

      解决方案:节点拆分,将原单节点拆分为 3 个独立模块,各模块专注单一任务:

      ● 文本修复模块:仅处理 ASR 文本的错漏修正

      ● 产品提取模块:基于LLM从修复后文本中提取疑似产品关键词 

      ● 结果生成模块:结合精准匹配与检索结果,生成标准化品类识别结果

      3.2 知识库检索优化:提升模糊表述召回率

      问题:模糊表述(如 “米 14U”“某品牌扫地机器人”)因信息不全,传统关键词检索召回率低下 解决方案:知识库增强+检索策略优化

      知识库增强:在标准产品信息基础上,补充“常见错误表述”“产品简称”“品牌别名” 等维度,如 “小米 14 Ultra” 补充 “米 14U”“小米 14 超” 等表述;

      检索策略优化:采用 “向量检索 + 关键词过滤” 混合策略,先通过向量检索获取 Top-10 相似结果,再基于关键词(如品牌、型号数字)筛选,示例:

      ● 模糊表述:“米 14U”

      ● 向量检索 Top-3:“小米 14 Ultra”“小米 13 Ultra”“红米 14 Pro” 

      ● 关键词过滤:基于 “米”(品牌别名)、“14”(型号数字)、“U”(Ultra 简称),最终匹配 “小米 14 Ultra”; 3.3 LLM 参数优化:精准调参提升识别稳定性

      3.3 LLM 参数优化:精准调参提升识别稳定性

      解释:LLM 的温度、重复惩罚等参数直接影响文本修复、产品提取、知识库检索结果生成的准确性,不同任务阶段需针对性调整,避免 “过度创作”“重复冗余” 等问题。以下为适配本场景的参数配置表:

      应用场景

      核心目标

      温度

      Top-K

      Top-P

      长度惩罚

      ASR 文本修复

      精准修正错漏,保留品类 / 品牌/ 型号等关键信息

      0.2

      20

      0.7

      1.1

      产品关键词提取

      无遗漏、无冗余提取核心产品信息

      0.1

      10

      0.6

      1.1

      参数配置原理:

      1. 温度(temperature):决定输出的 “脑洞大小”,值越高越放飞发散(易出新奇 / 混乱内容),值越低越严谨保守(输出越固定),这里主要是防止文本提取时输出过多冗余内容,如:"小米 14 Ultra" 输出为 "文本中提到的机型是 小米 14 Ultra ..."

      2. Top-K:限制模型选词的 “候选池大小”,只从概率最高的 K 个词里挑,K 越小选择越集中(输出越确定);

      3. Top-P(核采样):按概率 “打包选词”,只从累积概率达 P 的最小词集里选,比 Top-K 更灵活,避免遗漏低概率但合适的词;

      4. 长度惩罚(length_penalty):调节输出的 “啰嗦程度”,值越大越简洁(甚至简短),值越小越详尽(可能冗余)

      4 效果反馈

      从准确度的维度来看,关键词匹配>历史常见case映射匹配>知识库匹配,随着常见映射case库的不断沉淀,在精准匹配 -> 二级匹配层会兜住更多数据,也意味着准确率也会随着数据的沉淀逐渐上升。

      5 总结

      本文提出的 “ASR+LLM+知识库” 方案,通过分层处理解决了视频广告推广品类识别的核心痛点,实现了 “精准识别 + 自迭代优化”,这套方案理论可应用到各类AI识别类场景,本质思考点是如何保证输入数据质量 -> LLM基础参数调优 -> 常见映射case沉淀反馈。

      关于作者:

      顾守业:转转新媒体业务Java开发工程师,主要负责新媒业务后端开发、Ai应用开发

      王志远:转转大数据开发工程师,主要负责大数据相关基础平台建设

      跳转微信打开

      AI硬件的几个战略问题

      2025年12月13日 02:54

      原创 李志飞 2025-12-13 02:54 美国

      移动互联网时代,Google和Apple控制了个人移动设备入口,其它互联网巨头就算富可敌国也很焦虑,最典型的是Meta,小扎脑补靠VR元宇宙设备能掀桌子,所以不惜每年砸百亿美金做自己设备,只可惜事与愿违,宏大的自上而下的战略叙事与终端用户自下而上的用脚投票形成了鲜明的对比。当然,这并不妨碍巨头们的前赴后继(Amazon Echo曾经也是另一个设备入口的寄托。)
      现在AI越来越成为重要的人机交互方式,无论是巨头还是创业公司,都蠢蠢欲动,希望在这一场变革中抓到AI时代下一代交互设备的门票,眼见各种形态的AI设备(AI手机、AI PC、眼镜、耳机、吊坠、手表等等)将会雨后春笋般涌现,像极了2013年移动互联网开启后的各种智能硬件。
      肉身在AI变革中心硅谷,忍不住蛋疼的思考起几个战略问题:
      1. AI时代,互联网巨头是否应把个人硬件设备作为战略场景? 如果不作为,是否这次真的会被狼吃掉? 一向重软轻硬的硅谷这次会改变固有惯性而在硬件设备上大力投入吗? 就算投入,硅谷能补上做好硬件设备的功课吗?我没有答案,但听说硅谷的很多巨头从Apple狂挖硬件人才,很期待看到AI这个变量带来的新变化。
      2. 怎么定义AI时代个人移动设备的产品路径和节奏? 是从手机开始改?中国卷王字节选择了试水,但手机的已有玩家和用户心智已经根深蒂固,就算是互联网巨头要扭曲现实重力也是很难。还是抛弃旧时代直接上眼镜?目前看起来已经是“共识”,但眼镜最大的问题是要让用户带上眼镜,还要让用户带上了不愿意摘下来。这目前看起来挺难,技术限制的大山岿然不动。那是否在改良(手机)和革命(眼镜)之间还有别的路径和节奏?既能让用户慢慢接受,又能最终演化成可以跟手机掰手腕的新的AI硬件。我也不知道答案,但是会参与很多尝试。
      3. 过去,相对于互联网软件,硬件一直是很苦逼的生意。互联网做好了躺着就能赚钱、硬件就算做好了也是把把都Allin、年年都Allin,一代产品没做好可能就嗝屁了。 毛利也极低,天天跪在工厂也不一定能赚几块钱。AI时代会有变化吗?英伟达是一个很好的例子,通过强大的软件以及硬件自己的长周期构成了壁垒,自己可以定义节奏。那个人AI设备是否有这种可能呢? 估计大家都能想到的是未来得卷AI的极致全能用户体验,这能够把大家从过去卷参数、卷装修、卷噱头泥坑里拉出来,商业模式也就变了。
      4. 如果硅谷互联网公司都把AI硬件作为战略,是否又会像模型之争一样死命烧钱(比如说硬件免费、不求短期回报、只求熬死对手或者自己还在牌桌上)?巨头之外的中小型公司又能如何入场呢? 这个对巨头之外的玩家都是灵魂拷问,也许真要有那种商业之外的更高层面的精神考量,才会有飞蛾扑火、纵身一跃的勇气而毅然投入且战略坚持。
      总之,AI这个巨大变量又扰动了很多人平静的心境。但是,跟任何科技领域的战略问题一样,用户需求、产品定位、竞争形式、战略目标、产品迭代节奏和路径,刚开始总是一头雾水,处处充满着不确定。这种高度不确定和不可逻辑推演,估计让很多从业者早上兴奋、晚上焦虑。不过,这难道不是科技从业者最好的时代、让人有一种活着的感觉?
      AI革命尚未成功,人类同志还需努力,哈哈哈哈。

      跳转微信打开

      ITCP联盟第五届技术大会【AI应用专场】报名火热开启!

      2025年12月8日 14:28

      人才发展中心 2025-12-08 14:28 北京

      以下文章来源于:Qunar技术沙龙

      Qunar技术沙龙

      Qunar技术沙龙是去哪儿网工程师小伙伴以及业界小伙伴们的学习交流平台。我们会分享Qunar和业界最前沿的热门技术趋势和话题,为中高端技术同学提供一个自由的技术交流和学习分享平台。

      AI基建专场 收官!11月29日,去哪儿旅行、转转、核桃编程的四位技术专家为大家带来了各自领域内AI基建实

      AI基建专场

        收官!

      11月29日,去哪儿旅行、转转、核桃编程的四位技术专家为大家带来了各自领域内AI基建实践的干货经验分享,现场听众就主题进行热烈提问,内容的开放性、实用性、可借鉴性受到大量好评。

      大会联合dbaplus、麦思博进行了同步推流直播,累计吸引到2000+同学观看。

      AI应用专场介绍

            紧随【AI基建专场】的精彩分享,12月13日,去哪儿旅行携手转转、自如,重磅推出【AI应用专场】。本专场将聚焦AI技术与业务场景的深度融合,共同分享 AI 落地过程中的关键技术突破、场景创新实践与避坑经验 —— 从需求拆解到方案设计,从技术选型到效果验证,全方位拆解 AI 如何赋能业务提效、优化用户体验。

      我们将共同挖掘能够切实提升企业核心效益的 AI 应用路径,探讨技术与业务同频共振的底层逻辑,为更多企业提供可复用、可落地的 AI 实践范本,助力行业伙伴在智能化转型浪潮中精准破局、加速前行!

      【时间】12月13日13:45-17:50

      【地点】北京市维亚大厦8F大会议室

      报名直通车

      报名时间

      12月3日-12月12日

      报名方式

      扫描二维码,提前预定席位

      现场席位有限,先到先得呦

      精彩预告

      大会讲师及主题简介

      应阔浩

      自如技术副总经理

      负责自如整个技术团队,包括技术中台、数据中台、AI 架构搭建等。曾任阿里、京东架构师,华为云联创营 MVP 得主,《云原生落地》、《工程师文化 10 法则》作者、 CCF-TF 工程师文化 SIG 主席。

      自如企业级AI架构落地的思考与实践

      在 AI 浪潮加速渗透各行各业的背景下,如何在真实业务实战中高效落地 AI 成为企业共同面临的关键课题。本次分享将以自如的实践为核心,从场景选择出发,深入剖析自如在 AI 找房助手、AI 定价后训练等业务中的落地路径与实战经验,并介绍技术提效方向的创新探索。

      同时,分享将进一步探讨支撑多AI应用的通用能力建设,包括MCP市场、Agent管理平台与知识库管理平台,为企业构建可复用、可扩展的AI基础设施提供参考。

      分享大纲:

      1、意图识别的问题与挑战

      2、视觉垂直模型的微调

      3、知识库RAG的建设

      孟繁茂

      去哪儿机票辅营搜索负责人

      负责去哪儿辅营搜索和商品策略相关业务,长期深耕去哪儿机票 AI 业务实践,在TOC场景中,通过推进 AI 客服、导购、搜索等项目,实现了业务指标的显著提升,同时主导探索了多种Agent架构和模式。

      去哪儿机票AI导购和搜索

      本主题深入复盘了去哪儿网在机票 AI 导购与搜索场景中的整体落地实践。面对用户意图复杂、多Agent协作导致上下文窗口溢出以及技术难以转化为业务增量等痛点,我们将分享一套经过实战验证的系统化解决方案。

      本次分享将涵盖以下亮点:

      ①架构创新: 详解“专家+专员”的二层路由与协调合成模式(SubAgent+ReAct),实现灵活的意图处理。

      ②工程突破: 探讨如何通过上下文工程与L3逻辑记忆规划,解决有限Token下的信息丢失问题。

      ③业务闭环: 分享如何通过分场景圈人与显性化交互,在6+个核心场景实现AB测试正向收益。以及如何结合 AI 实现开发、运营闭环双双提效的。

      分享大纲:

      1、场景洞察:机票业务场景痛点与AI能力的匹配

      2、解决方案:基于多Agent协作的架构演进 

      3、工程难点:L3记忆规划与上下文工程

      4、业务落地:价值闭环与实战成效

      刘丹

      去哪儿酒店研发供应链

      QA负责人

      长期专注于全链路质量保障体系构建与优化,致力于通过自动化、智能化手段推动研测效率提升与风险防控。曾作为特邀讲师出席QCon、携程集团技术分享会、QTEST等多场行业会议。

      去哪儿 AI 变更巡检

      在数字化转型与业务快速迭代背景下,线上系统频繁变更,传统人工巡检面临效率低、风险高、经验难复用等痛点。为此,我们研发了“AI 变更巡检”,通过 AI 驱动运维自动化,构建从变更接入、智能分析到报告推送的端到端闭环,实现了巡检流程标准化,有效提升效率、降低风险。

      本次分享将基于真实业务场景,系统呈现这一解决方案的架构设计与实施路径,深入解析关键技术细节。听众将直观理解变更运维中“人工巡检效率低、覆盖不全、风险高”的核心痛点,并看到如何借助自动化与智能化手段,使巡检效率提升 90% 以上,为变更运维带来更高的可靠性与可控性。

      分享大纲:

      1、背景洞察:线上变更人工巡检痛点

      2、破局之道:AI 驱动的变更巡检平台设计

      3、实战细节:技术难点与创新实践

      4、成果与展望

      黄家兴

      转转前端架构负责人

      负责转转公司的前端架构与中台业务前端,拥有丰富的前端架构体系建设经验,对于前端性能优化有着丰富的经验。近年主要专注于 AI+前端,通过 AI 提升前端开发效能。

      AI-D2C:设计稿转代码在转转的实践

      设计稿生成代码(D2C)一直是前端工程师关注的方向,传统 D2C 长期受限于代码质量低、与项目难以结合等问题,导致生成代码的可用率始终难以突破。本次分享将聚焦这一核心痛点,介绍如何利用 AI 对项目代码、设计图的理解以及多模态能力,实现设计稿还原方案的全面升级,使代码可用率提升至 80% 以上,显著提高前端开发效率。

      围绕真实场景与落地经验,本次分享将带来从原理到实践的完整路径。听众不仅能够了解传统 D2C 的局限与的 AI 在其中的关键价值,还将掌握提升 D2C 代码可用率的方法技巧,获得适用于实际工程的可落地方案,为构建更高效的前端研发体系提供有益参考。

      分享大纲:

      1、传统 D2C 的问题与困境

      2、转转 D2C 落地的方案

      3、落地中遇到的问题与关键技术点

      4、落地效果的总结与长期迭代

      大会流程

      汇聚 AI 先锋,共探技术前沿;

      这场干货盛宴,等你赴约!

      跳转微信打开

      回收系统架构演进实战:与Cursor结对扫清系统混沌

      2025年11月28日 18:21

      原创 于天奇 2025-11-28 18:21 北京

      "最好的代码不是一次写对的,而是不断重构出来的。" —— Martin Fowler

      前言:技术债务带来的效能瓶颈

      我所在的团队负责一个多渠道回收业务系统,接入了十几个外部渠道。每个渠道都有自己独特的协议规范、业务流程和特殊要求。随着业务发展,系统逐渐的遇到了一系列问题:

      • 代码膨胀:单个策略类代码超过800行,包含大量if-else判断,可读性极差

      • 重复代码:不同渠道间有70%的代码逻辑相似,有很多都是逻辑类似,但参数名称、结构不一致,难以复用

      • 难以测试:业务逻辑与协议处理耦合,单元测试覆盖率不到30%,主要依赖人工测试

      • 维护困难:改一个渠道的逻辑,需要理解整个类的800行代码,调研成本极高

      技术债务不仅影响代码质量,更直接冲击了团队的研发效能。我们在日常开发中遭遇了三个核心瓶颈:

      ① 新人上手困难,培养周期长

      新同学加入团队后,需要2-3个月才能理解现有代码逻辑:

      1. 单个策略类800+行,找一个业务逻辑点要翻半天

      2. 协议处理、业务逻辑、数据操作混在一起,理不清头绪

      3. 没有清晰的架构文档,只能靠"师傅带徒弟"口口相传

      ② 需求承接效率低,开发成本高

      每次接入新渠道,都是一次"复制粘贴+魔改"的过程:

      1. 复制一个相似渠道的策略类

      2. 对照需求文档,逐个方法修改参数、逻辑

      3. 开发写入个性化逻辑

      ③ 测试回归成本高,质量保障困难

      代码耦合导致"牵一发而动全身":

      1. 修改一个渠道的逻辑,可能影响其他渠道,测试范围难以评估

      2. 单元测试覆盖率低(30%),主要靠人工回归测试

      3. 每次发版前,测试同学要回归受影响渠道的核心流程

      此时我的脑子里出现了一个想法:为了早点下班~ 必须重构了!

      一、 重构方案设计

      针对上述的三大痛点,我们很快制定了初步的重构规划:

      痛点

      重构目标

      预期效果

      新人上手慢

      架构清晰化、职责单一化

      培养周期从3周降到1周,调研成本降低70%

      需求效率低

      通用逻辑可复用、新增渠道可配置化

      新渠道接入成本降低70%

      测试成本高

      解耦分层、单元测试覆盖率≥80%

      回归测试时间减半,Code Review时间降低80%

      三大技术策略:

      1. 分层解耦:将协议层、业务层、数据层清晰分离,让新人快速定位代码

      2. 责任链模式:每个Handler职责单一,可独立开发、测试、复用

      3. 适配器模式:新渠道只需实现Adapter,组装Handler即可

      目标有了,问题也来了:这是一个对接10余个活跃渠道的业务系统,系统复杂,且每日有数百万请求打进系统,如何在不影响线上业务的前提下进行重构?

      渐进式落地,而非一步到位

      出于对生产环境的敬畏之心,我们不敢"一刀切"地推倒重来。经过评估,我们选择了渐进式重构策略: 整体改进是一个持续的过程,目标清晰但落地需要时间。我们会逐步验证架构可行性,再慢慢进行迁移,确保每一步都是稳定可控的。

      阶段规划:

      阶段

      时间

      目标

      第一阶段

      1-2周

      架构验证:完成1个渠道的规范化改造

      第二阶段

      1-2个月

      核心迁移:完成50%渠道的迁移

      第三阶段

      3-6个月

      全量迁移:剩余渠道全部迁移

      第四阶段

      持续优化

      补充协议Handler、完善监控

      关键原则

      1. 新老并行:新架构与旧代码并存,通过配置开关灰度切换

      2. 小步验证:每完成一个渠道,立即上线验证,确保稳定后再推进下一个

      3. 数据对比:新老架构同时执行,对比结果一致性,发现问题及时回滚

      二、 基于PDCA思想驱动的人机协作模式

      PDCA(Plan-Do-Check-Act)是戴明环的核心思想,特别适合用于:

      • 复杂系统的渐进式改进:将大目标拆解为小任务

      • 风险可控的迭代验证:每个小步骤都可验证

      • 知识沉淀与持续优化:从单次需求到全局改进

      在与AI协作时,PDCA的价值更加明显:

      PDCA阶段

      人的职责

      AI的职责

      协作模式

      Plan

      架构设计、任务拆解、确定路径

      提供设计建议、分析技术方案

      人主导

      ,AI辅助

      Do

      编写核心逻辑、Review代码

      生成模板代码、实现细节

      结对编程
      Check

      验证业务逻辑、集成测试

      生成单元测试、代码检查

      人验证

      ,AI执行

      Act

      总结经验、沉淀规则

      整理文档、提取模式

      共同迭代

      三、 实战案例:渠道统一Handler架构重构

      3.1 Plan阶段:架构设计与任务拆解

      3.1.1 原有架构的痛点分析

      重构前,我们的代码结构是这样的:

      @Service("kaChannelBusinessStrategy")
      publicclassKaChannelBusinessStrategyextendsBaseChannelBusinessStrategy{
      public EnquiryPriceResult getEnquiryPrice(...){
      // 1. 参数校验(50行)
      // 2. 解密验签(30行)
      // 3. 获取渠道配置(40行)
      // 4. 调用报价服务(60行)
      // 5. 计算佣金(50行)
      // 6. 组装响应(30行)
      // 7. 加密签名(20行)
      // ... 总计500+行
          }
      public CreateOrderResult createRecycleOrder(...){
      // 同样的模式,又是几百行...
          }
      }

      问题总结:

      1. 职责不清:一个类既处理协议,又处理业务,还管数据

      2. 代码重复:AChannelBusinessStrategy、BChannelBusinessStrategy里有大量相似代码

      3. 难以扩展:新增一个渠道,需要复制粘贴800行代码

      4. 测试困难:依赖过多,mock成本高

      3.1.2 新架构设计思路

      本次我们的设计,是一个基于责任链模式的新架构:

      核心设计点:

      1. 分层解耦

        • Facade层:统一入口,参数校验、异常处理

        • Adapter层:渠道适配,协议转换

        • Handler层:责任链模式,每个Handler职责单一

      2. 可复用的Handler

        DuplicationCheckHandler     → 幂等性检查(通用)
        ChannelConfigHandler        → 渠道配置获取(通用)
        ReportMappingHandler        → 报告映射(通用)
        OrderParamAssemblyHandler   → 参数组装(可定制)
        OrderCreationHandler        → 订单创建(通用)
      3. 灵活的编排机制

        // A渠道:标准流程
        chain.addHandler(duplicationCheck)
             .addHandler(channelConfig)
             .addHandler(reportMapping)
             .addHandler(orderParamAssembly)
             .addHandler(orderCreation);
        // KA渠道:额外增加权限校验
        chain.addHandler(duplicationCheck)
             .addHandler(kaAuthCheck)  // KA特有
             .addHandler(channelConfig)
             .addHandler(reportMapping)
             .addHandler(orderParamAssembly)
             .addHandler(orderCreation);

      3.1.3 任务拆解

      有了架构设计后,我将重构任务拆解为8个小任务:

      任务ID

      任务描述

      依赖关系

      T1

      定义责任链上下文数据结构

      -

      T2

      定义IChannelAdapter接口

      T1

      T3

      定义BusinessHandler接口

      T1

      T4

      实现5个通用Handler

      T3

      T5

      实现统一对外接口

      T2

      T6

      实现ChannelAdapter

      T2, T4

      T7

      编写单元测试

      T4-T6

      T8

      集成测试与灰度发布

      T7

      关键点:每个任务都是独立可验证的,这也为后续与Cursor协作奠定了基础。

      3.2 Do阶段:与Cursor协同编码

      3.2.1 建立清晰的上下文

      在开始编码前,我做了三件事:

      1、 用自然语言写了一个详细的架构说明文档

      AI更擅长理解结构化信息,为了提升Cursor的代码生成质量,我首先为Cursor量身定制了一份"产品需求文档"(PRD)。有了这份文档,Cursor代码生成的有效率大大提升,大部分时间,我只需要微调业务细节,就可以直接使用它生成的代码。

      包含:

      • 架构全景图

      • 核心设计模式(责任链、适配器、模板方法、策略)

      • 数据流转过程(Context如何在Handler间传递)

      • 扩展点说明(如何新增渠道、Handler、Action)

      2、 定义好接口和数据结构

      /**
       * 渠道上下文
       */
      @Data
      @Builder
      publicclassChannelContext{
      private String requestId;        // 请求ID
      private String channelCode;      // 渠道编码
      private String action;           // 业务动作
      private Object bizData;          // 业务数据
      private Map<String, Object> handlerResults;  // Handler结果
      // ...
      }

      3、 编写第一个Handler作为示例

      我手写了一个DuplicationCheckHandler,作为Cursor的参考模板:

      @Component
      publicclassDuplicationCheckBusinessHandler
      extendsAbstractTypedBusinessHandler<CreateOrderBizData, Boolean> 
      {
      @Override
      protected Boolean handleTyped(CreateOrderBizData input, ChannelContext context){
      // 1. 根据outOrderNo查询订单
              RecycleOrderVO existOrder = orderService.queryByOutOrderNo(input.getOutOrderNo());
      // 2. 如果订单已存在,返回true(跳过后续Handler)
      if (existOrder != null) {
                  log.info("订单已存在,跳过创建流程, outOrderNo={}", input.getOutOrderNo());
                  context.putHandlerResult("ORDER_EXISTS", existOrder);
      returntrue;
              }
      returnfalse;
          }
      @Override
      publicintgetOrder(){
      return100;  // 最先执行
          }
      }

      完成了上述步骤后,我开始与Cursor结对编程。

      参考DuplicationCheckBusinessHandler,帮我实现ChannelConfigBusinessHandler,用于获取渠道配置。需要满足:

      1. 从ExternalChannelConfigService获取配置

      2. 从PricedSourceService获取报价源配置

      3. 将结果保存到context的handlerResults中

      4. order设置为200

      Cursor生成的代码:

      @Component
      publicclassChannelConfigBusinessHandler
      extendsAbstractTypedBusinessHandler<CreateOrderBizData, ExternalChannelConfig> 
      {
      @Resource
      private ExternalChannelConfigService configService;
      @Resource
      private PricedSourceService pricedSourceService;
      @Override
      protected ExternalChannelConfig handleTyped(CreateOrderBizData input, ChannelContext context){
              String channelCode = context.getChannelCode();
      // 1. 获取渠道配置
              ExternalChannelConfig channelConfig = configService.getByChannelCode(channelCode);
      if (channelConfig == null) {
      thrownew ChannelException("CHANNEL_NOT_FOUND", "渠道配置不存在: " + channelCode);
              }
      // 2. 获取报价源配置
              PricedSourceBO pricedSource = pricedSourceService.getPricedSource(
                  channelConfig.getOrgId(), input.getCategoryId());
      // 3. 保存到上下文
              context.putHandlerResult("CHANNEL_CONFIG", channelConfig);
              context.putHandlerResult("PRICED_SOURCE", pricedSource);
              log.info("获取渠道配置成功, channelCode={}, orgId={}", 
                  channelCode, channelConfig.getOrgId());
      return channelConfig;
          }
      @Override
      publicintgetOrder(){
      return200;
          }
      }

      可以看到,代码结构完全符合预期,异常处理到位,日志也很规范。

      3.2.3 快速迭代的秘诀

      在Do阶段,我总结出了几个与Cursor高效协作的技巧:

      技巧1:更加明确的提示

      不好的提示词:

      帮我实现所有的Handler

      好的提示词:

      先实现DuplicationCheckHandler,用于检查订单是否已存在

      技巧2:提供参考代码

      参考DuplicationCheckHandler的实现方式,生成ChannelConfigHandler

      技巧3:明确约束条件

      要求:
      1. 继承AbstractTypedBusinessHandler
      2. order设置为200
      3. 必须包含日志
      4. 异常使用ChannelException

      技巧4:及时Check

      每生成一个Handler,我都会:

      • 检查是否符合接口规范

      • 运行单元测试

      • 代码Review(看命名、异常处理、日志)

      3.3 Check阶段:代码审查与验证

      3.3.1 多层次的检查机制

      在Check阶段,我建立了三层验证机制:

      第一层:IDE即时检查

      • Cursor的智能提示会提醒语法错误

      • SonarLint插件实时检查代码质量

      第二层:单元测试

      我让Cursor帮我生成了单元测试:

      为DuplicationCheckHandler生成单元测试,需要覆盖:

      1. 订单不存在的场景

      2. 订单已存在的场景

      3. 查询异常的场景

      Cursor生成的测试:

      @RunWith(SpringRunner.class)
      @ContextConfiguration("classpath:scf-spring-test.xml")
      publicclassDuplicationCheckBusinessHandlerTest
      {
      @Resource
      private DuplicationCheckBusinessHandler handler;
      @Resource
      private IRecycleOrderService orderService;
      @Test
      publicvoidtestHandle_OrderNotExists(){
      // 构建测试数据
              CreateOrderBizData input = CreateOrderBizData.builder()
                      .outOrderNo("OUT_ORDER_001")
                      .channelCode("TEST_CHANNEL")
                      .productId(123456L)
                      .build();
              ChannelContext context = ChannelContext.builder()
                      .requestId("REQ_001")
                      .channelCode("TEST_CHANNEL")
                      .action("CREATE_ORDER")
                      .bizData(input)
                      .build();
      // 执行
              Boolean result = handler.handleTyped(input, context);
      // 验证
              System.out.println("订单不存在场景测试结果: " + result);
              System.out.println("Context中的ORDER_EXISTS: " + context.getHandlerResult("ORDER_EXISTS"));
          }
      @Test
      publicvoidtestHandle_OrderExists(){
      // 构建测试数据 - 订单已存在的情况
              CreateOrderBizData input = CreateOrderBizData.builder()
                      .outOrderNo("OUT_ORDER_002")  // 这个订单号在数据库中已存在
                      .channelCode("TEST_CHANNEL")
                      .productId(123456L)
                      .build();
              ChannelContext context = ChannelContext.builder()
                      .requestId("REQ_002")
                      .channelCode("TEST_CHANNEL")
                      .action("CREATE_ORDER")
                      .bizData(input)
                      .build();
      // 执行
              Boolean result = handler.handleTyped(input, context);
      // 验证
              RecycleOrderVO existOrder = (RecycleOrderVO) context.getHandlerResult("ORDER_EXISTS");
              System.out.println("订单已存在场景测试结果: " + result);
              System.out.println("已存在订单信息: " + JsonUtils.toJsonWithoutNull(existOrder));
          }
      }

      第三层:集成测试

      我在测试环境跑了完整的下单流程,验证Handler链的协作:

      @RunWith(SpringRunner.class)
      @ContextConfiguration("classpath:scf-spring-test.xml")
      publicclassChannelUnifiedFacadeTest
      {
      @Resource
      private IChannelUnifiedFacade channelUnifiedFacade;
      @Resource
      private IRecycleOrderService orderService;
      @Test
      publicvoidtestCreateOrder_FullProcess(){
      // 构建完整的渠道请求
              CreateOrderBizData bizData = CreateOrderBizData.builder()
                      .outOrderNo("TEST_OUT_ORDER_" + System.currentTimeMillis())
                      .channelCode("KA")
                      .productId(123456L)
                      .categoryId(1L)
                      .skuId(1001L)
                      .userId(888888L)
                      .picList(Collections.singletonList(
                          Pic.builder().picUrl("https://test.com/pic1.jpg").build()
                      ))
                      .build();
              ChannelRequest<CreateOrderBizData> request = ChannelRequest.<CreateOrderBizData>builder()
                      .requestId("REQ_" + System.currentTimeMillis())
                      .channelCode("KA")
                      .action("CREATE_ORDER")
                      .bizData(bizData)
                      .build();
      // 执行完整流程
              ChannelResponse<Long> response = channelUnifiedFacade.process(request);
      // 打印结果
              System.out.println("=== 集成测试结果 ===");
              System.out.println("请求成功: " + response.isSuccess());
              System.out.println("订单ID: " + response.getData());
              System.out.println("响应码: " + response.getCode());
              System.out.println("响应信息: " + response.getMessage());
      // 验证订单确实创建成功
      if (response.getData() != null) {
                  RecycleOrderVO order = orderService.getById(response.getData());
                  System.out.println("订单详情: " + JsonUtils.toJsonWithoutNull(order));
                  System.out.println("订单状态: " + order.getOrderState());
                  System.out.println("外部订单号: " + order.getOutOrderNo());
              }
          }
      }

      3.4 Act:规则沉淀与持续优化

      3.4.1 沉淀提示词模板

      经过多次迭代,我总结出了一套可复用的提示词模板:

      模板1:生成Handler

      角色:你是一个Java后端工程师,熟悉责任链模式
      任务:实现一个BusinessHandler,用于[具体功能]
      要求:
      1. 继承AbstractTypedBusinessHandler<P, R>
      2. 输入类型是[P],输出类型是[R]
      3. order值设置为[ORDER_VALUE]
      4. 从context中获取[DEPENDENCY]
      5. 将结果保存到context.putHandlerResult("[RESULT_KEY]", result)
      6. 异常使用ChannelException,格式:new ChannelException(errorCode, message)
      7. 添加日志:处理开始、处理成功、处理失败
      参考代码:[粘贴参考Handler代码]

      模板2:生成Adapter

      角色:你是一个Java架构师,熟悉适配器模式和责任链模式
      任务:实现[渠道名]ChannelAdapter
      要求:
      1. 继承AbstractIChannelAdapter
      2. 注入以下Handler:[列出Handler列表]
      3. 根据action构建不同的Handler链:
         - CREATE_ORDER: [Handler顺序]
         - UPDATE_ORDER: [Handler顺序]
      4. 添加@Component注解,value为渠道code,用于自动注入
      5. 添加完善的日志
      参考代码:[粘贴AChannelAdapter代码]

      3.4.2 持续优化

      在重构过程中,我发现了一个可以提取的通用模式:参数校验。

      最初,每个Handler都自己做参数校验:

      // DuplicationCheckHandler
      if (StringUtils.isBlank(input.getOutOrderNo())) {
      thrownew ChannelException("PARAM_ERROR", "外部订单号不能为空");
      }
      // ChannelConfigHandler
      if (StringUtils.isBlank(input.getChannelCode())) {
      thrownew ChannelException("PARAM_ERROR", "渠道编码不能为空");
      }

      在Act阶段,我提取了一个通用的ParamValidationHandler:

      @Component
      publicclassParamValidationBusinessHandler
      extendsAbstractTypedBusinessHandler<Object, Void> 
      {
      @Override
      protected Void handleTyped(Object input, ChannelContext context){
      //.....
      returnnull;
          }
      @Override
      publicintgetOrder(){
      return50; 
          }
      }

      现在,只需要在Handler链中加入这个Handler,就能统一处理参数校验了。

      最后的话

      这篇文章分享的是我们正在进行的探索,而非一个 "完美的成功案例" 。

      我们的重构之旅才走了一小步,还有很多坑要踩,很多问题要解决。但我们选择边做边分享,因为:

      真实的经验比完美的故事更有价值。

      愿你在AI时代,既能拥抱新工具提升效率,又能保持对代码质量的追求、对架构美感的坚持。

      关于作者,于天奇,侠客汇Java开发工程师。 想了解更多转转公司的业务实践,欢迎点击关注下方公众号

      想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

      跳转微信打开

      独家对话DeepMind谭捷:机器人、世界模型与Google

      2025年11月28日 17:34

      张小珺 2025-11-28 17:34 上海

      访谈:张小珺 x 谭捷

      今天的嘉宾是Google DeepMind机器人团队的高级研究科学家兼技术负责人谭捷,他的研究方向是将基础模型和深度强化学习方法应用于机器人领域。

      中美在机器人领域一直存在两种叙事:市场普遍认为,中国在硬件上发展更快,美国在机器人大脑设计上更领先。

      本期节目中,谭捷将带我们一窥硅谷视角,尤其是Google DeepMind视角下的机器人前沿叙事。

      前不久,他们刚发布了新工作 “Gemini Robotics 1.5 brings AI agents into the physical world”(Gemini Robotics 1.5将AI Agents带入物理世界),我们也聊了聊他们的最新发现。

      01 

      机器人是在真实世界里做图形学,图形学是在simulation里做机器人


      张小珺:谭老师,请先给听众朋友们打个招呼,并做个简单的自我介绍。

      谭捷:大家好,非常高兴能来到这里。我叫谭捷,现在是Google DeepMind的一名研究科学家。我加入这个团队快十年了。

      我本科毕业于上海交大,因为小时候特别喜欢打游戏,所以读博时选择了计算机图形学方向。后来我发现图形学和机器人有很多相似之处,可以认为,机器人是在真实世界里做图形学,而图形学是在simulation里做机器人。

      为了让自己的工作能产生看得见、摸得着的影响力,我后来就转到了机器人领域。我加入时团队还叫Google Brain,后来与DeepMind合并,就变成了Google DeepMind Robotics team。

      张小珺:这是你的第一个工作吗?

      谭捷:其实不是。我在读博之前,曾在上海短暂创过业,做过一个startup。那个startup有点像现在的酷家乐——我不知道它还在不在,很久没关心这个领域了。

      但当时我觉得时机还不是很成熟,后来我便出国读书。读完书后,我又去了一家做相机的startup,叫Lytro,做光场相机,不知道大家有没有听说过。它在硅谷,特点是可以先拍照后对焦。原理并非通过计算,而是采集一个完整的光场,这是个非常复杂的物理原理,能让相机实现一些特别的功能。

      在那儿做了一年半左右,我后来就加入了Google。

      张小珺:你的研究方向是怎么发生变化的?

      谭捷:我博士期间是做图形学的,当时也在Pixar(皮克斯)实习。我一直做的方向叫动画,动画其实有很多种做法。在Pixar,他们有很多自己的坚持,比如从来不用动作捕捉系统,觉得所有的东西都应该是手调的。但如果做动画研究,其实并非关于手调,而是通过数学和物理的方法,看能否在一个仿真环境里,使一个人形或动物形态自然地行走。

      我当时做的方向叫Physics-based character animation(基于物理的角色动画)。做着做着,我发觉这里面有很多AI的成分,我越来越多地用AI来解决这类问题。

      大概在我博士第三、第四年的时候,我觉得这个东西跟机器人太相似了,而且我不想自己的工作只为了娱乐、游戏和影视。于是我跟我导师说,我想尝试机器人,要用图形学的方法来变革整个机器人行业。这听上去非常宏大。(笑)

      我的导师非常开明,她叫Karen Liu,我当时在Georgia Tech读博士,她后来去了Stanford。她说:“那就做呗。”

      我最后一个project就是完全用图形学的方法,在一个很小的人形机器人上让它能够倒立,或者在不同姿势间切换,比如从坐姿变成站姿,做了一些很简单的控制。

      那之后我想在美国找一份教职,是2015年。当时我也收到了很多好学校的interview,比如Cornell。但当我说要用图形学方法变革robotics时,大家普遍持怀疑态度。因为我刚涉足这个领域,绝大多数背景还是在图形学上。我并没有拿到我想要的教职,于是就去了硅谷工作——先去了一家startup,后来去了Google。

      张小珺:当时robotics处于什么阶段?你为什么认为图形学是变革robotics的一个好方法?之前来我们节目的嘉宾王鹤(银河通用创始人、CTO)也说过,robotics这一拨人很多都是从图形学、计算机视觉领域冒出来的。

      谭捷:对,我举几个例子。我是图形学领域的,大家可能知道一位非常著名的Berkeley(伯克利)教授叫Sergey Levine,他以前也是做图形学的。我们以前经常在SIGGRAPH做presentation(演讲),可能是前脚后脚,我先做然后他再做,但我们都不约而同地转了robotics——这说明这两个领域其实非常相关。

      当时我觉得robotics还处在一个非常rule-based的阶段,大家用传统的控制方法,比如一种叫MPC(Model Predictive Control)的方法,就是建立物理模型,通过一些最优化算法来计算运动轨迹。

      这里面有很多难点。我经常跟别人说,以前做robotics,你肯定需要一个PhD,否则那些数学都搞不明白。但图形学里其实有很多AI算法,这很简单,因为一切都在电脑里,在simulation里面,所以你可以获得机器人需要的所有信息,比如关节、力等等。于是你就可以用AI的手段来解决各种控制问题。

      我那时候觉得simulation和真实世界差不多,如果一个方法在simulation里能work,那么它在真实世界也应该能work。

      而在那个时候,机器人还很“傻”。当时有一个DARPA Robotics Challenge,很多人形机器人去做一些比较简单的事情,比如过个坡、开个车、拧个阀门什么的,但机器人们经常摔倒,看上去很傻。但在图形学里,也就是在simulation里,机器人已经能翻跟头、能跑步,什么都能做了。

      所以我觉得两边的差距很明显。如果我们能把simulation的东西放到真实世界里,那么机器人会有非常长足的进步。这就是我希望用图形学技术变革机器人的原因。

      张小珺:你用了多长时间发现这个方向是正确的?

      谭捷:这个问题其实还挺难回答的。现在看肯定是正确的。

      张小珺:是在Google里发现的吗?

      谭捷:对,我在Google的第一篇论文,叫《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》(《从仿真到现实:四足机器人敏捷运动学习》),sim-to-real就是从仿真到真实世界。

      我用的方法叫Deep Reinforcement Learning(深度强化学习),这个技术哪怕对于graphics领域也是比较新的,在机器人上更是根本没人用。第一篇paper出来后获得了很多好评。

      这也是我觉得过去十年里第一个paradigm shift(范式转移)的发生:用强化学习解决走路和步态的问题。

      我给你描述一下,大概十年前,大家觉得最好的机器人是Boston Dynamics(波士顿动力)的,他们的狗叫Spot,人形机器人叫Atlas,能跑酷,非常厉害,但整个学术界都不知道他们是怎么做的。

      最近大家才知道他们是用MPC做到极致。但大概五年后,你会发现大家都能跑跑跳跳,打拳跳舞了。比如今年你看到宇树科技的机器人能打拳击、能跳舞,最近各种上墙、翻跟头都行。这其实就是因为大家采用了同一个技术:强化学习和sim-to-real。

      所以我个人觉得,我开始做的那篇论文,开创了整个强化学习和sim-to-real在四足机器人上的应用。现在回头来看,那篇论文或者说计算机图形学,的确彻彻底底地改变了机器人最近五到十年的发展。

      张小珺:你当时用强化学习,是从大语言模型里借鉴的方法吗?

      谭捷:不是,大语言模型的兴起是过去五年的事,而强化学习是七八年前的事了,那是2018年。当时还没有大语言模型。

      那时我们是从哪里借鉴的方法呢?当时有个特别火的事件是AlphaGo,就是DeepMind用深度强化学习下围棋。当时有很多方法,其中一个方法叫PPO,就是我利用的一个技术。它和强化学习的兴起在时间上还有一段差距。

      但我认为,过去十年里第一个paradigm shift肯定是强化学习,第二个paradigm shift才是大语言模型。

      张小珺:国内喜欢把这个行业称作“具身智能”,硅谷习惯称呼为“具身智能”还是叫“机器人”?

      谭捷:“具身智能”好像是国内说得比较多,其实都可以。

      是这样,以前我们说embodied AI(具身智能)的时候,它不一定代表有硬件本体,你在simulation里做机器人也叫embodied AI。

      但对我们来说,我们不光在simulation里做robotics,我们也要在真实世界里做,所以我更倾向于叫它“机器人”。

      张小珺:大语言模型出现以后,对机器人领域带来的影响是什么?

      谭捷:在大语言模型出来之前,很多机器人还停留在底层的控制,比如怎么好好走路,或者做一些路径规划,使得手能在不碰撞的情况下抓取一个瓶子。但机器人没有common sense(常识),也不懂语言。所以你要让机器人做一件事,你得编程,它才能执行。

      有了大语言模型以后,第一,它理解人类语言了。你可以直接用natural language(自然语言)去跟它对话,让它做事,这是一个很重要的突破,意味着任何人都可以指挥机器人。

      第二,就是common sense。以前大家觉得机器人难,不仅是控制问题,还因为它没有常识。比如你让它“帮我做杯咖啡”,这样一个简单指令,它完全不知道什么意思,也不知道具体步骤。但如果你现在问Gemini或ChatGPT:“我要做一杯咖啡有哪些步骤?”它会一步步列出来。如果你说需要更细化的步骤,它能给你一个非常详细的plan。

      所以,当你用大语言模型来控制机器人的时候,这个机器人就有了common sense,它能理解做一件事需要哪些具体步骤。而如果每个步骤都足够简单,它就能一步步完成。

      可以说,以前的机器人没有大脑;有了大语言模型以后,你可以认为它现在有了大脑和认知,使得它可以做很多复杂的事情。

      张小珺:强化学习相当于什么?

      谭捷:这个有点像大脑和小脑。

      大脑负责思维、推理和做计划,所以大语言模型更像大脑。而小脑负责执行,你要走路、控制平衡、控制双手做manipulation(操控),这部分是强化学习非常擅长的。可能大脑、小脑都需要。

      02

      机器人基座大模型到底是不是一个非常独立的学科?So far, not yet


      张小珺:前几周我在杭州主持云栖大会的具身智能专场,有个观点我印象很深:他们提出,具身智能基座模型不应该被视作大语言模型的一个延伸或分支,而是一个独立的方向。

      他们觉得为机器人训练的是一个独立的机器人基座模型、属于机器人的大脑。他们非常强烈地强调学科的独立性。你怎么看待这个观点?

      谭捷:我觉得没有对错可言,大家会有自己不同的见解。

      从我的角度来说,我不得不承认,最近几年的机器人智能发展主要还是依赖于多模态大模型。它不仅仅是语言模型,它是一个多模态模型。

      但多模态模型缺什么呢?它缺少robot action的输出。

      多模态模型可以输入图像、语言,输出可能是文本,但它不能输出对机器人的控制。于是我们经常做的事情,是拿大语言模型作为一个基底模型,加上一些机器人动作的数据,让它能够输出机器人的动作,控制机器人。

      所以从我的角度来说,我做的很多工作还是在补全现在的多模态模型,使它可以输出机器人动作,控制机器人。

      它到底是不是一个非常独立的学科?So far, not yet。

      我觉得未来,当你碰到各种瓶颈,需要不一样的data format(数据格式),或者需要一个更完善的world model(世界模型)时,它可能会变成一个更加独立的学科。但现在,我觉得绝大多数在做VLA(Vision-Language-Action)、在做机器人大模型的,其实还是在大语言模型或多模态语言模型上做一些fine-tuning(微调)。

      张小珺:所以它还是一个延伸。

      谭捷:对,至今为止,我觉得它其实并没有质的改变。更多的是采集更多的机器人数据,然后扔到大语言模型里面去做不同阶段的fine-tuning。

      张小珺:今天你觉得robotics发展到哪个阶段了?

      谭捷:我觉得它的progress非常快,最近一年的进展非常impressed或者surprised。

      但要解决具身智能或让机器人有真正的应用,我觉得那个gap还是很大的。的确,现在你可以让机器人模型把一件事情做得非常好。你看到很多网上的video,包括你可能在CoRL上看到Dyna折衣服的那个demo,它在做一个比较窄的领域的操作时,可以做得非常好。

      张小珺:这是因为强化学习吗?

      谭捷:大家号称是强化学习,但我觉得肯定不止强化学习。我相信Dyna也是VLA加上强化学习的方案,但它依靠了多少VLA、依靠了多少强化学习?这可能只有问他们才知道了。

      所以如果你是做一个任务,或者一系列非常接近的任务,现在可以做得挺好了。但如果你要真正的generalization,也就是泛化能力,希望有一个人形机器人能做好多事情,现在还差得很远。

      比如像我们最新的Gimini Robotics这样的模型,它非常强调泛化能力,可以做很多事情。你可以用自然语言说“打开这个水瓶盖子”或者“把这个包整理好”,但是它的成功率还不是很高。

      对于非常简单的pick-and-place(抓取并放置),比如把东西抓起来放到某个地方,也许成功率有90%多甚至100%。但对于很多需要精细操作的东西,比如把这个拉链拉上——这个就非常难,你要抓到对的地方,然后往一个特定的方向拉——像这种任务成功率可能就是30-40%。30-40%的成功率在现实生活中是不可用的。

      所以我觉得,虽然我们的进展非常快,但gap也还非常大,还需要好几年的时间,才能让机器人足够完善,进入各行各业来帮助我们。

      张小珺:如果用一个GPT那样的标尺来定义,大概到了哪个阶段?

      谭捷:这个其实很难做对应。我是这么想的:现在大家看到了足够的sign of life(生命迹象),表明我们scale up现在的training recipe(训练配方)是会work的。但可能还需要两三年时间,才能达到一个GPT-3、GPT-4那样的水平,让你真正觉得“哇,这东西真的会有用”。

      然后我觉得可能还需要额外的5到10年时间,才能让它真正落地。

      张小珺:落地的时间更长。

      谭捷:一般做research是这样,你有一个想法,从想法到一个prototype(原型),这个过程很快,因为做完prototype就可以写一篇论文,周期可能是6个月到一年。

      但从你写完论文,到你有胆量拿出来做live demo(现场演示),而不仅仅是录一段视频,可能需要一两年时间。因为你在写论文时有很多assumption(假设),所以它可能只在一个非常小的区间内工作。

      然后从live demo到真正落地,那可能又是5到10年。

      你就想自动驾驶。从最开始,比如在DARPA的Robotics Challenge上,你说我可以开好二十几公里;到后来每个厂商都能在一个固定的园区里做demo;再到今天,也许算落地了,因为Waymo和Tesla都有自己的自驾产品。这中间确实隔了十年。

      从demo到真正落地,隔十年并不是一个非常夸张的事情。

      张小珺:现在L3、L4也没有真正的广泛应用。

      谭捷:自动驾驶,像Waymo,它其实有一个robotaxi(自动驾驶出租车)的business,在旧金山也是在有限区域,但它可以把driver(司机)真正地拿掉,所以我觉得已经越来越近了。但这也是另一个例子,说明从你有一个idea到真正落地其实非常遥远。

      张小珺:所以我就在想,你看自动驾驶的动作输出是一个这么有限的领域,都需要花费这么多年。那机器人就让它一个领域、一个领域地做就好了,为什么要去追求足够的泛化性呢?——我们为什么需要一个足够通用的机器人大脑来做人形机器人?

      谭捷:这是一个很好的问题,这里面的很多争论都比较philosophical(形而上的)。

      我的感觉是两条途径都是有可能的:先做非常专业化的事情,在一个领域落地;versus你做一个最general的、通用的人形机器人。

      我觉得并没有对错,但这个世界的发展无关乎对錯。

      这两条路可能都可行,但最后会发生什么呢?——可能会有一个大佬,他可能是Elon Musk,可能是Steve Jobs,一个visionary(有远见)的人,他灌输了一个概念,说“通用人形机器人是最终局的解决方案”。当一个大佬发话以后,就会有很多follower(追随者)、很多钱和很多talent(人才)进来,最后就促使这一条路径成了真正被解决的路径。

      所以说,并不是说做specialized(专用)的机器人,然后一个一个domain(领域)去solve(解决)是错的。只是可能现在因为硅谷的发展,因为有大佬特别提倡这个方向;

      同时,大语言模型也证明了,如果你做specialized model(专有模型)——以前的语言模型通常都是specialized model,比如你做英到中的翻译是一个model,做VQA(Visual Question Answering,视觉问答)是另外一个model——但后来你发现,当你真正有一个generalist model(通用模型)的时候,那些specialized model(专有模型)就完全不能与之竞争。

      这也是另一个例子来解释,为什么大家更相信通用的机器人。

      张小珺:你刚才提到过去一年进展非常快,可能超出预期,它的进展快来自于哪些变量?

      谭捷:一个是VLM模型的发展,比如Gemini的发展,GPT的发展。还有很多技术的变革,比如现在很多model是所谓的“thinking model”(思考模型),它在inference time(推理阶段)可以用很多的token budget(token预算)来提高最终答案的准确性。这是一个从技术角度的变革,这也使得robot can think as well(机器人也能思考)。

      我们最新的Gimini Robotics 1.5,有一个比较重要的突破,就是利用了这个thinking的能力。这是技术上的。

      第二个是从重视程度上,我觉得在硅谷,大家都觉得机器人可能是即将发生的最重要的变革之一。所有的公司都投入巨资去攒他们的机器人团队,去做机器人大模型。如果CEO们都重视了,那么分配的资源、算力都会增长,这也从另一个角度加速了机器人的发展。

      第三点,这也使得硅谷现在非常卷。以前大家觉得996是中国特色,现在硅谷也是996了。

      至少做AI、做机器人的肯定是996。为什么会996呢?因为没有人想输在这场competition(竞赛)里。所有人都希望自己的公司或团队是世界第一。如果你是世界第二,你团队里最优秀的人就会觉得要去那个世界第一的团队,因为在那里能做成事。

      为了防止那个发生,你就只能加速工作、加倍工作,使得你永远保持在第一梯队,或者整个行业的最前列。这使得大家花了更多的精力、更多的时间在科研上,这也是我觉得最近发展特别快的原因之一。

      张小珺:这是最近一年发生的变化,还是最近两三年?

      谭捷:我觉得是最近一年半到两年。基本上就是ChatGPT出来后,大家意识到这个东西可以用在机器人上,就开始变得非常卷。

      03

      最大问题是数据问题,Robotics在一个非常复杂的unstructured environment里,可以发生任何事情


      张小珺:你刚才说未来有两个关键阶段,一个是要先到达GPT-3的时刻,再去落地。你觉得从现在这个节点到GPT-3,中间差的是哪几步?有哪些关键问题解决了,可能就到了?

      谭捷:我觉得一个最大的问题还是数据问题。

      对语言模型来说,数据是free的,网上有那么多的语言数据,你可以抓取PDF,可以digitalize(数字化)很多书本,互联网数据太多了。而且语言相对来说也是一个narrow domain compared to robotics。

      但是robotics是在一个非常复杂的unstructured environment(非结构化环境)里,可以发生任何事情。所以它需要极大量的、非常diverse(多元)的数据,但这些数据现在是不存在的。

      现在有很多startup叫data factory(数据工厂),他们通过比如遥操作的方式来collect(收集)很多数据,通过simulation的方式来collect数据,然后把数据卖给做模型的大厂。所以,数据还是一个从根本上制约发展的bottleneck(瓶颈)。

      张小珺:大模型面对的是数据墙的问题,机器人领域面对的是没有数据的问题。

      谭捷:对。

      张小珺:一个是数据,还有其他的吗?

      谭捷:我现在看到最明显的就是数据。我确信,现在的数据量完全没有办法saturate(喂饱)模型的能力。所以当你数据大到一定程度上,我肯定会发现第二个瓶颈,可能是模型的architecture(架构)或者是其他的。

      但是因为现在数据如此之少,所以你还没有发现第二个瓶颈是什么。

      张小珺:到底需要什么样的数据?怎么定义一个好数据?——真实世界的数据太变幻莫测了。

      谭捷:对,所以需要很多很多不一样的数据。

      机器人领域经常会聊:“数据金字塔”。

      这个金字塔是这样,最底层是量非常大、非常scalable的数据,这可能是互联网上已有的数据。

      上面一层可能是video数据,这video数据有可能是我们叫egocentric video data(第一人称视角的视频数据),就是从人的第一视角看到你做事情的那种数据。

      这种数据也很多,YouTube上有海量这样的数据,而且也很容易采集,因为你做事情无非就是额外戴一个眼镜或camera。所以它量也非常大。但是因为人和robot的形态很不一样,所以这个数据也不是特别有用,至少大家还不知道怎么用。

      再往上可能是simulation数据,这个数据和robot形态可能更接近了,也包含了很多robot action的标注,但是有一个sim-to-real gap(仿真到现实的差距),就是你在simulation里做的数据,和真实世界的物理毕竟还是不一样的,它只是一个数学简化。

      再往上,可能就是robot-specific(机器人专有)数据,你通过遥操或其他方式获得的机器人数据。

      所以大家一般认为有这样一个金字塔,你每一个level的数据都需要,但是需要的量不一样,采集不同level数据的cost(成本)也不一样,但这些数据都很重要。

      张小珺:这是你倾向于认为的观点吗?

      谭捷:我觉得是这样的。

      底层的数据,需要很大的量,但它的质量可能不是特别高,因为它跟机器人有很大的gap。通常大家说,在训练机器人模型时,有预训练和后训练,也就是pre-training and post-training。

      在预训练阶段,你可以用各种各样海量的数据。在预训练阶段,它需要学会的只是一个intuition(直觉)或对物理的理解,并不一定要对自我形态或者对任务的认知,但它需要学会物理,所以你只需要很大量的数据。

      但在金字塔最顶端的时候,你需要知道这个机器人是这样一个夹爪、这样一个构型,然后你做这一个任务,比如打开这个瓶盖,它就需要非常精细、高质量的数据,但那个数据量可能不需要很大。

      整个金字塔都非常重要。

      04

      Gemini Robotics 1.5:我们有一个方法叫motion transfer,这是独门秘诀


      张小珺:关于数据、架构机器人业界有很多争论,这个我们稍后再说。

      我们现在聊聊你们最近的工作吧。你们刚发布了Gemini Robotics 1.5,将AI agents带入了物理世界。在这个工作中,你觉得最重要的发现是什么?

      谭捷:我们有两个比较重要的发现。

      第一个是我们把“thinking”加入了VLA模型。以前的VLA模型,输入是图像和用语言表达的任务,输出就是马达的角度,直接对机器人进行控制。现在我们把“thinking trace”,也就是机器人是怎么想的,也作为输出。

      比如说一个任务是“把我的衣服按照颜色分类”。机器人得先想,因为这个任务挺复杂的,它得想“这是红色的,所以要扔到红色那一堆里;这件衣服是白色的,所以要扔到白色那一堆里”。这里面有很多很小的步骤。

      上一代的机器人模型是没有办法想这么细致的东西,做一个multi-step task(多步骤任务)。现在这一代模型能想:“这是什么颜色?如果我知道它是什么颜色,那么下一步应该做什么?”

      所以它的输出是,先输出一些文本来思考这个问题怎么解决,然后基于这个文本输出一堆action来做这件事;接着继续输出一些文本来想下一步该干什么,再输出一些action。

      这使得一个非常复杂的、需要很多步的任务可以被分解。这是第一点,非常难的任务现在可以做了。

      第二个好处是,机器人可以向人表达“我下一步想干什么,为什么我想这么干?”这在人机交互时增加了很多透明度。无论是从安全性的角度,还是从人机交互的角度,都让人更安心一些,因为你知道这机器人是怎么想的。这是我觉得一个比较重要的突破。

      第二个非常重要的突破,我们叫cross-embodiment transfer(跨具身迁移)。

      什么意思呢?我刚刚说了,机器人数据非常稀缺,尤其是你用机器人A采的数据,只能用来学习机器人A上的task和skill。当机器人A升级了,可能camera换了新的,或者mount(安装)在一个不同的位置,或者手臂多了一个自由度,那么以前采的数据都没有用了。

      而且还有其他机器人,比如人形机器人或者机器人B、机器人C,它们因为构型不一样,数据是不能放在一起互用的。这就导致你的数据量更少了。因为你对每一个单一的机器人都得单独采集数据。

      在Gemini Robotics 1.5中我们发现,不管你用什么样的机器人——至少我们测试的那三个,一个是Aloha,一个非常简单的双臂机器人;一个是bi-arm Franka,一个更工业级、更powerful的机器人;还有一个是Apptronik的人形机器人。

      当我们把所有数据放在一起,并且开发了一个新技术叫motion transfer(运动迁移),它能更好地利用这种cross-embodiment的数据——使得在机器人A上见过的任务,机器人B也能够执行。

      举个例子,假设你学会了开车,我从来没有学过开车这个任务,但我也学会了开车,它可以跨本体。这个从根本上解决了一个问题,就是数据量不够的问题。因为任何机器人采集的任务数据都可以被其他机器人利用。

      张小珺:先说第一点,把thinking加入VLA。因为机器人的模态转换会比较多,你觉得在不同模态,比如文本和运动之间不停转换,会发生混乱吗?怎么解决这个问题?

      谭捷:我们其实没有发现有混乱的问题。因为在输出的时候,一般都会非常清楚地说:“下面我要输出的是文本”,然后会有一个起始符和终止符;然后会说:“下面我们输出的是动作”,也有起始和终止符。所以它们是不会混在一起的。

      张小珺:在大语言模型里加入thinking和在机器人里加入thinking,不同是什么?核心难点是什么?

      谭捷:大语言模型其实比较大,而机器人模型没有那么大。为什么呢?

      因为机器人模型要做很快的inference(推理),它不能等5秒钟再做下一个动作,所以它的inference budget(推理资源预算)非常小。你还是希望比如每0.5秒或每一秒,它能做出一些动作。所以它的thinking长度和大语言模型是非常不一样的。

      张小珺:Thinking更短。

      谭捷:要短很多。大语言模型为了解决一个问题,可以想20秒,然后给你一个答案,只要那个答案是对的,大家一般都很高兴。但如果你交给机器人一个任务,它每一步都要想20秒,你就崩溃了。所以它可能每一步只想0.5秒,它们的budget非常不一样。

      张小珺:能处理的最复杂的问题会是什么?

      谭捷:我们在VLA上的thinking还是相对比较弱的thinking,因为它有很多限制。我发觉一般如果一个task只需要几步分解,比如“sort the fruits by color”(按颜色分类水果)或者“sort the clothes by color”(按颜色分类衣服)——它可能第一步是认清楚颜色是什么,第二步是认清楚另外几堆东西里对应的颜色是什么,第三步是把它放到对应的堆里。

      这种比较简单的推理是可以的。但是如果你需要它额外地去获取信息,那个是做不了的。

      比如我说“你帮我整理一下行李”,它可能会想:“那整理行李的话,我想知道你要去哪里旅行?去多久?那边的天气状况是什么?”它需要额外获取更多的信息,然后通过所有这些信息再做thinking,那个在VLA那一端是做不了的。

      所以在我们Gemini Robotics 1.5的工作中,我们做了一个快慢模型的划分。

      有一个比较慢的模型,它可以做这种非常长的thinking,做一些决策。比如你让它打包行李,它可以去搜Google Search,可以搜你的calendar,可以搜weather report,然后它可以先想20秒,come up with a plan(制定一个计划),然后问你这个plan是不是合理。

      到了VLA那端执行这个plan的时候,它就可以说:“我可能需要把这一堆衣服放进来”,然后一件一件拿。

      它们都是大脑,但是大脑也有分层。你很多大脑的事情是要做很多计算、很多planning的,那是比较慢的思考。很多大脑的决策是instinct(直觉),那个是比较快的思考。

      张小珺:你们是把它拆分成了一个ER和一个VLA两个模型。

      谭捷:ER其实叫Embodied Reasoning(具身推理),它更多是一个慢思考的过程。VLA是要输出robot action(机器人动作)的,所以它更多是在执行端,是一个非常快思考的过程。

      张小珺:也就是说,你们选择了一个双模型结构,不是一个端到端的统一模型。你觉得这会是一个过渡的方式,还是一个终极的方式?

      谭捷:我现在觉得它应该是个过渡的方式。

      因为现在受制于很多限制,比如算力的限制、模型大小的限制。但我觉得可能再过几年,当算力不是很大问题的时候,如果有一个unified model(统一模型),那可能是最佳的。

      因为你有两个模型,你总是要界定它们之间是怎么交流的。现在这个大模型和小模型之间是用语言来交流的,但语言并不是一个high-bandwidth(高带宽)的交流方式,它语音会丢掉很多信息。

      所以你希望是一个模型,它内部不需要一个额外的interface(接口)来做交流,这样就没有信息损失。但同时,因为现在算力等等原因,使得这个实现非常困难。

      张小珺:它需要特别大的算力吗?

      谭捷:因为你要做reasoning,要用web search之类的,你是需要一个非常大的模型的。那个模型你很难做到real-time或者每秒做5到10次的决策。但小模型可以。

      所以当你要一个unify model(统一模型)的时候,它必须非常大,因为它要做reasoning,而现在的算力不足以支持这样的大模型。

      张小珺:现在的快思考和慢思考分成两个步骤、两个阶段来完成,很大一个原因是因为算力还不够。有没有其他原因?

      谭捷:我觉得现在主要是算力原因。

      张小珺:这个也make sense,自动驾驶最后也过渡到了端到端。

      谭捷:但自动驾驶其实它不需要很多planning的过程,它的planning很多是通过传统方法做的。比如我有一个map,有A点,要去B点,怎么找到一个路径?这个都是用传统方法做的,它并不是真正的端到端把mapping和planning都做到和执行一起。

      其实planning在自动驾驶里面是一个分开的步骤,是一个传统方法做的,就像Google Map或者百度地图。执行的话,对于自动驾驶它是一个非常快的决策,因为车速非常高,决策的速率得非常高,所以自动驾驶的端到端模型不会很大。

      张小珺:你们在做实验的时候,加入thinking容易出错的环节可能是什么?

      谭捷:我觉得一个可能是overfit(过拟合)。

      当你加入thinking的时候,你需要标注很多它是怎么think的。在做training之前,你采了很多数据,采集数据的时候你得说:“我是这么想的,我下一步要干什么,这是我的动作。”但是如果你的这个标注非常单一,就非常容易出现overfit的状况,使得你只有在做这样一些事情的时候,它的thinking是make sense(合理)的。

      如果你做一些没见过的任务,因为他没见过,所以他的thinking trace(思维轨迹)会非常奇怪,他会做完全不make sense的事情。

      张小珺:你刚才分享的第二点,是跨本体的数据运用,这个里面有没有更多可以分享的?

      谭捷:我给你举个例子,我第一次看到这个结果的时候,印象非常深刻,因为我觉得这真的是一个质变。

      大家说跨本体已经说了很多年了,但我觉得这个概念有点oversell(过度推销)。哪怕早期,Google自己做了一篇paper叫RT-X,就是他跟二十几个不同的学校、不同的lab收集不同的机器人数据,混在一块训练一个大模型,然后说发现了这二十几个学校的数据放在一起是有优势的,有benefit。

      但那个东西其实很难量化。包括最近看很多机器人大模型,他都会说:“我有五个不同的本体,我把数据混在一起,使得我们这个东西更general。”但这个也很难量化。

      这次我们发现,比如说我们有一个Aloha,它是一个tabletop robot(桌面机器人),它做的事情都是在桌面上。我们所有data collection(数据收集)可能就是从桌面上抓一个东西放到别的地方,在这个桌面上开瓶盖、写字之类。它没有见过3D的场景,比如在一个垂直的平面上,或者一个有高低层次的橱柜里做事情,它没有见过这样的数据。

      所以如果你给它一个有高低层次的书橱,然后说:“你把上面那一格的书给我拿下来”,它是做不到的。因为这完全在他的训练数据集之外,他还是会在桌面上磨磨蹭蹭地摸一些东西,虽然那个书架是垂直的。

      但是我们有另外一个机器人,叫bi-arm Franka,他采集的很多数据都是在垂直的领域,比如他有很多工具,可以从一个垂直的workbench(工作台)上拿下来。当把数据放在一起训练,Aloha是从来没有见过这种垂直场景的,但是当你把Franka能做的事情放到Aloha这个场景里,Aloha突然间也能做这样的事情了。

      张小珺:具体是怎么做到的?

      谭捷:我们有一个方法叫motion transfer。它就是说,你不仅要把数据放在一块,同时你在模型的architecture上、在training recipe上也要做相应的改动。

      张小珺:这是一个能够泛化到很多领域的方法吗?除了你们实验的这三个机器人以外,它还能够有更广泛的泛化性吗?

      谭捷:首先,它并不代表我给你一个新的机器人,它不用任何训练就能做那些事情。不是这个意思。只是说,在我有训练数据的机器人里面,虽然我没有见过这个task,但这个task是别人见过的,我就能做那个任务。所以它有一定的泛化性,但它的泛化性是任务层面的,并不是机器人本体上的。

      张小珺:这个对于更接近跨形体的通用智能,是一个可行的路径,是吗?

      谭捷:我觉得是个可行的路径。

      张小珺:这个还挺本质的。

      谭捷:我非常同意。所以我们团队看到这个结果以后都觉得非常激动人心。

      张小珺:motion transfer怎么做的?

      谭捷:这是一个secret sauce(独门秘诀)。

      这个问题我被问了很多遍,但真的很难评论。

      张小珺:研究者会提到,具身智能的难点不一定在算法,而是在反馈信号,因为它缺乏像语言模型那样清晰、可以验证的反馈。你怎么看这个问题?你们的robotics在系统设计上是如何获取和构造这种信号的?

      谭捷:我觉得当你有数据,并且用传统的,比如说imitation learning(模拟学习)的时候,你已经有了足够的信号,我并不理解说缺信号是什么意思。

      但是如果你说的是用强化学习,强化学习需要一个reward signal(奖励信号),但很多任务你很难写一个reward function(奖励函数)。比如说“我要把这份菜放到冰箱里面”,这个怎么用一个数学来表达成功与否?这个reward function很难表达出来,我是同意的。

      这个我觉得得分不同情况来解释。对于imitation learning来说,我不觉得信号是个问题。但对于强化学习来说,你怎么用reward function(奖励函数)来specify(具体说明)你的任务,的确是一个很难且并未解决的问题。

      张小珺:关于reward function,你们现在怎么解决这个问题?

      谭捷:我觉得这个问题并没有很好的解决方案。

      这可以岔开讲一点——为什么强化学习解决了足式机器人走路的问题?是因为它的reward function相对来说比较straightforward(直接)。你只要向前走了,然后没有摔跤,就可以很容易地写一个数学表达。

      但是对于manipulation来说,你有太多的不同任务了。比如我希望抓起一个筷子,你很难用数学表达式来表达“我是否抓起了筷子”。再比如我要把东西放进抽屉里,你也很难写一个数学表达式来表达“这个东西是不是在抽屉里”。

      有成千上万个不同的这样的任务,你都要用reward signal来表征它,我觉得这是一个几乎不可能的事情。这就是为什么强化学习在manipulation(操控)里面并没有解决得很好的原因,就是这个reward function非常难以specify。

      张小珺:对于这种跨形体迁移的任务,怎么设计呢?

      谭捷:因为我们现在主要还是做imitation learning,不是通过强化学习。所以只要你学会了就行,因为你是有榜样的,imitation是有label(标签)的。你只要使得你的神经网络的输出和你的label尽可能接近就没有问题。

      张小珺:你们的secret sauce还有什么可以更多分享一点?

      谭捷:It's very secret.(笑)

      张小珺:哪些因素有可能会决定迁移的上限?

      谭捷:对,这是个很好的问题。虽然我们有很多例子证明迁移是成功的,但也有很多例子证明在很多场景中,迁移并不是非常成功。

      我觉得两个不同机器人它的形态到底差多少会有很大影响。比如说,我是从一个单臂夹爪机器人要迁移到一个双臂人形机器人,这肯定是一个非常非常难的问题。

      你看我们实验的三个机器人都是双臂的,虽然它们构型很不一样,比如有的是6个自由度,有的是7个自由度,有的是更高自由度的,但它们都是双臂。如果你是从夹爪到五指灵巧手,它肯定也会比夹爪到夹爪要难一些。所以有一个embodiment gap(具身差距),如果那个gap非常大,这种跨构型的迁移就会比较难。这是一点。

      第二点,我们发觉在不同的embodiment上,你收集的数据量也非常重要。

      如果你已经收集了很大量的数据,那么其实不需要其他embodiment的迁移,它做事情就已经做得非常好了,所以其他embodiment给你的那个正向的delta(增量)会非常小。但是如果说有一些机器人,比如人形机器人,你采集数据非常困难,但你可能在Aloha上有非常非常多的数据,这样这个迁移就会非常有效。

      张小珺:你们这篇论文的标题是“将AI agents带入物理世界”,你们在AI agents上借鉴了哪些?

      谭捷:首先,robot就是一个physical agent(物理智能体)。对agent的定义就是说它能够做决策,并能够execute actions(执行动作)。

      这篇文章其实强调了一点,就是有一个非常重要的agent feature,就是它可以use tools(使用工具)。现在我们的embodied reasoning model(具身推理模型),它可以写code,可以查阅网站,就是它可以用这些tools来做决策。

      我们有好几个video的例子是,比如说你让它做垃圾分拣,它会根据不同的地点,比如说在San Francisco,它可以search Google Maps找到你的地点,然后根据当地的法律法规决定应该如何做垃圾分拣。

      这些都是use digital tool(使用数字工具)的例子,这使得机器人的knowledge base(知识库)宽广了很多。

      它不只有大模型已经capture的common sense,它可以通过web search和其他tools,使得机器人的functionality(功能)和capability(能力)有很大的扩展。

      05

      生成极大量仿真数据,是弥补它缺点的一个重要手段


      张小珺:沿着Gemini Robotics 1.5 往后发展,下一步的关键突破口会是什么?

      谭捷:这个问题非常好。其实有很多很多方向可以发展,我们在论文的最后一章也讲了一些未来的方向。

      我觉得可能我们比较重视的一点还是数据——数据、数据、数据。

      我觉得遥操作还是一个非常难以获取的数据。有什么办法可以让我们利用越来越少的遥操作数据,和越来越多我们可以快速获得的数据来训练这样的大模型,可能是非常重要的一步。

      所以我们会花更多的精力,比如利用simulation数据;利用human video(人类视频),比如YouTube上的一些数据;利用甚至是现在模型生成的数据,比如VEO生成的一些数据。这种数据因为你可以大量获得,所以我觉得这是一种更经济、更有效的获得机器人数据的方式。

      如果我们能在这方面有些突破,那我觉得解决机器人问题就指日可待了。

      张小珺:你们现阶段用真实数据用多少?

      谭捷:我们现在主要是用真实数据。

      张小珺:所以成本会很高。

      谭捷:成本非常高。

      张小珺:国内在数据问题上有很多争论:王鹤就是仿真数据的代表派,但好像除了他以外,大家更倾向于依靠真实数据,因为真实数据的泛化性更好。

      谭捷:真实数据没有sim-to-real gap(仿真到现实差距),但是泛化性是由数据的coverage(覆盖)导致的,并不是因为它本身是真实数据还是虚拟数据。

      如果你从来没有采集过在厨房烧饭的数据,你的模型就很难泛化到厨房烧饭。

      所以说它是coverage问题,并不是真实还是虚拟数据的问题。

      张小珺:过去几年,从大语言模型里应用到机器人领域了很多研究思想,对比一下机器人基座模型和大语言基座模型,它的研究范式有什么不一样吗?

      谭捷:我觉得还是很不一样的。它们其实并不是两个独立的学科,更多的是A利用了B。

      在大语言模型上,你有很多问题,比如多模态怎么训练?预训练应该怎么样?后训练应该怎么样?RL应该怎么用?

      但机器人现在对大语言模型的应用,还是说我加一些更多的data,在已有的大语言模型基础上增加一些新的输出。所以做法上还是很不一样。

      很少有公司真正从头开始去pre-train一个机器人的大模型。

      张小珺:为什么呀?

      谭捷:因为cost和data。你pre-train一个大模型非常贵,可能需要好几万张卡跑好几个月。同时你也没有那么多的机器人数据。

      所以基本上大家还是因为数据局限和预训练的成本,在一个预训练好的大语言模型上,加上机器人数据进行一些微调。这就使得整个范式非常不一样。所以两边有相互借鉴的点,但它们并不是两个平行的学科,可以完全一一对应地相互借鉴。

      张小珺:我刚才说的云栖大会的那个讨论,在你看来,其实不成立?——他们说“我们是一个独立的大脑”。

      谭捷:至少我现在觉得它们还没有那么独立。也许未来,当你发展到一定地步,当机器人数据足够多,当机器人大模型遇到新的瓶颈时,它们可能会变成完全独立的学科。但是现在,我觉得机器人大模型还是非常依赖于已有的大模型。

      张小珺:这个有利于大公司,因为大公司有基座大模型。

      谭捷:我是这么觉得的。

      张小珺:我们回到数据的话题。

      国内有一个非常鲜明的仿真数据驱动派,就是王鹤。他的观点跟你类似,就是说雇人遥操采集真实数据的成本非常高。

      他当时给我算了一笔简单的账,说一台人形机器人制造成本最少10万,买1万台用于数据采集,意味着10个亿。每台两班倒雇人遥操需要4个人,一个月可能就是小几万。此外还需要标注和质检,每个月维护1万台机器人的成本在数亿到十亿。

      你觉得他这个账算得对吗?

      谭捷:你刚刚说的那些数字比较快,我没有仔细算。但是in general,我是同意他的。遥操需要机器人成本、运营成本、质检成本,这些东西加起来是非常非常贵的。

      虽然我没有算那个账的具体数字对不对,但我觉得这肯定是一个不是很scalable(可扩展)的方式。而且,我会非常诧异,如果最终大家是通过完全遥操的数据来解决机器人问题的,我觉得这个可能性非常低。

      张小珺:在这个背景之下,仿真数据就是一个可行的方案?

      谭捷:对,但“仿真”这个定义现在越来越模糊了。

      以前的仿真是指物理仿真,大家说的可能是Bullet、MuJoCo、Isaac Gym这些,它其实是在计算机里面解物理方程,计算运动轨迹。

      但现在因为video generation model(视频生成模型),比如VEO、Sora 2的兴起,很多人认为仿真其实就是生成一段视频。如果这个视频看上去物理是正确的,它也是一种新意义上的仿真。

      张小珺:是生成式AI带来的一种新的仿真形式。

      谭捷:对,而且我觉得在不远的将来,传统物理模拟仿真会慢慢地被生成式模型的仿真所取代。

      张小珺:这个生成式模型的仿真现在发展到什么阶段了?

      谭捷:刚开始。

      真的经济吗?它可能不经济,因为你要生成视频其实更贵。

      它需要更多的算力成本。但是你其实解决了很多问题。比如我要生成任意场景,在传统的仿真里面,你需要有人建模,建完模以后就像做游戏一样,需要很多designer把所有的场景、所有的资产拼在一块。

      我要500个家庭场景,你就得一个个手建,这就非常困难。但是我要500个家庭场景的视频,你只要500个不同的prompt,你说:“我要有一个粉色的床,加上两个床头柜。”另一个你说:“我想要一个很大的白色的床。”

      你只是输入的语言不同,就可以瞬间生成两个完全不同的视频或仿真。但以前在传统的仿真里面,你就得手工一个一个地把这个场景给建出来。

      张小珺:说到Sora 2,它是否带来了一个革命性的变化吗?

      谭捷:从Sora到Sora 2肯定是质的飞跃。但Sora 2和VEO 3,我觉得没有太本质或让我觉得特别惊艳的地方。

      但有一点可能值得说一下,在过去两三年里面,视频生成模型的发展是非常迅速的。我自己可能也有一个比较错误的判断。

      我记得可能几年前,《流浪地球》的导演来硅谷,他就问我们,《流浪地球3》上映的时候,那是几年之后,他导演这样一个工种是不是还存在?或者电影制片的很多工种是不是还存在?

      因为好像开始你只要说几句话就能生成一个小的clip(片段),然后可以拼成一个电影。那个时候我觉得那不可能,可能还有好远好远才能有真实的video generation。所以我就安慰他说:“不急,那个还要好久,我们正在努力地做,但是时间没有你想象中来得那么快。”

      张小珺:你当时觉得要多久?

      谭捷:我当时觉得可能2030年,你可以开始有一些可以应用的视频生成模型。现在才快2025年了。我肯定是低估了视频生成的发展速度。

      张小珺:他们这个行业确实能帮助到你们的数据问题,视频生成的进展让机器人领域的人很兴奋,是吗?

      谭捷:我觉得所有的视频生成模型的进展都会让机器人领域感到非常兴奋,因为这就是一个新的仿真或者新的world model。

      世界模型的定义是:如果给上前一帧,再给上机器人的动作,你可以预测下一帧。

      现在绝大多数的视频生成模型,都不是说我可以通过输入一个机器人或人的动作来改变下一帧的结果。所以现在我还不会称之为世界模型,但是感觉从现有的视频生成模型到世界模型不是很遥远。

      或者从另外一个角度,VEO它是一个视频生成模型,但是Genie它更像一个世界模型。因为Genie是你可以玩的,你可以通过按键来改变你生成的下一帧是什么样子的。你可以驾驶着一只龙,然后说我要左转、右转,看到完全不同的世界。

      所以当你在每一帧的时候,可以有一个输入来改变你的下一帧,那个感觉就是世界模型。但是如果它是一个已经生成好的、几秒钟的静态视频,那就不是。

      张小珺:现在谁做得最好?在硅谷。

      谭捷:Google DeepMind。我觉得OpenAI的Sora做得也不错。还有很多小公司也在做。

      张小珺:真实数据和仿真数据,可能的优劣势是什么?怎么弥补仿真数据的缺点?

      谭捷:生成极大量的仿真数据,是弥补它缺点的一个很重要的手段。

      仿真数据它不够真实,但是如果你在仿真的时候不断地变化它的一些参数,同时生成极大量的数据,那么从平均的意义上,它可能也足够cover真实世界的物理了。所以说有一种方法是用compute来解决精度问题。

      张小珺:用算力来换精度。

      谭捷:对,你没有那样的精度,但是你可以生成极大量的数据。这样当你做平均、当你学习的时候,因为数据量大,其实你是取了个均值。这可能就和真实世界的物理比较接近了。

      张小珺:用视频生成来做仿真,现在的瓶颈在哪?

      谭捷:第一个是它有很多幻觉,第二个是它有很多非物理现象。

      有很多人经常测视频生成模型是通过生成做体操的视频。如果你生成一段做体操的视频,在整个过程中那个人还是两条腿,说明这个模型还不错。但很多时候,这个人在翻滚的过程中,就不知道有多少条腿会被生成出来。有很多这种hallucination(幻觉)或者非物理的现象。

      张小珺:不相信仿真数据的真实数据派,他们的逻辑是什么?

      谭捷:我个人感觉是,仿真数据是需要一段基础研究的,它不是那么简单直接。

      但是真实数据,现在已经证明,你有更多的数据,效果就会更好。所以它可能会有一个玻璃天花板。虽然它加速很快,因为你有数据就可以马上看到效果的提升,但是因为你最终的数据不可能无穷无尽。

      张小珺:它很快会达到这个领域的数据墙?

      谭捷:我不知道是不是很快,但是eventually它会有一个数据墙。

      但如果是仿真数据,你现在因为有sim-to-real gap,所以可能开始的时候效果不是很好。你加数据,会觉得很多东西可能都在noise的范畴之内,你没有看到很明显的提升。但是一旦research有了突破,它就没有那个玻璃天花板。

      张小珺:所以,这是一个信仰问题。

      谭捷:绝大多数research都是信仰问题。

      张小珺:你信仰的是仿真那一派?

      谭捷:我信仰的是scalable data那一派。Scalable data包括仿真数据,包括人带着camera采集的数据,包括用视频生成模型生成的数据。这些东西都是可以用算力来给你无穷无尽数据的。

      但真实的机器人数据是需要operation、需要cost、需要robot,那个我觉得不是一个很scalable的数据源。

      张小珺:不管怎么样,只要它scalable就可以。听起来仿真数据是一个更可能scalable的方案——这个是不是也可以用来解决大语言模型的数据墙问题?

      谭捷:现在其实很多大语言模型,感觉大家经常会说有一个“吃了吐、吐了吃”的问题。就是你先吃了internet-scale data(互联网规模数据),然后它开始生成各种各样新的文本、新的数据,然后它再吃回去,又生成新的。这也是一种解决data不够的方式。

      张小珺:在一个robotics团队里,做仿真数据的人多吗?

      谭捷:这完全看团队的信仰是什么。像Google DeepMind,它有一个叫MuJoCo的团队,是一个非常知名的仿真团队。

      张小珺:硅谷基本上都是仿真派吧?

      谭捷:那也不是。

      硅谷的公司大家都会讲差不多的故事,区别只是他们数据mixture里仿真数据的比例问题。大家不会孤注一掷地只用一种数据源,都在不断探索。

      但数据质量非常重要。如果数据质量非常差,越多的数据可能效果越差。

      张小珺:怎么评判数据质量?

      谭捷:这个领域其实没有评判数据质量的标准。大家还是凭researcher的经验,看着数据感觉“这个数据太抖了,不够smooth(平滑)”,或者“这个数据已经采集过了”。有很多这样人为的评判标准,并没有标准化。

      这也使得一个新兴产业,叫data foundry,面临一个困难:data foundry采集了很多数据,但我们并不能告诉他们采的数据好不好。

      所以我们拿来用,如果效果不好,我们就会说是data没采好,他们肯定会说是你们模型没训好。这里会有一个扯皮的过程,原因就是data quality没有很好的定义。这的确是一个科研问题,现在没有很好的定义。

      张小珺:如果具身智能机器人领域,只解决一个最重要的问题就能带来飞跃,你认为是数据问题?

      谭捷:我觉得是数据问题。

      张小珺:你怎么看王兴兴(宇树创始人兼CEO)说,大家对于数据的讨论太多了,忽略了架构本身的创新。

      谭捷:我觉得架构本身的创新是重要的。Gemini Robotics 1.5,我说的motion transfer等,其中很多就是架构和算法的创新。

      但是,巧妇难为无米之炊。

      如果你只创新架构,也许在机器学习中会变得更加efficient(高效),但如果数据的量和coverage不够,那么泛化能力肯定不行。

      06

      世界模型就是Vision-Language-Vision,vision和language in,生成下一帧的图像


      张小珺:国内还有一个关于模型架构的争论。一派是端到端的统一模型派,另一派是分层式。这两种技术路线最终会殊途同归吗?我刚刚听你说的感觉是会殊途同归的。

      谭捷:我可以再分享另外一个故事。

      虽然我说了我在Google的第一篇论文是做强化学习,但我个人并不是特别相信。虽然我在那篇论文里看到了很强的sign of life,觉得这东西可能行,但我也碰到了很多难点。

      比如reward function(奖励函数)怎么调?如果training效果不好怎么办?因为那时候PPO(Proximal Policy Optimization,近端策略优化)效率非常低,所以那时候我在想有没有什么捷径?

      于是我就想,要不我们把传统控制理论和强化学习结合一下?底层还是传统控制理论,但用强化学习来调一些参数。我们团队也沿着这个方案做了很长一段时间,效果也不错,因为它立竿见影。因为底层的东西已经差不多work了,强化学习可以立刻让它变得更好。但整个历史的轨迹并没有朝着我想象的方向走,而是走向了完全端到端的强化学习,就是state-in, action-out。

      几年之后,这个方向的确成为了主流。

      我觉得有的时候,你为了解决一些现实中的问题,或者希望在短期内取得更好的效果,你会采取一些shortcut(捷径),做一些分层的模型。但是至少从我过去的经验告诉我,也许你直接投入最终你相信的那个端到端的大模型或unified大模型,最后那个可能会胜出。

      张小珺:你们现在投入了吗?

      谭捷:我们现在基本上都是端到端的。除了那个短期的,给你做一个proof of concept,说ER和VLA可以interact,短期内你可以用这个模型。但同时,我们也是大量投入在端到端的unified模型上。

      张小珺:VLA会是一种终极架构吗?或者VLA+RL?

      谭捷:VLA是现在我觉得效果最好的模型。但大家也在讨论,language可能在描述机器人,尤其是非常复杂的行为时是不够的。因为language就像我说的,它是一种有信息损失的表达方式。

      所以大家经常说,也许下一代是world model(世界模型)。因为world model生成的是visual,是下一帧。

      你可以看到,比如说我在转笔的过程中,我的每个手指是怎么动的。但是假设我在转笔或者用筷子的时候,你要用语言来表达我下一步应该干什么,那是很困难的。

      所以说,很多好的表达方式可能是visual的。所以world model现在在硅谷非常流行,被认为是可能下一个新的范式。

      张小珺:它是替换VLA的吗?

      谭捷:它不一定替换VLA,可能会跟VLA共存。可能VLA会变成……我不知道,创造一个新的名词,就是VLVA,你的vision进去,你的language进去,它可以生成下一帧的image或者vision,然后再基于这个生成下一步的action。

      张小珺:世界模型跟它的关系是什么?

      谭捷:世界模型其实就是Vision-Language-Vision,vision和language in,然后它可以生成下一帧的图像。

      张小珺:你认可王兴兴说VLA+RL是一个相对傻瓜的架构吗?

      谭捷:不傻瓜,我觉得这个做出来可厉害了。

      张小珺:只是世界模型会更好。

      谭捷:至少现在很大一部分研究方向是朝那边的。

      张小珺:它更符合世界物理的规律。

      谭捷:我同意。

      还有一点,大家可能觉得VLA看上去比较傻瓜,是因为现在很多VLA的探索都比较成熟了。

      你想一年以前,VLA完全不work的时候,大家还有各种各样的exploration(探索)。比如说我怎么表达action?是用action token,还是用一种action expert,还是用diffusion,还是用其他方式?

      很多东西在过去一年里面慢慢地converge了,所以大家觉得可能套用一个模式就可以得到一个结果。但其实我觉得整个VLA的发展还是需要很多talent和时间。

      07

      如果你有灵巧手,触觉就非常重要,之所以我前面觉得触觉不重要,是受限于当时的硬件


      张小珺:我们在讨论一个机器人大脑的时候,国内叫具身智能,它这个“智”的定义是什么?

      谭捷:它聪明,它知道该干什么,它能够思考、决策和行动。

      张小珺:它有一个非常确切的定义吗?是让它更灵活,还是让它大脑更聪明?

      谭捷:两点都有,大脑小脑都有。

      大脑需要有common sense,需要有解决问题的能力,需要能够根据现有状况给出一个很好的规划,这是“智”的一个体现。

      在小脑方面,或者在运动控制方面,你需要能够dexterous(灵巧的),比如用五指解决很多manipulation(控制)问题;你可以用双足很敏捷地做跑跳这种运动相关的任务。所以我觉得“智”是包含大脑和小脑的。

      张小珺:机器人的大脑需要增加更多的模态吗?——除了我们说的视觉、语言、动作,还需要增加触觉、力觉、嗅觉这些吗?

      谭捷:这个到底应该在大脑端还是在小脑端是不一定的,但我觉得机器人的发展肯定是需要增加更多模态的。

      这里有个小故事可以分享一下,是我的心路历程。

      大家一直都说tactile sensing(触觉)非常重要,我也是一直相信的,因为intuitively(直觉上),你每天都有皮肤感受着触摸到的世界。

      但是在Stanford有一篇论文叫Aloha,那是我第一次看到人可以通过纯视觉遥操一个Aloha机器人做非常复杂的事情,包括从皮包里拿出一张信用卡,一个非常薄的东西。

      我以为这种事情只有触觉才能做成,但是Aloha的出现狠狠地打了我的脸,我意识到其实很多东西用视觉也是可以解决的。于是我hold这个belief for a while,觉得可能视觉就够了,或者说视觉可以做95%的事情,剩余5%才需要触觉。

      直到最近,灵巧手开始变得越来越普及,我开始去一些地方用遥操的手段来控制灵巧手。有一个例子是用灵巧手使用剪刀。

      用剪刀是一件非常简单的事情,你把手往两个环里一套就可以用。但那个时候他是没有触觉反馈的,我完全通过视觉把被控制的灵巧手往剪刀那两个环里套,然后我这边开合我的手。但因为没有触觉,我不知道什么时候开,什么时候关。因为那两个环非常大,所以有的时候你在不恰当的时间开关,手只是在两个环里面动,但并没有控制整个剪刀的开合。

      这时候让我意识到,如果你有灵巧手,触觉就非常重要。

      之所以我前面觉得触觉不重要,是因为它其实受限于当时的硬件。如果你只是一个夹爪,那么你可能远远地看到夹爪是开着还是关着,就能做很好的判断。但是当你有一个灵巧手,有五个手指,要做很复杂的行为和任务时,那么触觉感觉是必不可少的。

      张小珺:当你觉得触觉不重要的时候,可能是当时的发展阶段还没有到。加入更多模态是必然的,只是今天觉得它不必须,是因为可能硬件水平还不够。

      谭捷:对,而且我们还在解决一些非常简单的问题。

      张小珺:视觉可以解决95%的问题?

      谭捷:在那个夹爪时代。

      张小珺:现在你觉得视觉能解决多少问题?

      谭捷:现在还在夹爪时代。所以在夹爪时代,在所有夹爪能完成的任务里面,我还是觉得视觉可能可以解决95%的问题。

      视觉是对于现在已有硬件最重要的模态。

      张小珺:马斯克的一个观点是,Optimus系统最终将通过观看YouTube视频学习执行任务,他觉得纯视觉就ok了。你不认可他这个观点?

      谭捷:我不知道马斯克的原话是不是这样,还是somehow经过了剪辑,把两句可以有非常不同含义的话贴在了一块。

      机器人看YouTube视频学会任务,我觉得非常重要,这个其实印证了我前面一个观点,说你不需要遥操,需要的是video数据,因为它是一个scalable的数据。这个我完全没有任何异议,非常同意。

      我以前在很多我自己的talk里也会说,希望有一天我们的机器人可以坐在电视机前看看Netflix,看看YouTube,就学会了各种技能。这个我没有任何反对意见。

      但下一句话说“它可以完全通过视觉解决所有的问题”,这个我是不同意的,而且这句话跟前面一句话是没有任何关系的。因为你通过视觉学习东西和通过视觉解决问题是两个不同的问题。

      张小珺:自动驾驶还是通过纯视觉在解决问题吗?

      谭捷:自动驾驶是通过纯视觉在解决问题,至少Tesla选了一条纯视觉的道路。

      张小珺:但你觉得机器人不行。

      谭捷:对,因为manipulation是一个非常复杂的问题。

      张小珺:它需要跟现实世界有反复的互动,而且每一个互动的形式可能是不一样的。

      谭捷:是的。当我们说是一个通用人形机器人,它有五指灵巧手,能做人能做的所有任务的时候,那个时候触觉就必不可少。

      张小珺:现在的硬件没有收敛,未来出现的硬件有没有可能不适配今天的大脑?

      谭捷:这个就说明cross-embodiment(跨本体)非常重要,说明我们做的这个研究方向还是非常重要的。

      但是我个人还是觉得,在未来,人形机器人会成为一个主流的形态。它不会成为唯一的形态,但一定是个主流的形态。

      如果你只能bet on一种embodiment,我还是会bet on人形。

      张小珺:也就是说,如果只bet一种架构,它是端到端的;如果只bet一种形态,它是人形的——不要去做那些比较现实的那种分支,因为它可能会浪费很多时间。

      谭捷:这个其实有很多可以聊的地方,完全取决于你是在一个大公司做事,还是在做一个startup;也可能取决于你是在硅谷做事,还是在中国做类似的问题。

      因为我觉得每个人的目标是不一样的。如果你的目标是solve AGI in the physical world(在物理世界实现AGI)——这也是我个人倾向于做的事情——那么我会非常聚焦于最终的形态是什么样子,最终的模型是什么样子,所有其他的东西可能都是distraction(干扰)。

      但是如果你是一个创业公司,资本对你的生存或者盈利有期待,那么你其实很难撇开所有的,我就是不盈利,说“我要做20年以后的最终模型”。于是你可能想的是,我能够在短期内有一些落地,然后把数据飞轮转起来,慢慢地来把这个问题解决。

      这个其实有一个对比,可能不一定非常恰当,就是Waymo和Tesla采取了非常不同的策略。他们都想解决自动驾驶。

      Waymo是看到最后,我要L4,我要在任何地方都没有人驾驶,我连方向盘都不要。所以他做的很多决策都是为了达到L4。

      但是Tesla就说,我们不急,我们反正卖车,可以从L2、L2.5一点点往上做,把数据飞轮转起来,eventually我们可能也会达到L4。所以我觉得这两条路没有对和错。

      我也并不是鼓励大家一定要做端到端、一定要做人形,只是大家殊途同归,用不同的方式解决同样的问题。

      张小珺:你举的这个例子非常有意思,但是今天大家会觉得特斯拉是一个更正确的道路?

      谭捷:这很难评判。Waymo也有非常成功的,在旧金山或者好几个地方运营的案例。而且我觉得Waymo有一点特别伟大的地方,是他真的把驾驶员从车里拿走了。

      我自己也是Tesla用户,我觉得FSD非常非常厉害,我经常用,但是这个和你有勇气把驾驶员拿走,我觉得是一个从0到1的突破。

      08

      一个有使命感的人,他不会容忍说“I'm on a wrong ship”


      张小珺:你很有意思,你之前创过业,然后加入大公司,在大公司待了10年,为什么?你接下来的10年会愿意在大公司,还是会愿意自己创业或者加入一个创业公司?

      谭捷:我觉得很多人都会有个创业梦。(笑)我本科的时候也年轻,想闯一闯,想看看这个世界什么样子,想知道创业是什么感受。

      那会正好有一些朋友有一样的志向,于是我们就去创业了,非常锻炼人。我觉得不管是从技术、产品、融资,各个角度都非常锻炼人,所以我非常感激那段创业的经历。

      现在我觉得在大公司是一个非常不错的选择,主要原因还是现在很多事情感觉只有在大公司能做。因为大公司有资源、有算力,聚集了一大批和你一样有着使命感、非常聪明的人。像这种大模型时代,尤其是当你的使命是solve AGI in the physical world的时候,我觉得其实并没有太多其他的选择。

      张小珺:你什么时候有很深刻的这种感受?

      谭捷:可能是最近几年。以前我觉得在大公司挺好的,pays well, nice environment, free food,有很多自由去explore你想做的事情。

      但这一两年,当AI真的开始卷起来的时候,你也看到很多学校老师要么去创业了,要么在大公司兼职,其实他们都是需要有更多的资源、更多的算力。如果有一个大公司,他能提供给你算力资源,而且领导足够重视,大家有相同的goal,我觉得是一个非常难得的机会。

      张小珺:我们刚才其实说你个人的研究主线没有说完,你在Google做了第一个强化学习的paper以后,后来的发展是什么样的?

      谭捷:我做了强化学习之后,就做了很长一段时间的步态,也就是locomotion。我做了四足机器人,做到一个地步,我觉得那个领域就非常卷了。因为有了强化学习,而强化学习并不难用,其实非常好用。

      这再岔开讲一下,从宏观上来讲,当一个技术越来越容易用的时候,它很快就会普及。比如步态控制,人形机器人走路,如果像我开始说的用MPC,那你需要一个PhD才能真正理解那个数学,解那个方程。那么这个算法或技术离普及就还差好远。

      后来强化学习出来了,我觉得现在很多高中生都可以网上下载一个强化学习的包,比如PPO,从NVIDIA拿一个Isaac Gym,把它放在一起,train一下,deploy一下,很多高中生都能做这个事情了。于是这个东西说明马上会变得非常卷,因为很多人能够进入这个领域来做贡献。

      的确,强化学习瞬间就解决了所有的locomotion问题。

      同时,在未来你可以看到,prompt engineering是几乎所有人都能做的,因为是自然语言。你可以用各种方式让模型帮你做事。所以大语言模型的出现可能很快会解决很多问题,不仅是robotics,是各个行业的问题。

      所以,当我会做一个阶段以后,我发觉强化学习已经普及了,不管是在美国还是在中国,大家都开始用强化学习解决机器人步态问题的时候,那时候我觉得I should move on,去解决一个更难的、还不是全民都可以解决的问题。于是那个时候我就开始做机器人大模型,也就是基础模型。那是21、22年的时候。

      那个时候Google发了好几篇相关的论文:SayCan是用语言模型让机器人有了common sense,可以一步步分解一个很复杂的任务;RT-1是说我们可以用一个transformer架构吸收很多很多数据,使得它的performance越来越好;RT-2是说,我本来就有一个VLM,它经过了internet-scale data的训练,我可以加上一些action的训练,使得它可以借用所有internet上的知识来做很多事情。再到后来就是Gemini Robotics 1.5 ,有一个非常强大的基座模型Gemini。

      By the way,Gemini非常非常的强大。

      我们发现,如果你的基础模型非常强,那么你在加入action data的时候就不需要那么费力,而且你的泛化性等方面都会变得更好。

      张小珺:我突然意识到,强调机器人基座模型独立性的人,多是创业公司,因为他们自己没有那个基座大语言模型。你们在Gemini之上,感受可能不一样。

      谭捷:是的,可能根据你实际在做的事情,你的认知也会非常不一样。

      比如如果我跟一年前的自己聊,或者跟很多在学校做机器人的老师、学生聊,大家会觉得泛化能力非常重要且很难做,那个叫visual generalization(视觉泛化)。当光照、布景、颜色变化的时候,机器人本来能做的事情可能突然间就做不了了。因为你可能没有收集过这类的数据。

      但是因为我们训练Gemini,它有一个非常强的vision encoder(视觉编码器),那个vision encoder已经见过了全世界所有互联网上的数据(假设),我们就发觉visual generalization comes for free。我们不需要做任何的研究,它的visual generalization就已经特别好。

      所以当你有一个已经非常强的基座模型,和你没有这个,或者你用一个开源模型,或者你从头开始train一个模型,我觉得大家的认知会不太一样。

      张小珺:你觉得这几年Google AI或者robotics的研究文化上有没有发生过变化?

      谭捷:我觉得变化还是很大的。怎么说呢,我也算元老级的员工了,9年前加入的时候,正好是这个team起步的时候。

      那个时候其实非常的松散管理,每个进来的researcher都独当一面,你想做什么就做什么,大家给你足够的信任。而且人比较少,所以资源分配也不是问题。

      张小珺:当时有多少人?

      谭捷:我加入时可能10个人。现在150个人,就robotics。

      张小珺:所以十年、九年前只有10个人在研究robotics。

      谭捷:在Google Brain。而且那时候可能Google Brain也没有很大,也就几十个人。

      张小珺:你会不会更怀念那个时候?

      谭捷:我觉得感受是不一样的。那个时候“you can do whatever you like”,感觉是非常爽的一件事情。但同时你也发觉,你个人的impact非常有限,其实你就像一个very well-paid PhD,或者一个very well-paid assistant professor,你有一些自主权,决定要做什么研究,然后Google pays you well,但是你很难想象我能做一个惊天动地的大事情。

      因为每个人都非常松散,我也很难聚一拨人大家做一个大的事情。

      慢慢地,我觉得Google也意识到这一点,觉得我们不想只是有一个academic lab, but very costly。所以Google也希望你们可以有更多的人做类似的事情,非常聚焦地解决一个很大的问题。所以不管是从promotion、performance review、incentive,还是各种各样的structure上,Google想创造一个环境,使得更多的人可以一起解决更大的事情。

      张小珺:它需要团队协作。

      谭捷:对。到最近,你可以看Gemini Robotics,不管是第一代3月份的那个版本,那时候可能已经是120个人在author list上,这次可能有160到180个人。

      就说真的是需要一个很大的团队齐心协力。

      有一些人是解决infrastructure,比如data pipeline或training pipeline的问题;有些人是做research;有些人做evaluation,因为你有很多robots要并行地做测试;有些人得做data collection、做maintenance。你真的需要一个非常大的团队,非常强的算力,才能把这样一件事情做好。

      张小珺:从比较分散的结构到一个能够集团军作战的结构,管理方式发生了变化吗?

      谭捷:变化非常大。

      张小珺:你会不适应吗?

      谭捷:因为我一直在这样一个团队里,我是随着它在不断的变化,并不是说我开始在一个非常松散的团队,突然间空降到一个集团军作战的团队。如果是那样,我能够非常想象会有culture shock(文化冲突)。

      但是我随着它不断变化,其实也在不断地shape这个变化,所以对我来说并没有不适应,而且我觉得这是一个好的变化。

      张小珺:很多人会讨论AI的组织是要自上而下还是自下而上,你们是什么样的?

      谭捷:我们是都有。

      像Gemini Robotics,它更多是自上而下。你得确定一个方向、一个timeline。你想,那么多人要做实验,资源也不是无限的,你也不是有什么几百万张卡可以随便用,所以还是有很多coordination,有很多自上而下的决策。

      但同时,我们除了Gemini Robotics 1.5 ,还有很多其他的research,那个是自下而上的。因为researcher都很强,他们都非常紧跟时代潮流,会想到各种各样新的方法,想做实验。他们会自下而上地和几个人一起形成一个小团队,做这种非常快速的迭代,然后fail fast。如果这东西做成了,他们会想把这东西集成到比如Gemini Robotics 1.5 里面,使得它有更大、更广的impact。

      张小珺:我们今天反复在聊的那个secret sauce,就是motion transfer,它是自上而下产生的还是自下而上产生的?

      谭捷:那个是自下而上产生的。我们的目标是想解决data bottleneck。细分下来会有一块,就是我需要可以train on multiple embodiment data(在多种具身数据上进行训练)。所以这个“what”是自上而下的,我们要什么。但“how”其实经常是自下而上的。

      于是当很多人知道我们需要这个的时候,他们会有各种各样的想法,说我怎么做这个。然后就会有很多小团队,他们尝试不同的方法。其实很多方法都是work的,很多方法甚至是compatible的,可以像搭积木一样搭在一起。

      这个motion transfer就是这样一个例子,其实有三四个不同的团队,他们有一些想法,而且这个想法是你可以全部integrate到一个系统里面的,最终造就了motion transfer。

      张小珺:Google现在相信大力出奇迹吗?

      谭捷:“大力”是必须的,但“大力”不是sufficient(足够)的。有necessary condition和sufficient condition,充要条件。

      “大力”是必要条件,如果你不scale up,我觉得就很难有奇迹发生。但是如果你光scale up,不够聪明,没有足够的创新,光堆算力、堆data,我觉得是不够的。

      张小珺:你们最卷能卷到什么程度?

      谭捷:我最近回国,我知道国内很卷,所以我就想知道国内有多卷。

      我发觉好像国内不一定比我卷。虽然我们team都挺卷的,我跟别人说我一周可能工作70到80个小时,感觉可能比996还要更辛苦一点。但这个在硅谷现在的AI圈子里面已经是常态了。

      张小珺:大家一提到Google都会说它研究的文化很好,研究的底蕴很好。但同时,大公司也会有大公司病,你觉得现在还强吗?

      谭捷:大公司病肯定是存在的。大公司在决策上要一层、一层地获得approval,在很多地方都非常conservative,总是有各种各样的PR risk,所以总体来说还是比较conservative的。

      除了做研究,我还有另外一个对team负责的工作,叫research iteration speed(科研迭代速度)。就是我要保证大家想做的东西很快能做出来。但这就是要fight整个大公司病。

      如果researcher说“我想要用这个data”,但大公司说“我要用这个data,需要过due diligence(尽职调查)、过legal compliance(法律合规)、过这过那”,流程非常复杂,你可能需要几周都用不上那个data。或者说“我想试一下这个新的机器人”,同样,以前在Google可能需要超过30个business days,从你表达意愿到你可以把purchase order发出去,都非常的慢。

      我不得不跟很多Google内部的团队,比如legal团队、operation团队合作,跟他们说这个时代你是等不起的,你等了30天以后,那些非常有使命感的researcher都跑了。

      真的,这个时代真的是等不起,不然别人都做出来了。

      我觉得自上而下来看,Google DeepMind对robotics还是非常重视的,所以他们也开了很多special case,使得我们可以加速采购、实验、数据等各个方面的iteration speed。

      所以我想说的是,大公司病仍然存在,但是如果你工作在一个非常重要、非常competitive的area,你还是有一定的leverage(杠杆作用)使得公司为你们团队做出一些变化。

      张小珺:你们怎么考核researcher?

      谭捷:这是个非常好的问题。每个公司都会有自己的标准。我们一直说impact是最重要的。impact有很多方面。

      像以前Google还在发很多论文的时候,你的论文数量、质量、citation就是一个非常重要的指标。如果你论文发布的东西被集成到产品里面,这个产品所带来的价值和收益就是另外一个很重要的指标。它会有各种各样不同的axis(坐标),综合评价一个人的performance。

      张小珺:你们会末位淘汰吗?

      谭捷:“末位淘汰”是一个非常vague的定义。Google的performance review非常rigorous(严谨的)。对于最底下的那个bucket(分组),叫“needs improvement”,如果你的performance没有达到标准,会有一个plan,你的manager会work with you,让你能够达到标准,否则是会被淘汰的。

      它可能不如有一些公司,比如说Meta,非常clear-cut,有一个比例,这个比例之下可能就被直接淘汰了。

      Google可能会更耐心一点,文化也稍微好一点。因为每个人都有自己的priority,有生活中各种各样的状况,所以哪怕你在一个performance review里面表现不是很好,you will have a second chance to prove yourself(你将有第二次机会证明自己。)。

      张小珺:Meta对于最近硅谷的人才流动有带来什么变化?

      谭捷:变化非常大。

      我觉得Meta做了好几件事情。第一,他把AI人才的价格炒高了,非常高。

      AI人才是不是真的值这么多钱?我其实不知道。有很多种说法。

      第一种是说这是供求导致的,所有的大公司都希望AI first,所以有大量的需求,但是AI人才的供给,尤其是最优质的AI人才供给是非常有限的。所以因为供需关系,使得价格非常高。

      第二种说法是AI人才的确值这个价。因为算力非常贵,如果你把算力浪费了,那个钱也是很多的,不如花钱招一些好的人,好好利用这些算力创造价值,因为那个价值远大于这些人的cost。这是第二种说法,value is there。

      还有第三种说法,就是挖这些人和买类似的公司比,挖人还是便宜的,所以这个价格还是值的。我不知道,其实很难判断是不是一个人值一亿美金,但是我觉得Meta最近的一系列操作的确扰动了整个硅谷对AI人才的价格。

      张小珺:对你们是好事。

      谭捷:从某种程度上是好事,因为整体水涨船高。

      张小珺:但对于留住人才不是好事。

      谭捷:对,作为一个manager,我经常得想,诶,他说“Meta那边给了我一个offer多少钱”,我就得想……

      张小珺:你有什么招呢?

      谭捷:首先看看那个价格是不是合理。如果价格不合理,或者会非常影响整个team的公平性——因为其实很难一个人比别人强特别多,当然有这种情况,但可能很多时候就是一个single case在Meta获得一个非常高的薪水——如果是这种情况,并且会影响到team的公平的话,你可能还是会从别的方式来留住这个人,而不仅仅是从薪水。

      张小珺:能留住吗?

      谭捷:经常是能留住的。我觉得很多人,尤其最优质的人才,那些被挖的人,他真正care的不一定是钱,他真正care的是他们相信在机器人行业很快会有一个质的、巨大的变革。

      张小珺:bet Meta还是bet Google?

      谭捷:Not yet。如果这个变革发生,他们希望在driver's seat。我觉得一个有使命感的人,他不会容忍说“I'm on a wrong ship”。我一定要在the right ship上。那么就是bet on Meta还是bet on Google,在哪边有更多的资源、算力、支持和talent。

      张小珺:所以你经常能够留住人?

      谭捷:对,我经常可以留住人。

      张小珺:有失败的吗?

      谭捷:当然也有失败的。

      张小珺:哪个多?

      谭捷:成功的更多。

      张小珺:Meta为什么花这么多钱挖人?他是着急了吗?

      谭捷:我觉得有很多因素。Meta的确肯定是着急的,因为整个AI行业发展如此迅速,而在过去一两年里面,Meta的模型并不在first tier了。他们肯定也希望自己的AI和大模型团队能够挤进first tier。从头培养一个大模型团队还是非常困难的,所以可能挖人是一个最直截了当的方法。

      张小珺:在robotics领域华人有多少?

      谭捷:还是挺多的。

      我加入Google Brain Robotics的时候,好像是唯一的华人。当然那是9年以前了。这几年AI和robotics融合越来越多,AI界华人其实很多,CV界华人也是很多的。像我们team可能50-60%是华人。

      张小珺:为什么华人在这一波浪潮里面这么多人?有什么背景原因吗?

      谭捷:AI有很多是数学,我觉得华人数学比较好。华人特别吃苦耐劳,他们又有talent又能吃苦,所以特别容易取得成绩,这可能是主要原因。

      张小珺:在AI之前,大家会说硅谷大公司里面华人做的管理层很少。你觉得AI是不是会改变这个现状?

      以前也会抱怨说华人在海外不团结。

      谭捷:我觉得会改变。

      我在美国十五六年了,并没有感觉到华人不团结的问题。

      我觉得印度人其实他是有一些优势的。我的确能很清楚地看到在美国的高层里面印度人的比例占比更高。但的确印度人的表达能力更好。

      他们可能很多英语是母语,而且很多印度人,尤其是家境条件比较好的,他受到的教育在表达能力上还是要强于中国的传统教育。而且印度人可能更外向,更愿意speak up,这个在西方文化中非常重要。

      张小珺:华人在这一波里面会改变这个格局?

      谭捷:肯定是会改变的。华人其实更刻苦、更talented,很多华人也在不断地adapt西方的文化或游戏规则,所以我觉得毫无疑问,华人会在硅谷的大公司占据越来越重要的位置。其实有很多华人高管了。

      我可以再举一个很有意思的例子。我最近招人,有一个白人,美国的PhD毕业了,他在考虑是不是要签我们。

      我就跟他聊了一下,然后他就跟我说:“我真的希望你们team能多招点华人。”我说为什么?这不是非常不diverse吗?

      他说他有很多华人的collaborator(合作者),他跟很多华人合作,觉得做AI、做机器人的华人非常的努力,而且非常的productive。

      然后他说,他也学到一个词叫“牛马”——他说他特别喜欢自己做牛做马。(笑)

      张小珺:他对这个词有什么误解?(笑)

      谭捷:(笑)对,可能是。这个词在他心目中就是刻苦努力的象征。他觉得很多华人都说自己是牛马,他自己也想当牛马,所以他希望team里可以有更多的华人。

      张小珺:录了没?

      谭捷:录了。

      09

      当一个generalist真正成型,specialist很难生存


      张小珺:回到机器人领域,你觉得未来5年、10年,我们可以看到什么样的世界?

      谭捷:我觉得未来两三年,我们应该会看到一个就像你说的GPT时刻。在这个时刻,人们会真实地意识到“robots are coming”,general-purpose robots are coming。那时候机器人领域会更热,会有更多的钱投入。那是未来两三年。

      然后我觉得未来5年之内,有泛化能力的机器人会更快落地,开始在各种产业里面发挥它的作用。在家庭里面广泛地落地需要更长的时间。

      所以开始的落地可能还是偏传统领域,比如说制造、物流或者超市等等,但它也不再是以前那种自动化的、一成不变的动作,它们会有一些泛化能力,可以做更多的事情。

      然后我觉得在10年的周期里面,机器人开始广泛地进入家庭,的确可以开始为人们每天的生活做出非常多的贡献。

      张小珺:如果机器人拥有了智力,它到底是机器还是人?

      谭捷:那人工智能是人工还是智能?这个可能不是特别重要。我觉得很多东西,它的“智力”更多只是一个统计规律上的结果。所以,至少用现在的方法做人工智能、做机器人,它可能还是更接近于机器。

      张小珺:你这次回国,跟国内具身智能机器人领域的人交流,你觉得中美有什么不一样?

      谭捷:我听到的是,第一点,中国的硬件发展特别快。这个我在美国也能非常明显地看到,宇树也好、智元也好,很多硬件公司像雨后春笋般地为全世界提供着便宜又优质的机器人硬件。

      从AI的角度来说,我觉得中国发展也非常的快,但我也听说,中国的大环境和文化和硅谷还是不太一样的。在硅谷,大家会有一个信念,就是哪怕你并没有做出什么初期的结果,只要大家相信一个东西,还是愿意花时间、花精力、花钱上去做的。

      张小珺:这个时间能有多长?十年?

      谭捷:可以很长,比如十年。我听说在国内,大家会相对追求比较短期的目标,你在短期内要落地、要盈利、要看到快速不断的发展,否则的话你可能不会受到很大的重视,或者得到足够的资源。

      但是我觉得,在大模型时代,你真的需要烧很多钱才能看到结果。很多时候,你要看到scaling law,比如在robotics上你需要几万小时的数据。

      如果你只有几百小时的数据,其实你都无法验证scaling law。

      但是很多国内的企业家、投资人也好,他们希望的是“我先给你一点点钱,你采十几个小时数据,给我看结果不错,我再给你继续投资或投算力”。但是,可能开始的初期这些钱是远远不够的。

      所以说,真的有的时候在技术上需要一个信仰。我觉得马斯克是一个很好的例子。马斯克说我们要做什么的时候,绝大多数人是不信的。但好在他做成了很多事情,可能也使得在硅谷,大家愿意相信一个看上去非常ambitious、非常不着边际的信仰,大家愿意相信,愿意投钱,促成了很多硅谷让人难以想象的快速发展。

      张小珺:但是也会有一种观点说,硬件的发展还是要在国内。对于你们要做机器人来说,当然你们现在做的是大脑,那如果要做机器人本体的话怎么办?

      谭捷:这我同意。不考虑地缘政治关系的话,我相信肯定是中美应该更好地合作。

      很多智能的发展可能在美国会有更快的发展,但是比如供应链、硬件制造、本体甚至一些控制,我觉得国内其实做得相当好了。如果中美能够有更好的合作,我觉得对全人类来说,尤其是在机器人领域,会是一个非常重要的里程碑。

      张小珺:我突然在想,Google这条路可能类比于自动驾驶里的Waymo;那像国内这些公司,因为它有硬件,可以大量采集数据,它是不是更像特斯拉的路线?

      谭捷:你可以这么说。

      但本质的区别是特斯拉的车是有用的,所以它有数据飞轮。现在虽然中国很多企业有更好的硬件,可以采数据,但是这个硬件还没有达到一个bar,使得它是有用的,所以数据飞轮转不起来。所以你其实很难跟特斯拉类比。特斯拉解决的是一个更简单的问题。

      张小珺:特斯拉有的是一个非常好的垂直场景。那你现在看到类似的垂直场景在机器人上吗?当然,自动驾驶也是一种机器人。

      谭捷:我只能从我熟悉的这些创业公司来讲。比如在CorL让人非常惊艳的Dyna的demo,我觉得是一个还挺不错的垂直领域。至少在美国,人力成本比较高,不管是在收拾衣物、折餐巾,还是各种这样的垂直领域,cost还是挺大的。

      而这些柔性布料的manipulation,传统来说是非常难的,因为你很难写一个controller或传统规划算法来做好它,这的确是需要AI的价值的。

      所以我觉得Dyna找到了一个AI能够增加value、取代传统算法,同时那个vertical的确有一定的量和需求的交集点。总体来说,我觉得要找到那个交集还是挺难的。

      张小珺:但这不是你想做的事情,对吗?

      谭捷:Solve AGI in the physical world.

      张小珺:Dyna现有场景,如果通用机器人大脑实现的话,会覆盖掉这个领域吗?

      谭捷:会的,是的。我觉得当一个generalist真正成型的话,specialist其实很难生存。因为我一个机器人可以做你的事情,但我还可以做100个其他不同的事情。

      张小珺:极端一点,你想做的事情能覆盖掉特斯拉在做的?如果通用机器人足够通用,自动驾驶这个垂类机器人是不是就失效了?

      谭捷:当我有一个人形机器人,它能够像人一样或者超越人的智能,那么的确,我不需要车来自动驾驶了,我可以有个机器人来做自动驾驶。

      张小珺:你相信这个吗?

      谭捷:我觉得没有必要,但是可以取代。

      但是你想想,未来如果你反正买一个这样的机器人,你有两种选择去买车:一个是带自动驾驶功能的,它要更贵;一个是不带自动驾驶功能的,但是你知道你家里买的那个人形机器人可以帮你做自动驾驶。

      也许你就不需要再去买那个有自动驾驶功能的车了。虽然我觉得这个场景不一定会实现,就像你说的非常极端,但是当一个generalist真的进入这个世界的时候,很多specialist都很难生存。

      张小珺:generalist多少年能进入世界?

      谭捷:两到三年应该有足够的突破,五到十年是它能真正落地的一个时间线。

      张小珺:你觉得它能有多general?能通用到所有任务吗?

      谭捷:我以前在硅谷跟大家交流的时候,我说机器人的发展有这么几个阶段。

      第一个阶段我叫它automation(自动化),这个已经实现了,就是你在车厂,所有东西都是机器人,但是都是编程的,固定的规则,固定的trajectory(轨迹)。

      第二个我叫它teleoperated robot(远程操控机器人),就是这个机器人硬件很完善,但它没有大脑。但是你可以通过遥操的方式让它做很多事情。这个现在基本上你也可以看到,Tesla在很多场景里面它是遥操的,但你有时候分不出来它是遥操还是自主的,这说明它的机器人硬件已经非常完善了。

      第三块就是它是一个generalist(通才),但它不是特别的general,它能做一个narrow domain的事情,其实self-driving就是其中一个场景。它是智能的、自动的,但是它不做所有事情。下一个就是真正的generalist,它可以开始做家庭里所有的事情。

      它可能跟人一样capable,这个时候可能就是人形机器人在家庭落地的时候。

      最后一个stage叫superhuman capability(超人能力)。因为强化学习,因为机器人它可能有碳基生物所没有的一些存储、power density之类的,它可能在很多领域会超越人类的智能和体能。那可能是最后一个stage。

      张小珺:听说你日常生活是一个很潇洒的人,你平时会干嘛?

      谭捷:我平常会干各种各样的事情,喜欢出去旅游,也比较喜欢种花。

      我有时候会去练练赛车。后来发觉在真实赛道练赛车太贵了,我在家里买了一个很好的模拟器练赛车。

      张小珺:那你还是work-life balance的。

      谭捷:我还练钢琴。

      怎么说呢,人总是需要一些爱好,总是需要一些解压的手段,否则工作压力还是很大的,工作时长也很长。所以工作之余还是会花一点时间。

      我还有两个娃,他们年龄差距也特别大。大娃12岁,我可以开始教他一些编程、机器人的东西,特别有意思。然后小娃5个月,特别可爱。所以说工作之余还是有很多非常有意思的事情。

      张小珺:你会在训机器人和带娃的过程中感觉到两者有什么本质的不同吗?

      谭捷:非常相似。

      其实娃的学习基本上就是两种学习方式,一个是强化学习,他不断探索,获得一定的reward,然后reinforce他做事情的能力;第二个是imitation,他看着爸妈做什么,看着身边的小伙伴做什么,然后慢慢学习。就这两个是非常相似的。

      我经常会做一些类比,说“我们这个机器人it's like a two-year-old”。因为随着小朋友的发展,他有了视力以后开始慢慢学会抓取,然后慢慢可以坐起来,开始走路。

      很多东西和AI的发展是非常相似的。只是somehow,我觉得manipulation happens earlier for kids(对于儿童来说,操作行为发生得更早),但是对于机器人来说,manipulation is way harder than locomotion(操作远比移动困难得多)。

      张小珺:人类学习中的数据是什么?

      谭捷:就是你视觉看到的东西,触觉摸到的东西,和你听到的东西。

      我们在不断地获取数据,我们有个大脑,它可以存储很多数据,可以distill(蒸馏)这些信息,然后strengthen(强化)一些神经元之间的连接。所以整个学习过程和机器学习是非常像的。

      张小珺:机器人真的到现在像几岁的小孩?

      谭捷:如果是locomotion(移动)的话,那我觉得机器人已经比我强了。前不久不是北京有一个机器人运动会吗?我觉得宇树的那个人形机器人已经跑得比我快了。

      但是从灵巧手的manipulation(操控)来说……先不说灵巧手,就说夹爪,我觉得它可能真的像两三岁的小孩,他抓的不是很稳,但是能够大概理解你要他干什么,follow the instruction,然后他可能尝试几次能做对,可能两岁的小孩的水平。但如果是灵巧手的话,我觉得nothing works。

      张小珺:从一个完整的人来说,它像几岁?

      谭捷:这是一个很奇怪的问题,因为它的走路和行动能力感觉已经超越成年人了,但它抓取和大脑的能力可能还是像一个小孩。所以我不知道你怎么average他们。

      张小珺:它发展的非常不同步、不均衡。

      谭捷:对,因为我觉得在这个步态行走、locomotion上,强化学习在过去五年里面基本上解决了这个问题。但是在手的控制和manipulation上,我们并没有找到一个很好的解决方案。

      张小珺:当人和机器人共存的世界出现以后,你觉得人和机器人本质区别会是什么?你能接受你的小孩以后跟机器人谈恋爱吗?

      谭捷:这是一个我没有仔细思考过的问题。

      这个问题得仔细思考一下,我并没有一个很好的答案,说他们的区别是什么。因为这跟机器人是不是真正有意识是相关的。

      张小珺:意识又是什么呢?好像也没有定义。

      谭捷:对,这是一个哲学问题。

      现在的机器人对我来说,只是从大数据里面找到一个统计规律。我觉得和人的意识还是非常不一样的。但是意识究竟是什么?从什么时候开始你可以判断机器人有了意识?这个我并没有更好的答案。

      张小珺:机器人这个行业会不会有巨大的泡沫?

      谭捷:有可能会有巨大的泡沫。这个取决于机器人到底发展有多快,这是第一点。也许在未来两年中它持续加速。

      第二个是大家有没有找到落地的场景。就像大家开始找落地场景了,一年以前我觉得是不可能落地的,这种AI机器人在短期内。但现在大家似乎找到了一些可能可以落地的方向。如果这些速度持续加快,落地持续发生,可能它不是个泡沫。但是人形机器人进入他们的生活,还挺遥远。

      张小珺:一个时代可能会有几个最重要的需要被定义的问题。你觉得机器人领域最重要的几个被定义的问题会是什么?

      谭捷:这是个很好的问题,我真的希望机器人领域有这样的问题。但是机器人是一个非常复杂的学科,是很多一系列问题叠加而成的综合性问题,而不是说如果我解决一个问题,机器人就突然间能够work。

      如果你一定要说有一个问题,那就是“如何能够获得高质量、大规模的数据”,这是可能我们现在第一个亟待解决的问题。

      张小珺:最后几个快问快答。一个全球范围内你喜欢的食物?

      谭捷:我有太多喜欢吃的了,我是个吃货。

      硅谷在我家边上有一个叫Ping's Bistro,那家是一个云南菜。我觉得在硅谷云南菜还挺少的,所以我特别喜欢。

      张小珺:一个全球范围内你喜欢的地点?

      谭捷:上海。

      张小珺:基于所有读过的书,推荐两本必读书。

      谭捷:有一本书叫《Start with Why》,那本书彻底改变了我的communication skill。第二个叫……我记不起确切的名字了,《The 7 Habits of Highly Effective People》。

      张小珺:你心目中影响机器人进程的几篇论文?

      谭捷:那很多论文都是我们team的论文。像我说的,我的第一篇论文《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》是一篇非常重要的强化学习论文。后面的就是Robot Transformer系列的论文,RT-1, RT-2, RT-X,包括Gemini Robotics 1.5 ,这些都是非常重要的论文。

      张小珺:基于你当下的认知,一个关键的、重要的bet是什么?

      谭捷:对机器人领域重要的bet就是,你得相信synthetic data(仿真数据)的价值。光靠real data是解决不了机器人问题的。

      收听播客


      推荐阅读


      阅读原文

      跳转微信打开

      有赞AI研发全流程落地实践

      2025年11月26日 16:45

      原创 有赞共享技术 2025-11-26 16:45 浙江

      本文介绍了有赞研发团队在 AI Coding、AI Test 及 Agent 评测体系的全流程落地实践。分享了从“人主导”向“算力驱动”转型的技术架构与实战经验。

      1. AI 时代的研发变革

      1.1 AI编程的火爆

      25年可以说是 AI 应用的元年,在编程领域从最基础的代码补全到辅助编程,到 AI 工程师,再到 AI 开发团队,各种概念层出不穷。

      编程工具迭代涌现,从老牌的 Github Copilot 到爆火的 Cursor,再到 Claude Code,和最新出的 Codex。

      对应的用户规模也爆发增长,Github Copilot 用户超过 2000 万,Cursor 用户超过 230 万,Claude Code 在短短 3 个月用户增长 10倍,Github Copilot 年度 ARR 超过 3 亿美元,而 Cursor 和 Claude Code 都超过了 5 亿美元。

      随着编程工具的发展,编程门槛被大幅降低,氛围编程(Vide Coding)开始兴起,让更多非专业开发者专注创意和结果。

      在有赞内部有产品同学开始用代码交付交互式的 PRD,在一些创新型项目中这会成为第一版代码。

      1.2 AI对企业研发的变革

      我们开始思考,AI 对企业研发意味着什么?

      首先,传统软件研发生产要素,由人力、技术、信息组成,核心逻辑是多招人,就能多做项目,就有更多产出。 围绕人这个要素存在一系列问题:好人才难招、新人要培养、人才会流失、个体的动性、人的协作效率。

      AI 时代人力开始向算力转移,增长逻辑编程多买显卡,获取更多算力,就能有更多产出。大部分体力工作向算力迁移,部分脑力工作可沉淀到算力中,算力能快速扩大。

      最近看到一些新闻,硅谷的大厂一边裁员,一边争相购买显卡。

      在这个过程中,人从直接产出转为对算力的设计与编排。

      “让子弹飞”是一部经典的电影,这里引用其中一张截图,模糊度恰到好处。

      远看是火车即将超越马,近看是马在拉着火车,这很有意思。和我们目前落地 AI 有点相似,“朋友圈”看起来各种炫酷,实际落地需要大批人马参与。

      但这就意味着火车不如马吗?

      显然不是,我们都知道最终火车一定会超越马,亦或,马拉火车的方式本身就错了。

      1.3 有赞研发的AI+

      出于对 AI 趋势的坚信,在有赞研发内部,我们有大量的 AI 探索与实践。

      横跨研发的完整流程,包括需求、设计、编码、测试、上线的各个阶段。

      所有这些实践可以,归纳为三类:AI Coding、AI Test、AI DevOps, 以及围绕 Agent 本身的研发与评测。

      1.4 AI编程小案例

      在 AI 探索的初期我们遇到了两个很有意思的小故事。

      1.4.1 一位产品的氛围编程之路

      第一个故事是,我们的一位产品同学用氛围编程做了一个简单的日常需求,他给了一个反馈:严重缺乏安全感。

      我们深入了解后发现来源于三点:

      • 心理不可接受:由于企业级工程规模大、系统复杂度高,系统/功能间依赖关系较深。非专业人员面对生产稳定性和大量线上用户压力时,心理负担急剧增加。本质是判断力缺失;

      • 效率不可持续:判断力缺失也导致效率不可持续,导致需要频繁的和开发者沟通,氛围编程变成了 AI 和开发者之间的传声筒。编程的耗时被极大的转换成了沟通确认的耗时,最终效率不升反降;

      • 质量不可信赖:虽然 AI 做对了效果,但是实现方案不合理,最后返工。现代企业级软件工程,除了完成需求外,还需考虑健壮性、可维护性、架构一致性等因素。AI 由于缺少上下文输入,这方面做得并不好;

      1.4.2 一位开发带领的编程团队

      第二个故事是,五月 Claude Code 发布后,我们看到一些开发者编程模式的变化,如图是一位同学的 Cli 工具:

      左侧是 4 个 Agent 分别在完成一个项目的 4 子需求,右侧是他在验证和提交代码。

      这种模式类似一位技术 Leader 带领一个小团队做项目,由 Leader 负责任务拆分、方案设计、过程把控和代码CR。

      过去需要几个人的小组,现在一位开发者加上多个 AI Agent 就可以做到了。

      这给了我们不少启发,我们开始思考如何把这种模式推广到更多项目中。

      1.5 企业级软件工程四大特点

      在经过了初步的观察和尝试后,我们总结了 AI Coding 落地需要解决的关键问题,归纳为四点:

      • 大规模:这对 LLM 的多仓库理解、上下文窗口提出了要求;

      • 高复杂:通常涉及多个业务系统、历史兼容等,需要解决 LLM 的注意力缺失问题、准召率低问题;

      • 多协作:一个项目往往涉及多职能、多部门的协作,不同团队间对 AI 的理解和应用有深浅,如何协同?以及,人在哪些环节以怎样的力度监督 AI?需要合理地规划 AI 落地的节奏以及人机协作模式;

      • 私有化:企业内部有大量分散在各处的信息,不透明、不标准,难以被 AI 检索,需要建设内部知识库、对接内部工具;

      1.6 AI落地的三个阶段

      明确关键问题后,我们将 AI 落地划分为了三个阶段:

      • AI 增强阶段:人主导 AI 辅助,此阶段重点聚焦用 AI 做单点提效;

      • AI 驱动阶段:AI 主导人监督,此阶段 AI 有能力接管单一研发环节;

      • AI 自主阶段:AI 自主人少量介入;

      对于不同的场景应该匹配适合的阶段,过度追求 AI 适得其反,我们踩过不少坑,AI 的落地无法一蹴而就,需要循序渐进。

      目前我们的实践大量在 AI 增强阶段,有少量能到 AI 驱动阶段。

      2. AI Coding:从个人助手到规模协同

      2.2 设计路线

      首先,是关于 AI Coding 的设计路线,我们有两个选择:以人为主 Agent 为辅、以 Agent 为主人监督。

      我们观察了一些开发者的辅助编程模式,我们发现以人为主的模式存在一些问题:

      • 协作还是以人为中心,相互沟通靠声音、工具调用靠手速,信息传递效率低;

      • 个人经验内化不共享,Agent 配置没有复用,信息分布式存储;

      • 另外,人的规模化需要时间;

      因此,我们选择了第二条路线,其可以系统化解决以上三个问题,并且“天花板”更高。

      2.3 构建框架

      明确了设计路线后,让我们开始构建 Coding Agent,这个过程类似从 0 到 1 搭建一个开发团队:

      • 它们都需要有好用的工具,无论是硬件、软件还是技术选型;

      • 它们都由专业的个体组成;

      • 并且这些个体能高效协同完成复杂的任务;

      让我们先从设计一个专业的 Agent 开始!

      2.4 设计演进

      通用 AI Agent 和计算机很相似:

      • 它们都有计算单元,一个是 CPU,一个是 LLM;

      • 它们都有短期存储,一个是内存,一个是上下文;

      • 它们都需要获取外部信息,一个通过网络,一个通过搜索工具;

      • 它们也都可以多节点进行协同,完成复杂任务;

      当我们把通用 AI Agent 细化到 Coding Agent,一些选型会更具体:

      • LLM 需要选用垂直的编程 LLM;

      • 上下文需要引入企业的开发规范/约束;

      • 长期存储需要对接企业内部知识库;

      • 搜索工具聚焦在代码仓库的搜索和理解;

      • 工具需要对接企业内部的工具链和平台;

      • 协同系统的拆分应该以企业内部的协作流程或领域分工来拆分;

      2.4.1 选型与选择

      在明确了核心模块后,需要先回答两个问题:方案的选型、自研的选择。

      在 AI 时代行业解决方案百花齐放,无论是大模型还是配套的技术,且迭代速度极快,比如近期的Gemini3(11月18日)、Nano Banana Pro(11月20日)。

      做的越多越容易陷入追赶的局面,最大程度的借助行业能力,并将其与企业内部资源串联是关键。

      我们的核心策略是将通识的交给行业,集中资源做私有部分,通过行业迭代来提升底层能力。

      2.4.2 Base Agent & System Prompt

      明确策略之后,首先是基础模型的选择,在25年初时我们基本有共识,LLM 应该交给大厂,我们则专注于应用。

      到了 5 月份我们发现 Agent 系统也有不错的行业实践,因此问题被延展成了选择基础模型还是选择基础 Agent? 也就是 Claude 还是 ClaudeCode?

      围绕这个问题我们做了一些研究,发现 Claude Code 作为通用编程 Agent,在子 Agent 调度、MCP 集成、通用开发工具、上下文压缩方面已经做得不错了。

      因此,我们选择了 Claude Code 作为基础 Agent 的底座,通过其强大的扩展能力,将其连接到我们内部的研发体系。

      首先是系统提示词,这方面 Claude Code 已经做的不错了,我们仅做了少量扩展,总共不到 200 行,主要是一些内部的编程规范、特定约束。

      2.4.3 Dev Tools

      接着是工具,和人一样,Agent 也需要开发工具。比如,当开发者让其参考历史需求,它需要能访问需求管理平台查看。又比如,它可以通过飞书文档创建一篇技术方案给开发者审阅。

      这些工具散落在内部的各个系统、平台,有些在外部,我们通过 MCP 将这些工具集成到一起,交由 Agent 决策使用。

      2.4.4 Codebase Search

      有了工具后,接着是代码理解能力,这也是 Coding Agent 的关键能力之一。

      我们将其分为了三层:目标仓库定位、跨仓库依赖代码召回、工作区代码理解。目标仓库定位比较简单,我们用的是知识库 RAG 的方案。

      在代码理解上,业内常见的方案有:向量索引检索(RAG)、抽象语法树(AST)、文本搜索(grep)、预生成文档(deepWiki),在实际应用中有不少组合的情况。

      Cursor 选择的是 RAG 方案,好处是速度快,适合大的单体仓库,缺点是精度丢失(向量化),实时性不高。

      Claude Code 则选择比较纯粹的文本搜索方案,和人很像,好处是精度高、实时性强,但性能会差一些。

      在有赞对于跨仓库依赖代码,由于仓库数量庞大,采用的是 RAG 方案,同时更新频率没有 Cursor 这么高,我们基于 Git 的提交记录进行增了更新。对于工作区代码理解,由于基础 Agent 是 Claude Code,直接采用它的文本搜索。

      另外,代码安全也十分重要,无论是发送给向量嵌入模型还是大模型的代码片段,都通过安全扫描进行脱敏。

      2.4.5 Knowledge Base

      有了代码,接着是内部知识,和开发者一样 Agent 需要理解业务知识,比如产品模块有哪些、业务术语是什么意思。也需要理解专业知识,比如技术选型用了什么、编程规范是怎样的,以及工程现状。

      这些额外的上下文可以让 Agent 的编码更符合预期,避免写出“与众不同”的代码。

      过往企业知识库建设有两大痛点,一是信息孤岛(无法统一检索/重复建设严重),二是内容老旧(因为缺少审核/运营机制,大量过期/错误内容)。

      为此,我们内部成立了专门做知识工程的团队,由他们推动知识透明和更新。他们围绕知识增长、内容质量、知识使用进行建设,为上层应用提供高质量的知识。

      至此,一个 MVP 版本的 Coding Agent 完成了。我们拿去做了一些需求,发现效果并不好,原因是还有大量经验在开发者的头脑中。

      2.4.6 Long-term Memory

      为此,我们会 Agent 打造了基于长期记忆的学习系统。简单来说,就是将开发者和 Agent 的监督对话提取为长期记忆,后续遇到类似场景时进行召回使用,这也可以实现跨会话的复用。

      这就如同一个经验丰富的老员工手把手带教实习生,整个过程分为:

      • 记忆提取,该阶段重点关注符合事实、保留细节、不归纳泛化。

      • 记忆储存,我们采用自然语言+标签的形式储存而非结构化,并且保留了原文引用。

      • 记忆合并,定期将类似记忆归纳合并。

      • 记忆检索,业内根据场景不同常见的有:向量数据库、知识图谱、分层存储,我们采用的是向量数据库。

      • 记忆遗忘,随着记忆数量的增加,根据时间和使用频次进行遗忘。对于高频使用的记忆经过泛化后转化为知识。

      虽然设定了很多提取规则和后处理,但在实际应用中,通过人工标注及修正的方式,可以较快加速记忆的可用性。

      我们在 AI Coding 做了测试,同类任务未接入记忆需要 5-10 轮对话修正,接入记忆后仅需 1-3 轮,有较大提升。

      2.4.7 Cloud Sandbox

      Agent 构建完成后,无论是运行、调用工具、拉取代码等等,都需要一个环境,如同为开发者配置一台电脑一样。

      通过对本地辅助编程的观察,我们发现本地运行存在一些问题:复杂环境导致额外上下文、工程化适配问题、安全与监管难解决。

      因此,我们选择了云端部署的方案,为每个 Agent 的每次会话分配了独立且标准化的沙箱(Sandbox),其中包含了开发环境,以实现交付结果预览。

      同时对会话及沙箱做了无状态化,实现水平扩容能力。我们将会话存储在共享存储中,当开发者开启或继续一个会话时,会动态分配随机沙箱,并从共享存储中恢复会话。

      这一切都需要通过统一网关,以解决安全和监管问题。

      2.4.8 Multi Agents System

      随着接入环节的增加,我们发现单一 Agent 面对个多环节,由于 LLM 上下文长度导致了遗忘、性能等问题。

      为此,我们引入了多 Agent 系统,将这些复杂度分而治之。

      • 在 Agent 的编排上有 Workflow 和 Agentic 两种方式。由于企业级工程对稳定性、观测性的要求较高,我们采用 Workflow 串联多个 Agent。在部分 Agent 内部通过 ReAct 模式发挥 LLM 的自规划能力。

      • 在 Agent 的拆分上有流程拆分和领域拆分两种方式。我们都做了尝试,从落地情况看按流程拆分基本可以解决大部分问题。

      同时,我们为每个 Agent 做了差异化的基模选择,主要根据 Agent 的任务特点、LLM 的优劣势以及成本。

      • 需求解析和仓库定位较简单用 GTP-4o;

      • 代码定位用向量嵌入模型 voyage-code-3 并配合 deepseek-v3 做一些后处理;

      • 方案和编码则用 Claude-sonnet-4.5,其中记忆用 GTP-5 效果出色;

      • 代码审查则用 Gemini 2.5 它的上下文窗口较大,可以把更多代码片段给到 LLM;

      2.4.9 人工监督(HITL)

      整个 Agent 系统的运行离不开人工监督(Human in the loop),我们面向开发者、管理者分别设计了两套监督系统。

      • 面向开发者的监督系统主要基于飞书 IM,它是一个天然的对话流,同时结合飞书文档、GitLab。开发者可以在 Agent 的每个阶段对产物进行审核,包括:需求清单、技术方案、改动代码、实际效果等,并通过多轮对话进行修正;

      • 面向控制者的监督系统主要基于多维表格及其仪表盘,管理者对每个需求的情况一目了然,包括:交付率、对话轮次、Token 消耗、对话明细等;

      其中,对话明细可以转化为评测集,用于后续 Agent 的评测。

      2.4.10 对接发布系统

      最后,我们通过部署发布 Agent,打通了发布系统。如图所示,通过对话就可以很方便的部署到预发,或发布至生产:

      2.5 产品形态

      这就是我们最终的产品形态,已经交付了不少需求。当然实际落地中,这种人机交互模式也有局限性,因此我们正在开发 Web 端,类似 manus 的效果。

      2.6 需求选择与落地

      在 AI Coding 落地的需求选择上,我们分了三个维度:多职能、多仓库、需求规模,和新人一样在 Agent 能力还不够时,先从单职能单仓库的日常需求开始。通过做小需求验证 Agent 并积累数据,同时小需求因优先级不高而积累,用 AI 来做具有提效价值。

      在我们将 AI Coding 推广到兄弟团队时,发现大家对 AI 期望很高,大家会给它做非常有挑战的需求,我们需要理解 AI 不是万能的,人做不了的它也是。

      目前我们的 AI Coding 已经可以实现单职能多仓库的日常需求,已交付近百个需求。综合提效 30%,包括人工监督的耗时,单个需求 Token 费用不到 100 人民币。

      接下来我们会重点向多职能多仓库、项目级需求两个方向迭代。

      2.7 实践案例

      2.7.1 翻译型事务

      在落地过程中,我们也发现了一些特别适合 AI 做的共性需求。

      第一类我们称之为:翻译型任务。 已经有明确方案且较为简单的任务,AI 可以快速完成,且质量还不错。比如:技术债务治理。

      有一个基础库升级的案例,涉及基础库、业务库和23个业务应用的升级,原本需要超过50人日,通过 AI 几十分钟就好了。

      2.7.2 降低开发门槛

      第二类是跨域编程,我们工作中经常会需要跨团队、跨领域支援,过往人的学习和熟悉过程会有额外的时间。通过 AI Coding 我们的开发者进行了不少的跨域编程,这部分时间几乎被抹平。

      2.7.3 小插曲:移动编程

      另外有个比较有意思的小插曲分享一下:

      相信程序员都有共鸣,随身携带电脑是大家的痛点之一。在我们落地 AI Coding 的过程中发生了另外一个小案例,有个开发同学出去聚餐没带电脑,这时候来了个 Bug:

      • 他掏出手机打开飞书用聊天唤起了一个 Agent

      • 把 Jira 和说明丢过去

      • 让 Agent 先改着,就先吃饭了

      • 过了几分钟 Agent 改完了

      • 他看了没问题就让 Agent 发布了

      这虽然只是很小很小很小的案例,但确实让我们看到了 AI 正在慢慢改变我们的编程方式。

      2.8 完整架构

      以上,就是我们在 AI Coding 方面的实践:

      • 首先,我们做了好用的工具,也就是云端 Sandbox;

      • 其次,基于上下文工程,我们打造了专业的 Agent 个体;

      • 最后,通过 MAS 让他们协同工作;

      • 另外我们也做了人机交互界面,让人可以监督 Agent;

      3. AI Test:从自动化到智能化

      3.1 传统测试的局限

      在开始之前,先简单回顾下传统测试的挑战:技术栈多样化、设备终端碎片化、工程规模增大,因此对测试效率提出了要求。

      自动化测试被引入,提升了一些效率,但有一些局限:编写有门槛、维护成本高、难扩展复用、失败排查困难。

      3.2 AI时代的新挑战

      在 AI 时代,随着编码效率提升,对测试效率提出了更高的要求。同时由于 AI 生成代码不确定,影响面和风险更大,对测试带来了新挑战。

      同样 AI 也对测试带来了新的可能:

      • 在测试设计阶段,能做 AI 用例生成、AI 用例优化、AI 用例选择(精准测试)等;

      • 在测试执行阶段,能做 AI 数据构造、AI 驱动执行、AI 增强录制、AI 无参考测试等;

      • 在评估优化阶段,能做 AI 失败归因、AI 用例修复、AI 分析报告等;

      我们在这方面踩了不少坑,也有些在部分场景落地了。

      3.3 AI用例标准化

      首先是,AI 用例标准化,在我们开始结合 AI 和测试时,碰到的第一个问题就是:用例。

      过往历史用例缺乏维护,质量参差不齐,如左图各种隐式步骤、断言缺失。另外用例还分散在各个平台,比如文本和自动化用例互不相通。

      这就导致了GIGO(Garbage in, Garbage out)的现象,你给 LLM 的输入质量低,它的输出质量也低,幻觉严重。

      于是,我们开始思考如何解决用例的问题,我们发现 LLM 本身有强大的自然语言理解能力。这让传统文本用例和自动化用例的融合成为可能,也就是自然语言用例,让用例兼具语意性和可执行性。

      我们探索了两个方向:AI 存量用例优化、AI 增量用例生成。

      首先是存量用例优化,根据已有的测试目标和测试步骤由 LLM 生成更规范的用例名、标签等,同时逐步优化用例步骤、补充断言。

      其次对于增量的用例,我们结合业务知识库,并参考现有用例进行生成。

      所有的这些自然语言用例放在一起,它们本身就是一个高质量的测试知识库。

      一个新的用例生成过程分为三步:

      • 填写基本信息:测试目标、开启 AI 规划;

      • 选择参考用例:从历史用例库选择供 LLM 参考;

      • 用例生成:LLM 会生成用例的基础信息,以及完整的测试步骤,这里的步骤是自然语言,一目了然,且可被执行;

      目前,用例生成的准确度和覆盖场景还有很大空间,仍处于探索阶段。

      3.4 AI增强录制

      我们还有不少用例是录制的,因此我们做了 AI 增强录制,下面看一段视频:

      视频中人在操作的同时,会先录制图片加坐标,交给多模态 LLM 去分析,生成自然语言的步骤。

      可以看到这个过程是并行的,不影响人工操作,一次生成大约5秒左右。

      录制完成后,回放执行也非常顺畅,AI 可以较快的执行几乎和人操作一样。

      我们是怎么做的?

      首先先简单回顾下传统录制的局限:定位不精确、录制步骤冗余、需要人工校准、维护成本高。如下图:

      通过 AI 增强后,测试步骤可以精确识别用户的意图:输入价格1、输入划线价2,且较为精炼:

      整个增强过程大致分为几步:

      • DOM+截图输入:首先是捕捉用户的操作,将完整 DOM 和截图丢给多模态 LLM,目前通用多模态 LLM 已经比较强大了,我们第一版就能做到 70% 准确率。即使不提供 DOM,LLM 也可仅依赖截图识别,从而支持跨平台录制。但这个方案的 Token 消耗是巨大的,且上下文太长会带来一些幻觉导致不稳定;

      • DOM 预处理:通过对 DOM 进行裁切,降低噪音和 Token 消耗,同时标注重要内容提升大模型注意力。另外一些敏感的信息和代码也会被过滤。做完这些后我们的上下文能裁切大约 99%;

      • 交互区域标注:接着我们把 70% 准确率进一步提升,遇到了一些问题。在用户操作无交互表现的情况下,LLM 无法很好的理解,如左图,这里点击“…”没有交互状态变化,LLM 只理解到“点击空白区域”。我们通过增加交互区域标注来解决,这让 LLM 可以准确理解用户交互的区域,效果如右图,LLM 可以理解到“点击更多按钮”;

      • 父级元素标注:虽然增加了交互标注,但在一些复杂业务,元素之间是有关联的。如左图,“?”的图标,LLM 可以理解到是“帮助”,但它并不理解是“退款资金状态的帮助”,如果一个页面中有多个类似图标就不准确了。为此,我们增加了父级元素标注,把交互区域前后的父级 DOM 元素一起给到 LLM,让其理解更多上下文关系。如右图,增加后 LLM 可以理解到“点击退款资金状态的帮助”;

      做完这些后,我们的准确率可以做到 89%,单次增强的耗时在 5-10 秒之间,这得益于模型能力的提升,从 Qwen2.5-VL 的 20 秒到 GTP-4o 的 10 秒以内。

      目前这套方案是跨全平台的,包括Web、Pad、桌面等设备,Android、iOS、鸿蒙等系统,以及各类小程序。

      3.5 AI用例执行

      有了用例之后,接下来是用例的执行。目前我们的用例执行都会统一注册到任务中心,由其下发到两大集群,分别执行浏览器任务、App任务(包括小程序)。

      AI 在执行方面有天然的优势,跨平台支持,具备一定自适应能力,比如一些设备有像素抖动的情况,LLM 可以识别提升用例稳定性。

      目前我们的用例执行量超过每天 10 万次,任务成功率 96%。

      当然,这个过程中也遇到了一些问题:模型执行速度慢、模型幻觉问题、模型识别精度问题。

      • 解决“模型执行速度慢”:我们先做了基于图像和 Prompt 的识别缓存。但未命中缓存时 AI 指令的秒级,和程序指令的百毫秒级差距依旧很大。因此我们做了 AI 提速,用例解析后首先程序执行,失败时 AI 兜底执行,执行成功后由 AI 进行自愈,提取成功的信息更新程序脚本;

      • 解决“模型幻觉问题”:幻觉问题不是太大,通过 LLM 二次优化步骤 Prompt,同时采用更准确的 AI 指令(如 Midscene 中用 AI Input 替代 AI Action)基本可以解决;

      • 解决“模型识别精确问题”:看下图中右上角的图,红框是 Qwen-vl-max,绿框是UI-TARS-1.5,它们对于小元素的识别精度差异很大。从我们时间来看 Qwen-vl-max 对小图标识别能力较差,开启 deepThink 有所改善。UI-TARS-1.5 具备较强的探索能力,它们在断言方面都不如 GTP-4o。我们也从元素定位、元素断言、内容提取、任务规划方面,测试了 5 个主流端,UI-TARS-1.5 在元素定位精度和移动端表现较好,也是我们目前的选型;

      3.6 AI无参考测试

      做了 AI 执行后,我们开始思考 LLM 本身具备常识,也知道企业内部知识,是否可以做 AI 无参考测试?

      我们做了探索,首先要做无参考测试,对模型精度要求较高,通用的多模态 LLM 较难满足。

      因此,我们引入了监督微调(SFT LoRA),主要让 LLM:具备更细化的任务定义、明确输出格式便于工程化对接、注入内部知识和评判标准。

      我们的算法团队做了不少建设,让业务团队可以聚焦在微调数据集。一条微调数据包括:Instruction、Input、Output,下图是一个最简单的案例:

      当然这条微调数据并不好,它的 Output 缺少了很多内容, 比如:作答风格、结构化输出、内部知识、分析的过程和原因。我们从指令微调、思维链微调两部分对这条数据进行优化,如下图:

      定义了数据结构,接着是如何生成大量的微调数据,一般需要训练集、验证集和测试集,前两者用于训练过程,后者用于最后的评估。

      整个数据集包括正样本、负样本和混合样本,一般比例为 1:3,避免模型过度偏向“总是发现问题”。

      数据集通过 LLM 合成,首先通过脚本抓取线上的原始样本(正样本),然后通过程序合成多个负样本。

      结合样本图片和特定的 Prompt 用 LLM 来生成 Output,Prompt 中包括我们的内部知识、预期输出结构、作答风格。

      目前我们的垂直模型正在微调中。

      3.7 AI归因归类

      当用例执行完成后,我们需要对失败用例进行分析,过往需要人工分析效率较低,100 条失败需要15分钟。

      我们通过 AI 来提速这个过程,首先由 LLM 将单个失败总结核心原因,然后将类似原因的分组归类。

      如右下图,一共 85 条失败用例,被快速归为了 3 组,且标明了核心原因。

      人工可以非常快速的进行分析,100 条仅需 1 分钟。

      整个归因归类过程,首先是对用例执行报告进行程序预处理。

      程序主要将失败图片进行切片、步骤进行拆分。前者解决多模态 LLM 在大图下的幻觉及不稳定性,后者解决性能问题。

      接着切片交给图片归因 Agent、步骤归因 Agent,进行并发分析。

      再由总结 Agent 对原因进行合并总结,最后归类 Agent 对原因类似用例进行分组。

      目前我们线上用例已 100% 覆盖 AI 归因归类,归因准确率为 85%。

      3.8 AI用例修复

      做了 AI 归因归类后,我们发现既然原因都知道了,何不让 LLM 自己修复?

      因此,我们正在探索了 AI 用例修复,目前主要针对像素差异率波动、非核心元素变化的场景实现了修复。

      如下图,AI 会对可修复场景进行建议,人工确认无误可一键修复。目前修复准确率 60%。

      3.9 与 AI Coding 结合

      以上就是我们在 AI Test 方向的实践,后续我们计划串联 AI Coding 和 AI Test。由 Coding Agent 生成测试目标,交由 Test Agent 对用例进行召回和生成,并完成后续的自动化测试工作。

      4. Agent 评测:从炫酷飞起到生产落地

      在 AI Coding 和 AI Test 中我们构建了大量的 Agent,需要一套 Agent 评测体系对它们进行评估反馈。

      4.1 为什么需要评测

      先看一张大家都很熟悉的图,我们看别人的 Agent 时都会觉得好炫酷跃跃欲试,然后自己也开始手搓 Agent。

      做完后在开发环境或者小范围测试中表现也不错。

      发布到生产后,各种奇奇怪怪的情况,用户提问的思路无法捉摸,最后还是要转人工。

      我们需要知道,Agent 和传统软件不同,没办法列举完整的用例来保障效果。

      软件测试目标固定、标准化、可复现,而 Agent 评测具有不确定性、开放性(比如用户提问)、多样化(比如模型回答)。

      发布标准上,传统软件主要看功能点完成度,测试通过与否。 Agent 则需要用评测集进行多维度的指标评估。

      Agent 开发完并不意味着达到生产发布标准,应该用评测指标作为依据。

      4.2 评测集

      开始 Agent 评测,首先需要准备评测集, 评测集的类型有:有参考、无参考、参考资料三种。

      接着是评测集的构造,常见的方法有:人工标注、LLM 泛化、线上采样。

      一个全新的 Agent 没有线上采样数据,我们可以通过人工标注 50-100 条的种子集,然后让 LLM 进行泛化。

      评测集根据场景不同,也可以划分为:种子集、Badcase集(一般来源于用户反馈)、扩展集、对抗集、场景集(一般由业务场景决定)。

      4.3 评测器

      有了评测集之后是评测器,评测可以分为两种:人工评测、自动化评测。新的 Agent 初期由于评测标准不确定,可结合人工评测,随着调用增加,将人工评测维度沉淀为自动化评测。相较于人工,自动化评判尺度统一、主观偏差少。

      自动化评测器包括: 托管(平台自带的评测器,可以快速启动评测项目)、 自定义(自行根据业务编写 Prompt 的裁判模型)、外部(由外部平台/服务提供)。自动化评测器可以由 LLM 作为裁判,可以是特定的算法验证(如 BLEU、CLIPScore等),也可以是业务逻辑验证。

      评测器设计一般包括:评估步骤、打分标准、推理指令、少样本提示(正例/反例)、边界案例、基于业务的判断要点(如合规、医疗等场景)。评测打分用 0-5 分制归一,可以兼顾可解释性和区分度,让不同评测维度可以横向对比。另外,为裁判模型添加 CoT 可以提升可解释性、一致性,便于后续人工分析和优化。

      4.4 评测指标

      接着是评测指标的设定,首先需要先明确评测主体,可以是:基础模型、提示词版本、工具版本、召回的记忆等。

      围绕主题设定评测指标,通常有四类:效果指标、技术指标、用户指标、业务指标。

      另外裁判模型自身需要有评测指标:

      • 人工一致性, 衡量模型评分与人工标注结果的一致程度;

      • 评分方差,衡量模型打分的稳定性;

      • 异常打分率;

      4.5 反馈系统

      除了人工评测、自动化评测外,生产中用户真实的反馈至关重要。能够帮助我们发现 Agnet 在实际应用中遇到的各种边界场景和潜在问题。

      一般有两种方式:

      • 显示反馈:需要用户明确操作(点赞/点踩)反馈,意图明确但反馈率较低;

      • 隐式反馈:是用户使用流程中的行为数据,被采集并解释为反馈,可以获得较高反馈率,比如 AIGC 生成多张图片时,用户选用其中一张图;

      对于反馈率低的问题,通过预设标签来减少用户行动成本,通过预设高评分来增加用户反馈意愿(人们更倾向吐槽而非夸赞)。

      4.6 评测体系

      以上这些组合在一起构成了我们完整的评测体系。

      • 项目启动:由专门的评测人员和项目组成员,共同设定评测维度、创建评测器、建立种子集、泛化评测集,基于评测不断迭代/验证/反馈 Agent;

      • 开发过程:在 Agent 迭代过程中,通过评测集和评测器进行线下实验;

      • 生产环境: Agent 会产生日志和反馈,日志会通过评测器进行线上评测,Trace 可采样沉淀到评测集,另外反馈的 Badcase 也会沉淀到评测集;

      所有 Agent 发布前都需要经过评测验证。

      5. AI落地的一些经验

      5.1 AI与程序的结合

      首先是 AI 与程序,常见构建 Agent 的模块包括:程序计算节点、单一 LLM 节点、Workflow、Agentic。

      可能有些人会觉得,Agentic 比 Workflow 好,Workflow 比单一 LLM 节点好,单一 LLM 节点比程序好。从我们实践来看,这四者之间没有绝对的优劣,通常需要根据业务场景进行多选和组合,其取决于场景对确定性、稳定性、创造性、自主性的侧重。

      另外,程序和 LLM 也并非替代关系,LLM 更适合理解、规划、生成类任务,程序更适合确定性、稳定性、高性能任务。通过程序规避 LLM 的弱项是必要的,避免过度追求 AI 含量

      5.2 AI与人的陷阱

      接着是,AI与人,需要警惕两个陷阱:

      • 在落地 AI Coding 的过程中,出现开发者对 LLM 生成代码的依赖,甚至出现不作判断直接提交的情况。保持开发团队的主观判断力非常必要。另外分场景追求 AI 生码,比如核心业务逻辑人写,非核心交由 AI 写;

      • 在落地 AI Agent 的过程中,需要人工监督,应该警惕人工监督大于迭代 Agent 的情况,将监督数据用于 Agent 迭代;

      5.3 AI落地经验

      最后总结下 AI 落地的关键经验:

      • 区分创造性和执行性工作,现阶段 LLM 可以较好的完成执行性工作,这类场景较为合适;

      • 落地从传统研发流程切入,寻求快速出 MVP 进行单点突破;

      • 现阶段 AI 仍需大量人参与,过程中充分考虑人机协作,比如人机交互(人好用)、知识外化(人转化)、责任归属(人敢用);

      • 同步建设私有化的 AI 基建,将行业能力与企业内部能力串联;

      • Agent 的迭代不能先方案再开发,应该基于测试集和上下文工程快速试错;

      • 最后在不同的场景分阶段落地,不要一蹴而就;

      6. AI实践全景

      以上是我们在研发全流程落地 AI 的实践:

      • 我们通过软件工程(Software Engineering)和上下文工程(Context Engineering),将程序与 LLM 结合;

      • 围绕研发的设计、编码、测试阶段落地 AI 能力;

      • 过程中建设了 Agent 评测体系,不断反馈,持续迭代;

      阅读原文

      跳转微信打开

      MyBatis-Plus踩坑血泪史:那些年我们踩过的坑!

      2025年11月24日 18:26

      原创 朱洪旭 2025-11-24 18:26 北京

      前言:我们在生产环境里跑MyBatis-Plus很多年,几乎把能踩的坑都踩过了。每次出事故,都能追溯到我们当初以为“框架会帮忙搞定”的某个细节。于是我们把这些真实经历写下来,用更接地气的方式聊聊根因和解法,帮你少熬几次夜。

      1、时代背景与ORM选择

      1.1 互联网时代的数据挑战

      业务量暴涨,数据也跟着狂飙。百万级数据在几年前还算大,如今动不动就上亿。与此同时,微服务拆分得越来越细,数据访问层变得又厚又复杂。大家一边要追新需求,一边又要兼顾性能稳定。没有趁手的开发工具,根本顶不住节奏。

      1.2 MyBatis-Plus的诞生与定位

      于是,Java团队开始在ORM世界里不断找平衡。Hibernate太重,原生MyBatis又太多手工活。MyBatis-Plus正是在这种“又想快又想稳”的诉求下出现的。它不是简单的“语法糖”,而是一个为了生产环境而生的增强框架。

      MyBatis-Plus的核心价值:

      • 简化开发:CRUD都有封装,少写很多SQL,手更轻

      • 功能增强:逻辑删除、自动填充、乐观锁、多租户、代码生成器等都现成

      • 性能优化:内置分页、性能分析、批量优化、缓存插件,跑得更快

      • 无缝集成:兼容MyBatis,老项目也能慢慢替换,几乎不用重构

      这些卖点让MyBatis-Plus迅速走红。不过,功能多并不等于好用。特别是到了生产环境,隐藏的坑一个接一个。


      2、生产环境挑战

      开发环境里一切都很顺。saveBatch()轻松搞定批量插入,@TableId(type = IdType.ASSIGN_ID)一写就有分布式ID,看起来稳得很。

      然而,真正部署上线后问题才暴露出来。

      凌晨3点的告警:主键冲突,订单系统停摆。我们发现两个容器实例生成了同一个雪花ID。理论上“不可能发生”的事,就这么发生了。

      再往下排查,批量操作乱序、枚举字段写入异常、自动填充失灵……问题一个比一个离谱。

      这些事故有个共同点:开发环境一切正常,生产环境却崩成一片。根本原因是单机和分布式、低并发和高并发之间的差异,被框架默认配置无限放大,结果就是“看着没事”的代码在生产里频频掉链子。

      我们因此整理出MyBatis-Plus在生产环境最容易暴雷的6大陷阱:

      1. 雪花算法ID生成重复问题

      2. 批量插入乱序问题

      3. 枚举字段存储风险

      4. 驼峰转换错位

      5. 批量操作时自动填充失效

      6. 写入时JSON数据丢失或格式异常

      接下来我们把这些问题逐一拆开,聊聊背后的逻辑,再给出实测可行的解法。


      雪花算法ID生成重复问题

      3.1 问题现象

      // 看起来很正常的代码
      @TableId(value = "id", type = IdType.ASSIGN_ID)
      private Long id;
      // 但在生产环境中却出现了这样的错误:
      // Duplicate entry '1234567890123456789' for key 'PRIMARY'

      “ID怎么还能撞?” 这是我们第一次遇到时的真实反应。

      3.2 雪花算法身份证结构

      先搞清楚雪花ID里面装了什么,再谈如何防重复。可以把它想成一个超长身份证号:

      身份证号码:1234567890123456789
      分解结构:
      ┌─────────┬─────────┬─────────┬─────────┐
      │  时间戳  │ 数据中心 │ 机器编号 │ 序列号  │
      │ (41位)  │ (5位)   │ (5位)   │ (12位)  │
      └─────────┴─────────┴─────────┴─────────┘
      • 时间戳像出生年月日

      • 数据中心ID类似省份

      • 机器ID对应城市

      • 序列号就是同一毫秒的排队号

      3.3 问题根源

      我们把雪花ID重复的元凶总结成四类。

      3.3.1 元凶一:未配置机器ID,所有实例走默认值

      很多人以为框架会自动算出唯一的workerId,于是干脆不配。结果大家都走同一个默认流程。

      MyBatis-Plus获取机器ID的策略:yBatis-Plus获取机器ID的策略

      看似严谨,然而一旦进入第二步,容器环境下“撞车”概率直线上升。

      3.3.2 元凶二:容器环境的MAC地址克隆

      先看Docker容器MAC地址的规律:

      Docker容器MAC地址格式:02:42:ac:11:00:XX
                           ├─────────────┤├─┤
                           固定前缀      变化部分
      容器1:02:42:ac:11:00:02
      容器2:02:42:ac:11:00:03  
      容器3:02:42:ac:11:00:04
      ...

      如果继续依赖“取后两字节再模32”的做法,就会出现下面的情况:

      MAC地址计算流程:
      1. 提取后2字节 → 00:02, 00:03, 00:04...
      2. 位运算处理 → 得到不同的中间值
      3. 模32取余 → 问题就出在这里
      实际结果:
      ├─ 容器1-32:机器ID = 0-31 ✅
      ├─ 容器33:机器ID = 0 ❌
      ├─ 容器34:机器ID = 1 ❌
      └─ 以此类推...

      如此可见,只要实例超过32个,就一定有重复。

      3.3.3 元凶三:Kubernetes环境的虚拟MAC

      再看K8s。Pod里的网络接口本来就是虚拟的,MAC地址由CNI随机分配,还可能拿不到。 Kubernetes Pod网络特点:

      1. 每个Pod都有虚拟网络接口

      2. MAC地址由CNI插件分配

      3. 同一节点的Pod可能模式一致

      4. 某些环境下干脆拿不到MACyBatis-Plus获取机器MAC地址

      这种情况下,100个Pod全用workerId=1,冲突直接拉满。

      3.3.4 元凶四:时钟回拨

      雪花算法非常依赖系统时间。一旦时钟被调回,就会闹出大问题。

      雪花ID生成流程如下所示:雪花ID生成流程但是,如何出现时钟回拨,就会出现如下问题时钟回拨

      当以下条件同时满足时,重复就无可避免:

      相同的机器ID (workerId=1)
      相同的数据中心ID (datacenterId=1)  
      相同的时间戳 (timestamp=1634567890123)
      相同的序列号 (sequence=0)

      3.4 解决方案:给每台机器一个专属身份证

      方案一:外部获取唯一的分布式ID

      @Slf4j
      @Component
      publicclassIdHelper{
      publicstaticlonggetIdc(){
      try {
      return ZZIdcClient.getInstance().get();
              } catch (Throwable e) {
                  log.error("act=getIdc error={}", e.getMessage());
              }
      // 兜底逻辑:为了不影响业务,如果从架构拿不到id,就采用IDHelper
      // IDHelper有问题,并发情况下可能会生成重复id
              log.info("k=s act=getIdcByIDHelper");
      return IDHelper.generator(0);
          }
      }

      方案二:使用数据库自增ID

      package com.baomidou.mybatisplus.annotation;
      publicenum IdType {
          AUTO(0),
          NONE(1),
          INPUT(2),
          ASSIGN_ID(3),
          ASSIGN_UUID(4),
      /** @deprecated */
      @Deprecated
          ID_WORKER(3),
      /** @deprecated */
      @Deprecated
          ID_WORKER_STR(3),
      /** @deprecated */
      @Deprecated
          UUID(4);
      privatefinalint key;
      }
      /**
           * 主键ID
           */
      @TableId(value = "id", type = IdType.AUTO)
      private Long id;

      4、批量插入乱序问题

      4.1 问题现象

      场景1:父子订单批量插入。当子订单准备入库时,父订单还没完成,外键直接挂掉。

      // 期望:先插入父订单,再插入子订单
      heroPackageService.saveBatch(packages);  // 父订单
      heroOrderService.saveBatch(orders);      // 子订单
      // 结果:外键约束失败!
      // Cannot add or update a child row: a foreign key constraint fails

      场景2:远程接口返回一个有序列表,我们存到数据库里,想在后续查询中保持原有顺序,结果还是乱了。

      // 期望:远程获取数据之后,存在数据库,后续从数据库获取有序列表的快照
      //远程获取外部有序集合
      List<HeroPackage> heroPackageList = recycleRpcService.getHeroPackageList(uid)
      //将远程获取数据存入数据库
      heroPackageService.saveBatch(heroPackageList)
      //从数据库获取有序集合数据
      List<HeroPackage> heroPackageList = heroPackageService.list(uid);
      // 结果:有序集合的顺序被打乱
      // 

      明明是按顺序调用的,为什么会乱序?

      4.2 原理

      可以把它想成快递分拣。你按顺序交包裹,分拣中心为了效率会重排路线,于是最终顺序就变了。

      4.2.1 MyBatis-Plus的两种批量插入模式

      官方其实有两套批量逻辑,差别非常大。

      模式一:默认BATCH模式(逐条插入)

      MyBatis-Plus默认saveBatch的执行流程:

      1. 接收数据列表

        1. Listpackages (1000条数据)

        2. 默认批次大小:1000

      2. 创建批处理SqlSession

        1. 使用 ExecutorType.BATCH

        2. 逐条执行INSERT

      3. 逐条加入批处理队列

        1. 第1条:INSERT INTO hero_package VALUES (...)

        2. 第2条:INSERT INTO hero_package VALUES (...)

        3. ...

        4. 第1000条:INSERT INTO hero_package VALUES (...)

      4. 达到批次大小后 flushStatements()

      特点:

      1. 支持主键回填

      2. 单线程下顺序可控

      3. 多线程+驱动优化后容易乱序

      4. 网络往返次数多,性能一般

      模式二:优化批处理模式(合并SQL)

      配置方式:要么改全局配置,要么写自定义SQL

      执行流程:

      1. 接收列表

      2. foreach拼成一条多值INSERT

      3. 一次性落库

      特点:

      1. 单次往返,性能高

      2. 顺序完全可控

      3. 主键需要自己准备

      4. SQL过长时得自行分批

      两种模式对比:

      特性

      默认BATCH模式

      优化批处理模式

      性能

      多次往返,速度一般

      单次往返,极快

      顺序保证

      单线程可控,多线程不稳

      完全可控

      主键回填

      支持

      不支持

      适用场景

      依赖数据库生成主键

      自己能生成主键或无主键需求

      4.2.2 根本原因二:JDBC驱动的批处理重排序

      MySQL JDBC驱动为了提速,会把同表操作合并。原本交错的SQL被重新分组,顺序自然就乱了。

      JDBC批处理模式:

      模式1:rewriteBatchedStatements=false

      1. 逐条执行

      2. 顺序稳定

      3. 性能一般

      模式2:rewriteBatchedStatements=true

      1. 自动合并SQL

      2. 性能飙升

      3. 顺序可能被“优化”

      例子:
      原始SQL:
      INSERT INTO hero_package VALUES (..)
      INSERT INTO hero_order VALUES (..)
      INSERT INTO hero_package VALUES (..)
      INSERT INTO hero_order VALUES (..)
      驱动优化后:
      INSERT INTO hero_package VALUES (...), (...)
      INSERT INTO hero_order VALUES (...), (...)

      顺序彻底变了。

      4.2.3 根本原因三:数据库层面的执行优化

      MySQL优化器也会“帮忙”重排执行计划。同一张表的操作被集中,避免频繁切换表,性能是好了,但依赖顺序的逻辑直接崩。

      期望:
      Package1 → Order1 → Package2 → Order2
      实际:
      Package1, Package2 → Order1, Order2
      优化器心声:
      既然都是INSERT,就分组吧
      省得来回切换表         

      问题在于,Order引用Package的主键。如果Package还没落库,Order插入必失败。

      例如下面的真实案例。两个线程并发创建订单。批处理时队列不保证FIFO,于是订单项和订单的关系全乱套。

      期望: 订单A → 订单项A → 订单B → 订单项B

      现实: 线程A、线程B同时写入 批处理队列交错 驱动/数据库重排 → 可能先执行线程B的订单项,再执行线程A的 → 外键和业务逻辑全乱

      4.3 解决方案:控制批处理节奏

      我们常用两个思路:要么“分批+强制刷新”,要么“自定义SQL一次写完”。

      方案一:分批次执行,强制刷新

      @Transactional
      publicvoidcreateOrdersInSequence(List<OrderData> orderDataList){
      int batchSize = 100;
      for (int i = 0; i < orderDataList.size(); i += batchSize) {
              List<OrderData> batch = orderDataList.subList(i, 
                  Math.min(i + batchSize, orderDataList.size()));
      // 先插入父订单
              List<HeroPackage> packages = buildPackages(batch);
              heroPackageService.saveBatch(packages);
              sqlSession.flushStatements(); // 强制执行,确保顺序
      // 再插入子订单
              List<HeroOrder> orders = buildOrders(batch);
              heroOrderService.saveBatch(orders);
              sqlSession.flushStatements();
          }
      }

      方案二:自定义SQL,一次性插入

      // 使用自定义SQL,完全控制执行顺序
      @Insert({
      "<script>",
      "INSERT INTO hero_package (id, seller_uid, create_time) VALUES ",
      "<foreach collection='packages' item='pkg' separator=','>",
      "(#{pkg.id}, #{pkg.sellerUid}, #{pkg.createTime})",
      "</foreach>",
      "</script>"
      })
      voidinsertPackageBatch(@Param("packages") List<HeroPackage> packages);

      5、枚举字段存储风险

      5.1 问题现象:枚举字段存储异常

      // 枚举定义
      publicenum OrderStatus {
          PENDING(1, "待处理"),
          PROCESSING(2, "处理中"),
          COMPLETED(3, "已完成");
      privatefinal Integer code;
      privatefinal String desc;
      }
      // 实体类
      publicclassHeroOrder{
      private OrderStatus orderStatus; // 期望存储code值(1,2,3)
      }
      // 结果:数据库中存储的是枚举名称("PENDING", "PROCESSING", "COMPLETED")

      5.2 深入原理:MyBatis的默认枚举处理

      // MyBatis默认的枚举处理器
      publicclassEnumTypeHandler<EextendsEnum<E>> extendsBaseTypeHandler<E> {
      @Override
      publicvoidsetNonNullParameter(PreparedStatement ps, int i, E parameter, JdbcType jdbcType){
      // 默认使用枚举的name()方法!
              ps.setString(i, parameter.name()); // 存储"PENDING"而不是1
          }
      }

      5.3 解决方案:使用@EnumValue注解

      publicenum OrderStatus {
          PENDING(1, "待处理"),
          PROCESSING(2, "处理中"),
          COMPLETED(3, "已完成");
      @EnumValue// 标记这个字段用于数据库存储
      privatefinal Integer code;
      privatefinal String desc;
      // 构造函数和getter...
      }

      6、驼峰转换错位

      6.1 问题现象

      // 数据库字段:seller_uid, buyer_uid, create_time
      // 实体类字段:
      publicclassHeroPackage{
      private Long sellerUid;    // ✅ 正常映射
      private Long buyerUID;     // ❌ 映射失败!
      private Date createTime;   // ✅ 正常映射
      private String XMLData;    // ❌ 映射失败!
      }

      6.2 原理

      MyBatis-Plus的驼峰转换算法对连续大写很无奈。

      // 驼峰转换算法(简化版)
      publicclassCamelCaseConverter{
      public String camelToUnderscore(String camelCase){
              StringBuilder result = new StringBuilder();
      for (int i = 0; i < camelCase.length(); i++) {
      char c = camelCase.charAt(i);
      if (Character.isUpperCase(c)) {
      if (i > 0) result.append('_');
                      result.append(Character.toLowerCase(c));
                  } else {
                      result.append(c);
                  }
              }
      return result.toString();
          }
      }
      // 转换结果:
      // sellerUid -> seller_uid ✅
      // buyerUID -> buyer_u_i_d ❌ (期望: buyer_uid)
      // XMLData -> x_m_l_data ❌ (期望: xml_data)

      6.3 解决方案:明确字段映射

      方案一:使用@TableField注解
      publicclassHeroPackage{
      private Long sellerUid;
      @TableField("buyer_uid")  // 明确指定数据库字段名
      private Long buyerUID;
      private Date createTime;
      @TableField("xml_data")
      private String XMLData;
      }
      方案二:统一命名规范
      // 推荐的命名规范
      publicclassHeroPackage{
      private Long sellerUid;     // 驼峰命名,避免连续大写
      private Long buyerUid;      // 而不是buyerUID
      private Date createTime;
      private String xmlData;     // 而不是XMLData
      }
      方案三:自定义命名策略
      @Configuration
      publicclassMybatisPlusConfig{
      @Bean
      public MybatisPlusInterceptor mybatisPlusInterceptor(){
              MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
      // 自定义命名策略
              GlobalConfig globalConfig = new GlobalConfig();
              globalConfig.setDbConfig(new GlobalConfig.DbConfig() {{
      // 自定义字段命名策略
                  setColumnFormat("`%s`"); // 字段名加反引号,避免关键字冲突
                  setTableFormat("`%s`");  // 表名加反引号
              }});
      return interceptor;
          }
      }

      7、批量操作时自动填充失效

      7.1 问题现象

      // 实体类配置
      publicclassHeroOrder{
      @TableField(fill = FieldFill.INSERT)
      private Date createTime;
      @TableField(fill = FieldFill.INSERT_UPDATE)  
      private Date updateTime;
      @TableField(fill = FieldFill.INSERT)
      private Long createBy;
      }
      // 自动填充处理器
      @Component
      publicclassMyMetaObjectHandlerimplementsMetaObjectHandler{
      @Override
      publicvoidinsertFill(MetaObject metaObject){
      this.strictInsertFill(metaObject, "createTime", Date.class, newDate());
      this.strictInsertFill(metaObject, "createBy", Long.class, getCurrentUserId());
          }
      @Override
      publicvoidupdateFill(MetaObject metaObject){
      this.strictUpdateFill(metaObject, "updateTime", Date.class, newDate());
          }
      }
      // 问题现象:批量操作时自动填充失效!
      List<HeroOrder> orders = buildOrders();
      heroOrderService.saveBatch(orders); // createTime和createBy为null!

      7.2 原理

      // MyBatis-Plus的自动填充机制
      publicclassDefaultSqlSession{
      publicintinsert(String statement, Object parameter){
      // 只有通过MyBatis-Plus的insert方法才会触发自动填充
      if (parameter instanceof BaseEntity) {
                  metaObjectHandler.insertFill(parameter); // 触发填充
              }
      return executor.update(statement, parameter);
          }
      publicintupdate(String statement, Object parameter){
      if (parameter instanceof BaseEntity) {
                  metaObjectHandler.updateFill(parameter); // 触发填充
              }
      return executor.update(statement, parameter);
          }
      }
      // 但是批量操作使用的是JDBC批处理
      publicvoidsaveBatch(Collection<T> entityList){
      // 直接执行批量SQL,跳过了自动填充逻辑!
          String sql = "INSERT INTO table VALUES (?,?,?)";
          PreparedStatement ps = connection.prepareStatement(sql);
      for (T entity : entityList) {
      // 没有调用metaObjectHandler.insertFill()
              ps.setObject(1, entity.getId());
              ps.setObject(2, entity.getName());
              ps.addBatch();
          }
          ps.executeBatch();
      }

      7.3 解决方案:手动填充 + 批量优化

      方案一:批量操作前手动填充
      @Service
      publicclassEnhancedOrderService{
      @Autowired
      private MyMetaObjectHandler metaObjectHandler;
      publicbooleansaveBatchWithFill(Collection<HeroOrder> entityList){
      // 手动触发自动填充
              entityList.forEach(entity -> {
                  MetaObject metaObject = SystemMetaObject.forObject(entity);
                  metaObjectHandler.insertFill(metaObject);
              });
      // 然后执行批量保存
      return heroOrderService.saveBatch(entityList);
          }
      }
      方案二:自定义批量保存方法
      @Component
      publicclassBatchSaveHelper{
      public <T> booleansaveBatchWithAutoFill(Collection<T> entityList, 
                                                 Class<T> entityClass,
                                                 BaseMapper<T> mapper)
      {
      if (entityList.isEmpty()) {
      returntrue;
              }
      // 获取当前用户和时间
              Long currentUserId = getCurrentUserId();
              Date now = new Date();
      // 反射设置自动填充字段
              entityList.forEach(entity -> {
      try {
                      setFieldValue(entity, "createTime", now);
                      setFieldValue(entity, "updateTime", now);
                      setFieldValue(entity, "createBy", currentUserId);
                  } catch (Exception e) {
                      log.warn("自动填充失败", e);
                  }
              });
      // 分批保存,避免SQL过长
      int batchSize = 1000;
              List<T> list = new ArrayList<>(entityList);
      for (int i = 0; i < list.size(); i += batchSize) {
                  List<T> batch = list.subList(i, Math.min(i + batchSize, list.size()));
                  mapper.insertBatch(batch); // 自定义批量插入方法
              }
      returntrue;
          }
      privatevoidsetFieldValue(Object obj, String fieldName, Object value)
      throws Exception 
      {
              Field field = obj.getClass().getDeclaredField(fieldName);
              field.setAccessible(true);
      if (field.get(obj) == null) { // 只有为null时才设置
                  field.set(obj, value);
              }
          }
      }

      8、写入时JSON数据丢失或格式异常

      8.1 问题现象

      // 实体类定义
      publicclassHeroPackage{
      private Long id;
      private String packageName;
      // JSON字段存储扩展属性
      private Map<String, Object> extendInfo;
      private List<String> tags;
      }
      // 保存数据
      HeroPackage pkg = new HeroPackage();
      pkg.setExtendInfo(Map.of("color", "红色", "weight", 1.5));
      pkg.setTags(Arrays.asList("电子产品", "二手", "9成新"));
      heroPackageService.save(pkg);
      // 查询结果:extendInfo和tags字段为null!

      8.2 原理

      // MyBatis默认只能处理基本类型
      publicclassDefaultTypeHandlerRegistry{
      publicDefaultTypeHandlerRegistry(){
              register(String.class, newStringTypeHandler());
              register(Integer.class, newIntegerTypeHandler());
              register(Long.class, newLongTypeHandler());
      // 没有Map和List的处理器!
          }
      }
      // 复杂对象会被toString()处理
      Map<String, Object> map = Map.of("key", "value");
      String result = map.toString(); // "{key=value}" - 不是标准JSON!

      8.3 解决方案:数据类型规范化处理

      我们的共识是:能不用复杂字段就别用。如果必须用,就自己管序列化。

      方案一:数据库字段类型规范化
      • 表里尽量只放基本类型

      • Map、List先拆成具体字段,或者转成独立表

      • 复杂场景在业务层处理转换

      方案二:手动序列化处理
      • 确实需要存结构化数据时,先序列化成JSON字符串

      • 存入VARCHAR或TEXT

      • 查询时再反序列化

      实施建议: 优先走方案一。只有在业务强依赖动态结构时,再考虑方案二,记得封装好序列化逻辑,别把JSON工具散落在业务代码里。


      总结与思考

      种种案例都在提醒我们:框架默认值是给理想环境准备的,到了生产就得重新审视。如果不了解内部机制,就很容易掉进坑里。

      启示一:默认配置靠不住
      开发环境通常是单机、低并发,默认配置自然没问题。可一上生产,容器化、分布式、高并发齐聚,默认值瞬间变成隐患。别指望框架“自动”处理所有边角料。

      启示二:机制理解少不了
      只有搞清楚框架怎么运转,才能提前发现风险;真出事时,也能快速定位。知其然而且要知其所以然。

      启示三:方案要服务于环境
      你在什么环境里跑,就得配什么策略。容器、K8s、云原生都在挑战旧有假设。没有银弹,只有适配。

      关于作者,朱洪旭,侠客汇Java开发工程师。

      想了解更多转转公司的业务实践,欢迎点击关注下方公众号:

      跳转微信打开

      ❌