铃阅时讯
❌

阅读视图

AI专栏 | 每天被 oncall 打断到无法写代码?携程机票前端用这套方法把重复问题解决了2/3

原创 Sheila 2026-08-06 17:00 上海

让研发从“救火”回到“建设”

作者简介

Sheila,携程资深研发经理,关注前端性能优化与 AI Agent 驱动的研发效能建设。

团队热招岗位:AI Agent开发工程师

导读:每天被拉群、被私聊、被问同样的问题——携程机票前端团队的oncall曾一度占据研发大量精力。过去6个月1000+条事件统计显示,近一半是“接口参数确认”“业务逻辑解释”这类高重复问题。团队用一套“飞书多维表格+知识问答+机器人”的组合方案,把重复劳动从40%打到15%,单次处理时长从100+分钟压缩至40分钟。怎么做到的?本文拆解完整落地路径。

一、背景介绍

1.1 提效场景介绍

1.2 痛点分析

1.3 提效目标

二、解决方案

2.1 使用的飞书工具和方案亮点

2.2 提效的实现路径和步骤

三、业务价值

3.1 提效情况和前后对比

3.2 应用成果分享

3.3 后续规划

本文分享的 oncall 体系由携程机票前端团队搭建并落地实践,聚焦机票业务场景下的研发 oncall 痛点,以前端视角切入,打造知识驱动型研发支持体系。

一、背景介绍

1.1 提效场景介绍

在业务高速增长、系统复杂度不断提升的背景下,携程机票前端研发团队的 oncall 已从偶发支持演变为高频、刚性的日常工作。大量精力被消耗在排障、业务逻辑解释、接口参数确认等事务性工作上,持续挤压了团队在架构优化和产品创新上的投入。

传统 oncall 依赖零散的 IM 私聊、电话、邮件等非结构化渠道,缺乏统一入口和可追溯记录;问题处理状态不透明,责任边界模糊;解决方案沉淀严重不足,同类问题反复出现、重复解答,既影响研发体验,也拉低整体研发效能。在此背景下,机票前端团队开始系统性思考:如何通过"知识库 + 流程"重构研发 oncall 体系——这正是本文希望回答的核心问题。

1.2 痛点分析

1.2.1 Oncall 定义与范畴

研发 oncall 是研发团队在约定时段内处理与业务系统相关的突发技术事件或高优先级咨询的机制。典型场景包括:

  • TS 排障与工单升级

  • 产品逻辑与业务规则问询

  • 接口字段、参数、返回值确认

  • 特定活动/版本的配置与风控规则解释

参与角色横跨 TS、产品、运营、研发、运维等多个职能,是连接业务与技术的“最后一道防线”。

1.2.2 Oncall 来源与占比

基于携程机票前端团队对过去 6 个月、1,000+ 条研发 oncall 事件的脱敏统计,我们得到以下结构性结论:

  • 按发起方

    • 技术支持:约 1/3

    • 产品经理:约 1/4

    • 运营:约 1/5

    • 测试 & 研发/运维:其余约 1/5

说明 oncall 已成为多角色、多团队的交汇点,问题来源分散。

  • 按问题类型

    • 业务逻辑咨询:约 26%,重复率 ~64%

    • 接口参数/字段确认:约 21%,重复率 ~70%

    • 系统异常排查:约 17%,重复率相对较低(~28%)

前两类“解释型”问题合计接近一半,且高重复、高可标准化。

  • 按处理结果

    • 仅为简单确认/解释:约 43%

    • 小修改/配置调整即可解决:约 29%

说明相当比例的 oncall 并非“技术难题”,而是信息获取与知识暴露问题。

以“接口参数确认类问题”为例:单次平均处理耗时约 0.4 小时,同一问题在 6 个月内重复出现 20+ 次,累计浪费数十小时研发人力;同时还伴随上下游沟通协调成本。

1.2.3 问题分析:来源杂乱、状态不清、无知识沉淀

结合定性访谈与数据分析,机票前端团队识别出当前研发 oncall 面临至少三类系统性问题:

  • 来源杂乱,缺乏统一登记

    • 问题入口分散在飞书私聊、群聊、电话、邮件等多个渠道

    • 事件往往缺乏“工单化”记录,无法准确统计 oncall 真实负载

    • 值班人员接收信息零散,排期难以掌控,容易“漏接”与“重复接”

  • 处理状态不透明,协作效率低

    • 提交方难以获知当前处理进度与负责人

    • 相同问题在不同渠道多次被提起,进一步放大负载

    • 事件优先级与升级规则不清晰,紧急任务易被信息噪音淹没

  • 缺乏知识沉淀,重复劳动严重

    • 解决方案散落在聊天记录、个人笔记和过往经验中

    • 缺少结构化的知识条目与统一检索入口

    • 新人或外部团队很难快速自助获取答案,只能继续“问人”

结论:当前模式本质上是“事件驱动 + 人肉协作”的即时通信体系,缺少标准化 SOP 和知识闭环,导致 oncall 事件“越处理越多”,形成恶性循环。

1.3 提效目标

核心问题:减轻 oncall 工作量,而不是取消 oncall。

oncall 本质上是保障业务连续性和用户体验的必要机制,无法也不应被简单取消。需要解决的,不是“要不要 oncall”,而是“哪些 oncall 必须由人来做、哪些可以交给系统”和“在人必须介入时,如何把每次的处理成本打到最低”:

  • 将尽可能多的高频、标准化问题,从“必须人工处理”转变为“优先由系统自动解决”;

  • 在必须人工介入的场景下,通过流程与工具优化,显著降低单次处理成本。

因此,携程机票前端团队将本项目目标定为:在不牺牲业务稳定性的前提下,系统性减少 30%~50% 的 oncall 事件量与人力投入,使研发从"被动救火"回到"主动建设",具体体现在:

  • 统一入口与流程,形成可统计、可追踪的工单体系;

  • 知识优先匹配,能自动解决的尽量自动解决;

  • 强制知识沉淀,形成“越用越聪明”的正向循环。

二、解决方案

2.1 使用的飞书工具和方案亮点

围绕上述痛点,携程机票前端团队提出“知识驱动型研发 oncall 体系”,核心理念是:

让“知识”和“流程”成为 oncall 的第一责任人,让“人”更多处理边界与例外。

具体目标包括:

统一入口与流程:所有 oncall 通过标准化提需入口进入多维表格工作台,形成可统计、可追踪、可分派的工单。

知识优先匹配:每个新 oncall 先自动匹配知识库与历史记录,能自动解决的尽量自动解决。

标准化 SOP 流程:从提需、分派、处理到闭环确认,每一步都有明确责任人与状态。

强制知识沉淀:每一个完成的 oncall 事件,都对应一条结构化的知识资产,形成“越用越聪明”的正向循环。

基于飞书生态,我们构建了一套“多维表格 oncall 工作台 + 知识问答 + 机器人 + 话题群”的组合方案,在不引入新系统的前提下完成改造。

2.1.1 Oncall SOP:从提需到闭环的标准流程

流程概览 -标准化 SOP 被抽象为四个阶段:

1)提需:

    • 统一从飞书“提需入口”提交 oncall 需求(应用 / 消息卡片 / 多维表格表单)

    • 强制填写关键信息:业务线、问题类型、优先级、影响范围、相关链接等

2)智能分派:

    • 按业务线、模块与问题类型自动路由到对应值班组

    • 支持按轮值规则与负载情况自动指定责任人

3)机器人 oncall(知识优先):

    • 机器人自动拉起话题群,抓取提问内容与结构化字段

    • 调用飞书知识问答与历史 oncall 记录,返回候选解决方案

    • 对高匹配度问题(如接口参数说明),可直接给出答案并请求发起人确认

4)人工 oncall 与闭环沉淀:

    • 对复杂或低匹配问题,由值班研发接手处理

    • 处理完成后,在工作台一键闭环,并自动触发知识条目创建与补充流程

关键机制
  • 自动提醒与升级:

    • 提交后超 2 小时未响应,自动提醒责任人

    • 超 24 小时未解决,自动升级给负责人或 higher-level 值班

  • 状态全程可见:

    • 提交方与处理方在同一 oncall 话题群与工作台视图中共享状态

    • 支持按业务线 / 人员 / 状态维度实时统计与追踪

2.1.2 方案设计:飞书生态下的知识驱动 oncall 体系

核心组件 - 围绕 SOP,我们在飞书上搭建了四大组件:

1)多维表格 oncall 工作台

    • 作为 oncall 的中枢系统,承载问题登记、分派、状态流转、统计分析

    • 通过约 10~15 个结构化字段保证信息完整性(业务线、模块、类型、优先级、影响范围、处理人、SLA 等)

2)飞书知识问答与知识库

    • 承载业务规则、接口文档、故障排查手册等结构化知识

    • 通过关键词 + 语义检索,为 oncall 自动给出候选答案

    • 支持按“业务线 / 模块 / 标签”组织知识,便于维护

3)智能 oncall 机器人

    • 负责在话题群中自动响应、拉取上下文、调用知识问答

    • 在工单创建、分派、处理、升级、关闭各节点自动发消息同步状态

    • 将话题群中的关键信息回写到多维表格与知识库

4)按业务线划分的 oncall 话题群

    • 将问题讨论集中在线程化话题中,避免信息被沉没在大群

    • 配合机器人和知识库,形成“边沟通边沉淀”的工作方式

与飞书生态的集成方式 - 整个方案基于飞书现有能力实现,无需自研复杂平台:

  • 多维表格作为“数据中台”

  • 知识库 + 知识问答作为“知识中台”

  • 机器人作为“流程中台”与“交互入口”

  • 话题群作为“协作中台”

这种“基于平台、融入平台”的策略,使 oncall 流程自然嵌入团队日常协作,降低学习成本与推广阻力。

2.1.3 知识沉淀机制:让每次 oncall 都变成资产

在本方案中,“知识沉淀”不再是可选项,而是 oncall 流程的必经步骤。

知识运营与质量保障

为避免“建而不用”或“越用越乱”,我们配套设计了简易但有效的知识运营机制:

  • 条目责任人制:每条知识明确业务 / 技术负责人

  • 双人审核机制:关键条目需要业务和技术双重确认

  • 有效期与复审:超期条目自动标记“待复核”

  • 使用反馈与权重:基于点击量、解决率和用户反馈定期优化条目

2.2 提效的实现路径和步骤

机票前端团队的方案落地主要围绕几个关键节点展开:业务知识库初始化、oncall 流程编排、多维表格 / 工单应用配置、机器人与知识沉淀机制。以下步骤可结合实际配置截图按序实现。

2.2.1 前置条件:业务知识库初始化(飞书知识问答 + 飞书 aily 机器人)

1)基于飞书知识库梳理首批业务与排障知识

基于飞书知识库梳理并录入首批业务知识与排障知识,按业务线 / 模块建立目录与标签。首先需要一个初始版本的知识库来进行问答查询,建立规则可参考:

知识库空间创建:

打开飞书aily开发者后台,创建一个知识空间,配置参考如下:

直接选择父节点的文档即可导入所有内容,文档内有更新会在30分钟内进行自动同步。确保了我们可以一次选用知识库后,后续可以无需改动即可连接到新知识。

2)使用飞书 aily 创建问答助手,绑定知识库实现语义检索

使用飞书 aily 创建一个问答助手,并将其与知识问答能力绑定,使其能够基于企业知识库进行语义检索与在线对话问答。

打开飞书aily开发者后台,创建一个工作流,默认工作流修改如下,关联第一步的知识库空间即可:

3)发布该工作流,完成该步骤后,将产出一个可在群聊 / 私聊中直接 @ 的 aily 问答助手,作为后续 oncall 机器人的基础能力。

2.2.2 Step 1:搭建 oncall 工作台

整体链路为:飞书机器人接收 oncall 提问 → 写入多维表格 / 工单底表 → 处理结束后触发知识库沉淀。

你可以直接复制本文对应的工单模版,快速搭建一套属于自己的 oncall 应用;如果场景相对简单,也可以只使用飞书新版多维表格完成底表搭建与自动化配置。

选择一:简单场景(多维表格 + 自动化)

适合 oncall 逻辑相对简单、参与角色较少的团队:

  • 搭建一个新版多维表格作为 oncall 底表:包含基础字段(问题描述、业务线、优先级、处理人、状态、结束时间等)。

  • 使用多维表格「自动化」能力,在“新增记录”“状态变更”等节点触发机器人通知和知识沉淀动作。

  • 通过视图和筛选即可完成简单的统计与复盘。

选择二:复杂场景(工单应用 + 多维表格)

适合 oncall 流程复杂、需要长期复盘与精细化运营的团队:

  • 复制本文示例的 oncall 工单应用模版,即可快速搭建一套完整的 oncall 工单系统。

  • 相比直接使用多维表格,工单应用提供更友好的操作界面、响应时长等关键指标的可视化能力,更适合做长期趋势分析与复盘。

  • 自动化规则仍然配置在底层多维表格中,可参考“选择一”的自动化方案进行配置。

2.2.3 Step 2:配置 oncall 机器人与智能分派

  • 在 oncall 话题群中,研发 / TS / 产品等同学通过 @ oncall 机器人发起问题。

  • 机器人根据预设规则(如业务线、模块、问题类型)结合“熟悉业务范围 + 过往 oncall 处理总数”等指标进行智能分派,将工单指派给合适的值班同学。

  • 在分派和处理过程中,机器人优先调用前置配置好的 aily 问答助手和知识库,为发起人返回候选解决方案;若命中度不足,再引导转人工处理。

2.2.4 Step 3:构建知识驱动循环

  • 每个 SP(服务周期 / 值班周期)结束后,由对应 oncall 同学对本周期高价值问题进行知识总结,补充到业务知识库和排障知识库中。

在此步骤直接使用“飞书知识问答”进行群聊上下文总结。

  • 实践中,可以在工单应用或多维表格视图中增加一个“沉淀知识”按钮:点击后自动拉起指定群聊 / 话题,@ 相关处理人,并附带本次 oncall 的关键信息,引导完成结构化总结。

  • 通过自动化将“沉淀知识”按钮与知识条目创建流程打通,实现:点击按钮 → 拉群讨论补充 → 一键提交为知识条目 → 进入飞书知识问答索引。

  • 随着每个 SP 的结束,知识库不断扩充,形成“问题处理 → 知识沉淀 → 下次优先由知识解决”的良性循环。

三、业务价值

3.1 提效情况和前后对比

携程机票前端团队在完成体系改造后,关键指标对比如下:

  • 响应速度:平均响应时间从约 120 分钟缩短至 40 分钟左右。

  • 重复劳动:重复问题占比从约 40% 降至 15% 左右。

  • 处理效率:单次 oncall 处理时长从 100+ 分钟压缩至 40 分钟左右。

  • 知识资产:知识沉淀率从不足 10% 提升至接近 80%。

3.2 应用成果分享

3.2.1 研发体验与业务满意度

  • 研发人员 oncall 相关满意度显著提升,主观“被打断感”明显下降

  • 业务方对 oncall 响应及时性与方案清晰度均有满意度上升

  • 跨部门协作成本下降,产品需求与技术实现的一致性显著提升

3.2.2 知识资产与可持续价值

  • 知识库条目数与使用频次呈稳健增长,高频场景覆盖率接近全部高发问题

  • 接口确认与业务逻辑类问题的自动解决率达到 60%~75%

  • 新人培训与交接周期缩短,oncall 相关“问人”场景明显减少

  • 方案可平移到运维 oncall、客服支持、合规咨询等其他知识密集型场景

3.3 后续规划

  • 持续运营:将“知识贡献”纳入日常任务,建立双人审核与定期复审机制,保障知识质量。

  • 场景扩展:将该模式复制到运维 oncall、客服支持、合规咨询等其他知识密集型场景。

  • 前置主动:打通发布流程与监控告警,让 oncall 更加前置与主动,进一步降低“救火”需求。

【推荐阅读】

 “携程技术”公众号

  分享,交流,成长

跳转微信打开

  •  

一次正常的对谈为什么会火,以及聊聊视频播客

原创 刘飞 2026-08-06 14:57 北京

一件事情变得稀缺,可能是因为它自己变化了,也可能是因为环境变化了。

1

上个礼拜,诺兰在北京与知名播客主播仲树做了一次对谈,时长 17 分钟。

7 月 31 日半夜,视频版发在 B 站。一个美国的诺兰粉丝把它搬到了 YouTube,X 和 Reddit,后来媒体人 Geoff Keighley 转的那一条超过 1800 万浏览。B 站的播放目前也破百万了。

海外评论区里,很多人说这是整个宣发期最好的一次采访,也有人甚至说是诺兰所有采访里最好的之一。很多人也第一次知道中国的 B 站也有这样的好内容。

而一件事情变得稀缺,可能是因为它自己变化了,也可能是因为环境变化了。

我相信这次主要是因为后者。

如果经历过纸媒时代的朋友,应该会觉得,17 分钟里问的,其实是一个影评人本应做到的:《奥德赛》和青铜时代崩溃是什么关系,诺兰有没有用基督教的赎罪概念去改写希腊史诗,特洛伊战争之后的世界跟他一贯拍的那种「回不去的家」有没有关系。

并没有说仲树老师问的普通,而是她的认真准备、用心提问,本来应该是大家都得做到的。

仲树自己后来也有很朴素的解释:这是一个好的采访,就这么简单。可能只是大家对一次采访应该有的样子有个期待,她满足了这个基础期待。

好像过去这么多年,恍然间大家发现,现在不管是什么媒体的记者,还是个体户老师,在提问的时候,首先想到的已经不是内容本身了,而是问的这个问题,接下来能不能被推荐算法选中。能不能在 5 秒内产生冲突?能不能再 10 秒内引发情绪?能不能在 15 秒内促成转发?

虽说现在大家聊起来都在说做内容,都在说内容创作,但按照真正的好内容标准来看,内容平台十有八九达不到。真能有一些深度内容的平台并不多,小宇宙和 B 站可能算是代表。

他们这样的平台上能找到深度内容,也是有逻辑所在的。他们有个共同点,就是不靠单条内容的即时数据来决定分发。一期两小时的节目,不会因为前三秒没有钩子,就被弃置不推。

这样的差别决定了产品成为什么样的产品、内容会成为什么样的内容。

2

工业化生产和指数级增长的短内容产能,跟深度内容是截然相反的两件事。

剪一条短视频的边际成本这几年一直在跌,再加上 AI 多模态的能力,现在不断趋近于零。

做一次真正的深度对话,成本与人有关,与人的经历有关。

所以两边的产能曲线是分叉的。十年前这个比例还没那么悬殊,一次认真的两小时对谈不算稀奇,现在就不一样了,大家都在追求规模化、产业化,但回头一看,好像流出来了相当多的空间,给这种看似比较慢、但实际也同样很有价值的内容。

真正的深度内容足够长,可以在很长的论述当中「完整表达」一件事情。

就像想到一个影视剧人物,我们会感觉他是立体的,能感知他的复杂情绪,面临的人生课题,和他在某些时刻的纠结;想到一个短视频人物,我们可能首先有印象的是他的夸张表情和暴力的情绪。

内容也是一样。一个判断要成立,需要交代前提,需要举例子,需要说清楚它在什么条件下不成立。这些都被砍掉之后,剩下的是结论。就像背数学公式,自己亲手推导出来是一回事,但只是死记硬背一句话是另外一回事。对于某些「长内容」来说,看似啰嗦了很多,最后推导出了一句话,很多人会以为这句话是圭臬,推导过程并无价值。但实际情况常常是相反的,这句话往往大家都懂,但世界是怎么运转生成这句话的,才是更重要的部分。

仲树在这 17 分钟里,没有浪费她的问题。正是因为这些问题背后,有很多背景知识和水下的推导。

3

我的播客三五环的 slogan 是 insider talks,也是在表达这件事情。

知识由信息和逻辑两部分构成。仅有看起来合理的逻辑,可能因为输入信息不全,得出完全相反的结论。多数时候我们缺的不是逻辑,是信息,信息足够多的时候结论是显而易见的。但只有结论,就会发现这个结论可以套在任何一件事情上。

播客是天然适合邀请行家的一种媒介。专业经验也是播客天然的内容资产。

播客保留原始的声音,不会被转述。听播客听到的是这个人怎么组织语言、在哪儿停顿、被问到不想答的地方怎么绕开,这些信息在别的媒介转述里会有丢失。

而视频播客可以把播客从收听的场景又扩展到更广泛的观众。视频播客不是来替代音频播客的,音频播客也不会取代视频播客。它们是一个相辅相成的媒介。

就像这次仲树一定程度上的出圈,也是因为诺兰的粉丝把它搬运到了 YouTube,YouTube 是全球最大的播客平台。

而且视频播客也并不是特别新鲜的事物。《锵锵三人行》1998 年 4 月开播,当时的定位是:在非黄金时段办一个低成本的谈话节目,用聊天的方式谈新闻。三个人坐着,一集半小时,聊到哪儿算哪儿。《新周刊》后来评它是 15 年来中国最有价值的电视节目。到 2017 年停播,《锵锵三人行》一共做了 5000 多集。

现在为什么又变得稀缺?还是前面说的逻辑,在媒介受到冲击的时候,大家天然拥抱了流量。流量看似是一回事,其实不是一回事。娱乐化的流量、短内容的流量,不会吃掉所有长内容的空间。被之前农场主放弃的这块地,又被播客主播们捡了起来。

对于播客来说,长度从来不是缺点,长度是功能和特性。

4

深度内容的价值可以体现在溢价上。我之前在《内容与品牌》这本书里讲过一些观点。

播客是人格化的,决定了它是品牌逻辑,而不是流量逻辑。

流量逻辑的内容为了抓住眼球,产生曝光就完成任务了。品牌逻辑的内容关心的是连接、感受和留下的印象,见效慢,半衰期长。深度内容天然属于后者,它不产生冲动,产生的是信任,而信任的账要很久以后才结。

媒体行业的从业者们其实是可以看到直接的数据的,同样的粉丝量/订阅量,播客和公众号这种长内容的商业价值是远超抖音的。每个商务合作的开价,按照订阅量折算,可能是 5~10 倍的差距。

在海外,Acquired 这档商业播客,看似不太起眼,就是两个人闲唠嗑。但他们的报价高达 40 万到 60 万美元(4 期节目打包),按照 CPM 计算,Acquired 相较普通播客有 4~5 倍的溢价。

他们并不是过去电视或者电台常见的商业广告插播形式,而是以很强的深度定制,可以在每集片头或者中间,用长达 5 分钟详细介绍赞助商的产品,乃至可以讲述他们的商业案例(时间会更长)。这种内容投放方式是非常稀缺的,因为 Acquired 的听众里,有大量的投资人和公司高管,甚至在整个英文播客里都很难找到替代品。

对比短内容平台,情况就截然不同了,品牌方甚至可以不用特别关注最后投放到了哪个账号,只要把钱交给平台,曝光和互动量就能得到保障。换言之,作为内容创作者,其实是一个庞大池子中的组成部分。

说起来也很有趣,Acquired 好几期出圈的内容就是在讲中国的企业,比如拼多多和美团,他们分别都花了两个多小时。像这样的内容,其实在中文媒体里有非常多高质量的文章和播客,但并没有很好地流转到英文世界去。

类似的领域还有 AI,AI 是非常适合播客和文章这种长内容承载的话题领域。这个领域过去没有教科书,没有知识库。播客可以通过深度分析和行家对谈,把有价值的内容沉淀下来。

Dwarkesh Patel 的节目时间也不短,通常在 2 小时左右,多的也有 4~5 个小时,采访 Karpathy、Ilya、Dario 这些人。按他自己公布的数字,2025 年那几期加起来超过 1200 万播放。这档节目已经变成了同行评议,甚至可以说是 AI 领域的口述史。

国内也是一样,张小珺的播客代表的是一种非常独特且稀缺的价值,很多 AI 在中国核心人物的想法,只有在她的播客能够听到。

多年之后,这批内容将会成为理解中国 AI 行业最完整的一手资料。对比而言,很多在讲某个 Skill 有多少星星,某个 AI 产品要怎么下载的这些内容,当下自然会有更高的流量,但一段时间过后,不会在历史上留下痕迹。

5

从侧面也能观察到这个价值。

前几天见了新加坡的朋友,她会认为 YouTube 上依然缺少好的中文内容,这是非常有空间的内容方向。好几档商业财经播客在 YouTube 上面都很受欢迎,很多外国网友主动提出需要英文字幕。

我从第三方得到了一份 B 站的视频播客在海外的分发情况。近 700 位作者里,300 多位能找到分发证据,接近一半。其中 180 位是自己官方同步过去的,98 位是被别人搬过去的,49 位两种都有。

不管是官方同步还是被别人搬运,都代表着大家已经认知到内容出海的价值了。

数据里有一条挺有意思:商业财经类被第三方搬运的比例是 31%,比官方自己同步的 29% 还高。这是唯一一个搬运高于官方的品类。而科技 AI 类的搬运命中率是 63%,在各大类里最高。

中国 AI 的出海,以及现在在全球 AI 竞争当中的角色,也是非常特殊的。这也让播客这样的中文深度内容变得更有价值。

不管是出海,还是好的外语内容的引入,深度内容的继续流动,应该是一个必然的趋势。

6

仲树说,这就是一个好的采访,仅此而已。在这件事情上保持这种清醒,很不容易。

作为看客和观众,我们当然可以去讨论数据,讨论文化现象。就像仲树说的,这期播客的内容像鲸鱼一样被分食,因为大家都能看到自己所需要的角度。

但对于创作者而言,我相信能得到的最好的启发就是,认真对待自己的内容而已,无他。

跳转微信打开

  •  

10倍参数增长、GPU推理落地:爱奇艺广告CVR模型的升级之路

原创 广告算法团队 2026-08-06 12:00 北京

通过框架迁移、模型调优与性能优化,实现精排模型scaling up下效果、性能同步提升

01#

背景

过去几年,广告预估模型从“稀疏特征 + 轻量 MLP”的阶段,走向更大的 dense 网络、更复杂的特征交互和更长的用户行为序列。在广告预估中,CVR(转化率)模型的精度直接决定广告收入和用户体验。过去两年,我们的模型参数量增长了10倍,稠密计算量从5~8 MFLOPs跃升至60~70 MFLOPs,原有 TensorFlow + CPU 链路已逼近算力和成本极限,模型迭代空间出现瓶颈。

从计算特点看,这类复杂 dense 模型更适合 PyTorch + GPU。其优势体现在:

  • 矩阵计算优势:模型参数矩阵越来越大、序列越来越长、网络越来越深,核心计算会更多落到矩阵乘、batch matmul、归一化和向量化规约等高并行算子上。GPU 在矩阵计算、混合精度和大 batch 推理上更有优势;

  • 生态成熟:PyTorch 则提供了更贴近算法研发的动态图体验,以及成熟的 CUDA 算子、AMP/BF16、attention module、算子融合和模型导出生态,可以让复杂结构从实验到上线的链路更短。

行业和开源生态也在向同一方向演进。广告算法和基础架构 Jarvis 团队合作进行了本次框架升级。

02#

升级目标

本次升级的目标不是简单完成框架替换,而是让广告预估模型重新获得可持续迭代空间。我们选定 TorchRec [1] 作为迁移框架,构建 GPU 在线推理链路,让更大的 dense 网络、更复杂的特征交互和更长的用户行为序列赋能广告业务。

03#

挑战与解决方案

3.1 模型框架迁移与效果对齐

TorchRec 和 Tensorflow 框架在训练模式、模型参数配置、默认值处理以及训练流水线的构造有较大差别,因此,我们需要在现有的 Tensorflow 模型代码的基础上进行适配型改造。

差异点

TorchRec

Tensorflow

训练模式

分布式同步更新模式,梯度回传采用 all-reduce 进行通信,即每一个 step 都进行一次全节点梯度更新。

分布式异步更新模式,sparse 参数每 N 步向 PS 节点推送、拉取最新参数,N 步之内仅在自己的 worker 节点进行参数更新。

参数配置

dense 参数和 sparse 参数需要更精细化控制参数。

沿用线上已有经验参数,无需刻意调参。

默认值处理

部分 api 默认值处理与 Tensorflow 不同,需要严格比对,包括特征服务、引擎等。

效率优化

为了提升 GPU 利用率,需要手动优化训练流水线,隐藏 IO 开销。

Tensorflow Estimator 提供优化后的数据读取 api,满足 CPU 计算需求。

建设初期,TorchRec 模型与线上 Tensorflow 模型有接近 1pp 的 AUC 差异。借助 AI 工具和TorchRec 源代码,定位多个因素并进行关键优化:

  1. 模型参数初始化:例如,稠密层权重采用与 TensorFlow 一致的 Glorot 均匀初始化;稀疏 Embedding 采用 uniform unit scaling 策略。

  2. 调用统一 api 时的默认值差别:例如,多值稀疏特征在 embedding 聚合时,TorchRec 的默认聚合参数 sum,需要修改为 mean 以对齐期望的聚合方式。

  3. TorchRec 损失函数与优化器参数设计:鉴于PyTorch 分布式框架的梯度平均池化的同步更新模式,损失函数在 batch 维度调整为需使用 mean 方法聚合。此外,模型还对稀疏参数与稠密参数的优化器做了拆分。使用更加稳定、学习率设置更低的 AdamW 优化器,并且通过基准学习率缩放,补偿 global batch 的扩大导致的优化步长差异。

  4. GPU 初始化设置:Tensorflow Estimator 采用了 master 节点初始化参数,worker 节点加载参数的方案;PyTorch 分布式框架每个 worker 节点独立初始化参数,故需要人工设定配置,保证初始化参数的一致性。

至此,TorchRec 模型离线 AUC 效果成功打平线上,消除框架间的效果差异,为后续稠密模型 scaling up 升级奠定基础。

3.2 稠密参数建模

打平效果后,我们开始对模型本身做升级——这就是 scaling up 的核心。推全的转化率预估模型自上而下分为三层:特征输入层、特征交互层与多任务预测层。交互层借鉴 HyFormer [2] 提出的 Query Decoding 与 Query Boosting 思路,将长序列行为与非序列异质特征纳入同一骨干网络;预测层采用 MMoE 的多任务专家结构。

图 1 给出 CVR 模型整体架构,包括数据流与模块划分,便于对照下文各小节阅读。

3.2.1 特征输入层

特征输入上, 分为两类:

  • 序列特征: 用户历史交互序列 S=[s1,s2,…,sT],每个交互行为由 item ID、action type、timestamp、side info 经过 embedding 层后 concat 来表示。

  • 非序列特征: 包含用户特征、Item 特征和上下文特征, 并将这些特征各自经过Embedding后再concat。

序列侧由三组用户行为组成:实时点击、点击空间与离线转化序列。组内多列拼接后再经小型网络映射到统一隐空间。为降低查表开销,三组序列共用底层 ID 嵌入表,一次查表即可取出全部子特征,再按组组装为定长序列表示。

此外,由于差异化场景下样本分布的显著差异,故训练时采用 EPNet 进行多场景建模,最终输出一个多域感知的非序列 embedding。

3.2.2 特征token化

不同于 RankMixer[3],我们对于非序列 token 的 tokenization 方法如下:

这种将 embedding 空间划分为多个头的方式可以保持表示多样性,使模型能够在不引入过度结构复杂性的情况下捕获异构特征语义。这样得到的X=[x1,x2,…,xN]将作为接下来的非序列 token 与序列特征进行交互。

三条行为序列则各自经过 SwiGLU 网络映射至同一隐式空间,使不同来源、不同维度的序列可在同一注意力语义下交互。

3.2.3 特征交互层

图 2 - Query Decoding 模块结构

为了兼顾线上推理的算力约束与复杂的特征交叉需求,参考Hyformer [2],我们将特征交互层拆解为 Query Decoding 与 Query Boosting两个阶段,数据流清晰可控。

并行输入准备:对齐两类特征的语义空间。交互层首先需要将异构的输入拉齐到同一维度。对于非序列特征(用户、Item、上下文),我们并未采用简单的向量拼接,而是将其 Embedding 在隐空间上切分为 N 个独立 Head。这种多头化的 Tokenization 方式,能以极低的额外参数量保留特征的语义多样性,让不同 Head 在后续交互中自动分化出差异化的信息角色(如部分侧重场景环境,部分侧重长期兴趣)。

与此同时,三条用户行为序列(实时点击、点击空间与离线转化)各自独立经过 SwiGLU 网络映射至上述同一隐空间。这里选用 SwiGLU 而非自注意力,是考虑到广告序列的相邻事件依赖较弱,而 SwiGLU 以线性复杂度完成逐位置变换,在长序列场景下远比自注意力的平方复杂度更适合线上预算。

Query Decoding:以非序列为“问句”,检索序列信息。该模块本质上是为每个非序列 Token 提供“向历史行为提问”的能力,可类比 Transformer 解码器的交叉注意力层:

  • Query(查询)的构造:针对每一组序列,我们将 N 个非序列 Token 与该序列的均匀池化向量拼接,送入一层 FFN 生成 1 个全局 Query Token。三条序列的 FFN 参数相互独立,以保留点击、空间、转化三类行为间的天然差异性,最终共生成 S=3 个 Query。

  • Key/Value(键值)的供给:直接由上述经 SwiGLU 编码后的序列隐状态担任。

随后,3 个 Query 与序列的 K/V 执行交叉注意力计算。在此过程中,我们特别调整了注意力温度系数,对点积结果进行缩放以防止 Softmax 退化为 One-hot 极值。这保证了注意力权重的“有效秩”维持在高位——通俗来说,就是让每个 Query 都能平滑地从多步历史行为中吸收信息,而非过早锁定在极少数行为上,从而提升训练的稳定性。

Query Boosting:全量 Token 的深度融合与语义校准。交叉注意力之后,我们并未直接输出,而是将上一步得到的 3 个序列解码 Token 与原始 N 个非序列 Token 合并,共计 (N+3) 个 Token 一同送入 Token Mixer 模块。借鉴 TokenMixer-Large [4] 的思路,该模块执行“解构(Split)→ 融合(Mixing)→ 重构(Reverting)”三步:

  • Mixing 阶段让所有 Token 两两充分交互,打破非序列与序列的边界,实现全局信息融合;

  • Reverting 阶段则将混合后的表示映射回与原 Token 语义对齐的空间,确保后续残差连接时特征不发生语义错位。

灵活的 Scaling Up 潜力。该特征交互层支持像 Transformer Decoder 一样堆叠多层。考虑到线上推理时延与机器成本的 ROI,当前推全版本仅使用 1 层。但离线实验表明,当我们将层数从 1 层加深至 2 层时,离线 AUC 可获得超过千分之一的稳定提升——这为我们后续在算力充裕时继续纵向加深网络、充分释放 GPU 红利留下了明确的迭代空间。

3.2.4 预测层

预测层使用PLE+MLP预估头的结构,分别预估不同场景的pCVR值。其中,PLE由3个为单层全连接层的专家网络组成,预估头则由两层带非线性激活函数的全连接层组成。

在具体推全方案中,我们采用以下核心超参配置:Token 隐层维度 token_dim=128,特征交互层堆叠 1 层,非序列 Token 数量 N=13,序列解码 Token 数量 S=3,单条用户行为序列长度 T=50。该配置下的离线 AUC 相对基线模型提升 0.4 个百分点(pp)。

在此基础上,我们已规划明确的 Scaling Up 路线:后续算力继续扩充后,将沿“更宽的 Token 隐层维度、更深的特征交互模块堆叠、更复杂的序列 Token 建模”三个方向并行推进,持续挖掘模型在 GPU 算力下的性能上限。

3.3 模型导出

TensorFlow 生态提供了成熟的 SavedModel 导出与 Serving 方案,而 PyTorch/TorchRec 模型的导出则面临更多挑战,难点主要来自稀疏/非定长特征中的 offset(偏移量)、序列长度等动态维度信息。训练时,这些信息通常以 Python 原生数据结构(如 list、dict)参与计算图构建,在 Python 环境中运行一切正常,但导出后容易被固化为计算图中的 int/string 常量。一旦线上请求的 batch size、特征组成或序列长度发生变化,这些固化常量便可能与真实输入不一致,轻则导致推理结果错误,重则使导出产物体积膨胀、版本更迭困难。

为解决这一问题,我们将训练链路与推理链路解耦,在推理链路中提前将前向计算逻辑固化为静态计算图。具体做法是:将模型版本间保持固定的信息——如 Embedding 权重、特征到 Embedding 表的映射关系、Pooling 方式等——作为模型配置随图一同保存;而将每次请求均可能变化的 meta 信息(如序列长度、特征偏移量、样本数量等)显式定义为 Tensor 输入,由原生算子在运行时动态计算。如此一来,导出的计算图不再依赖 Python 对象或导出时的固定 shape 样例,从根本上保证了线上推理的鲁棒性与正确性。

3.4 推理性能优化

在模型的初版 GPU 推理链路中,我们保留了较多原始 PyTorch 执行路径,压测结果显示,单位资源下的吞吐量与时延收益均低于预期。随后,我们对推理过程进行了详细的性能剖析(Profiling),识别出 CPU/GPU 数据搬运、稀疏参数查表、变长序列处理、稠密网络计算以及请求合并等关键环节存在明显瓶颈,并逐一进行了针对性优化。

3.4.1 数据搬运 — 批量拷贝与 GPU Buffer 复用

线上请求进入服务时,大量特征最初驻留在 CPU 内存中。若对每个输入单独执行拷贝,或在 CPU 与 GPU 之间反复进行 reshape、concat 及用户特征展开等操作,数据搬运本身便会成为新的性能瓶颈。我们的优化思路是:在 CPU 侧完成批量的 concat 操作,统一搬运至 GPU 后再进行展开处理,同时尽可能复用已分配的 GPU 显存缓冲区(buffer),从而显著减少冗余拷贝与临时张量的产生。

3.4.2 Sparse 查表 — 合并小算子,减少 Kernel Launch 开销

广告预估模型通常涉及大量 Embedding Lookup、Pooling、序列补齐以及稀疏张量转稠密张量等操作。若这些操作逐个独立执行,将产生大量细碎的小 Kernel 和中间张量,导致 GPU 计算资源难以充分发挥。我们的优化方案是:将多组 Embedding 查表、User/Item 特征对齐、变长序列处理等逻辑合并至更少的 GPU 算子中,从而显著减少 Kernel Launch 次数与中间结果的写回开销,让稀疏侧的计算模式更贴近线上推理的真实数据布局(如按需访问、减少冗余补齐),进一步提升执行效率。

3.4.3 Dense 计算 —  TensorRT 图优化与 BF16 推理

复杂dense网络的主要计算集中在矩阵乘、归一化、激活函数和 attention/sequence block 上,这部分适合交给 TensorRT 做图优化、算子融合和 kernel 选择。在线上可接受的精度范围内,我们引入 BF16 推理,降低显存带宽和计算开销;同时通过动态 profile 覆盖不同的 batchsize 和序列长度,支持模型在各种输入 shape 下高效运行。

3.4.4 Kernel 调度 — CUDA Graph 捕获与重放

TensorRT Engine 虽然已经大幅优化了稠密计算部分的效率,TensorRT Engine 虽然已经大幅优化了稠密计算部分的效率,但推理过程中的输入输出张量绑定、显存分配与释放、执行上下文切换以及 CUDA Kernel 的逐个发起(Launch),仍会带来可观的调度开销和时延抖动。为此,我们按 batch bucket 复用执行上下文和显存 buffer,并用 CUDA Graph 将稳定的 kernel launch 序列捕获下来,在后续请求中直接重放,减少 CPU 侧逐个发起 kernel 的调度成本。最终的目标是让 GPU 的算力尽可能多地用在模型前向计算本身,而非消耗在运行时编排上。

3.4.5 请求合并 — Triton Server 的 User/Item 混合批处理

为了提升 GPU 利用率,我们会将多个线上请求聚合成一个批次(Batch)后再送入 GPU 计算。然而,在线广告请求与标准的深度学习推理请求存在一个关键差异:为节约网络带宽和减少计算图中的冗余操作,每个广告请求通常仅包含 一个 User 的特征 与 多个候选 Item 的特征,即 User 侧与 Item 侧在数量上天然不对齐。标准推理框架原生不支持这种 “User Batch + Item Batch” 的混合语义,无法直接合并请求。

为此,我们在 Triton Server 推理服务层补齐了这部分能力:服务能够区分用户侧特征与物品侧特征,分别按照各自的维度逻辑进行拼接,同时通过请求级别的标识符保留 User 与 Item 的一对多关联关系。在计算图中,我们采用“尽可能延迟(Lazy)”的策略,将 User 特征的复制(Repeat)操作尽量后置,直至与 Item 特征拼接的前一刻才执行。这样做既保证了批量推理的吞吐优势,又最大程度减少了中间张量的显存占用与计算冗余。

3.4.6 调优自动化 — 大模型辅助的性能调优 Workflow

在算子开发过程中,我们采用了基于大模型实现测试/规格驱动开发(TDD/SDD),提高代码的可维护性,大幅提升开发速度。并实现了 Develop/Debug/Test/Profiling/Monitor Agent 协同 workflow,自动定位推理瓶颈并持续优化,实现性能调优自动化工作流,人工调优耗时减少 50%,满足模型推理高吞吐、低延迟要求。

04#

成果

4.1 业务指标

  • CVR 模型:收入+3.42%,RPM+2.81%,点击数+1.91%,转化数 +7.22%,深层收入 +2.28%。

  • DCVR 模型:收入+1.60%,RPM +1.21%,点击数+1.01%,转化数 +0.25%,深层收入 +2.37%。

4.2 推理效率

  • 机器成本减少15%,超时率从0.15% 降至0.03%。

05#

未来展望

本次框架升级为广告预估模型的长期演进打开了新的算力空间。我们将在模型结构、推理优化和平台化三个方向持续深耕:

  • 模型结构:GPU 框架释放出的算力红利,将直接用于扩大稠密(Dense)参数规模,引入更强的序列建模能力(如更长时序依赖、多兴趣表征)、更复杂的注意力结构(如轻量级多头自注意力)以及更深层次的多任务学习体系。未来,CVR、DCVR 等核心模型可以围绕更精细的用户行为理解、更细粒度的转化目标拆解和更充分的特征交叉结构持续演进。

  • GPU 推理优化:持续挖掘 GPU 算力潜力,重点推进算子融合(进一步减少 Kernel Launch 次数)、混合精度推理(如 INT8 量化探索)、动态批次处理(Dynamic Batching)、Embedding Cache(高频特征的显存驻留)以及多模型混部与资源弹性调度等方向,在保障时延的前提下持续提升单卡吞吐能力。

  • 平台化:将本次迁移过程中积累的模型结构规范、导出工具链、性能调优方法论和 Triton 服务配置模板,沉淀为一套可复用的 TorchRec GPU 训推一体化框架。后续新模型接入时,仅需在框架内配置模型结构即可完成训练、导出与上线,接入工作从“系统工程”简化为“配置化接入”,大幅提高算法的迭代效率。

06#

参考文献

[1] Ivchenko D, Van Der Staay D, Taylor C, et al. TorchRec: a PyTorch domain library for recommendation systems[C]//Proceedings of the 16th ACM Conference on Recommender Systems. 2022: 482-483.

[2] Huang Y, Jin J, Hong S, et al. HyFormer: revisiting the roles of sequence modeling and feature interaction in CTR prediction[J]. arXiv preprint arXiv:2601.12681, 2026.

[3] Zhu J, Fan Z, Zhu X, et al. RankMixer: scaling up ranking models in industrial recommenders[C]//Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025: 6309-6316.

[4] Jiang Y, Zhu J, Han X, et al. TokenMixer-Large: scaling up large ranking models in industrial recommenders[J]. arXiv preprint arXiv:2602.06563, 2026.

海外Agent实践:让问题直达源码,助力团队提效!

爱奇艺AI驱动漏洞闭环治理:让安全发现更智能、修复闭环更高效

纳逗Pro全链路赋能、专项免费算力支持!爱奇艺AI影视创作营第二期来了

AI 时代的质量门禁左移:Agentic Quality Engineering 架构与落地模板

爱奇艺大数据混合云存储

跳转微信打开

  •  

SeedRealtime 音视频全双工大模型发布:走向全模态自然交互

原创 字节跳动Seed 2026-08-05 12:05 北京

已全量上线豆包 App,实现边看、边听、边说

今天,我们正式推出原生音视频全双工大模型 SeedRealtime。

作为走向全模态交互的关键一步,SeedRealtime 用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。它实现了以下三项核心突破:

  • 音视频联合理解:原生支持声音、画面与时序信息的深度融合。模型既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。 

  • 主动的交互能力:具备持续的环境感知与主动表达能力。模型能在察觉画面状态变化时(如关键目标出现)主动提醒,并能调用工具融入表达,让交互从被动响应升级为主动协作。

  • 流畅的交互节奏:能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应;同时具备较强的抗干扰能力,能分辨旁人闲聊与背景噪声,不因干扰误触发,保持沟通的流畅连贯。

端到端人工评测结果显示,相比级联模型,SeedRealtime 的音视频对话节奏问题减少了一半——模型对说话时机的把握更加自然,“话未说完被抢断、话音已落却回应迟缓、或是被背景杂音与闲聊误触发”等卡壳现象显著减少;同时,单次对话能够完整、顺畅交流的概率也有明显提升。

目前,SeedRealtime 已在豆包 App 全量上线,在业界率先实现了音视频全双工技术的规模化落地,欢迎大家体验。

项目主页:

https://seed.bytedance.com/seedrealtime

体验入口:

将豆包 App 更新至最新版本,在对话框内选择“打电话”,进入视频通话界面体验即可。

原生音视频交互,走向全模态

实现边看、边听、边说

音视频实时交互此前长期卡在两种形态之间:级联系统依赖 ASR、VLM、TTS 等多个模块串联,延迟层层叠加,信息逐级损耗;端到端模型虽更流畅,但不少方案仍依赖外置 VAD 判断轮次,本质上仍接近一问一答的半双工交互。

SeedRealtime 的核心突破,在于将声音、画面、时序与表达统一到同一个端到端模型中。它不是先听完、再看完、最后作答,而是在连续音视频流上,让感知、理解、决策与表达同步进行,使“听到的”和“看到的”能够共同参与每一次实时判断。

难点首先在于对话节奏。语音天然带有停顿,可以借此判断何时接话;视频却始终在线、持续变化。模型既要不断理解画面中正在发生什么,又不能因为背景噪声干扰而频繁介入,而是要持续判断该关注哪个对象、该听谁说话,以及此刻是否应该回应。

更深层的挑战在于音视频的联合建模与时序对齐。用户说“这个怎么弄”时,模型需要结合当前画面、手势、视线与历史动作,判断“这个”具体指向什么;遇到同音词或模糊语音时,也要借助视觉场景完成消歧。只有将声音、画面与时序信息统一建模,模型才能真正把所见、所闻与所说对应起来。当看、听、说被纳入同一套实时决策体系,模型便不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口。

接下来,我们通过 7 个具体案例,来看看 SeedRealtime 在真实场景中的表现。

音视频联合理解

看得懂画面,分得清对象

SeedRealtime 能在多人、嘈杂、开放的真实环境中,把画面、声音和时序对齐理解。

四位好友聚餐,人多话杂。用户逐一介绍在场的人,SeedRealtime 就能根据外形特征把名字和人对上 —— 认出浅色头发的七七、戴眼镜的 Julia,还主动和乐乐打招呼;在之后的交谈中,始终把每个人的声音和身份对应起来。

随后大家你一言我一语聊起旅行:有人想去海边拍照、逛海洋馆,有人怕热怕累,还有人对海鲜过敏。SeedRealtime 能分辨每句话出自谁,并根据大家的交流,给出一份兼顾每个人需求的旅行方案。认人、辨声、听懂各自的需求,这些都在同一场对话里由一个模型实时完成。

在川菜馆,外籍食客面对中文菜单一筹莫展。SeedRealtime 直接从画面中认出菜品、用英语推荐,还能顺着文化背景解释“为什么‘鱼香肉丝’里没有鱼”、“皮蛋是怎么做的”。

服务员上菜时顺道说“很下饭”,它能结合画面中的菜,理解这句话并翻译给客人听。视觉信息无需先转成文字再理解,而是与语音在同一模型里对齐,做到眼前有什么,就能答什么。

主动的交互能力

持续观察,适时介入

模型会根据实时画面的持续变化,自主判断是否需要主动介入,而不必每次都等用户先开口。

在河北博物院逛展,用户交代一句“看到错金银铜虎噬鹿屏座就提醒我”,SeedRealtime 便在镜头不断移动的过程中留意画面,扫过那件展品时出声提醒。

随后,它结合画面细节,讲解错金银四龙四凤铜方案座、长信宫灯等镇馆之宝,以及铸造、错金银、焊接等多种工艺。将任务保存在上下文中、目标出现即提醒,正是持续视觉感知与主动介入能力的体现。

操作一台复杂咖啡机的过程中,模型能够基于视觉状态的变化实现实时纠错与反馈。

当观察到用户把整粒咖啡豆直接倒进萃取手柄时,模型快速指出:“豆子不能直接倒进去,得先磨成细粉”;萃取结束后,它基于对杯中油脂成色与液量的视觉解析,主动给出“下次萃取时间缩短 2-3 秒”的调整建议。无需用户逐步提问,模型便能基于实际场景进行点评。

研读 ResNet 论文时,模型结合网络结构图讲清跳接如何缓解梯度消失;当用户说“帮我盯着,翻到训练参数那部分提醒我”,它便在快速翻页的过程中持续观看画面,准确认出 “3.4 Implementation” 段落并主动叫停,随即报出学习率、动量、权重衰减等关键训练配置。在连续画面流中识别目标并主动叫停,展现了实际交互中的主动协作能力。

流畅的交互节奏

在干扰中判断何时开口

轮次判断不再交给外部 VAD 规则,而由 SeedRealtime 基于多模态信息持续决策:该接话时不迟疑,该沉默时不打断,在复杂环境中也能保持更自然的交流节奏。

大兴机场人流密集、环境嘈杂。同伴闲聊时随口提到“老李的航班”,模型并未被这句无关对话触发回复;当用户正式问起,即便航班信息已从画面移出,它仍能结合此前看到的大屏信息,回答实时到达时间,并联网提供行李转盘位置。

随后二人边走边聊往事,它持续观看眼前画面,扫到网约车指示牌时便自然接话,给出上车点的路线指引。嘈杂环境不再是必须过滤的干扰,闲谈里的关键信息也能被恰当留存、在需要时取用。

妈妈在一旁忙着别的事,让 SeedRealtime 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,模型却没有被这段无关对话带偏,始终跟着女孩手指的方向实时纠音、举例造句。模型该出声时不迟疑,受干扰时不跑偏。

总结与展望

SeedRealtime 的推出,标志着音视频交互迈出了关键一步。通过统一架构原生融合音频、视频与文本,模型得以在连续的多模态流中持续理解场景、判断节奏并作出回应。由此,“边看、边听、边说”真正成为日常可用的交互体验。

然而,现实环境中的音视频交流复杂而连续:背景嘈杂,人声会重叠,画面会变化,用户也会随时停顿、补充或打断。面对这些真实场景中的挑战,未来我们将在以下几个方面继续突破:

  • 更低的延迟与更自然的节奏:持续压缩“听到—理解—回应”的端到端时延,让打断、抢话、附和与停顿等真实对话中的微妙节奏被自然还原,不只是更快,而是更恰到好处。

  • 更主动的感知与决策:基于对画面与声音的持续理解,主动判断何时提醒、何时补充、何时递上用户正需要的信息,让模型不仅能“该说话时说话”,也能“该出手时出手”。

  • 更稳健的多人复杂场景:在嘈杂环境、多人同框与多方对话中,稳定识别“谁在说话、在看什么、该回应谁”,将能力带入更多真实生活与工作场景。

  • 从“能对话”到“能行动”:打通工具调用与现实世界的连接,让模型不仅能交流与观察,更能协助用户完成查询、预订与任务办理,把实时多模态理解转化为具体行动。

我们希望,AI 交互不再局限于清晰轮次中的问答,而是能在连续变化的真实场景中理解上下文、敏锐把握时机,并在合适的时候提供帮助。

图片

图片

图片

阅读原文

跳转微信打开

  •  

缩小上下文鸿沟: 一种本体论 + 大语言模型的数据现代化方法

Thoughtworks 2026-08-05 12:00 北京

企业数据现代化的瓶颈,往往不在于技术,而在于“理解数据含义”这一环节。

在大型企业中,数据现代化项目将庞杂混乱的企业数据,转变为业务可依赖的、可发现、可访问、可追溯的领域数据能力。然而,许多现代化项目尚未进入交付阶段便已停滞,症结往往在于团队需要花费数月时间,只为弄清数据的业务意图。

数据策略师的工作,是连接企业意图和现代数据架构。他们的职责贯穿整个生命周期:在复杂的企业数据环境中探索,设计和优先级排序用例,识别业务需求与可用数据之间的差距,交付新数据能力,并持续进行发现。

挑战在于,用于构建意图的知识往往分散在各个系统、遗留文档、或存在于领域专家的头脑里。因此,数据发现过程缓慢、依赖人工、难以扩展。

本体论 + 大语言模型方法

Ontology + LLM

在探索某个数据源的意义时,我们的第一反应,往往是将大语言模型直接指向源数据:输入源系统,描述用例,让它找出差距。这是一个合理的起点,但也暴露出一个真正的局限——在没有明确语义上下文的情况下,LLM只能从表结构、字段名和样本值中推断关系。这些推断或许有用,但在企业规模上难以一致地验证。于是我们问:本体论能在这里提供帮助吗?

要回答这个问题,我们首先需要理解,与直接通过大语言模型解释相比,本体论能提供哪些额外的优势。

什么是本体论?

本体论是意义的模式:它定义存在的实体、它们的属性、它们之间的关系,以及支配它们的规则。意义不再隐晦地存在于领域专家的脑海中,或被临时推断;本体论让计算机能够以逻辑、一致且可控的方式,对领域进行推理。它是知识图谱的模式层,在实例(如作为节点的实体、作为边的关系等)填充之前就已存在。整个产物既可供人类阅读,也可供机器读取:可编辑、可审计,并能置于版本控制之下。

为什么结合本体论和大语言模型很重要?

本体论和LLM恰好能覆盖彼此的短板。本体论将推理锚定在明确的语义上,使输出更可解释、更一致、更易于验证。而LLM则承担了那些原本会让人工构建本体论变得枯燥繁琐的工作:阅读源系统、对齐同义词、提出调和建议、发现不匹配之处。

没有AI的本体论,仍然是一个需要数月手动分析的数据建模工作;没有本体论的LLM虽然快,但结果不可靠,或容易偏移。两者结合后,我们可以用结构化的方式表达意图和供应,而智能体则能快速找出它们之间的差距——并且以一种可以信任和验证的形式呈现。

分步示例

当我们将此方法视为一个可重复的工作流时,它就会变得清晰得多。它不是将发现视为一次性的工作,而是随着每个新用例不断丰富企业上下文。在实际操作中,此方法作为一个由六个步骤组成的智能体循环来运作(见图1)。为了便于说明,我们将这个智能体工作流应用到一个常见的数据用例——预测客户流失——并利用来自两个源系统的数据。

图1:智能体循环工作流

步骤1:为每个数据源构建本体论上下文

第一步,是让每个源系统的意义变得明确。我们为每个系统提供样本文件,并通过AI智能体提取其上下文:实体、属性、关系,以及支配它们的规则。

智能体读取每个文件中的多种信号:表结构和数据类型、外键和连接模式、样本值以及任何注释或文档,然后推断出一个候选本体论,并将置信度较低的猜测标记出来,供领域专家确认。输出是一个机器可读、可审计的产物,而不是一张幻灯片。

在此案例中,假设两个源系统(计费系统和工单系统)暴露了以下本体论上下文:

# --- 源系统 1:计费系统 --- 账户(Account) -订阅(Subscribes to)-> 套餐(Plan) 账户(Account) -生成(Billed by)-> 发票(Invoice) 账户(Account) -具有状态(Has status)-> 计费状态(BillingStatus) 账户(Account) -有邮箱(Has email)-> 邮箱地址(EmailAddress)  # --- 源系统 2:支持工单系统 --- 客户(Customer) -提出(Raises)-> 工单(Ticket) 工单(Ticket) -分配给(Assigned to)-> 客服人员(Agent) 工单(Ticket) -具有状态(Has status)-> 工单状态(TicketStatus) 客户(Customer) -有邮箱(Has email)-> 邮箱地址(EmailAddress)

步骤2:跨源上下文并进行调和

实际上,绝大部分的用例中,上下文一定是跨系统的,这意味着它必须进行上下文调和。当我们试图将多个系统上下文(以本体论的形式)进行调和时,就能暴露出潜在的重复身份、冲突定义和重叠概念等不一致性,再交给人类专家协调源系统的负责人进行协商和解决;最终找到一个最佳的数据提供源。

在同一个案例中,我们调和两个源系统的上下文时发现三个潜在的问题(见图2)需要弥合:

图2:从两个源系统策展出的上下文浮现出三个潜在差距。

1. 邮箱地址(EmailAddress) 被两个源系统上下文共享。

2. 账户(Account) 和 客户(Customer) 可能是同一个现实世界实体。

3. 计费状态(BillingStatus) 和 工单状态(TicketStatus) 共享“状态(Status)”这一类型。

这些差距是用例无关的。无论是否有用例关心它们,它们都存在于数据环境中,而这也正是人类专家或AI智能体能够预先知晓它们、并解决它们的原因。

步骤3:将设计上下文与已调和的上下文进行对比

源系统只是等式的一边,它代表着现实世界的数据上下文;等式的另一边是业务用例,代表着设计意图,并可以转化成一份以本体论呈现的上下文,两者就可直接比较。让我们以客户流失预测用例为例:

“对于每位客户,预测他们在下一个计费周期停止为服务付费的可能性,以便客户留存团队可以在客户离开前进行干预。”

为此,模型需要一个单一的、明确的客户(Customer)实体,该实体统一了一个人的商业关系(他们订阅的套餐、付款是否最新、成为客户多久了)与其行为信号(最近登录时间、提交了多少工单、这些工单是否已解决)——所有信息都关联到一个已解析的身份,并随时间进行观察。

用本体论的术语来说,设计上下文是一个承载流失风险(churnRisk)的客户(Customer),关联到订阅(Subscription)、发票(Invoice)和支持交互历史,所有这些都解析到一个身份,并随时间进行观察。

通过将此设计上下文与步骤2中已调和的跨源上下文进行匹配,我们就可以回答现实数据条件是否可以满足设计意图,我们把不满足的部分看作差距。

步骤4:识别差距

现在我们可以解读每个差距对客户流失这个数据用例的实际意义:

差距1:邮箱地址(EmailAddress) 在两个本体论中共享。对于客户流失预测,邮箱是连接计费和支持历史到同一个客户的关键。这不是噪声,而是模型所依赖的调和过程。它成为一个身份解析需求。

差距2:账户(Account) vs. 客户(Customer)。用例取决于这些是否代表同一业务实体。解决这个问题决定了预测目标和底层数据模型。

差距3:计费状态(BillingStatus) 和 工单状态(TicketStatus) 共享类型“状态”。共享类型并不意味共享意义。状态=“已关闭(closed)”对工单而言是健康结果,但对计费而言却是流失信号。将它们合并为一个扁平概念会污染标签:它把两个上下文里截然不同的业务意义消除了,而在未来实施这个用例时,一个孤立的“已关闭”让模型失去了判断该客户会往哪个方向走的依据。一个典型的语义冲突就产生了——相同的类型,相反的含义。

一旦我们理解了这些差距对目标用例意味着什么,就可以采取行动。

步骤5:采取行动

差距分析将决定行动方案。

差距1 是内部调和:将邮箱定义为已解析的身份键,并连接。快速且内部可完成。

差距2 需要领域专家就客户粒度做出决策,然后对调和过的客户实体进行建模更改。工程成本低,但需要在编码前进行人工判断。

差距3 通过将共享类型消歧为不同的、上下文限定的概念(计费状态 vs. 工单状态作为独立含义)来解决,以便判定客户流失的重要标签不被污染。

“三个差距”分解为三个真正不同的计划:一个调和规则、一个领域专家粒度决策和一个语义消歧,它们具有不同的成本、不同的负责人以及它们之间的依赖顺序。策略师在投入大量时间进行构建之前,就已了解这一切。

虽然AI可以识别和分类潜在差距,但治理仍然至关重要。业务所有者和领域专家负责验证实体定义、解决语义冲突,并批准影响企业级数据模型的变更。

步骤6:更新源上下文并循环

一旦采取行动,企业自身的理解就会发生改变。上下文不是静态的:模式会演变、新系统会上线、定义会发生漂移,而步骤5中的行动本身也会改变数据环境。因此,这从来不是一次性的工作。当策略师弥合一个差距并交付用例时,上下文的这种变化必须被捕获。

在这里,将邮箱地址解析为共享身份键、统一账户和客户,以及消歧状态,所有这些都改变了共同的上下文,而这便成为新的基线,下一个用例和下一个智能体将继承这份被调和的上下文,而非重新发现它。重新运行差异分析确认上下文差距已关闭;如果源发生了变化或出现了新差距,循环会从新状态继续。

这就是为什么上下文必须在数据环境层面作为一项服务来管理,而不是作为一份文档或一次性快照。企业不再将知识记录在静态设计文档中,而是可以将其维护为一个活的、版本受控的语义资产,每个未来的项目和AI智能体都可以重用。

这个流程是整个论点的缩影:明确的上下文输入,经过分类和追踪的差距输出,附加行动,上下文更新,最终留下一个比以前更强大的数据环境。

总结

数据策略师在数据现代化项目中的职责是:在复杂的数据环境中导航,设计和优先级排序用例,发现每个用例与可用数据之间的差距,弥合这些差距,并在现代数据架构中交付持久的数据能力。

最困难、最缓慢的部分是中间环节:对分散、冲突、被重复定义的、隐晦的意义进行调和与理解,并手动分析差距——而这正是项目流失数月时间和信誉的地方。

本体论 + LLM方法正致力于解决这一核心难题。 本体论使意义明确化并赋予上下文图结构;LLM则在该图结构上进行推理,帮助策略师找出差距,这并不是依赖专家知识、或基于对人和组织朴素信任的,而是客观、且基于现实语义的。结果是一个智能体循环:每个源的上下文 → 跨源上下文 → 与用例设计对比 → 找出差距并分析 → 追踪行动 → 更新并重复。它通过自动化大部分语义分析,同时将业务决策留给人类专家,从而显著减少发现所需的手动工作量。

随着各组织在企业范围内采用AI,成功越来越依赖于为系统提供可信的业务上下文,而不仅仅是更多数据。将本体论与LLM相结合,提供了一种实用方法,使该上下文明确、可重用且持续改进,使数据现代化工作能够更快地交付价值,同时为未来的AI计划奠定更强大的语义基础。


作者:熊子川

跳转微信打开

  •  

大语言模型行业和炼铝行业的相似之处

原创 王建硕 2026-08-03 23:42 美国

最近整个大语言模型的发展,让我忽然想起了一个看起来和它风马牛不相及的产业——炼铝。仔细想想,这两个行业其实很像。 铝:曾经和白银一样贵的金属 很多人不知道,铝曾经是极其昂贵的金属,价格和白银不相上下。原因很简单:自然界里…

最近整个大语言模型的发展,让我忽然想起了一个看起来和它风马牛不相及的产业——炼铝。仔细想想,这两个行业其实很像。

铝:曾经和白银一样贵的金属

很多人不知道,铝曾经是极其昂贵的金属,价格和白银不相上下。原因很简单:自然界里没有天然存在的金属铝,它几乎都以氧化铝的形式存在。要把铝从氧化铝里分离出来,非常困难。

后来有人发现了一种用电来电解氧化铝、把铝还原出来的方法。从此,铝的成本降到了原来的千分之一以下。

结果我们今天都看到了:我们周围几乎什么东西都是铝做的。铝合金门窗,基本上是百分之九十九点几的铝再加一点合金;飞机、汽车,也都大量用铝。整个世界似乎变成了一个铝的世界。

铝,是「固化的电」

这些铝,全都是在铝的电解槽里,用电做出来的。所以有一种说法:铝就是固化的电,是被电凝固下来的金属。

很多时候,铝几乎变相成了一种电力的运输和出口方式。

我听过一个很惊人的想法:海上有些地方风能极大,但离陆地太远,即便在那里产生了大量的电,也没办法把电运回大陆。他们的办法是——原地炼铝。把风能转化的电,就地炼成铝,然后只需要用船把原料运过去,再把炼好的铝从海上运回来就行了。电运不走,但铝可以运走。

还有一个让我很惊讶的事实:中国所有发电量里,大概 6% 左右是用来炼铝的。这个数值比我们熟悉的大多数民用电——比如照明、家用电器——加起来都要高很多。

为什么 AI 时代让我想起炼铝

那么,为什么最近的智能时代、AI 时代,会让我想起电解铝?

第一,大语言模型开源的势头非常旺盛,比如最近的一些开放权重模型。开放权重,几乎就相当于炼铝的那套工艺——所有人都可以拿到,都能上手做。

第二,GPU 就好像炼铝行业里的电解槽。它虽然贵,但会被大量地建起来。电解槽把低附加值的电,变成高附加值的铝;GPU 也一样,把低附加值的电力,变成了非常高附加值的智慧产物。

第三,也是未来这个产业最重要的部分——电力。GPU 是一次性投入,就像建起一座炼铝厂;建成之后,是巨额的、常年的、大量的电能消耗。

现在全球数据中心的用电,也仅仅占电力消耗量的 1% 左右。但未来,我相信这个数值一定会迅速增加。

物理世界已经长了很多年,智能才刚刚开始

这里有一个关键的区别:铝虽然好,但物理世界对铝的需求,已经增长了过去很多年,基本进入平稳期;而智能的增长,才刚刚开始。

所以如果要分析未来的模型,考虑 token 经济、考虑「买 token」这件事,我觉得炼铝行业在很多方面都可以拿来做借鉴。开放权重是工艺,GPU 是电解槽,而真正决定这个行业天花板的,是电。

跳转微信打开

  •  

什么是 FDE —— 不只是一个岗位,更是一种能力

原创 佳芮的创业笔记 2026-08-03 18:30 北京

你这周开始学的东西,是今天全世界的 AI 公司花百万美金在抢的能力

句子第四期新兵训练营,Day 2 下午,我给新来的 FDE 讲了一个小时:什么是 FDE。

新兵训练营是我们让 FDE 快速上手的培训体系,一期五天,从在句子怎么做事、产品能力,到真实成交案例、交付实战,一期带一批新人进来。

这不是岗位说明书。是想让每个人知道一件事——你这周开始学的东西,是今天全世界的 AI 公司花百万美金在抢的能力。我们 2023 年就在干,比硅谷早三年。

听众三十个人,岗位很杂:FDE、管培生、做商业化的、研发的、产品的,还有香港来的实习生。我讲了四件事:FDE 是什么、为什么偏偏是现在火、为什么你稀缺、你的路能走多远。

事都是真事,不是编的。涉及同事的地方,对外这一版我把名字都换成了化名。

下面是全部内容,一页一页放上去。

什么是 FDE 你站在了一个十年一遇的位置上 · 新兵训练营第四期 · Day 2 · AI 项目交付

这个词从哪来 · Palantir 第 13 号员工 Shyam Sankar,2000 年代末发明

如果一个问题能用一份需求文档解决,那这个问题早就被解决了。 · — Shyam Sankar · Palantir

好想法不是在 Palo Alto 吃草莓时冒出来的。它们出现在吉布提的田野上、底特律的工厂车间里。 · — Shyam

精妙的不是把人派出去,是背后那套分工 · 前线两种人搭班子,后方把现场抽象成产品

Palantir 今天 · 3000  亿美元市值

为什么这两年突然火 · 钱花了,东西却跑不起来

Agent 还没有现成的样子。SaaS 你一上来就知道要做成什么样;Agent 不是 —— 只能钻进客户真实业务里一点点

为什么 FDE 稀缺 = 为什么你值钱

第一个该招的,不是工程师 · 大部分公司做 AI 落地第一反应是招算法 —— 错了

上一页那个学法语的 00 后女生 · 就是她 · 小胡 —— 她为什么行,下一步难在哪

我交过的学费 · 再强的 PE,一个人也补不上「读懂客户的生意」

那 FDE 到底要什么样的人 · 会写代码、懂行业,都能补。这两样补不出来

再看一个真人 · 小麦 · 现场每撞一堵墙,他把它变成一个产品

再看一个产品怎么长出来的 · 句子守护 · CTO 亲自下场,逼出来的产品

我喜欢的画像 · 硅谷黑帮那股气质 —— 我不强求统一画像

最后一轮,我亲自面 · 能坐在这的 FDE,已经是百里挑一

对在座每个人 · 别因为你不是 CS 科班、不是算法出身,就觉得自己边缘。

再往上看一层 · 会写代码 + 这股劲,天花板不可限量

你的路怎么走 —— 台阶是实的

一条主线 · 不管你在哪个台阶,衡量你的标准不变

最根基的一件事 · 把事情做完、拿到结果、靠谱

你的进阶之路 · 对外这条线 FDE · FDE 四级台阶,一级一级往上走

还有第二条线:对内 AI 管培生 · 同一件事,两个名字

为什么一个人能干以前一条流水线的活 · 1 + N:一个人加一支 Agent 团队

天花板有多高

三代组织,你赶上了第三代 · AI 第一次让协作可以并行

我给你的,是真烧得起 · 你的天花板不是公司给不给你工具

你能走多远 · 这种人,离自己出去开公司,其实只差一步。

把话说在前面 · 我也不会反对你去创业。

我对组织的思考 · 我没办法为你的成长负责,但能为你的成长创造空间

你这个 FDE 的天花板,就是你自己。

我常跟大家说一句话 · 3 年以后 ——

你赶上了什么

收尾 · 先说句实话 · 产品还不完美,但一直在变好

你在做的,是这个时代最值钱的事 ——

附 · 现场可能被问到的 · backup —— 先想好答案

阅读原文

跳转微信打开

  •  

AI 时代的学习方式:从愚昧山峰上不断跌落

原创 Tapir 2026-08-03 15:48 北京

大家好,我是 Tapir,真的是好久没写文章了。

最近 AI 的发展真的是突飞猛进啊,不知怎的 Coding Agent  在去年下半年突然就变得好用了,遥想当年还在用 Copilot 做代码补全,当时都觉得很先进了,但现在看来也还没脱离古法编程 😂。如今的我可以说一行代码都不会写了,我对于代码的掌控主要停留在概念层和架构设计,当出现 Codex 之类的工具突然无法使用,只得回归古法编程,打开文件树看代码仓库简直陌生到可怕,不知道这是好事还是坏事呢?我们确实逐渐在把代码变成如同汇编一样的黑盒,去梳理编写概念,得到了效率的同时慢慢也丧失了对于底层代码的理解和掌控感,AI 作为工具反过来影响了我们自身。

其实我挺想念 AI 出现之前的时代的,当时每一行代码我都能解释,为什么这么做也是经过各个工程师和产品设计的讨论,虽然慢,但是胜在简单安心,精进编程能力的道路也是相对清晰。而 AI 的出现让我有点迷茫了,或者也许不只是我。如果 AI 什么都会,我们应该做什么,留给我们的路线是什么?

最近我们团队里面正在尝试组建「AI Native」团队,按我的理解就是要让 AI 工作的时间超过人工作的时间,打破传统的工作模式,让 AI 变成所有人工作的核心工具。以前说人人都是产品经理,现在 AI Native 的终局可能是人人都是产品、设计、研发、测试、市场 😃。我们现在还在阵痛期,对于非工程背景的角色如何参与代码开发也在试错。但我确实觉得现在大家都太浮躁了,所谓谋定而后动,有时候也许慢就是快。我在这个阵痛期也是感觉工作变得越来越无趣,也开始焦躁烦躁。

吐槽吐的差不多了,故事才刚开始,我最近又重新燃起了热情,因为我好像发现了 AI 之于我的价值所在了!

有一天早上我偶然刷到一个关于 M5Stack Cardputer 的视频,视频里的博主利用这款硬件开发了一些软件,比如复刻了老罗的TNT、音箱歌词显示器、万能遥控器什么的,回想到之前很多人做过 Vibe  Coding 键盘啥的,我突然想要自己做些什么硬件,因为我感觉这和我的本职工作 Web 前端是一个不同的领域,我可以利用硬件能力触碰现实世界了。硬件和网页很不一样,可以有按钮,有旋钮,有一块屏幕,可以真的拿在手里。软件跑起来以后,屏幕会亮,旋钮会响应,扬声器会发出声音。写的东西不再只是浏览器里的一个页面,而会占据真实的空间。

我当时对硬件几乎一窍不通,但 AI 让我有了一种以前没有过的感觉。很多不熟悉的东西,好像都可以先进去看看,我相信 AI 能帮我解决。我对着 ChatGPT 问了一上午,终于确认了我要怎么开始玩硬件。

痴迷于硬件的新世界

经过 ChatGPT 大人的指导,我没有选择 M5Stack Cardputer,也没有选择一些基于 Linux 的终端。一方面我希望设备尽可能小巧,另外好不容易从家出来一趟,肯定希望走远一些看看,于是我选择了基于 ESP32-S3 的开发板 LILYGO T-Embed。

ESP32-S3 是上海乐鑫推出的芯片,集成了 Wi-Fi 和低功耗蓝牙,开发资料和社区项目都很多。对于我这种刚开始玩硬件的人来说,这类芯片比较容易找到资料和现成案例。 如今 ESP32 在带无线能力的 IoT 设备和个人项目里非常流行,很多过去会优先考虑 STM32 的场景,现在也多了一个很有竞争力的选择。

LILYGO T-Embed

T-Embed 其实很简单,就是一块小显示屏、一个滚轮和一个中间按键。现在回头看,选择它的理由也挺奇怪的。我正在用一款 Sonic 的定时器,它也是靠一个滚轮操作。我特别喜欢那个手感,转一下,按一下,开始或者结束,整个过程很直接。T-Embed 有这个滚轮,我一下就看中了。

定时器

还有一款推动我一步步深入的产品就是 Playdate,我非常喜欢它的全反射屏幕,这屏幕在我看来完全就是艺术品,流畅的单色画面,既复古又新潮,不知道大家有没有玩过八方旅人这款游戏,给我的感觉是类似的,八方旅人也用它的 HD-2D,让老技术焕发了第二春。

Playdate

所以我的短期目标就是开发些软件先在 T-Embed 上跑通,长期目标就是将我这几个审美趣味相投的硬件产品整合成独属于我的硬件产品。

下单 T-Embed 后我没有等他送到就迫不及待的开始实现软件,我似乎找回了那种刚开始学习编程的那种热情。于是我把这些乱七八糟的想法、参考图、喜欢的设备和交互方式,一股脑告诉了 Codex。我说我想做一个 OS,装在这个单片机上。它开始在我的 Mac 上跑 Goal,自己搭环境、写代码、做测试。我中间还经常去看,因为它有时候要调 Computer Use,经常会卡住,或者效率特别低。我看着它在那边转,又有点想帮它点一下。我给它起名叫 CadenzaOS(https://github.com/SuperTapir/CadenzaOS),Cadenza 意为乐曲中留给演奏者自由发挥的华彩段,我希望这款硬件能成为我个人表达的空间。

第二天我看它自己测试时给出的截图,真的感觉非常漂亮。当时我立刻发给朋友说:「我的天,太兴奋了」。这真的跟开发个网页不一样,这可是直接跑在 ESP32 芯片上的,用 C++ 渲染出来的界面啊。接下来几天我沉浸在这种狂热中,不断的利用 Codex 更新了一波又一波的视觉和功能。 兴奋!

等收到 T-Embed,刷上我写的 CadenzaOS,其实和我本地模拟器看到的不太一样,会很卡,扬声器的工作状态也不符合预期,但我依旧很兴奋,迫不及待的拍了视频发给朋友,分享我的喜悦。然后又进行了一波固件优化,再刷上就不卡了,真的很开心啊!

从愚昧山峰掉进了绝望之谷

经此一役我感觉自己无敌了,依靠 AI 大人我真的畅通无阻。不知道大家是否听说过「达克效应」,我觉得我此时就处于「愚昧山峰」。

我不满足于继续用 T-Embed 凑合玩,也许我可以直接去实现我的终极目标做出专属于我的设备,而做最终产品必须要一块紧凑的 PCB 和外壳,于是我简单了解了一下这块儿领域就开始尝试让 AI 帮我直接画 PCB,我还让 AI 用了 kicad-happy 这个 Skill 去画板子,出来的东西看起来真的挺像那么回事。器件摆好了,线也拉好了,板框也有了,连 KiCad 里的画面看起来都很专业。

Codex 惊人的工作时间和 Token 消耗量

看上去像那么回事

我又找了一个网上的开源工程让它参考,跟它改了一晚上(花了大量的时间和 token!)。后来终于有了一版看起来差不多的东西,但其实我自己没有判断力,只是 AI 似乎觉得这已经 OK 了,我当时想,先打一个板子试试,OK 的话就先这样了。其实这时候我已经隐隐感觉不对了。。。

在我进入嘉立创在 AI 的指导下一步步填写晦涩的各种参数,填写完 PCB 的订单以后,还要走一个 SMT 的流程,我理解 SMT 就是把我们需要的电子元器件比如扬声器、麦克风、功放、芯片装在 PCB  上,结果一进去我人傻了,似乎导入嘉立创的工程里还是有很多问题在 SMT 的环节全部暴露出来了,就是一大堆报错,我当时真的直接崩溃了,本来以为画 PCB 已经是最难的一关,结果还有第二关,甚至可能还有第三关。

无能狂怒😢

其实我还脑子一热买了一堆元件、杜邦线、面包板、万用表,简单玩了一下,让 ChatGPT 指导我各种插线,有一定收获,但是也没玩太明白hhh 

于是我跌入了绝望之谷,我知道了硬件这个领域还有太多我不懂的东西,我交给 AI 做的工作如果我都无法判断,没有概念,那这些混乱也会被 AI 放大,直至失控。。。

从跌倒的地方爬起来

消沉了一段时间以后,我觉得还是退回来,做一些我相对擅长的事情,比如确定这个产品需要做成什么,需要哪些硬件,外形如何,如何使用。于是我开始尝试跟 AI 讨论把这个概念设计和外形工业设计定下来,为此我还学习了一些工业设计的技巧。最终形成了概念设计文档、硬件清单和一个 3D 模型(虽然还是挺粗糙的)。希望能交付给第三方帮我搞定硬件。

一个初版模型

但是在我接触了一些闲鱼上的代做单片机相关的商家以后,都对我这个产品不太感兴趣,经过多轮沟通给我报价 8500,虽然我想过会很高(毕竟后面跟 AI 探讨的太起劲了,把这个产品扩展的有点全能了😓),但是没想到会这么高,再评估一下后续可能返工带来的时间和金钱成本,我还是放弃了,感受到这个 Leap 以后,我的兴趣确实逐渐消散了。

在跌倒的地方种一朵花

将 Cadenza 搁置以后,我其实也没有一下子从硬件的世界里退出来。因为前面搞 PCB 的时候,我已经下载了 KiCad、嘉立创 EDA,注册了嘉立创账号,B 站也刷了不少相关视频。算法大概已经知道我最近在折腾什么了,机缘巧合之下我刷到了几个 PCB Art 相关的视频,制作精美的电路板艺术深深地吸引了我。

我当时第一次看到这个东西,觉得还挺神奇的。原来 PCB 不只是拿来放芯片、拉线、实现功能,也可以做成一件作品。阻焊层可以决定板子的底色,露出来的铜可以做图案,沉金会让露铜的部分变成金色,丝印还可以加文字和线条。最后做出来的东西,真可谓是艺术品!(当然还有就是嘉立创现在可以薅羊毛,免费的板子谁不爱呢?😂)

形形色色的 PCB 艺术(取自 B 站各视频封面)

我就选择了一位老师跟着做,大致了解流程以后,感觉不难,信心回来了。我开始准备图案,以艾尔登法环为主题,先在 Sketch 里面处理图片(这次图案正面部分取自一位老师的视频中的梅琳娜、背面是黄金树,但我做了一定加工),中间还用 GPT 去做了一些生图或者调整图片细节,调黑白关系、把细节简化,再导进嘉立创 EDA。这里也有很多要试的地方,比如图片到底要放在哪一层,哪些地方露铜,哪些地方保留阻焊,尺寸做多大才合适。好在这次的目标很具体,我能直接看到图片变成什么样,也能判断哪里不好看。

在 Sketch 中编辑 PCB Art 图片

最后我真的在嘉立创下了一份样板订单。看着订单一步步从生产的各个流程到最终发货,我很开心。我没有数电、模电的基础,对硬件的了解也只是皮毛,没有去修改理解 PCB 的能力,但是对于这块简单的电路艺术板我还是大致跑通,踏踏实实的做出来了。

我的 PCB 订单

这块板子没有让我突然学会硬件,但它让我重新找回了一点动手的感觉。Cadenza 那种完整的硬件产品,对当时的我来说实在太大了。PCB Art 小很多,也简单很多,但它给了我一个能自己走完的闭环。

重新学习如何和 AI 一起协作

完成 PCB 艺术板后,我其实想多去学习一些这方面的技巧,能有朝一日做出 B 站上各位大佬一样华丽的作品,但我发现了一个问题,就是大家在构建作品的时候还是要使用如「嘉立创 EDA」类似这样的专为 PCB 设计而建立的平台,当然最终我们的板子的载体还是 PCB 使用这类软件当然是无可厚非的,而且是最准确的,但是其实其中绝大部分的功能对于普通玩家是不需要的,而且我用起来觉得各种操作一言难尽。

举个例子,我当时在做板子的时候没注意做大了,想要回去修改就得一个一个层重新调整大小,仔细对照图案是否对齐了,还有焊盘(打孔)的位置,各种反复修改。我再去嘉立创上下单,结果发现沉金面积又超标了(不支持优惠券了),在这样反复调整下我花费了大量时间和精力在这些没有意义的事情上。

除此之外,嘉立创 EDA 还有着一定的学习成本很容易误操作。在观察了各位大佬的 B 站视频我大致总结出了各位老师的 Workflow,通常是这几个步骤:

  1. 图案、排版的前期设计和准备:这一步要利用抠图、AI 重绘、图像处理等操作让图案适合后续绘制在 PCB 上

  2. 在 EDA 上拼接:将图片素材、文字素材在 EDA 上进行整合排布,需要考虑在阻焊层、丝印层 的层叠效果

  3. 进行挖孔等操作

  4. 反复在 3D 预览中确认效果来进一步调整图案、排版

当然可能还会有一些复杂操作,比如还是让板子具备一定的能力,比如加入 NFC 芯片,或者需要异形的板子,需要绘制异形的板框等,但大致流程我想就是这样。

所以我希望能简化这个流程,让大家创建 PCB 艺术能将精力更多放在设计本身,让一些初学者更好入门上手,让大佬们能解决一些重复性的问题帮他们出一版 Draft。

于是带着这些想法,我 fork 了 PCB_lightgraph(https://github.com/tomatorigid/PCB_lightgraph) 创建自己的 PCB_lightgraph_Neo,但是由于我当时想要的太多了,有点急于求成,一股脑将自己的想法告诉 AI,让 AI 自行学习拆解老师们的工艺技法,导致最后做成了一个四不像。Neo 变成了一个功能很多,但我自己都不想用的东西。AI 把我零散的想法都实现了一遍,也把我一开始没有想明白的地方一起放大了。混乱的需求只会导致混乱的结果,AI 只是加速了这个过程。

后续我又规整自己的想法和里程碑,明确了究竟自己想要做什么,新开了项目 PCB Atelier 结合了之前 Neo、Cadenza 的各种和 AI 协作的经验,目前效果不错,已经初步实现了我想要的功能,可以像 PS、Sketch 一样操作图层(和对应 PCB 的物理层)并最终导出「嘉立创 EDA」的项目工程可以直接进行下单。后续规划是进一步提升稳定度和可靠性,并增强图片处理能力让前期选定图案的时候也可以在 Atelier 中完成,除此之外还考虑加入 AI 能力,可以接入自己的 Codex、Claude Code、API 等在 Atelier 中进行 AI 图片生成或处理,甚至是直接让 AI 来帮助完成作品的评估和修改。 

学着从愚昧山峰上自己走下来

在经历了这么多高强度和 AI 协作的项目后(感谢 Tibo 老板送的 Reset 和 Codex 限制解除!),我逐渐摸索出了一些在 AI 时代创建新项目的技巧,在这里分享给大家(奖励一下能看到这里的读者)。

想清楚方向,你究竟想要什么

这一点是最重要的,如前文所说 AI 是放大器,混乱的开始只能以混乱结束,你必须心中有数,明确自己想要什么,如果你只有一个非常模糊的想法那你应该和 AI 先一步步讨论清楚,过程中可以尝试利用 grill-me 之类的 Skill,在你确认好再进行下一步。即使你想给 AI 留出一定空间来进行自由发挥,也请保持心中有数,在发觉不对的时候赶紧悬崖勒马。

做足调研,站在巨人的肩膀上

在没有 AI 的时代,工程师们就贡献了很多了不起的工程项目,AI 很多的编码技巧就来源于这里,所以别过度相信 AI 生造的东西。

我在开启新项目的时候会留一个目录专门存放一些可以用来参考的代码或资料,AI 拥有着前所未有的搜索和信息整合能力,我会让 AI 给我一份清单,要包含我们当前这个项目相似或者可能会有关联的开源项目或者资料,再将他们克隆或者下载到这个目录,我认为这样在后续我们进行正式的代码开发时让 AI 参考本地的项目会比利用什么 API 参考线上的项目更高效。

CadenzaOS 的参考目录

当然,请注意边界,不要「过度深入」的参考其他人的开源项目,虽说这个边界很难琢磨。

判断力的缺失将导致失控和灾难

执行力可以外包,而判断力不行,如果想要做成一个广义上的好项目必须具备领域的基础知识和审美,如果当 AI 给出一些选项时,你根本无法进行抉择,只能永远让 AI 给你提供建议那你就是在完全被 AI 牵着鼻子走,这不是你的项目,这是 AI 的项目,只是你给你的 AI 支付了 Token 罢了。

一旦你失去了判断力,那这个产品就没法向前了,这就是在提醒你要补一补专业知识了,至少要从概念层上理解现在正在发生什么,当然你也可以让相关的专业人士加入你的团队为你提供判断力,AI 不会为他的行为负责,但你需要。

拆分里程碑,切不可贪快

请明确每一步的里程碑,在清晰确切的完成这个目标之前,不要做其他事,不要开发新功能引入新的混乱,这符合软件工程的准则,即使现在是 AI 时代了,也不过时。我献身说法一下,因为 Tibo 老板那几天 Reset 的太频繁了,所以我整个人就很焦虑,向着 Token 不用完就亏了,经常临睡觉一定要给 AI 安排一个任务,用 Goal 去执行,在我还没想明白某个功能的时候,我就迫不及待的交给 AI 全权去做了,Token 可能是没有浪费吧,但是项目陷入了混乱,各种功能混杂在一起,让 Debug 的难度指数级上升,AI 都改不过来(也许 AI 不认为那是 Bug ,或者就是单纯忽略掉了,所以不会自行解决)。

我建议可以使用 OpenSpec 或者就是自带的 Plan Mode,在完成这个 Plan 之前不要添加新的功能。完全确认好了再下一步,不要贪快,有时候慢就是快。

给 AI 更多的上下文和参照,包括视频

之前说过要让 AI 参照一些关联的开源项目,说的也是这个事,但是我最近发现 AI 读视频的效率也是很高,它可以抽帧去看视频。所以我现在非常喜欢发一段录屏配文字说明现在的状况。我之前在做 CadenzaOS 菜单动画的时候就非常想参考 Playdate 的菜单动画,就录了视频,发给 Codex,Codex 就根据抽帧,不断 Loop,像素级还原了这个效果,完成了以后我真的很震惊,因为最后这个效果简直是一模一样。

虽说让 AI 自己摸索,相信它也是可以自己摸索出来如何看视频的,但为了让 AI 高效完成工作我也做了一个 Skill 帮助 AI 去分析视频,已经传到 Skill 市场上了(https://www.skills.sh/supertapir/tapir-skills/inspect-video-frames)大家感兴趣可以试试。

TDD 很重要,帮助 AI 锚定目标

TDD 是神,特别是我们现在起项目会大规模使用 Loop,通过单测、E2E 测试等 AI 能清晰的认识到这次修改是否改对了,完成测试 ≈ 完成需求且无报错,AI 改的放心,人看着也放心。

请原生支持 CLI,给 AI Agent 留出入口

我觉得 AI 时代了,或多或少我们都希望让 AI 能接管或者参与到我们的项目中,GUI 显然不是给 AI 用的,CLI 才是它们真正需要的,如果你有这方面的规划,别忘了从项目一开始就支持 CLI 的使用。

让经验和工作流留在仓库里

请将工程的工作流作为项目级 Skill 留在你的仓库,不只是你开发这个项目用的开发 Skill,比如 OpenSpec 啥的,我在做 CadenzaOS 的时候想要生成一些 App 的封面图,花了大量时间和精力做调整,可不只是全交给 AI 生图这么简单,还要经过一些脚本处理,最终才能变成漂亮的 1bit 封面。在完成几个封面后,我就让 AI 将这个工作流沉淀成 Skill 存储在 Repo 里。并进行了一些测试确保 Skill 的可靠。在这之后就可以让 AI 创建新的 App 的时候主动调用封面生成 Skill 来生成了。

封面生成 Skill

通过 Skill 生成的封面,很符合我的审美!

向山进发

我发现 AI 之于我最大的作用,就是让我敢去挑战一些以前完全不敢触碰的领域。

以前我看到硬件、通信、单片机这些东西,会觉得自己根本没有入口。现在我会觉得,至少可以先进去看看。AI 对通用知识的理解,确实能帮我解决很多最开始的问题,帮我找资料、搭环境、解释概念、写一些代码,让我不用一上来就被陌生名词劝退。

垂直的知识当然还是很重要,专业的事情也依然要交给专业的人。但对我自己来说,我现在会更看重广度。多了解一点不同领域的东西,慢慢建立自己的审美趣味和判断,再借助 AI 去把这些东西融会贯通,想必就会拥有与众不同的视点。

继续向着愚昧山峰进发吧,也不用太担心跌下来。每跌一次,至少会多知道一点自己缺什么,多知道一点这个领域真正难在哪里。下次再去碰一个新的东西,说不定就会比上一次更清楚一点。

接下来我准备去玩玩 Flipper Zero,也想学一下通信相关的知识。估计后面还是会踩很多坑,但我相信 AI 能继续帮我把这个领域的门稍微推开一点,哈哈。

关于本文:

我以前很讨厌 AI 的一点就是在于 AI 让工业化生产内容变得太简单了,导致同质化的内容太多了,现在看到 AI 腔(不是。。。而是。。。)我真的很想吐,也许误伤了一些本身就这么创作的人,但看到 AI 腔总让我感觉这篇文章背后是冷冰冰的机器花了 30s 生产出来的,我就对这篇文章一点也不感兴趣了。(我早年经常翻译英文文章来练习英语,翻译的还很生硬,所以可能 AI 腔没有但翻译腔会比较重hhh)但工具也在反向影响我们,在 AI 生产的内容充斥在我们周围时,我们也在不知不觉之间受到其语言风格行为习惯的影响。 我敢保证本文 99% 由人类撰写,剩下 1% 是我让 AI 修了些错字,提供些修改建议。但我确实利用 AI 的检索和整合能力,通过对话将本文所有的素材做了收集,在我需要的时候 AI 可以将素材发给我。

项目和资料

CadenzaOS:https://github.com/SuperTapir/CadenzaOS

PCB Atelier:https://github.com/SuperTapir/pcb-atelier

tapir-skills:https://github.com/SuperTapir/tapir-skills

PCB_lightgraph:https://github.com/tomatorigid/PCB_lightgraph

我用AI编程复刻了老罗的TNT,还顺手做了个万能遥控器……:https://www.bilibili.com/video/BV1qMKg6uEJr

送朋友一张PCB做的贺卡!:https://www.bilibili.com/video/BV11MjE6qEXb

🎉🕯🎂🕯🎉(我的第一块 PCB Art 作品图案取自这位老师的视频):https://www.bilibili.com/video/BV1ihNx61Ewq

从零开始的二次元电路板艺术画设计教程:https://www.bilibili.com/video/BV1CQjz6ZELZ

-END -

如果您关注前端+AI 相关领域可以扫码进群交流

图片

添加小编微信进群😊

跳转微信打开

  •  
❌