铃阅时讯
❌

普通视图

AI专栏 | 每天被 oncall 打断到无法写代码?携程机票前端用这套方法把重复问题解决了2/3

2026年8月6日 17:00

原创 Sheila 2026-08-06 17:00 上海

让研发从“救火”回到“建设”

作者简介

Sheila,携程资深研发经理,关注前端性能优化与 AI Agent 驱动的研发效能建设。

团队热招岗位:AI Agent开发工程师

导读:每天被拉群、被私聊、被问同样的问题——携程机票前端团队的oncall曾一度占据研发大量精力。过去6个月1000+条事件统计显示,近一半是“接口参数确认”“业务逻辑解释”这类高重复问题。团队用一套“飞书多维表格+知识问答+机器人”的组合方案,把重复劳动从40%打到15%,单次处理时长从100+分钟压缩至40分钟。怎么做到的?本文拆解完整落地路径。

一、背景介绍

1.1 提效场景介绍

1.2 痛点分析

1.3 提效目标

二、解决方案

2.1 使用的飞书工具和方案亮点

2.2 提效的实现路径和步骤

三、业务价值

3.1 提效情况和前后对比

3.2 应用成果分享

3.3 后续规划

本文分享的 oncall 体系由携程机票前端团队搭建并落地实践,聚焦机票业务场景下的研发 oncall 痛点,以前端视角切入,打造知识驱动型研发支持体系。

一、背景介绍

1.1 提效场景介绍

在业务高速增长、系统复杂度不断提升的背景下,携程机票前端研发团队的 oncall 已从偶发支持演变为高频、刚性的日常工作。大量精力被消耗在排障、业务逻辑解释、接口参数确认等事务性工作上,持续挤压了团队在架构优化和产品创新上的投入。

传统 oncall 依赖零散的 IM 私聊、电话、邮件等非结构化渠道,缺乏统一入口和可追溯记录;问题处理状态不透明,责任边界模糊;解决方案沉淀严重不足,同类问题反复出现、重复解答,既影响研发体验,也拉低整体研发效能。在此背景下,机票前端团队开始系统性思考:如何通过"知识库 + 流程"重构研发 oncall 体系——这正是本文希望回答的核心问题。

1.2 痛点分析

1.2.1 Oncall 定义与范畴

研发 oncall 是研发团队在约定时段内处理与业务系统相关的突发技术事件或高优先级咨询的机制。典型场景包括:

  • TS 排障与工单升级

  • 产品逻辑与业务规则问询

  • 接口字段、参数、返回值确认

  • 特定活动/版本的配置与风控规则解释

参与角色横跨 TS、产品、运营、研发、运维等多个职能,是连接业务与技术的“最后一道防线”。

1.2.2 Oncall 来源与占比

基于携程机票前端团队对过去 6 个月、1,000+ 条研发 oncall 事件的脱敏统计,我们得到以下结构性结论:

  • 按发起方

    • 技术支持:约 1/3

    • 产品经理:约 1/4

    • 运营:约 1/5

    • 测试 & 研发/运维:其余约 1/5

说明 oncall 已成为多角色、多团队的交汇点,问题来源分散。

  • 按问题类型

    • 业务逻辑咨询:约 26%,重复率 ~64%

    • 接口参数/字段确认:约 21%,重复率 ~70%

    • 系统异常排查:约 17%,重复率相对较低(~28%)

前两类“解释型”问题合计接近一半,且高重复、高可标准化。

  • 按处理结果

    • 仅为简单确认/解释:约 43%

    • 小修改/配置调整即可解决:约 29%

说明相当比例的 oncall 并非“技术难题”,而是信息获取与知识暴露问题。

以“接口参数确认类问题”为例:单次平均处理耗时约 0.4 小时,同一问题在 6 个月内重复出现 20+ 次,累计浪费数十小时研发人力;同时还伴随上下游沟通协调成本。

1.2.3 问题分析:来源杂乱、状态不清、无知识沉淀

结合定性访谈与数据分析,机票前端团队识别出当前研发 oncall 面临至少三类系统性问题:

  • 来源杂乱,缺乏统一登记

    • 问题入口分散在飞书私聊、群聊、电话、邮件等多个渠道

    • 事件往往缺乏“工单化”记录,无法准确统计 oncall 真实负载

    • 值班人员接收信息零散,排期难以掌控,容易“漏接”与“重复接”

  • 处理状态不透明,协作效率低

    • 提交方难以获知当前处理进度与负责人

    • 相同问题在不同渠道多次被提起,进一步放大负载

    • 事件优先级与升级规则不清晰,紧急任务易被信息噪音淹没

  • 缺乏知识沉淀,重复劳动严重

    • 解决方案散落在聊天记录、个人笔记和过往经验中

    • 缺少结构化的知识条目与统一检索入口

    • 新人或外部团队很难快速自助获取答案,只能继续“问人”

结论:当前模式本质上是“事件驱动 + 人肉协作”的即时通信体系,缺少标准化 SOP 和知识闭环,导致 oncall 事件“越处理越多”,形成恶性循环。

1.3 提效目标

核心问题:减轻 oncall 工作量,而不是取消 oncall。

oncall 本质上是保障业务连续性和用户体验的必要机制,无法也不应被简单取消。需要解决的,不是“要不要 oncall”,而是“哪些 oncall 必须由人来做、哪些可以交给系统”和“在人必须介入时,如何把每次的处理成本打到最低”:

  • 将尽可能多的高频、标准化问题,从“必须人工处理”转变为“优先由系统自动解决”;

  • 在必须人工介入的场景下,通过流程与工具优化,显著降低单次处理成本。

因此,携程机票前端团队将本项目目标定为:在不牺牲业务稳定性的前提下,系统性减少 30%~50% 的 oncall 事件量与人力投入,使研发从"被动救火"回到"主动建设",具体体现在:

  • 统一入口与流程,形成可统计、可追踪的工单体系;

  • 知识优先匹配,能自动解决的尽量自动解决;

  • 强制知识沉淀,形成“越用越聪明”的正向循环。

二、解决方案

2.1 使用的飞书工具和方案亮点

围绕上述痛点,携程机票前端团队提出“知识驱动型研发 oncall 体系”,核心理念是:

让“知识”和“流程”成为 oncall 的第一责任人,让“人”更多处理边界与例外。

具体目标包括:

统一入口与流程:所有 oncall 通过标准化提需入口进入多维表格工作台,形成可统计、可追踪、可分派的工单。

知识优先匹配:每个新 oncall 先自动匹配知识库与历史记录,能自动解决的尽量自动解决。

标准化 SOP 流程:从提需、分派、处理到闭环确认,每一步都有明确责任人与状态。

强制知识沉淀:每一个完成的 oncall 事件,都对应一条结构化的知识资产,形成“越用越聪明”的正向循环。

基于飞书生态,我们构建了一套“多维表格 oncall 工作台 + 知识问答 + 机器人 + 话题群”的组合方案,在不引入新系统的前提下完成改造。

2.1.1 Oncall SOP:从提需到闭环的标准流程

流程概览 -标准化 SOP 被抽象为四个阶段:

1)提需:

    • 统一从飞书“提需入口”提交 oncall 需求(应用 / 消息卡片 / 多维表格表单)

    • 强制填写关键信息:业务线、问题类型、优先级、影响范围、相关链接等

2)智能分派:

    • 按业务线、模块与问题类型自动路由到对应值班组

    • 支持按轮值规则与负载情况自动指定责任人

3)机器人 oncall(知识优先):

    • 机器人自动拉起话题群,抓取提问内容与结构化字段

    • 调用飞书知识问答与历史 oncall 记录,返回候选解决方案

    • 对高匹配度问题(如接口参数说明),可直接给出答案并请求发起人确认

4)人工 oncall 与闭环沉淀:

    • 对复杂或低匹配问题,由值班研发接手处理

    • 处理完成后,在工作台一键闭环,并自动触发知识条目创建与补充流程

关键机制
  • 自动提醒与升级:

    • 提交后超 2 小时未响应,自动提醒责任人

    • 超 24 小时未解决,自动升级给负责人或 higher-level 值班

  • 状态全程可见:

    • 提交方与处理方在同一 oncall 话题群与工作台视图中共享状态

    • 支持按业务线 / 人员 / 状态维度实时统计与追踪

2.1.2 方案设计:飞书生态下的知识驱动 oncall 体系

核心组件 - 围绕 SOP,我们在飞书上搭建了四大组件:

1)多维表格 oncall 工作台

    • 作为 oncall 的中枢系统,承载问题登记、分派、状态流转、统计分析

    • 通过约 10~15 个结构化字段保证信息完整性(业务线、模块、类型、优先级、影响范围、处理人、SLA 等)

2)飞书知识问答与知识库

    • 承载业务规则、接口文档、故障排查手册等结构化知识

    • 通过关键词 + 语义检索,为 oncall 自动给出候选答案

    • 支持按“业务线 / 模块 / 标签”组织知识,便于维护

3)智能 oncall 机器人

    • 负责在话题群中自动响应、拉取上下文、调用知识问答

    • 在工单创建、分派、处理、升级、关闭各节点自动发消息同步状态

    • 将话题群中的关键信息回写到多维表格与知识库

4)按业务线划分的 oncall 话题群

    • 将问题讨论集中在线程化话题中,避免信息被沉没在大群

    • 配合机器人和知识库,形成“边沟通边沉淀”的工作方式

与飞书生态的集成方式 - 整个方案基于飞书现有能力实现,无需自研复杂平台:

  • 多维表格作为“数据中台”

  • 知识库 + 知识问答作为“知识中台”

  • 机器人作为“流程中台”与“交互入口”

  • 话题群作为“协作中台”

这种“基于平台、融入平台”的策略,使 oncall 流程自然嵌入团队日常协作,降低学习成本与推广阻力。

2.1.3 知识沉淀机制:让每次 oncall 都变成资产

在本方案中,“知识沉淀”不再是可选项,而是 oncall 流程的必经步骤。

知识运营与质量保障

为避免“建而不用”或“越用越乱”,我们配套设计了简易但有效的知识运营机制:

  • 条目责任人制:每条知识明确业务 / 技术负责人

  • 双人审核机制:关键条目需要业务和技术双重确认

  • 有效期与复审:超期条目自动标记“待复核”

  • 使用反馈与权重:基于点击量、解决率和用户反馈定期优化条目

2.2 提效的实现路径和步骤

机票前端团队的方案落地主要围绕几个关键节点展开:业务知识库初始化、oncall 流程编排、多维表格 / 工单应用配置、机器人与知识沉淀机制。以下步骤可结合实际配置截图按序实现。

2.2.1 前置条件:业务知识库初始化(飞书知识问答 + 飞书 aily 机器人)

1)基于飞书知识库梳理首批业务与排障知识

基于飞书知识库梳理并录入首批业务知识与排障知识,按业务线 / 模块建立目录与标签。首先需要一个初始版本的知识库来进行问答查询,建立规则可参考:

知识库空间创建:

打开飞书aily开发者后台,创建一个知识空间,配置参考如下:

直接选择父节点的文档即可导入所有内容,文档内有更新会在30分钟内进行自动同步。确保了我们可以一次选用知识库后,后续可以无需改动即可连接到新知识。

2)使用飞书 aily 创建问答助手,绑定知识库实现语义检索

使用飞书 aily 创建一个问答助手,并将其与知识问答能力绑定,使其能够基于企业知识库进行语义检索与在线对话问答。

打开飞书aily开发者后台,创建一个工作流,默认工作流修改如下,关联第一步的知识库空间即可:

3)发布该工作流,完成该步骤后,将产出一个可在群聊 / 私聊中直接 @ 的 aily 问答助手,作为后续 oncall 机器人的基础能力。

2.2.2 Step 1:搭建 oncall 工作台

整体链路为:飞书机器人接收 oncall 提问 → 写入多维表格 / 工单底表 → 处理结束后触发知识库沉淀。

你可以直接复制本文对应的工单模版,快速搭建一套属于自己的 oncall 应用;如果场景相对简单,也可以只使用飞书新版多维表格完成底表搭建与自动化配置。

选择一:简单场景(多维表格 + 自动化)

适合 oncall 逻辑相对简单、参与角色较少的团队:

  • 搭建一个新版多维表格作为 oncall 底表:包含基础字段(问题描述、业务线、优先级、处理人、状态、结束时间等)。

  • 使用多维表格「自动化」能力,在“新增记录”“状态变更”等节点触发机器人通知和知识沉淀动作。

  • 通过视图和筛选即可完成简单的统计与复盘。

选择二:复杂场景(工单应用 + 多维表格)

适合 oncall 流程复杂、需要长期复盘与精细化运营的团队:

  • 复制本文示例的 oncall 工单应用模版,即可快速搭建一套完整的 oncall 工单系统。

  • 相比直接使用多维表格,工单应用提供更友好的操作界面、响应时长等关键指标的可视化能力,更适合做长期趋势分析与复盘。

  • 自动化规则仍然配置在底层多维表格中,可参考“选择一”的自动化方案进行配置。

2.2.3 Step 2:配置 oncall 机器人与智能分派

  • 在 oncall 话题群中,研发 / TS / 产品等同学通过 @ oncall 机器人发起问题。

  • 机器人根据预设规则(如业务线、模块、问题类型)结合“熟悉业务范围 + 过往 oncall 处理总数”等指标进行智能分派,将工单指派给合适的值班同学。

  • 在分派和处理过程中,机器人优先调用前置配置好的 aily 问答助手和知识库,为发起人返回候选解决方案;若命中度不足,再引导转人工处理。

2.2.4 Step 3:构建知识驱动循环

  • 每个 SP(服务周期 / 值班周期)结束后,由对应 oncall 同学对本周期高价值问题进行知识总结,补充到业务知识库和排障知识库中。

在此步骤直接使用“飞书知识问答”进行群聊上下文总结。

  • 实践中,可以在工单应用或多维表格视图中增加一个“沉淀知识”按钮:点击后自动拉起指定群聊 / 话题,@ 相关处理人,并附带本次 oncall 的关键信息,引导完成结构化总结。

  • 通过自动化将“沉淀知识”按钮与知识条目创建流程打通,实现:点击按钮 → 拉群讨论补充 → 一键提交为知识条目 → 进入飞书知识问答索引。

  • 随着每个 SP 的结束,知识库不断扩充,形成“问题处理 → 知识沉淀 → 下次优先由知识解决”的良性循环。

三、业务价值

3.1 提效情况和前后对比

携程机票前端团队在完成体系改造后,关键指标对比如下:

  • 响应速度:平均响应时间从约 120 分钟缩短至 40 分钟左右。

  • 重复劳动:重复问题占比从约 40% 降至 15% 左右。

  • 处理效率:单次 oncall 处理时长从 100+ 分钟压缩至 40 分钟左右。

  • 知识资产:知识沉淀率从不足 10% 提升至接近 80%。

3.2 应用成果分享

3.2.1 研发体验与业务满意度

  • 研发人员 oncall 相关满意度显著提升,主观“被打断感”明显下降

  • 业务方对 oncall 响应及时性与方案清晰度均有满意度上升

  • 跨部门协作成本下降,产品需求与技术实现的一致性显著提升

3.2.2 知识资产与可持续价值

  • 知识库条目数与使用频次呈稳健增长,高频场景覆盖率接近全部高发问题

  • 接口确认与业务逻辑类问题的自动解决率达到 60%~75%

  • 新人培训与交接周期缩短,oncall 相关“问人”场景明显减少

  • 方案可平移到运维 oncall、客服支持、合规咨询等其他知识密集型场景

3.3 后续规划

  • 持续运营:将“知识贡献”纳入日常任务,建立双人审核与定期复审机制,保障知识质量。

  • 场景扩展:将该模式复制到运维 oncall、客服支持、合规咨询等其他知识密集型场景。

  • 前置主动:打通发布流程与监控告警,让 oncall 更加前置与主动,进一步降低“救火”需求。

【推荐阅读】

 “携程技术”公众号

  分享,交流,成长

跳转微信打开

一次正常的对谈为什么会火,以及聊聊视频播客

2026年8月6日 14:57

原创 刘飞 2026-08-06 14:57 北京

一件事情变得稀缺,可能是因为它自己变化了,也可能是因为环境变化了。

1

上个礼拜,诺兰在北京与知名播客主播仲树做了一次对谈,时长 17 分钟。

7 月 31 日半夜,视频版发在 B 站。一个美国的诺兰粉丝把它搬到了 YouTube,X 和 Reddit,后来媒体人 Geoff Keighley 转的那一条超过 1800 万浏览。B 站的播放目前也破百万了。

海外评论区里,很多人说这是整个宣发期最好的一次采访,也有人甚至说是诺兰所有采访里最好的之一。很多人也第一次知道中国的 B 站也有这样的好内容。

而一件事情变得稀缺,可能是因为它自己变化了,也可能是因为环境变化了。

我相信这次主要是因为后者。

如果经历过纸媒时代的朋友,应该会觉得,17 分钟里问的,其实是一个影评人本应做到的:《奥德赛》和青铜时代崩溃是什么关系,诺兰有没有用基督教的赎罪概念去改写希腊史诗,特洛伊战争之后的世界跟他一贯拍的那种「回不去的家」有没有关系。

并没有说仲树老师问的普通,而是她的认真准备、用心提问,本来应该是大家都得做到的。

仲树自己后来也有很朴素的解释:这是一个好的采访,就这么简单。可能只是大家对一次采访应该有的样子有个期待,她满足了这个基础期待。

好像过去这么多年,恍然间大家发现,现在不管是什么媒体的记者,还是个体户老师,在提问的时候,首先想到的已经不是内容本身了,而是问的这个问题,接下来能不能被推荐算法选中。能不能在 5 秒内产生冲突?能不能再 10 秒内引发情绪?能不能在 15 秒内促成转发?

虽说现在大家聊起来都在说做内容,都在说内容创作,但按照真正的好内容标准来看,内容平台十有八九达不到。真能有一些深度内容的平台并不多,小宇宙和 B 站可能算是代表。

他们这样的平台上能找到深度内容,也是有逻辑所在的。他们有个共同点,就是不靠单条内容的即时数据来决定分发。一期两小时的节目,不会因为前三秒没有钩子,就被弃置不推。

这样的差别决定了产品成为什么样的产品、内容会成为什么样的内容。

2

工业化生产和指数级增长的短内容产能,跟深度内容是截然相反的两件事。

剪一条短视频的边际成本这几年一直在跌,再加上 AI 多模态的能力,现在不断趋近于零。

做一次真正的深度对话,成本与人有关,与人的经历有关。

所以两边的产能曲线是分叉的。十年前这个比例还没那么悬殊,一次认真的两小时对谈不算稀奇,现在就不一样了,大家都在追求规模化、产业化,但回头一看,好像流出来了相当多的空间,给这种看似比较慢、但实际也同样很有价值的内容。

真正的深度内容足够长,可以在很长的论述当中「完整表达」一件事情。

就像想到一个影视剧人物,我们会感觉他是立体的,能感知他的复杂情绪,面临的人生课题,和他在某些时刻的纠结;想到一个短视频人物,我们可能首先有印象的是他的夸张表情和暴力的情绪。

内容也是一样。一个判断要成立,需要交代前提,需要举例子,需要说清楚它在什么条件下不成立。这些都被砍掉之后,剩下的是结论。就像背数学公式,自己亲手推导出来是一回事,但只是死记硬背一句话是另外一回事。对于某些「长内容」来说,看似啰嗦了很多,最后推导出了一句话,很多人会以为这句话是圭臬,推导过程并无价值。但实际情况常常是相反的,这句话往往大家都懂,但世界是怎么运转生成这句话的,才是更重要的部分。

仲树在这 17 分钟里,没有浪费她的问题。正是因为这些问题背后,有很多背景知识和水下的推导。

3

我的播客三五环的 slogan 是 insider talks,也是在表达这件事情。

知识由信息和逻辑两部分构成。仅有看起来合理的逻辑,可能因为输入信息不全,得出完全相反的结论。多数时候我们缺的不是逻辑,是信息,信息足够多的时候结论是显而易见的。但只有结论,就会发现这个结论可以套在任何一件事情上。

播客是天然适合邀请行家的一种媒介。专业经验也是播客天然的内容资产。

播客保留原始的声音,不会被转述。听播客听到的是这个人怎么组织语言、在哪儿停顿、被问到不想答的地方怎么绕开,这些信息在别的媒介转述里会有丢失。

而视频播客可以把播客从收听的场景又扩展到更广泛的观众。视频播客不是来替代音频播客的,音频播客也不会取代视频播客。它们是一个相辅相成的媒介。

就像这次仲树一定程度上的出圈,也是因为诺兰的粉丝把它搬运到了 YouTube,YouTube 是全球最大的播客平台。

而且视频播客也并不是特别新鲜的事物。《锵锵三人行》1998 年 4 月开播,当时的定位是:在非黄金时段办一个低成本的谈话节目,用聊天的方式谈新闻。三个人坐着,一集半小时,聊到哪儿算哪儿。《新周刊》后来评它是 15 年来中国最有价值的电视节目。到 2017 年停播,《锵锵三人行》一共做了 5000 多集。

现在为什么又变得稀缺?还是前面说的逻辑,在媒介受到冲击的时候,大家天然拥抱了流量。流量看似是一回事,其实不是一回事。娱乐化的流量、短内容的流量,不会吃掉所有长内容的空间。被之前农场主放弃的这块地,又被播客主播们捡了起来。

对于播客来说,长度从来不是缺点,长度是功能和特性。

4

深度内容的价值可以体现在溢价上。我之前在《内容与品牌》这本书里讲过一些观点。

播客是人格化的,决定了它是品牌逻辑,而不是流量逻辑。

流量逻辑的内容为了抓住眼球,产生曝光就完成任务了。品牌逻辑的内容关心的是连接、感受和留下的印象,见效慢,半衰期长。深度内容天然属于后者,它不产生冲动,产生的是信任,而信任的账要很久以后才结。

媒体行业的从业者们其实是可以看到直接的数据的,同样的粉丝量/订阅量,播客和公众号这种长内容的商业价值是远超抖音的。每个商务合作的开价,按照订阅量折算,可能是 5~10 倍的差距。

在海外,Acquired 这档商业播客,看似不太起眼,就是两个人闲唠嗑。但他们的报价高达 40 万到 60 万美元(4 期节目打包),按照 CPM 计算,Acquired 相较普通播客有 4~5 倍的溢价。

他们并不是过去电视或者电台常见的商业广告插播形式,而是以很强的深度定制,可以在每集片头或者中间,用长达 5 分钟详细介绍赞助商的产品,乃至可以讲述他们的商业案例(时间会更长)。这种内容投放方式是非常稀缺的,因为 Acquired 的听众里,有大量的投资人和公司高管,甚至在整个英文播客里都很难找到替代品。

对比短内容平台,情况就截然不同了,品牌方甚至可以不用特别关注最后投放到了哪个账号,只要把钱交给平台,曝光和互动量就能得到保障。换言之,作为内容创作者,其实是一个庞大池子中的组成部分。

说起来也很有趣,Acquired 好几期出圈的内容就是在讲中国的企业,比如拼多多和美团,他们分别都花了两个多小时。像这样的内容,其实在中文媒体里有非常多高质量的文章和播客,但并没有很好地流转到英文世界去。

类似的领域还有 AI,AI 是非常适合播客和文章这种长内容承载的话题领域。这个领域过去没有教科书,没有知识库。播客可以通过深度分析和行家对谈,把有价值的内容沉淀下来。

Dwarkesh Patel 的节目时间也不短,通常在 2 小时左右,多的也有 4~5 个小时,采访 Karpathy、Ilya、Dario 这些人。按他自己公布的数字,2025 年那几期加起来超过 1200 万播放。这档节目已经变成了同行评议,甚至可以说是 AI 领域的口述史。

国内也是一样,张小珺的播客代表的是一种非常独特且稀缺的价值,很多 AI 在中国核心人物的想法,只有在她的播客能够听到。

多年之后,这批内容将会成为理解中国 AI 行业最完整的一手资料。对比而言,很多在讲某个 Skill 有多少星星,某个 AI 产品要怎么下载的这些内容,当下自然会有更高的流量,但一段时间过后,不会在历史上留下痕迹。

5

从侧面也能观察到这个价值。

前几天见了新加坡的朋友,她会认为 YouTube 上依然缺少好的中文内容,这是非常有空间的内容方向。好几档商业财经播客在 YouTube 上面都很受欢迎,很多外国网友主动提出需要英文字幕。

我从第三方得到了一份 B 站的视频播客在海外的分发情况。近 700 位作者里,300 多位能找到分发证据,接近一半。其中 180 位是自己官方同步过去的,98 位是被别人搬过去的,49 位两种都有。

不管是官方同步还是被别人搬运,都代表着大家已经认知到内容出海的价值了。

数据里有一条挺有意思:商业财经类被第三方搬运的比例是 31%,比官方自己同步的 29% 还高。这是唯一一个搬运高于官方的品类。而科技 AI 类的搬运命中率是 63%,在各大类里最高。

中国 AI 的出海,以及现在在全球 AI 竞争当中的角色,也是非常特殊的。这也让播客这样的中文深度内容变得更有价值。

不管是出海,还是好的外语内容的引入,深度内容的继续流动,应该是一个必然的趋势。

6

仲树说,这就是一个好的采访,仅此而已。在这件事情上保持这种清醒,很不容易。

作为看客和观众,我们当然可以去讨论数据,讨论文化现象。就像仲树说的,这期播客的内容像鲸鱼一样被分食,因为大家都能看到自己所需要的角度。

但对于创作者而言,我相信能得到的最好的启发就是,认真对待自己的内容而已,无他。

跳转微信打开

10倍参数增长、GPU推理落地:爱奇艺广告CVR模型的升级之路

2026年8月6日 12:00

原创 广告算法团队 2026-08-06 12:00 北京

通过框架迁移、模型调优与性能优化,实现精排模型scaling up下效果、性能同步提升

01#

背景

过去几年,广告预估模型从“稀疏特征 + 轻量 MLP”的阶段,走向更大的 dense 网络、更复杂的特征交互和更长的用户行为序列。在广告预估中,CVR(转化率)模型的精度直接决定广告收入和用户体验。过去两年,我们的模型参数量增长了10倍,稠密计算量从5~8 MFLOPs跃升至60~70 MFLOPs,原有 TensorFlow + CPU 链路已逼近算力和成本极限,模型迭代空间出现瓶颈。

从计算特点看,这类复杂 dense 模型更适合 PyTorch + GPU。其优势体现在:

  • 矩阵计算优势:模型参数矩阵越来越大、序列越来越长、网络越来越深,核心计算会更多落到矩阵乘、batch matmul、归一化和向量化规约等高并行算子上。GPU 在矩阵计算、混合精度和大 batch 推理上更有优势;

  • 生态成熟:PyTorch 则提供了更贴近算法研发的动态图体验,以及成熟的 CUDA 算子、AMP/BF16、attention module、算子融合和模型导出生态,可以让复杂结构从实验到上线的链路更短。

行业和开源生态也在向同一方向演进。广告算法和基础架构 Jarvis 团队合作进行了本次框架升级。

02#

升级目标

本次升级的目标不是简单完成框架替换,而是让广告预估模型重新获得可持续迭代空间。我们选定 TorchRec [1] 作为迁移框架,构建 GPU 在线推理链路,让更大的 dense 网络、更复杂的特征交互和更长的用户行为序列赋能广告业务。

03#

挑战与解决方案

3.1 模型框架迁移与效果对齐

TorchRec 和 Tensorflow 框架在训练模式、模型参数配置、默认值处理以及训练流水线的构造有较大差别,因此,我们需要在现有的 Tensorflow 模型代码的基础上进行适配型改造。

差异点

TorchRec

Tensorflow

训练模式

分布式同步更新模式,梯度回传采用 all-reduce 进行通信,即每一个 step 都进行一次全节点梯度更新。

分布式异步更新模式,sparse 参数每 N 步向 PS 节点推送、拉取最新参数,N 步之内仅在自己的 worker 节点进行参数更新。

参数配置

dense 参数和 sparse 参数需要更精细化控制参数。

沿用线上已有经验参数,无需刻意调参。

默认值处理

部分 api 默认值处理与 Tensorflow 不同,需要严格比对,包括特征服务、引擎等。

效率优化

为了提升 GPU 利用率,需要手动优化训练流水线,隐藏 IO 开销。

Tensorflow Estimator 提供优化后的数据读取 api,满足 CPU 计算需求。

建设初期,TorchRec 模型与线上 Tensorflow 模型有接近 1pp 的 AUC 差异。借助 AI 工具和TorchRec 源代码,定位多个因素并进行关键优化:

  1. 模型参数初始化:例如,稠密层权重采用与 TensorFlow 一致的 Glorot 均匀初始化;稀疏 Embedding 采用 uniform unit scaling 策略。

  2. 调用统一 api 时的默认值差别:例如,多值稀疏特征在 embedding 聚合时,TorchRec 的默认聚合参数 sum,需要修改为 mean 以对齐期望的聚合方式。

  3. TorchRec 损失函数与优化器参数设计:鉴于PyTorch 分布式框架的梯度平均池化的同步更新模式,损失函数在 batch 维度调整为需使用 mean 方法聚合。此外,模型还对稀疏参数与稠密参数的优化器做了拆分。使用更加稳定、学习率设置更低的 AdamW 优化器,并且通过基准学习率缩放,补偿 global batch 的扩大导致的优化步长差异。

  4. GPU 初始化设置:Tensorflow Estimator 采用了 master 节点初始化参数,worker 节点加载参数的方案;PyTorch 分布式框架每个 worker 节点独立初始化参数,故需要人工设定配置,保证初始化参数的一致性。

至此,TorchRec 模型离线 AUC 效果成功打平线上,消除框架间的效果差异,为后续稠密模型 scaling up 升级奠定基础。

3.2 稠密参数建模

打平效果后,我们开始对模型本身做升级——这就是 scaling up 的核心。推全的转化率预估模型自上而下分为三层:特征输入层、特征交互层与多任务预测层。交互层借鉴 HyFormer [2] 提出的 Query Decoding 与 Query Boosting 思路,将长序列行为与非序列异质特征纳入同一骨干网络;预测层采用 MMoE 的多任务专家结构。

图 1 给出 CVR 模型整体架构,包括数据流与模块划分,便于对照下文各小节阅读。

3.2.1 特征输入层

特征输入上, 分为两类:

  • 序列特征: 用户历史交互序列 S=[s1,s2,…,sT],每个交互行为由 item ID、action type、timestamp、side info 经过 embedding 层后 concat 来表示。

  • 非序列特征: 包含用户特征、Item 特征和上下文特征, 并将这些特征各自经过Embedding后再concat。

序列侧由三组用户行为组成:实时点击、点击空间与离线转化序列。组内多列拼接后再经小型网络映射到统一隐空间。为降低查表开销,三组序列共用底层 ID 嵌入表,一次查表即可取出全部子特征,再按组组装为定长序列表示。

此外,由于差异化场景下样本分布的显著差异,故训练时采用 EPNet 进行多场景建模,最终输出一个多域感知的非序列 embedding。

3.2.2 特征token化

不同于 RankMixer[3],我们对于非序列 token 的 tokenization 方法如下:

这种将 embedding 空间划分为多个头的方式可以保持表示多样性,使模型能够在不引入过度结构复杂性的情况下捕获异构特征语义。这样得到的X=[x1,x2,…,xN]将作为接下来的非序列 token 与序列特征进行交互。

三条行为序列则各自经过 SwiGLU 网络映射至同一隐式空间,使不同来源、不同维度的序列可在同一注意力语义下交互。

3.2.3 特征交互层

图 2 - Query Decoding 模块结构

为了兼顾线上推理的算力约束与复杂的特征交叉需求,参考Hyformer [2],我们将特征交互层拆解为 Query Decoding 与 Query Boosting两个阶段,数据流清晰可控。

并行输入准备:对齐两类特征的语义空间。交互层首先需要将异构的输入拉齐到同一维度。对于非序列特征(用户、Item、上下文),我们并未采用简单的向量拼接,而是将其 Embedding 在隐空间上切分为 N 个独立 Head。这种多头化的 Tokenization 方式,能以极低的额外参数量保留特征的语义多样性,让不同 Head 在后续交互中自动分化出差异化的信息角色(如部分侧重场景环境,部分侧重长期兴趣)。

与此同时,三条用户行为序列(实时点击、点击空间与离线转化)各自独立经过 SwiGLU 网络映射至上述同一隐空间。这里选用 SwiGLU 而非自注意力,是考虑到广告序列的相邻事件依赖较弱,而 SwiGLU 以线性复杂度完成逐位置变换,在长序列场景下远比自注意力的平方复杂度更适合线上预算。

Query Decoding:以非序列为“问句”,检索序列信息。该模块本质上是为每个非序列 Token 提供“向历史行为提问”的能力,可类比 Transformer 解码器的交叉注意力层:

  • Query(查询)的构造:针对每一组序列,我们将 N 个非序列 Token 与该序列的均匀池化向量拼接,送入一层 FFN 生成 1 个全局 Query Token。三条序列的 FFN 参数相互独立,以保留点击、空间、转化三类行为间的天然差异性,最终共生成 S=3 个 Query。

  • Key/Value(键值)的供给:直接由上述经 SwiGLU 编码后的序列隐状态担任。

随后,3 个 Query 与序列的 K/V 执行交叉注意力计算。在此过程中,我们特别调整了注意力温度系数,对点积结果进行缩放以防止 Softmax 退化为 One-hot 极值。这保证了注意力权重的“有效秩”维持在高位——通俗来说,就是让每个 Query 都能平滑地从多步历史行为中吸收信息,而非过早锁定在极少数行为上,从而提升训练的稳定性。

Query Boosting:全量 Token 的深度融合与语义校准。交叉注意力之后,我们并未直接输出,而是将上一步得到的 3 个序列解码 Token 与原始 N 个非序列 Token 合并,共计 (N+3) 个 Token 一同送入 Token Mixer 模块。借鉴 TokenMixer-Large [4] 的思路,该模块执行“解构(Split)→ 融合(Mixing)→ 重构(Reverting)”三步:

  • Mixing 阶段让所有 Token 两两充分交互,打破非序列与序列的边界,实现全局信息融合;

  • Reverting 阶段则将混合后的表示映射回与原 Token 语义对齐的空间,确保后续残差连接时特征不发生语义错位。

灵活的 Scaling Up 潜力。该特征交互层支持像 Transformer Decoder 一样堆叠多层。考虑到线上推理时延与机器成本的 ROI,当前推全版本仅使用 1 层。但离线实验表明,当我们将层数从 1 层加深至 2 层时,离线 AUC 可获得超过千分之一的稳定提升——这为我们后续在算力充裕时继续纵向加深网络、充分释放 GPU 红利留下了明确的迭代空间。

3.2.4 预测层

预测层使用PLE+MLP预估头的结构,分别预估不同场景的pCVR值。其中,PLE由3个为单层全连接层的专家网络组成,预估头则由两层带非线性激活函数的全连接层组成。

在具体推全方案中,我们采用以下核心超参配置:Token 隐层维度 token_dim=128,特征交互层堆叠 1 层,非序列 Token 数量 N=13,序列解码 Token 数量 S=3,单条用户行为序列长度 T=50。该配置下的离线 AUC 相对基线模型提升 0.4 个百分点(pp)。

在此基础上,我们已规划明确的 Scaling Up 路线:后续算力继续扩充后,将沿“更宽的 Token 隐层维度、更深的特征交互模块堆叠、更复杂的序列 Token 建模”三个方向并行推进,持续挖掘模型在 GPU 算力下的性能上限。

3.3 模型导出

TensorFlow 生态提供了成熟的 SavedModel 导出与 Serving 方案,而 PyTorch/TorchRec 模型的导出则面临更多挑战,难点主要来自稀疏/非定长特征中的 offset(偏移量)、序列长度等动态维度信息。训练时,这些信息通常以 Python 原生数据结构(如 list、dict)参与计算图构建,在 Python 环境中运行一切正常,但导出后容易被固化为计算图中的 int/string 常量。一旦线上请求的 batch size、特征组成或序列长度发生变化,这些固化常量便可能与真实输入不一致,轻则导致推理结果错误,重则使导出产物体积膨胀、版本更迭困难。

为解决这一问题,我们将训练链路与推理链路解耦,在推理链路中提前将前向计算逻辑固化为静态计算图。具体做法是:将模型版本间保持固定的信息——如 Embedding 权重、特征到 Embedding 表的映射关系、Pooling 方式等——作为模型配置随图一同保存;而将每次请求均可能变化的 meta 信息(如序列长度、特征偏移量、样本数量等)显式定义为 Tensor 输入,由原生算子在运行时动态计算。如此一来,导出的计算图不再依赖 Python 对象或导出时的固定 shape 样例,从根本上保证了线上推理的鲁棒性与正确性。

3.4 推理性能优化

在模型的初版 GPU 推理链路中,我们保留了较多原始 PyTorch 执行路径,压测结果显示,单位资源下的吞吐量与时延收益均低于预期。随后,我们对推理过程进行了详细的性能剖析(Profiling),识别出 CPU/GPU 数据搬运、稀疏参数查表、变长序列处理、稠密网络计算以及请求合并等关键环节存在明显瓶颈,并逐一进行了针对性优化。

3.4.1 数据搬运 — 批量拷贝与 GPU Buffer 复用

线上请求进入服务时,大量特征最初驻留在 CPU 内存中。若对每个输入单独执行拷贝,或在 CPU 与 GPU 之间反复进行 reshape、concat 及用户特征展开等操作,数据搬运本身便会成为新的性能瓶颈。我们的优化思路是:在 CPU 侧完成批量的 concat 操作,统一搬运至 GPU 后再进行展开处理,同时尽可能复用已分配的 GPU 显存缓冲区(buffer),从而显著减少冗余拷贝与临时张量的产生。

3.4.2 Sparse 查表 — 合并小算子,减少 Kernel Launch 开销

广告预估模型通常涉及大量 Embedding Lookup、Pooling、序列补齐以及稀疏张量转稠密张量等操作。若这些操作逐个独立执行,将产生大量细碎的小 Kernel 和中间张量,导致 GPU 计算资源难以充分发挥。我们的优化方案是:将多组 Embedding 查表、User/Item 特征对齐、变长序列处理等逻辑合并至更少的 GPU 算子中,从而显著减少 Kernel Launch 次数与中间结果的写回开销,让稀疏侧的计算模式更贴近线上推理的真实数据布局(如按需访问、减少冗余补齐),进一步提升执行效率。

3.4.3 Dense 计算 —  TensorRT 图优化与 BF16 推理

复杂dense网络的主要计算集中在矩阵乘、归一化、激活函数和 attention/sequence block 上,这部分适合交给 TensorRT 做图优化、算子融合和 kernel 选择。在线上可接受的精度范围内,我们引入 BF16 推理,降低显存带宽和计算开销;同时通过动态 profile 覆盖不同的 batchsize 和序列长度,支持模型在各种输入 shape 下高效运行。

3.4.4 Kernel 调度 — CUDA Graph 捕获与重放

TensorRT Engine 虽然已经大幅优化了稠密计算部分的效率,TensorRT Engine 虽然已经大幅优化了稠密计算部分的效率,但推理过程中的输入输出张量绑定、显存分配与释放、执行上下文切换以及 CUDA Kernel 的逐个发起(Launch),仍会带来可观的调度开销和时延抖动。为此,我们按 batch bucket 复用执行上下文和显存 buffer,并用 CUDA Graph 将稳定的 kernel launch 序列捕获下来,在后续请求中直接重放,减少 CPU 侧逐个发起 kernel 的调度成本。最终的目标是让 GPU 的算力尽可能多地用在模型前向计算本身,而非消耗在运行时编排上。

3.4.5 请求合并 — Triton Server 的 User/Item 混合批处理

为了提升 GPU 利用率,我们会将多个线上请求聚合成一个批次(Batch)后再送入 GPU 计算。然而,在线广告请求与标准的深度学习推理请求存在一个关键差异:为节约网络带宽和减少计算图中的冗余操作,每个广告请求通常仅包含 一个 User 的特征 与 多个候选 Item 的特征,即 User 侧与 Item 侧在数量上天然不对齐。标准推理框架原生不支持这种 “User Batch + Item Batch” 的混合语义,无法直接合并请求。

为此,我们在 Triton Server 推理服务层补齐了这部分能力:服务能够区分用户侧特征与物品侧特征,分别按照各自的维度逻辑进行拼接,同时通过请求级别的标识符保留 User 与 Item 的一对多关联关系。在计算图中,我们采用“尽可能延迟(Lazy)”的策略,将 User 特征的复制(Repeat)操作尽量后置,直至与 Item 特征拼接的前一刻才执行。这样做既保证了批量推理的吞吐优势,又最大程度减少了中间张量的显存占用与计算冗余。

3.4.6 调优自动化 — 大模型辅助的性能调优 Workflow

在算子开发过程中,我们采用了基于大模型实现测试/规格驱动开发(TDD/SDD),提高代码的可维护性,大幅提升开发速度。并实现了 Develop/Debug/Test/Profiling/Monitor Agent 协同 workflow,自动定位推理瓶颈并持续优化,实现性能调优自动化工作流,人工调优耗时减少 50%,满足模型推理高吞吐、低延迟要求。

04#

成果

4.1 业务指标

  • CVR 模型:收入+3.42%,RPM+2.81%,点击数+1.91%,转化数 +7.22%,深层收入 +2.28%。

  • DCVR 模型:收入+1.60%,RPM +1.21%,点击数+1.01%,转化数 +0.25%,深层收入 +2.37%。

4.2 推理效率

  • 机器成本减少15%,超时率从0.15% 降至0.03%。

05#

未来展望

本次框架升级为广告预估模型的长期演进打开了新的算力空间。我们将在模型结构、推理优化和平台化三个方向持续深耕:

  • 模型结构:GPU 框架释放出的算力红利,将直接用于扩大稠密(Dense)参数规模,引入更强的序列建模能力(如更长时序依赖、多兴趣表征)、更复杂的注意力结构(如轻量级多头自注意力)以及更深层次的多任务学习体系。未来,CVR、DCVR 等核心模型可以围绕更精细的用户行为理解、更细粒度的转化目标拆解和更充分的特征交叉结构持续演进。

  • GPU 推理优化:持续挖掘 GPU 算力潜力,重点推进算子融合(进一步减少 Kernel Launch 次数)、混合精度推理(如 INT8 量化探索)、动态批次处理(Dynamic Batching)、Embedding Cache(高频特征的显存驻留)以及多模型混部与资源弹性调度等方向,在保障时延的前提下持续提升单卡吞吐能力。

  • 平台化:将本次迁移过程中积累的模型结构规范、导出工具链、性能调优方法论和 Triton 服务配置模板,沉淀为一套可复用的 TorchRec GPU 训推一体化框架。后续新模型接入时,仅需在框架内配置模型结构即可完成训练、导出与上线,接入工作从“系统工程”简化为“配置化接入”,大幅提高算法的迭代效率。

06#

参考文献

[1] Ivchenko D, Van Der Staay D, Taylor C, et al. TorchRec: a PyTorch domain library for recommendation systems[C]//Proceedings of the 16th ACM Conference on Recommender Systems. 2022: 482-483.

[2] Huang Y, Jin J, Hong S, et al. HyFormer: revisiting the roles of sequence modeling and feature interaction in CTR prediction[J]. arXiv preprint arXiv:2601.12681, 2026.

[3] Zhu J, Fan Z, Zhu X, et al. RankMixer: scaling up ranking models in industrial recommenders[C]//Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025: 6309-6316.

[4] Jiang Y, Zhu J, Han X, et al. TokenMixer-Large: scaling up large ranking models in industrial recommenders[J]. arXiv preprint arXiv:2602.06563, 2026.

海外Agent实践:让问题直达源码,助力团队提效!

爱奇艺AI驱动漏洞闭环治理:让安全发现更智能、修复闭环更高效

纳逗Pro全链路赋能、专项免费算力支持!爱奇艺AI影视创作营第二期来了

AI 时代的质量门禁左移:Agentic Quality Engineering 架构与落地模板

爱奇艺大数据混合云存储

跳转微信打开

❌