铃阅
❌

普通视图

昨日接收 — 2026年11月16日 ⏭ 字节跳动技术团队

OpenViking 3D理解模型上线轴测八视图及PMI解析

2026年11月12日 18:00

原创 OpenViking 2026-11-12 18:00 北京

OpenViking如何理解一个3D模型

OpenViking发布原生3D内容理解模型,支持三维.STEP文件的导入与解析,信息还原率做到 100%。

导入一个3D文件,不仅会提取常规的正交视图、几何信息,还会使用八轴侧视图来补充被遮挡的内部结构和几何特征,同时保留全部的尺寸、公差、装配、工艺(PMI)细节。看得见内部结构,也能读懂规格参数。

解析目录

正交六视图

轴侧八视图

信息摘要(含PMI)

模型明细

左右滑动查看更多精彩内容

二、轴侧视图如何用|同一类零件,识别细节差异

以两款四方嵌件底座为例:外形完全相同,唯一的区别在内壁盲窝——型号 1 是圆形,型号 2 是六角形。

型号1 嵌件底座

型号2 嵌件底座

这个差异藏在壳体内部,正交六视图里看不到,两款零件的六视图完全一致。同样问 Agent:“帮我找一个内壁有六边形盲孔的四方嵌件底座,之前有设计过”,结果截然不同:

只有正交六视图

正交六视图 + 轴测八视图

检索结果

无法确认,只能给出型号 1、型号 2 两个候选

直接定位到型号 2

判断依据

六视图看不到内壁孔口和孔底

轴测图中能看到内壁的六边形凹孔和孔底

后续动作

需要你逐个打开模型确认

无需人工确认

只有正交六视图时,Agent 找到两款外形相符的候选,但无法判断哪一款带六边形盲孔:

OpenViking + Codex 检索结果:无法确认

仅保留正交六视图

型号 1 / 2 的正交六视图一致

左右滑动查看更多精彩内容

加上轴测八视图后,Agent 从轴测图中识别出内壁的六边形凹孔,直接给出答案:

OpenViking + Codex 检索结果:直接定位型号 2

正交六视图 + 轴测八视图

型号 1

型号 2

左右滑动查看更多精彩内容

再细节的差异也能被3D内容理解模型捕捉,Agent都能检索到。

三、PMI信息如何用|提供零件规格,实现精准定位

PMI(Product and Manufacturing Information,产品制造信息)是 3D 模型中附带的尺寸、公差、材料、工艺等制造信息。以一个基础安装座为例:

安装底座模型

PMI&模型对应关系图

OpenViking的3D内容理解模型可以对3D结构的全部PMI信息进行理解,同时区分几何、尺寸、公差、装配、工艺五个部分,自动加工到Summary.md文件中,供Agent按需读取。

几何

尺寸

公差

装配

工艺

左右滑动查看更多精彩内容

当你需要找到一个精确尺寸的零件,可以问Agent:“找一个底板厚2cm,带4个直径6.6 mm安装孔的底座”,Agent 会定位到「基础安装座标品.step」,逐项对照你的要求列出零件参数——板厚 20 mm(±0.05 mm)、4 个贯通底板的安装孔、孔径 Ø6.6 mm(±0.1 mm),并标明信息来源。

OpenViking导入

OpenViking + Codex检索

最后

OpenViking 作为业内首个理解三维世界的 Agent 上下文数据库产品,能够完整准确理解3D模型的所有细节特征和规格参数,实现精准检索。看得见内部结构,也能读懂规格参数。现在接入,点击【阅读原文】即刻使用。

🚀 上手试用,前 50 文档免费:

https://s.c1ns.cn/TwLos

🌟开源 OpenViking:

访问 GitHub 仓库(https://github.com/volcengine/OpenViking),为我们点亮一颗 Star!

❓三分钟测出你是哪种 Agent 饲养员选择属于你的 OpenViking

https://blog.openviking.ai/post/should-you-use-openviking/

💬 加入飞书交流群&微信群!

点击「阅读原文」立即体验

阅读原文

跳转微信打开

开发者实测|把视频处理交给 Agent:AI MediaKit Skill 深度评测

2026年11月11日 18:00

视频架构 2026-11-11 18:00 北京

AI MediaKit Skill 发布以来,我们陆续收到了许多开发者用户的投稿,他们结合真实使用场景,分享了自己从接入到成片的体验和测试记录。我们从中精选了几篇,陆续与大家分享。

⚠️文中测试结论以及价格、耗时、效果等数据,主要基于作者在特定素材、测试方法和实际环境下的实测结果,具体表现请以实际产品页面、公示价格、账单及使用场景为准。

作者:CSDN 几何心凉

本文为节选转载,内容仅代表作者个人观点;全文可点击【阅读原文】阅读。

一、引言:为什么要把视频处理交给 Agent

视频后处理里有大量“知道该做什么、但不想自己动手”的环节:老素材分辨率不够要增强,搬运或二创素材带着硬字幕要擦除,一小时的长视频要剪出能用的片段。这些活拆开看都不难,但串起来就是一下午的重复劳动——开剪辑软件、导素材、调参数、等导出、再导下一个。

大模型 Agent 擅长理解自然语言指令,但让它直接“处理视频”一直隔着一层:模型本身不碰音视频,得有手有脚的工具。MCP 和 Agent Skill 解决的就是这层连接问题。火山引擎视频云最近把自家的智能媒体处理能力打包成了 AI MediaKit Skill——一套可以被 Trae、Cursor、Claude Code 这类 Agent 直接调用的技能包,号称覆盖 80 项音视频与图像处理能力。

我关心的问题很实际:它对 Agent 是不是真的“开箱即用”?增强、擦除、剪辑这三件核心的事,效果到底到什么水平?长任务跑起来是什么体验?按量计费会不会一不小心超预算?这篇文章就围绕这三个方向,把安装配置、单项实测、组合流水线完整跑一遍,给出带数据的结论。

二、产品概览与核心能力

AI MediaKit Skill 的载体是火山引擎开源的命令行工具 mediakit-cli:技能包装进 Agent 后,Agent 通过自然语言理解需求,再调用 CLI 完成实际处理。不过我们也可以通过豆包工作这类agent工具来直接调用我们的AI MediaKit Skill。整个能力集按对象拆成 5 个技能包:

图1 AI MediaKit Skill 能力版图:5 个技能包、80 项原子能力

几个值得注意的结构性设计:

第一,本地与云端双模。 裁剪、拼接、转场这类确定性操作走本地 FFmpeg(秒级完成、不产生费用);画质增强、字幕擦除、语义切片这类 AI 能力走云端任务。Agent 会按能力性质自动选路,也可以用 --local / --cloud 强制指定。

第二,异步任务模型统一。 云端 AI 能力全部是“提交任务 → 返回 task_id → shared query-task 轮询 → 拿到结果地址”的闭环。长任务不会阻塞会话,Agent 可以在等待期间先汇报阶段性状态,这一点对“把活交给 Agent 然后去忙别的”的场景很关键。

第三,能力原子化。 每个命令只做一件事(切分只给时间轴、擦除只给净片),复杂需求靠 Agent 自己编排串联。这决定了它的上限取决于 Agent 的规划能力,下限则是每个原子能力的单项质量——所以本文重点测单项。

接入方式上,除 Skill 外同一套能力也开放 API 与控制台。需要说明:本文实测范围是 Skill+豆包工作,通过 API 直连的集成方式不在本文验证范围内,文中不会把未验证的接口形态写成既成结论。

三、上手体验:安装、配置到首次调用

接入与安装配置等部分不再展开,全文可点击【阅读原文】阅读。

四、画质增强:低质素材的增强效果与适用范围

为了测出真实水平,我搭了一组受控对照实验:取 CC-BY 开源电影《Sintel》预告片(1080p)做基准,人工降质成 480p 并叠加噪点和高压缩(模拟老素材/多次转码的真实状态),再分别用普通 Lanczos 放大、AI 增强标准版、AI 增强大模型版处理回 1080p,最后同帧对比 + 用平台自带的 VQScore 画质检测跑客观分。

素材覆盖三类典型难点:人像肤质与毛发纹理、高速运动、低对比度雪景。

4.1 人像与细节纹理

图6 人像场景五方对比:原始 / 降质输入 / 普通放大 / 标准版 / 大模型版

差异是肉眼可辨的:降质后胡须和皮肤纹理糊成一片;Lanczos 放大只是“平滑地糊”,没有找回任何信息;标准版把胡须逐根拉了回来;大模型版的毛发细节最丰富,但凑近看个别区域有轻微“重绘感”——这是生成式路线的固有特征,追求内容保真的场景(比如证据类素材)要留意。

4.2 运动场景

图7 运动场景对比:衣物纹理与发丝

运动场景是超分容易翻车的地方(容易出现帧间不一致和闪烁)。实测标准版在织物纹理和发丝上恢复稳定,我逐帧翻看输出没有发现明显闪烁或鬼影,说明时序一致性处理是合格的。

低对比度的暴风雪远景我也测了:这类画面本身信息量极低,增强后山体轮廓略有收紧但提升有限——本来就没有细节的场景,增强无从恢复,选素材时不必对这类画面抱期待。

五、字幕擦除:识别准确性与画面一致性

字幕擦除看两件事:擦得干不干净,以及不该动的地方动不动。我用了一段自造的压力测试片——先用 AI MediaKit Skill自己的字幕压制能力往《Sintel》片段上烧了三组字幕,刻意覆盖三个难点:运动物体(龙翼)反复穿过字幕区、火焰岩石复杂纹理背景、擦除中途发生镜头切换。

图10 自造压力样本擦除前后对比

三个难点场景全部通过:龙翼穿过字幕区的帧里没有残留也没有把翅膀擦缺;火焰纹理背景补全自然,看不出填充痕迹;镜头切换前后的字幕都被稳定跟踪。整段 12s 1080p 视频处理耗时约 4 分钟,39s 官方演示片约 3 分钟,擦除类任务的速度与片长大致线性。

六、智能剪辑

智能剪辑是最能体现“Agent 化”价值的方向,也是最容易被宣传话术带偏的方向。测之前先厘清一个关键事实:AI MediaKit Skill里“剪辑”相关的三个能力,交付物完全不同——

  • segment-scenes(场景切分):按画面转场切镜头,交付时间轴(可选同时输出片段文件);

  • semantic-segment(智能语义切片):按语义/叙事结构选段,交付结构化 JSON 时间轴;

  • 高光智剪/影视拆条类:交付可直接播放的成片。

也就是说前两样是“剪辑决策建议”,最后一样才是“代剪”。把它们混为一谈是选型时最容易踩的坑。

6.1 场景切分:速度与粒度

拿一段 40s 的快切预告片测试,切出 15 个镜头段,耗时不到 1 分钟:

图11 场景切分结果:40s 测试片被切为 15 段

粒度上能抓到大多数镜头边界,包括两个不足 1 秒的闪切帧(21.4–21.9s、27.4–28.0s)——做影视二创拆条时这种精度够用。

对照组同样说明问题:把一段 2 分钟的录屏网课(画面几乎静止的板书 + 摄像头小窗)喂进去,结果是 1 段——因为整段没有任何镜头切换。这不是缺陷,而是提醒你:画面静止的讲解类内容不该走场景切分,该走语音和语义。

6.2 语义切片:使用边界与交付形态

智能语义切片依托多模态能力,结合画面与语音实现语义级切分,交付形态与前两项不同,这里单独说明其使用边界。

实测发现,该能力对输入源有一定要求,使用火山体系内(TOS/VOD/点播)的视频 URL 效果最稳定。走 API 集成的团队,建议将“先上传再调用”写入流程。参数层面,可通过 min_duration 与 max_duration 控制目标时长,切点会自动贴合语义停顿,避免产生无效碎片。

最终交付的是 3 个片段的毫秒级时间轴 JSON,与第 6 章开头的判断一致——它只给选段建议,具体剪片动作交由裁剪能力(或 Agent 自己)完成。这一分工也符合 AI MediaKit Skill的整体设计:语义切片专注内容理解,Agent 按流程调度执行。

七、组合任务:从理解需求到交付成片

单项能力之外,我按一个真实工作流把五个能力串了一遍:“把一段带旧字幕、画质欠佳的素材,整理成可继续编辑的干净短片”。输入是人工合成的 40s 素材(540p、加噪、带硬字幕),流水线完全按 Agent 的执行逻辑串联:

组合任务流水线

图13 组合任务流水线:五步串联,除裁剪外均为云端异步任务

关键节点记录:

步骤

能力

耗时

说明

① 场景切分

video segment-scenes

<1 分钟

15段时间轴,据此选中 17.5–21.4s

② 片段导出

editing trim-video --local

秒级

本地 FFmpeg 执行,零费用零等待

③ 字幕擦除

video erase-video-subtitle

约1分钟

3.97s 片段

④ 画质增强

video enhance-video

约2分半

540p→1080p 标准版

⑤ 质量复核

video assess-video-quality

秒级

VQScore 客观评分

表2 组合任务各步骤耗时

图14 选中段三阶段画面:带字幕 540p → 擦除后 → 增强 1080p

最终交付片段的 VQScore 从输入端的 53.66 提升到 59.82。整条链路跑下来有三个体会:

  • 串行依赖是天然的。每步产物是下一步的输入,Agent 的规划能力在这里真实可用——但这也意味着某一步失败会让整条链停摆,编排时最好带上失败重试与人工确认节点。

  • 本地/云端混合调度很省钱。裁剪这种确定性操作走本地 FFmpeg 秒级完成且不计费,只有真正需要 AI 的步骤才上云。Agent 默认就会这么选路,不用人教。

  • 结束前有客观质检兜底。用 VQScore 给成品打分再交付,比“看起来还行”可靠得多,这一步几乎没有成本,建议固化为流程动作。

全程总耗时约 6 分钟(含云端等待与中间产物下载),按公示价折算处理成本约 0.3 元。

八、总结与建议

8.1 总体评价

把一开始我对它的疑问逐个回收:

对 Agent 的友好度:合格偏优秀。 一条命令安装、五个技能包即插即用、自然语言直接驱动;统一的异步任务模型让长任务可以“提交后挂起、阶段性汇报、完成后续接”,这是为 Agent 场景认真设计过的形态,不是简单包装 API。

三项核心能力的实测水位:

能力

实测结论

一句话建议

画质增强

VQScore +6.9(标准)/ +11.4(大模型),恢复而非超越

老素材修复、低清提档直接用;标准版性价比最高

字幕擦除

常规场景近乎完美;文字即内容的画面会误伤

短剧/搬运去字可全托管,板书文档类需人工验收

智能剪辑

切分/选段交付时间轴,成片类能力另算;语义切片有输入源限制

当“剪辑决策助手”用,别当“代剪”用

本次实测总花费约 4 元(含故意跑失败的任务;毫秒级计费,以实际账单为准),试错成本非常低。

8.2 适配场景建议

  • 短视频/MCN 团队:去字幕、增强、拆条是高频刚需,Agent 化后可以把“SOP 话术”直接变成可执行流水线,推荐;

  • 影视二创/老片修复:增强与擦除质量过关,建议“AI 初处理 + 人工精修”两段式;

  • 教育/知识类内容:录屏类素材推荐走ASR+语义选段路线,更适配内容结构;

  • 强合规/内容保真场景:推荐使用标准版处理,并保留原片。

AI MediaKit Skill 让我印象最深的不是某个单项能力多惊艳,而是它把视频处理变成了一种可以“说清楚就做完”的事。当 Agent 既听得懂“把这段素材的字幕去了再拉高清”,又真的握着能完成它的工具时,视频后处理这条流水线上的人肉环节,就确实可以开始退场了。

阅读原文

跳转微信打开

每两家头部手机厂商就有一家选它:火山引擎如何成为 AI 手机助手的"隐形底座"?

2026年11月5日 18:00

视频架构 2026-11-05 18:00 北京

AI 手机助手正在经历一次关键转向。过去,它更多是一个"语音入口":查天气、设闹钟、打开应用。而今天,手机助手开始具备更强的感知能力:能听懂语音,也能看见画面;能完成问答,也能理解上下文;能执行任务,也能在具体场景中提供陪伴。

这场变化背后,真正决定体验上限的,不只是大模型本身,还有一整套 AI 音视频互动、多模态理解和端侧工程能力。

对照 IDC 2026 年第二季度中国智能手机出货量榜单,荣耀、vivo、联想、中兴、三星均位列 Top 10,而这五家头部终端厂商,都选择了火山引擎 AI 音视频互动能力作为各自手机助手智能体的技术底座。换句话说,中国智能手机出货量前十的厂商中,每两家就有一家,正在基于火山引擎推进 AI 手机助手的体验升级。

01 | 多模态交互背后的技术底座

用户对着手机说出一句话,背后需要语音识别、大模型推理、语音合成、音视频传输等多个环节协同完成。任何一个环节出现延迟、误识别或打断不准,用户都会立刻感受到 "不自然"。

600ms 端到端响应:实时对话的体验分水岭

人与人面对面交流的应答间隙大约在 200—500ms,一旦等待时间明显变长,对话就会出现卡顿感。火山引擎通过全链路流式处理,将端到端响应延时压缩至 600ms 以内,支撑这一体验的是全球 4,000+ 媒体节点的就近接入网络,以及全球端到端 400ms 延时达标率 ≥ 99.5% 的稳定表现。

声纹与降噪组合方案:嘈杂环境中听见"你"

手机助手的真实使用场景往往并不安静。地铁车厢、开放办公区、商场 —— 背景噪声、旁人说话都会干扰语音识别。火山引擎的方案是多能力组合:AI 降噪过滤背景噪音,声纹降噪锁定主说话人,语义判停判断用户是否真正说完,可过滤 95% 的干扰噪声,将误插话降低 90%。

多模态理解:从 "听到的文字" 到 "看见的世界"

传统语音助手的理解能力受限于 "听到的文字"。当 AI 同时具备语音、视觉和上下文理解能力后,手机助手能够实时感知用户所处的环境,理解画面中的物体、空间关系与场景语义,并据此做出更自然的交互响应。视觉能力让手机助手从 "问答工具" 走向 "环境中的智能伙伴",它不再只理解用户说出的内容,也开始理解用户正在经历的场景。

端侧工程化:在手机上跑通比在实验室里跑通更难

手机是最严苛的 AI 终端之一。网络随时波动,设备性能和电量有限,使用场景高度分散。火山引擎 RTC 沉淀了 1,000 亿 + 月均通话分钟、60,000+ 全球终端适配经验,稳定性和兼容性已经在海量真实场景中得到过反复验证。

02 | 五家头部厂商的 AI 升级实践

荣耀 YOYO:从语音助手到 Robot Phone 智能伙伴

在荣耀 YOYO AI 手机助手中,火山引擎提供的多模态对话能力已支撑 AI 音视频互动功能完成落地。在荣耀最新推出的 Robot Phone 新形态机型上,这种能力进一步被放大。语音、视觉与实体云台运动形成联动,AI 助手不再只是停留在屏幕中回答问题,还可以通过物理转动 "看向" 用户,跟随用户动作产生反馈,实现多模态具身交互。

双方联合迭代的声纹 PVAD(个性化语音活动检测)与 SV(说话人验证)能力,在荣耀主观测试中,噪声环境下主说话人准确率与召回率达 95%,干扰人拒识率达 99%。

三星 Bixby:从工具型语音助手到情感化伙伴

三星 Bixby 4.0 上线的 "语聊视界" 服务,基于火山引擎实时语音视频对话能力。用户可以一边看着屏幕画面,一边与 AI 进行融合语音、视觉的多轮对话。手机助手不再只是被动响应,而是能够结合画面和上下文,提供更自然的连续交流。语音助手从 "查天气、设闹钟" 的工具型入口,迈向更有情感温度的伙伴型交互,交互方式更接近人与人之间的交流。

联想天禧 AI:从通用助手到游戏陪伴的多场景超能搭档

基于火山引擎实时对话式 AI 一站式方案,联想天禧 AI 在手机、Pad、PC 三端同步上线语音与视觉对话能力,并接入联网、Function Call、MCP 等工具调用。联想还将这套能力延伸到游戏场景,在游戏本上推出"游戏陪伴助手"——不是通用助手,而是具备真人感的游戏搭子,根据用户行为和场景需求提供针对性陪伴与辅助。

底层能力跨端复用、上层体验按场景定制,手机、PC、Pad 之间的边界被打通,天禧 AI 从单一入口变成贯穿多设备、多场景的超能搭档。

vivo 蓝心大模型:让无障碍陪伴更自然

基于蓝心大模型,vivo 面向视障用户提供无障碍陪伴功能:开启摄像头,即可像视频通话一样与 AI 持续对话。例如,当用户在室内寻找物品时,可以语音提问“耳机在哪里?”模型会实时理解摄像头捕捉到的画面,给出语音指引:"在桌面上找到了白色的耳机盒,它位于笔记本的上方区域。" 用户也可继续追问,确认更多细节。

火山引擎提供 AI 音视频传输与处理能力,保障画面与语音低延时传递,成为模型与复杂的真实世界实时交互的可靠桥梁。

豆包手机助手:AI 原生终端的底座落地

豆包手机助手是 AI 大模型时代的原生手机助手,首个面向消费者的产品——努比亚NaviX Ultra,由中兴旗下努比亚担纲核心合作方,负责硬件层面打造。在这款 AI 原生手机上,火山引擎 AI 音视频互动能力不是后置附加功能,而是作为底层交互引擎,支撑豆包手机助手实现从"语音问答"到"实时多音视频互动"的原生体验。这种"AI 原生 + 硬件合作"模式,让终端厂商可以把更多精力放在硬件创新和场景设计上,把复杂的 AI 交互底座交给专业平台支撑。

AI 手机助手正从 "语音入口" 迈向 "多模态伙伴" 的规模化落地新阶段,AI 音视频互动能力将持续成为决定体验上限的核心底座。火山引擎将依托在实时音视频、大模型、多模态理解与全球端侧工程化实践上的综合能力,与终端厂商伙伴共同打磨下一代智能交互体验,推动 AI 手机助手更快走进用户日常、服务千行百业。

跳转微信打开

OpenViking连接业务系统,LLM Wiki一键编译

2026年11月5日 18:00

OpenViking 2026-11-05 18:00 北京

🔥OpenViking上线数据连接器、知识编译功能,支持飞书文档、项目和代码仓库的数据接入与同步,一键编译出业务需要的知识 Wiki、代码图谱、阶段性汇报产物,让 AI 帮你搞定项目交接、进展同步。

OpenViking ✖️ 3D 内容理解模型

OpenViking 是火山引擎推出的 Agent 上下文数据库,支持文档、图片、音视频、3D 等多模态数据的导入与理解。

现在,OpenViking 已上线多种数据连接器,支持飞书文档、项目、代码仓库的连接与定时同步。

连接入口

数据导入

定时同步

左右滑动查看更多精彩内容

基于导入的项目知识,通过知识编译(Compile)指令,就可以一键产出知识 Wiki、代码图谱、汇报材料等业务需要的加工产物,打通从数据连接到业务可用的高速通路。

预置编译模版

原始项目文件

产物1:LLM-Wik

产物2:知识图谱

左右滑动查看更多精彩内容

将数据导入 OpenViking,连接上你的 Agent,无论是豆包工作,Workbuddy,还是 Codex,Claude 都可以在以下场景感受到价值。

场景一|新人入职,快速了解项目全貌

新员工入职、项目交接,动辄需要整理几万字的交接文档,新人理解多少还要另说。

现在,把项目资料上传到ov,一键形成 LLM Wiki,捕捉每一份上下文。新人安装好 ov,只需要跟自己的 Agent 说:“我是一个新来的研发,接下来主要负责xxx项目。根据 ov 公共库的内容,帮我梳理一份 onboarding 阅读材料”。

然后,Agent 就会自动通过 ov 查询,找到关联信息,最终推给用户一个含项目背景、目标、需求列表(来自飞书文档)、代码架构设计、模块设计(来自仓库)、项目进展、当前迭代情况(来自飞书项目)的完整阅读文档,同时通过 LLM-Wiki 清晰阐明各模块间的关系。

新人通过阅读了解很快就可以完成 onboarding。

项目上传OV

编译出LLM Wiki

OpenViking + Codex检索

Onboarding阅读材料

左右滑动查看更多精彩内容

场景二|周期汇报,业务进展一键追踪

每次项目周会、季度总结,都需要成员一起复盘、梳理进展、互相关联,再集中呈现。

现在,项目在ov持续编译,LLM Wiki  实时更新。项目负责人只需要安装好 ov,跟自己的 Agent 说:“帮我整理xx项目这周的进展”。

然后,Agent 就会通过 ov 和最新的图谱,找到项目关联的所有产品需求、技术文档、市场反馈(来自飞书文档)、项目代码(来自仓库)以及当前版本正在开发的需求进展和 bug 处理进度(来自飞书项目)。最终整理出一份完整的市场、产品、技术进展以及版本迭代详情。

汇报再也不需要团队成员花时间去整理复盘,项目负责人也能随时获得最新反馈。

项目上传OV

编译出LLM Wiki

OpenViking + Codex检索

项目周报

左右滑动查看更多精彩内容

场景三|协同开发,代码逻辑清晰可见

项目的 Git 仓库调用逻辑复杂、频繁更新,每次熟悉代码,都像剥了层皮一样痛苦。

现在,所有Git仓库都可以通过连接器上传到 OpenViking,并一键编译为 Code Wiki,清晰呈现函数间的调用和项目逻辑关系。每次开发时,你只需要跟安装好 ov 的 Agent 说:“基于xxx产品文档,帮我写一份技术方案”。

然后,Agent 就会通过ov自动查看库里同步的产品需求文档(来自飞书文档),找到当前项目的代码(来自于仓库),结合需求和现状,完成技术方案。如果是多人开发同一个项目也没关系,库里的仓库会保持定期同步,Code Wiki 也会动态更新,Agent 看到的永远是最新的,不用担心代码的版本问题。

进入测试,你也可以直接通过 Agent 看到所有的缺陷(来自飞书项目),指导它一步步完成修复,直到顺利上线。

项目上传

编译出LLM-Wiki

OpenViking + Codex检索

技术方案

左右滑动查看更多精彩内容

最后

OpenViking 将陆续覆盖钉钉、Confluence 等更多数据源,推出更强大且个性化的知识编译能力。

打通从数据连接到业务应用的高速通路。

现在接入,后续上线无需额外操作,即刻使用。

🚀 上手试用,前 50 文档免费:

https://s.c1ns.cn/WEuSd

🌟 开源 OpenViking:访问 GitHub 仓库

(https://github.com/volcengine/OpenViking),为我们点亮一颗 Star!

❓三分钟测出你是哪种 Agent 饲养员选择属于你的 OpenViking

https://blog.openviking.ai/post/should-you-use-openviking/

💬 加入飞书交流群&微信群!

点击阅读原文立即体验👇

阅读原文

跳转微信打开

让改进有迹可循:Storage Agent Family Eval 工程实践

2026年11月3日 18:00

原创 火山引擎存储 2026-11-03 18:00 北京

我们在上一篇文章《Storage Agent Family: Agent 时代,重构云存储的“人机交互”》中,介绍了云存储智能助手家族 Storage Agent Family ——一组部署在云端的智能助手,可以帮助用户查询云存储资源配置、估算扩容成本、排查访问故障等。实际生产环境中,用户需要它们准确理解意图、查清真实资源状态、调用合适工具,并在安全边界内完成任务。

但问题也随之而来。为让 Agent 更好用,团队会不断修改提示词(Prompt)、技能(Skill)、命令行工具(CLI)和底层执行框架(Harness)。这些模块环环相扣,改一处往往牵动全局:今天修好 A 场景,明天可能就破坏原本正常的 B 场景。如果上线前只靠人工随意测试几句,或只看最终回答是否通顺,既难以判断改动是否产生副作用,又难以在出现问题时定位卡在哪一步。

为此,我们围绕 Storage Agent Family 建立了一套持续评测与改进机制:通过离线回归实验检验每次改动后的回答与工具调用过程,结合调用链(Trace)定位具体模块的问题,再将线上真实对话中暴露的典型问题持续沉淀至评测集。这样,每次版本改动的效果都清晰可量化,既能在发版前及时拦截场景退化,也能推动多款存储 Agent 的任务完成率与回答准确率持续提升。

01 | 如何构建覆盖任务、行为和安全的评测体系

先看一个日常高频场景。用户给出目标云盘 ID,向块存储智能助手(EBS Agent)提问:“我想给指定云盘在原有大小的基础上再扩容 100 GiB 可以吗?扩容后我每个月要多花多少钱?”

要给出可靠答案,Agent 需先调用只读工具查清该云盘现有的容量、类型和计费方式,再核对扩容上限规则,并调用询价接口计算差价。

除此之外,遇到异常或高风险情况还需严格把关:例如用户未提供云盘 ID 时会先追问;工具未查到数据时不能编造价格;涉及修改配置的操作需先识别风险并请用户确认(只读场景下仅提供操作指引);删除资源、越权访问这类高危请求则直接拒绝。

可以看到,即使是一句简单的日常提问,背后也同时考验意图理解、工具调用与安全边界。因此在准备评测集时,业务团队会先理清 Agent 的能力边界,再从两个维度设计测试题:既关注用户通常如何提问(用户意图),也关注底层会调用哪些技能和工具(Skill 链路),以覆盖完整的执行路径。

举个例子,针对“访问失败排查”这类常见问题,评测集里不仅有查网络、查权限、查流控这些正常排障流程,还会专门放进一批“难题”——如故意不提供资源 ID、模拟工具报错,或要求直接修改线上配置、越权删除资源。

这样,评测集既检查任务能否完成,也检查遇到异常或越界请求时,Agent 的响应是否符合预期。

存储 Agent 评测集结构:按用户意图、Skill 链路与边界条件组织

当评测集同时考察“任务完成”“数据真实”与“操作安全”时,只看回答是否通顺,或只给出一个笼统的总分远远不够。例如,在上述扩容询价场景中,如果 Agent 回答流畅,却忽略已知的云盘 ID、也没有查询真实云盘规格,表面看回答不错,实际上却并没有完成任务。

为此,评测采用 LLM 评估器与 Code 评估器相结合的方式:前者围绕任务理解与回应聚焦、事实依据与可信度、任务完成度、能力边界与操作安全、表达清晰度与可行动性五个维度,评估语义与过程质量(涉及报表生成任务时,额外评估报告质量);后者通过代码与正则规则,直接检查空回答、运行报错、工具调用约束等可程序化验证的行为。

当然,由大模型评估也可能出现误判。因此,团队会定期使用人工标注样本校对评估器的打分结果,对存在争议的评分进行人工复核,持续提升自动打分与实际业务判断的一致性。

存储 Agent 评估器职责分工:LLM 评估器与 Code 评估器

评测集与评估器就绪后,每当研发团队为优化某类场景修改提示词、技能、工具或执行框架时,需让待测版本跑一遍这些任务,来检验这次改动是带来正向提升,还是引发退化。

02 | 如何让每次 Agent 改动都有据可查

日常迭代中,团队依托自研评测工作台开展离线回归实验,持续验证每次改动的效果。

整体架构上,回归实验由三个角色协同完成:评测工作台负责版本与基线管理、实验分片调度、Code 评估器规则校验、红线判定与版本对比;云端隔离沙箱负责并发运行完整的待测 Agent,产出真实回答、报表与结构化调用记录;火山引擎日志服务 TLS AgentLoop 负责 Trace 调用链与 Session 会话分析、LLM 多维评估打分及线上会话质量分析,并将得分与调用链证据回传至评测工作台。

评测工作台、云端隔离沙箱与 TLS AgentLoop 协同关系

2.1 准备可追溯实验并在隔离沙箱中运行

团队先将代码、提示词、技能和工具打包为一个待测版本,再选择评测集与运行环境。任务会自动保留对应的评测集快照、评估器版本和评分配置,使实验结果可追溯到具体条件。

评测集与运行环境确定后,评测工作台将核心任务与边界用例分配到云端隔离沙箱,并发运行完整的 Agent 流程——让它实际走完“理解问题、选择技能、调用 CLI 工具、处理返回结果并生成回答或报告”的全过程。

如需对比新旧两个版本,平台会自动核对双方的题库版本、评估器版本、评分配置和运行环境,确保二者在同一基准下进行对比。

2.2 采集运行轨迹并结合双层规则评分

沙箱运行结束后,系统收集每道题的实际回答、原始 Trace 和生成的报告;同时,将问题、预期结果与行为约束、实际回答,以及从 Trace 中提取的结构化工具调用记录写入 TLS AgentLoop 评测集进行打分。完整的原始 Trace 则单独归档保存,供后续排查细节时随时调取。由于“沙箱运行”与“评估打分”相互独立,后续调整评分规则时,直接基于已保存的运行结果重评即可,无需重跑沙箱。

评分时,许多云存储任务依赖实时的云资源状态,因此评估器会结合测试环境当时的真实资源数据、工具调用记录与最终结论来综合评分。

不同业务可按需配置 LLM 评估器与 Code 评估器的权重及通过门槛;其中安全红线与核心完成度均实行一票否决制,任意一项不达标即直接判为“未通过”。

TLS AgentLoop 评测集数据项(上)与 LLM 评估器按维度打分(下)

2.3 查看评测报告与版本对比

以块存储 EBS Agent 的一轮版本迭代为例,在包含 124 道用例的回归实验中,综合得分由 88.7 分提升至 95.1 分(+6.4),通过用例数由 104 道增加到 122 道。

与综合得分变化相比,更值得关注的是任务完成度,由 55.4 分提升至 92.2 分。逐题对比显示,多道此前未通过的题目,在新版中都能主动调用工具查清配置并给出完整结论。

版本对比总览:综合得分由 88.7 提升至 95.1,任务完成度由 55.4 提升至 92.2

03 | 如何从一次失分定位到具体的 Skill 问题

评测报告和对比总览能够直观指出哪些任务表现不足、哪些维度发生变化。但要将分数差异转化为有效的研发改进,团队还需沿着未通过的题目回溯实际执行过程:当时 Agent 在沙箱中执行了什么?问题究竟来自知识库、Skill、CLI 工具,还是执行框架?

3.1 下钻到单题评分、版本对比与 Trace 调用链

回到前文提到的 EBS Agent 云盘扩容与计费咨询题(“我想给指定云盘在原有大小的基础上再扩容 100 GiB 可以吗?扩容后我每个月要多花多少钱?”)。在该测试场景中,用户已在上下文中提供目标云盘 ID,且 Agent 具备查询云盘配置和调用询价接口的只读权限。

但在旧版本的回归实验中,此题被判为“未通过”,任务完成度为 0 分。查看单题评分详情与 Trace调用链发现:旧版 Agent 忽略已有的云盘 ID,未主动调用工具查询目标云盘的现有配置,而是直接把问题抛回用户,要求用户手动提供本可通过只读工具查到的云盘容量、类型和计费方式。

通过对该题 Bad Case 的评分理由与 Trace 记录进行归因分析,团队定位到问题是源于 Skill 拆解指引缺失,随即在对应 Skill 中补齐调用链路要求:先通过只读工具核查目标云盘现有配置,再结合扩容规则与询价接口测算费用。

修改完成后重新发起回归实验,通过单题并排对比视图与“查看 Trace”中可以清晰看到变化:新版 Agent 依次完成边界判断、提交执行计划、激活技能、读取目标云盘对应的扩容规则并核验容量上限,随后在沙箱中通过 ebs-cli 实查该云盘的现有配置(1024 GiB ESSD_FlexPL),再根据该云盘的按量计费模式调用 CalculatePriceV2 获取扩容前后的小时单价并估算月度费用差额,在不触发任何写操作的前提下给出完整结论。

该题由此从“未通过”转为“通过”,任务完成度由 0 分提升至 100 分(任务理解 95 分、事实依据 95 分、能力边界 100 分、表达清晰度 95 分,Code 评估器各项检查全部通过),并与同批修复的其他题目一起使整轮实验的任务完成度由 55.4 分提升至 92.2 分。

EBS 云盘扩容题前后版本变化摘要、任务完成度对比与关联 Trace 调用链详情

3.2 用可观测链路定位知识、Skill、CLI 与 Harness 问题

无论是在回归实验中排查失分原因,还是在日常运行中分析异常会话,TLS AgentLoop 的观测看板、会话分析(Session)和调用链视图(Trace & Span,用于记录一次请求中各次模型推理与工具调用的层级、参数与耗时)都提供完整的执行记录。研发人员可逐层核对输入消息、检索结果、工具调用参数及返回信息,定位具体原因后,再针对性修复对应模块:

  • 知识或检索问题:知识文档缺失或未检索到产品规格、错误码与排障步骤,导致回答缺依据 → 由业务团队补充知识文档或调整检索策略。

  • Skill 或 CLI 工具问题:任务拆解指引不清,或 CLI 工具返回信息不完整、报错提示难定位 → 调整 Skill 提示词或优化 CLI 工具的参数与返回格式。

  • 执行框架(Harness)问题:上下文管理、会话状态传递或安全围栏拦截异常 → 在公共执行底座统一修复。

另外,如果只盯着固定的测试题修改代码,很容易变成“背题应试”。因此团队修复 Bad Case 时有一条硬性要求:必须修改通用的 Skill 逻辑、工具接口或补充知识库,不能专门针对某道题写死提示词,同时还会用不同问法的变体题和线上真实对话进行交叉验证。

04 | 如何让真实用户问题持续推动 Agent 进化

离线回归评测能帮助团队在上线前守住基本盘,但固定的评测集很难穷尽千变万化的真实提问。Agent 进入实际使用后,还需结合真实用户会话持续评估任务质量。

围绕线上真实数据,评估重点覆盖四个方面:用户的任务是否完成、结论是否有依据、多轮交互是否有效、是否出现不必要的拒答或越界行为。运行耗时和工具报错提供基础监控信息,人工抽检与自动评估则进一步判断任务质量。

在线上评估中,我们采用“人工标注校准、LLM 评估扩面”的方式推进:先由业务与 QA 抽样复核真实会话、校准评估器标准,再通过 LLM 评估器扩大线上质量检查的覆盖范围。

线上评估不仅直接检验真实使用场景的质量,也让团队能够持续积累日常暴露的真实问题。结合当前实践与持续建设机制,经确认的线上异常会话与典型运维工单,在指导知识、Skill、CLI 和 Harness 修复的同时,再经筛选、去重、隐私脱敏和业务复核(补充预期结果与测试条件)后,作为新增样本回流至评测集,进入下一轮回归实验。

Storage Agent Family 质量演进闭环:从线上真实会话与工单回流至下一轮回归

衡量一个云存储 Agent 的质量,关键看它能否基于真实资源状态做出判断、选对工具与执行路径,并严格遵守权限和安全边界。

围绕这一目标,Storage Agent Family 将业务要求沉淀为可重复执行的评测用例、可回溯的运行轨迹和可对比的版本实验,在持续的验证与反馈中稳步提升任务表现。

跳转微信打开

个性化视频技术:历时七年的算法演进

2026年11月2日 19:03

原创 抖音用户体验算法 2026-11-02 19:03 北京

01 | 前言

个性化视频算法是抖音体验算法团队在行业内最早创设的方向,曾于 24 年发表详述,参考:

数年以来,团队笃行不怠,多路并进,与当时披露的内容相比又有更多进展,在此做一详细盘点,希望可以引导、促进业界水平的提升。

回顾历史,音视频技术自互联网开端时即已成为显学,在之前三十多年的发展历程中,行业的关注重点主要在编解码标准、流媒体协议和框架开发等方向,虽然一直有零散的算法工作,意图解决实际工作流程中某一环节的问题,但抖音这条路径是通过 VLP、UIAE、Reward、CDNPilot、TACO、Demand、Vision、PRIME 等一系列算法将整条音视频链路串联起来建模,构建出完整、精细,同时又真实的个性化视频技术体系。

需要说明的是,抖音在基础视频消费之外,还承载了包括商业化、直播、电商、生活服务、短剧、游戏、搜索等数十种不同业务,需要在更高的性能资源占用约束下,追求流畅度、画质、稳定性、失败率、成本等方向的综合最优,对其中的算法技术而言,就需要其个性化算法涉及的规模和精度,与他人做法拉开跨代、量级上的差距,才能保证市场竞争优势。

与相对“传统”的音视频工作相比,个性化视频技术同时追求算法的实际价值、创新度与复杂度,因此在常规的优化武库之外,会将视野投向包括大型推荐模型、强化学习、控制论、因果推断、运筹优化、认知科学等在内所有具备潜在可能的技术,令其与音视频技术结合,交融并汇,才有希望达成“具备跨代、量级差距”的效果。

02 | 服务端:从单点规则到系统运筹

2.1 视频价值预测:VLP

VLP(Video Lifecycle Prediction)是大型短视频服务需要回答的一个基础问题:每个视频(预期)到底值多少钱?这个值将决定转码资源的分配优先级、CDN 缓存策略和分发权重,甚至影响前处理流程、内容理解的推理预算。每天抖音有几千万到上亿条视频上传,传播与消费价值差异巨大,需要模型对每条视频的未来价值(vv、播放时长)做出预测,才能更精确地决定在后续链路上如何处理与干预。

抖音或其他短视频 App 的生产-消费模式,均处于一种基尼系数极高的情况,极少的视频投稿就可以覆盖多半以上的视频播放,而由于大量对视频的处理——例如转码、前处理、内容理解——十分昂贵,在满足基础服务及内容安全要求的前提下,提高大规模视频处理系统的整体效率成其为必然。

本质上,虽与 Ranking 或 CTR 问题有别,VLP 面对的仍是一种高精度的预测问题,适合用与推荐、商业化等领域相近的解法,因此有参考许多字节内外推荐团队的工作,未来的思路也会尽力与推荐、计算广告等领域的前沿工作对齐,吸纳其在建模、模型结构、特征运用、样本分析等方面的进展,并针对音视频领域调整。

VLP v1(2021) 让视频价值第一次在音视频链路中高精度地被计算出来,此前业务只能按粉丝数、历史播放vv做规则排序——也是业界的习惯做法,一些视频服务曾构建过预测服务但精度甚低,VLP v1 搭建了完整类推荐的召回、排序链路,引入数十个作者、视频特征,用排序模型把价值预估变为监督学习,将输出归一化到 0~1 的热度分供转码排序使用。VLP v3(2023)第一次使用超大规模稀疏 DNN 并支持天级更新,稀疏特征经 Embedding 拼接后送入多层前馈网络,用 LHUC 方式依据作者/类目表征生成取值  [0, 2]  的逐层缩放向量做个性化调制,以 BIAS 让关键特征直连输出层(wide & deep 思想),同时从「单一价值分」升级为多任务,一个模型同时预测未来 1d/3h 的 vv、完播、播放时长等目标,并用 GradNorm 自适应平衡各任务损失:

(往左滑动查看完整公式)

VLP v8(2026) 深度实践了 LRM scaling-up 路线,进一步推动了个性化推荐、计算广告与音视频领域的技术交叉,v7 的人工特征交叉(MMCN 等)结构复杂且天花板低,self-attention 加深后 token 表征趋同(cosine相似度 0.9+,即 over-smoothing),v8 在广泛尝试对比了不同推荐技术进展的效果后,选择字节推荐团队的 TokenMixer 结构堆叠替代特征交叉主干,用 PerTokens AFFN为FFN 引入 token 级自适应门控,剪枝冗余结构后将 dense 参数扩至 1B,可验证视频价值模型同样服从scaling law(Reg-AUC 较 v7 +1.36%,MFU +167%),其核心结构与规模规律可概括为:

(往左滑动查看完整公式)

图1:VLP v8 的 TokenMixer 主干、Adaptive-FFN 与 Mixup 结构

配合模型复杂度提升,v8 在特征侧同步做了大幅度扩展,新增了数十个 LLM 挖掘特征(视频互动水平、投稿信息、作者生态等),基于视频内容理解大模型生产的 124 个高阶语义特征(音视频画质、美学、结构、热度分析、...),接入多模态 Embedding 和投稿侧序列特征等。此外,拆分了 CAPP(Content and Creator Profile-Aware Popularity Prediction)模型作为 0vv 冷启动场景的补充,专门解决新视频在无历史数据时的流行度预测问题。

2.2 档位组合决策:UIAE

档位组合解决「给每个视频转几个版本、每个版本什么规格」的问题,由于视频压缩基本不可瞬时完成的特性,对同一源片提前准备多个码率/档位视频给不同用户(或同用户的不同访问时段)消费,以求取更高的用户体验,是行业惯例。

与 Content Aware Encoding 内容感知编码受到「传统」音视频算法工程师的关注不同,由我司参考 Brightcove 公司Context Aware Encoding 概念所开创的档位组合(UIAE 及其前序技术)方案视野更投向链路乃至业务的整体最优,首次令服务端与客户端的音视频链路得以形式化的方式串联到一起,将优化目标与终极目标重新塑造一致并统筹优化,是个性化视频领域的基石技术之一。个性化视频技术追求全链路精确可计算、全链路最优化,UIAE 的发展将视频处理与用户未来动态的选择进行链接,支持精确预测与在线运筹,指向全链路的理论上限。

UIAE(User-Item Aware Encoding)前序使用的方案主要采用离线预计算出的固定档位组合,在不同国家和地区均曾取得良好收益,而 UIAE 的思路是,根据用户播放行为和视频编码特性,实时地动态输出可变组合,同时把决策粒度从「群体统计」推进到「用户×视频」,在转码成本约束下最大化个体期望体验:

(往左滑动查看完整公式)

参考:A User-Item Aware Encoding Framework for Short Video(https://ieeexplore.ieee.org/document/11461328)

UIAE v1(2024) 把前序方案的固定组合改为模型预测的可变组合,将问题建模为带约束的最优化,以各档位的播放概率 p(R) 对体验加权求期望,在码率区间、相邻档位码率差、档位数量与 CRF 等约束下选出期望 QoE 最高的一组档位,简化来看,QoE 可视为画质、卡顿、首帧三项 QoS 的组合,当视频价值上升触发「加转」时会触发重新计算:

(往左滑动查看完整公式)

UIAE v2(2025) v2 补回了 v1 中被简化的变量,沿「系统拆分+场景细分+自适应」的方向精细化,先按不同系统分别预估 QoS/QoE,把播放环境按不同选档策略细分统计概率,使用 Convex Hull 在 RD 曲线上筛出高性价比候选 CRF 点、枚举生成候选组合集合,再让不同编码器基于各自线上 Context 联合决策。QoE 则改进为 mVMAF(VMAF 的均值变体)、码率、卡顿时长的组合,超参数随场景与人群差异化(如 iOS 画质权重高于 Android),最终取期望体验最大的组合并辅以规则微调:

(往左滑动查看完整公式)

UIAE v3(2026) 沿同一决策框架扩展,新增 864p 等多个非常规候选档位,并调整多个现有档位超参,同时把转码决策与多码率下发策略联合优化——将设备能力、高峰 / 非高峰时段、大包 / 小包等下发规则纳入约束与统计场景(如低端机过滤高码率档、窄屏低清处理等),即目标函数不变,但在候选空间与可行域上大幅提升:

(往左滑动查看完整公式)

2.3 转码资源调度:Reward

Reward 算法回答大规模音视频链路中另一个未曾充分建模的问题:有限的转码资源如何分配给海量视频?抖音每日亿级投稿量下,转码集群容量始终有限,Reward  将问题看作资源约束下的收益最大化问题,从召回的 { 视频,档位 } 候选中选择子集提交转码,使总收益最大。

Reward 算法与 VLP、UIAE 算法一道,逐步构成了个性化视频链路中转码端的三大核心算法,将大规模音视频系统的最优化问题,进行了关联到全局收益和成本的完整建模。具体到算法本身,由于其明显的运筹属性,未来存在参考广告库存管理、物流调度、激励投放等领域的前沿技术,辅以音视频领域的先验知识,进一步提升的空间。

图2:Reward 从投稿事件到价值判断的召回、粗排、打分与UIAE剪枝链路

Reward v1(2024)

以 Reward = Income(QoE) - Cost 为目标、TotalAvailableCost 为总资源上限,将其建模为背包问题,以动态规划求解,落地时做了剪枝,只保留码率收益一项,简化为:

(往左滑动查看完整公式)

码率收益取自码率光谱(大盘新增某档位后的平均码率变化),基础档位之外仍按视频价值分排序提交。

Reward v2(2025) 逐项补回剪枝,码率收益改由预估模型给出(基于原视频与已转档位的预测差),免去码率光谱每加一档都需要重新统计,补回 QoE 项并以统计映射近似,目标函数扩展为:

(往左滑动查看完整公式)

指数项是编码耗时对收益的折损(价值按未来 24/3 小时计,编码过程不计收益),并将原本独立的两条编码器队列合并为混合调度,按拥堵程度动态分配普通档位与档位组合的资源比例。

Reward v3(2025) 转向解决高价值档位的重复转码,用小时级时序价值分二次推断能否达到阈值(阈值取 0.8 时准确率超 90%),新增 0vv 价值分,同时把 UIAE 触发门槛降低下来,优化了长视频与转码耗时的 trade-off。但 v3 仍有部分瓶颈,决策范围窄、粒度粗、容量调节被动滞后(仅凭回传队列长度后验调整,恢复慢)。

Reward v4(2026) 针对以上瓶颈升级,调度范围扩到所有线上档位(包含 UIAE 档位),而目标函数精细到视频粒度:

(往左滑动查看完整公式)

  • 其中由 VLP 预测,与由多目标模型预估,为耗时折损函数(对预期高峰 vv 却需较长转码的任务加大惩罚,因档位转出前无播放收益),𝓇 为仅作用于 UIAE 的经验权重,用于提升提交 UIAE 档位倾向的超参数。

  • 容量侧用 G/G/1 排队论建模转码队列,以 Kingman 公式估计平均队列长度(、为入/出队变异系数,为利用率,EWMA/EWMV 滚动更新均值方差),锚定目标L₀反推提交速率 ,再按映射为每次提交上限,未来还可以视频内容与档位为 State、提交为 Action、带宽/体验为 Reward,用在线小流量 RL 学习更优策略。

IdleTrans(2025) 是 Reward 算法的闲时调度补充模块,把夜间等闲时的闲置算力转为增量转码资源,由于闲时允许任务堆积、提交侧不感知实时资源,故建模为无资源约束的最优化问题,只在「视频×档位」粒度最大化净收益:

(往左滑动查看完整公式)

其中为画质/QoE业务价值,为带宽节省,、为计算与存储开销,各项按渗透率折算(𝓌为折算系数),真实渗透,即期望渗透减去转码延迟渗透(档位转出前不产生收益)。召回与提交上,忙时与线上共享数据池、优先高价值视频,闲时启用独立数据池纳入低价值视频,以实时净收益作为「视频×档位」提交优先级——未提交按收益排序提交、已提交未转出持续刷新、已转出幂等去重,并对短剧链路加权,从而在堆积时让高收益档位尽早产出。

2.4 CDN调度:CDNPilot

CDN 调度的问题已经存在很多年,主要回答「内容该放在哪个节点、何时搬运」以及「这次请求给谁」,但其中前者在短视频时代的重要性比传统视频业务要更高。此外,传统 CDN 被动回源、就近接入,热点来临时才消耗跨网与回源带宽,CDNPilot 更倾向于借助 VLP 的预测能力与质量评估把调度从「事后兜底」变为「事前布局」,可以沿冷热分层、闲时预热、实时择优三条线递进展开。

通过CDN预热带动业务收益,行业中 Netflix 因其具备OpenConnect这样的CDN模式而自然推动,堪称先驱,但短视频的预热问题需要处理高 3-4 个数量级的视频,同时应对不同 CDN 供应商,较之远为复杂。CDN 调度相似,主要的挑战来源于规模、供应商状态以及与实际用户请求的配合,需要遵从第一性原理进行实际数据的分析、推导与建模。

冷热调度(2020) 解决「全量铺太贵、集中怕回源」的矛盾,成本关系为 ,而视频热度近似服从 Zipf 分布,设全网视频量为𝓃、边缘容量覆盖比例为𝓮,边缘只需覆盖头部少量文件,回源比例即随𝓮快速下降:

分类器侧用树模型替代人工规则,综合播放行为与增长斜率预测冷热,为提前捕捉仍在增长的视频,训练时按「增长空间×时间提前量」加权,并对漏判(FN)施加更大惩罚:

(往左滑动查看完整公式)

预测结果落地为热、温、冷、极冷四层差异化调度,大致概念类似如下规则,极冷走商业存储直接回源,冷视频  hash  到单一厂商,温视频 hash 到三家厂商,热视频走正常 CDN,模型复杂化后分类更准,温热流量回源带宽下降 27%。

资源预热(2023) 把调度时机提前到流量到来之前,特定 CDN 节点分布式、异构且无法实时回源,正好利用凌晨低谷带宽预部署以削峰填谷;但边缘存储有限、推送本身也耗带宽,因此实际只推高热文件,把推送建模为存储与闲时带宽双约束下的期望收益最大化:

(往左滑动查看完整公式)

其中为文件热度概率,线上由 XGBoost 产出以控制计算复杂度,KEPC-Push 方法进一步用知识图谱刻画相似作者、内容与时长视频间的热度关联,缓解新视频无历史的冷启动,并以分层算法适配异构边缘节点,在仿真中降低峰值 CDN 成本 20%、提升平均下载速度 7%。

质量调度新算法(2025) 在服务端消费客户端实时上报的性能数据,在国家—省份—运营商粒度构建域名质量偏序库,以令牌桶承载各厂商动态分量作为硬约束,仅对热流视频逐请求分配最优子域名,本质是带容量约束的实时 0-1 指派问题:

(往左滑动查看完整公式)

其中为质量库给出的用户—域名体验预估,为令牌桶实时更新的域名分量约束,且每个请求恰好指派一个域名,初版上线后卡顿用户渗透 -0.2312%、卡顿1s 以上用户渗透 -0.4403%、网速 p50+0.5816%,后续迭代为基于 Feed 上报网速与网速分布决策、通过画像兜底的方案。

2.5 CDN流量调控:TACO

流量调控主要源于中国区的一个特定问题:带宽成本是按 95 峰计费、由计费周期内少数高峰采样点决定,而抖音等应用存在相对固定的消费高峰(午间、晚间与节假日),若能综合运用不同时段提供用户消费的技术策略,当能保证体验与成本的综合最优。抖音给出的解法是用算法来进行预测和控制,调控目标是在体验约束下压降超出目标水位的峰值。

TACO 算法在解决的不仅是视频大厂的特有问题,更是中国区的独有问题,技术上缺乏参照,且由于涉及较广,组织难度更高,除基于第一性原理进行建模、推导外,充分的仿真证据对推动落地也不可或缺。

TimeValue(2022) 是 TACO 的前序方案,针对商业CDN 的月 95 计费规则,账单由计费周期内 p95 的采样点决定,且不同 CDN 资源、不同供应商分别统计 95 峰,因此策略分为两类——在计费点附近降级减流量的「削峰」,与在低谷时段、不抬升 95 峰的前提下提升质量的「填谷」,记BWₜ为时刻𝓉的带宽、𝒯为目标水位、,调控目标是在体验下限约束下压降超水位峰值:

TimeValue 以「预测+模拟+统计」的融合方法圈定固定调控时段,初期仅晚高峰档位降级 80 分钟即可带来 CDN 成本 -2.14%,系列策略累计取得 -7% 成本优化与 LT、时长等体验收益,但月 95 峰预测存在固有难点,节假日、特殊事件等因素稀疏难学(不确定性),且策略干预改变波形、波形又反过来决定预测结果(反身性),固定时段策略很容易在多年迭代中失效。

图3:播放带宽流量控制系统的整体结构,TACO 承担其中的时序预测与在线运筹规划

TACO(2026) 从「观察干预后波形」转向反事实的自然流量建模,通过纯净域名反转实验还原无干预波形,用 Transformer 深度时序模型预测未来 24 小时自然带宽:

再以混合整数规划把全天划分为削峰、填谷、免费、idle 各类时段,逐时刻求解干预幅度aₜ,削峰段压低超水位流量、填谷段释放体验空间,并以相邻时刻幅度差约束抑制波形突变:

(往左滑动查看完整公式)

算法初期上线后,95 峰等价带宽约 -2.4%,同时画质 UFQ 指标均有增加。

03 | 客户端:从静态规则到实时决策

3.1 统一下载决策:Demand

下载算法所希望回答的问题是,在用户还没划到下一个视频之前,应该提前下载哪些数据、下载多少?下载得少,滑到即卡顿,下载得多,用户划走后未播放的数据即成为纯粹的带宽浪费——在巨大的流量规模下,任何一点冗余都会被放大,其难点在于,决策必须在观看行为发生之前做出,因而本质是一个「以观看概率为权重、在体验收益与带宽成本之间取平衡」的预测与调度问题。

随着内容生态从纯短视频扩展到中长视频、直播与短剧,决策粒度也并不意外地从单视频、固定 Size 逐步细化到播放列表级、按秒与下载 Range 级。

音视频链路算法化的难点始终在建模上。作为前AI时代与互联网伴生发展的若干最复杂的技术领域之一,它很早就被「古法」程序员们使用各种抽象组合式、控制论式、复杂系统式的方法搭建了似简实繁的工程技术栈(播放器、流媒体服务),同时其实际工作时又依托于复杂、极具噪声的网络环境背景,此外,由于决策的频次极重,对性能损耗的容忍与一般的端智能模型相比有数量级的差异。因此每次建模和决策方式的提升尝试,背后的主要工作将是如何克制地运用算力、引入先验知识并克服偏置,「驯服」基本的变量,推动对应的工程改造,使其在复杂系统之中并不带来额外损失,且得到所需的计算性质。

短视频最早策略化的部分是预加载,常用的是固定策略,于当前视频下载完成后预加载后续 N 个视频、每个视频提前加载数百 KB,在抖音这些参数均由海量实验筛选得出,它在短视频为主的阶段十分有效,打败了大量看似精巧的算法方案,但稍长的视频引入后,还是会带来命中率低、数据浪费、卡顿上涨等问题。

早期抖音还采用过一种名为水位阀的技术,引入安全水位 S 与危险水位 D 双阈值闸门,当前缓冲水位高于 S 时开闸,将后续视频预加载任务串行插入当前视频 Range 请求间隙,低于 D 时关闸保播放,同期还结合了端智能快慢滑预测的能力来调整预加载大小。

Dynamic v1(2022) 在水位阀基础上引入动态水位机制与预加载Ladder设计,从有限个固定大小任务变为多任务配置组合,基于网速、卡顿、播放进度、快慢滑标签等多维信号动态调整阈值、预加载个数与大小,对抖音的用户活跃度有明显正向影响,带宽成本也有较大下降。

Dynamic v2(2023) 有三项演进:一是引入Weibull 观播时长建模,用形状k、尺度λ、位置μ三参数描述CDF,支持服务端离线多维画像(片源/用户/视频)与端云联合在线预测,带宽成本-3%以上;二是可信播控,按观播时长调整目标缓存水位,短视频下压省成本、长视频上调减卡顿;三是按秒预加载,基于 MP4 封装特点将按时长决策预加载大小与按Size混合,提升中长视频起播速度。全链路缓存(2023)改进进一步用条件期望  替代固定配置值。

图4:客户端下载与播放的两阶段决策——Stage I 输入准备与 Stage II 下载行动决策

在 Dynamic 等预加载算法的基础上,Demand(2024) 以「统一 IO 决策」视角将抖音的预加载与播放下载在工程和策略上均收敛为一套逻辑,提出「下载需求」概念,从单视频决策扩展为播放列表级决策,最优下载拆为两阶段,一阶段按选出列表中需求最高的视频,二阶段对候选视频 𝓲 判断是否下载Range 𝓇:。整体优化目标 ,统一决策何时下载、下载哪个视频及档位、下载哪部分数据及下载方式。

Demand 算法的 RL 版 DeLoad(2025)用强化学习自适应地调整Range大小,策略读取播放列表状态特征 s,输出 Range 决策 a,目标最大化期望累积回报,更适配网络动态变化,但迁移成本较高。论文参考:

3.2 播放实时选择:Vision

播放选择(档位选择)算法回答的是,在多码率环境下,当前该播哪个档位,进一步而言,所选择的不仅是某一视频档位,还包括针对该视频起始播放时,采取的一系列与所选档位配合策略,例如是否做超分和后处理,更改播放器运行的配置等。

音视频行业自 2008 年左右明确步入了多码率时代——之前 90 年代虽有先兆但并不普及,在复杂策略(规则)技术主导的几年之后,ABR 即(根据网络状态的)多码率自适应选档算法在 2014、2015 年左右逐步在各大公司成为了显学。短视频领域的消费中,预加载命中率可达 90% 以上,而在一次视频观看(vv)中,被观看的视频存在多个可消费档位的概率,则几乎在 100%。

这条路径的关键是逐步建立对最终上屏体验的精准理解,以规则负责兜底,通过性能模型预测动作后果,运用个性化信号刻画收益,联合决策框架统筹,最终达到画质、流畅性、负载与成本的综合最优。

选档曲线(2019) 抖音早期曾使用了名为选档曲线的技术,在线统计不同网速段下播放各码率视频的卡顿时长分布,例如将「单vv卡顿时长低于阈值(例如15ms)」定义为基本流畅,筛选有效「网速-码率」点后用多项式拟合映射曲线,输入当前网速即可输出推荐码率。该方法逻辑简单、可解释、易回滚,但所有用户、视频和设备共享同一条曲线,其映射可写为:

分群自适应(2020) 针对全局曲线无法区分用户差异的问题,按画质敏感用户、画质敏感视频等群体标签对曲线参数做差异化调整,端上超分的考量也在此阶段加入,按设备 CPU/GPU/ 内存能力圈选适用范围并结合实时负载设置运行条件,证明了个性化的必要性——同样档位对不同用户和设备的收益成本比不同。分群后的映射为:

Vision(2025) 将选档、超分、锐化和解码降级纳入同一决策体系,通过明确接口实现联合优化而非用模型替代,超分决策模块判断各档位是否适合超分及方式并将增强后画质反馈给选档,播放性能预估模块将候选档位的画质、卡顿与设备负载映射为统一性能价值,选档模块比较「档位 × 增强动作」的综合影响,单步目标函数为:

(往左滑动查看完整公式)

使用 MPC 在播放列表时域上滚动求解未来动作序列:

Vision 还引入了用户维度的个性化,基于历史卡顿事件构建了用户卡顿退出率画像,对退出率高的用户提高流畅性权重,对耐受度高的用户保留更多画质空间。实验显示卡顿退出率 -2% 以上,起播稳定性和播放流畅度显著优化,在播放时长增长的同时,码率降低还带来了较大幅度成本收益。

图5:Vision 的综合信号层与动作决策层架构,含信号接入、决策信号加工、动作决策与反馈闭环

3.3 客户端选路:ParaFlow与PRIME

ParaFlow 与 PRIME 回答的问题主要是「数据走哪条路径、用哪个网络资源」,移动设备常在 Wi-Fi 与蜂窝多路径间切换,路径质量时刻波动,客户端选路需要在多路径、多资源间做实时择优,其中 ParaFlow 是多路径选路的框架名,下文的 CROSS 与 Amphi 分别是它的两代实现,PRIME 则把决策对象从路径指向网络资源。

多路选择在业内不算很新的概念,但其他公司、团队或者上线者寥寥,或者并未达到足以令人满意的效果,学术界或者其他公司在此的尝试,弊病有时在于对于算法化「不够相信」或者「理解不深」,有时在于缺乏对基建的充分理解,假设失配或者先验误设。

可以例证的是,在形如 PRIME 的工作中,通过将优化目标直接与业务收益(包括用户指标、营收指标和成本)挂钩,就带来了巨大的价值,过程中较难的部分并非算法设计或者调参,而是在于长周期内,对底层工程链路的拆解重写,令其对齐建模时的相关基础假设。

CROSS 同时优化的是数据路径与 ACK 路径,数据侧发起两个并行下载任务,每次下载绑定一条路径,从源头减少跨路径乱序,buffer 告急时动态回退 minRTT 调度补带宽,ACK 侧对带宽、单向时延、丢包率归一化后加权打分,并针对 LTE 的上行瓶颈与 Wi-Fi 双向竞争做了差异化修正,按综合得分择优:

(往左滑动查看完整公式)

该版本基于XQUIC,吞吐+25%~38%,卡顿最高-52%,论文参考:

CROSS: A Dual-Sided Scheduling Framework for Efficient Multipath Video Streaming

(http://iir.ruc.edu.cn/~litong/papers/Cross-A%20Dual-Sided%20Scheduling%20Framework%20for%20Efficient%20Multipath%20Video%20Streaming.pdf)

Amphi 针对「用户随时滑走」与「移动网络波动」并存的短视频场景做跨层协同,应用层的多流调度器同时为多个候选视频分配带宽,减少卡顿与无效下载,传输层的多路径调度器将每路流分发至多条网络路径,增强对 Wi-Fi/ 蜂窝波动的鲁棒性,两层之间通过 ACK 反馈联动,这样多流 × 多路径的联合带宽分配可形式化为:

(往左滑动查看完整公式)

其中为流𝒮在路径𝒫上分配的速率,Cₚ为由ACK反馈实时估计的路径容量,Uₛ(·)为流𝒮的边际效用函数,应用层多流调度与传输层多路径调度共享同一分配结果,并随 ACK 反馈滚动更新。该版本 QoE+18.6%~75.2%,带宽浪费 -6.3%~13.4%。

图6:Amphi 的应用层多流调度器与传输层多路径调度器通过 ACK 反馈联动

PRIME(2026) 的思路是,把决策对象从「路径」指向「网络资源」,综合各资源的实时性能、带宽单价、用户播放状态与个性化观播时长估计体验收益,在候选资源集合中做「体验收益-带宽成本」的统一权衡并灵活切换,在抖音上线过程中已累计取得约 -8.5% 的带宽收益,其决策可写为:

论文参考:PIRA: Pan-CDN Intra-video Resource Adaptation for Short Video Streaming(https://arxiv.org/pdf/2510.18606)

3.4 网络测速:单队列 vs SHEF

网络测速 面向的是这样一个问题:「当前有多少网络资源可用」,它本身不做播放决策,但会作为 Demand、Vision 和其他算法策略的共同输入,测速偏低会直接压低码率,因此它的鲁棒性还决定了其他下载策略能否顺利上线。

网络测速算法的输出是客户端音视频算法的基础输入,本身存在多年,原始版本行业通用,十分简单有效,并且经过了多种对比评估,证明其他许多精巧的设计并不能带来增益;但另一方面,抖音在经过仔细观察,仍然可以做出形如SHEF的改进并带来直接效果,这个事实再次、明确地提醒我们:一切价值均可结合环境重估,基础环节仍可改进。

单队列测速(2019) 即常见的被动式单队列架构,播放下载组件的 Range 下载完成回调产生一个采样点,送入定长 FIFO 队列统一给出估计,默认算法为加权中位数,以每次下载的数据量Sᵢ为权重,取累计权重首次过半的采样点,避免异常采样拉偏结果:

算法本身较为简单基础,同期也试过 MLP、GBR 回归预测网速等各种策略,但队列长度超过 15 后改善很小,认知为移动网络波动大导致时序预测空间有限,因此很长时间内仍以加权中位数为主要默认算法。

鲁棒性修正(2023) 不是针对算法精度修改,主因是观测被其他策略污染,Range 的缩小抬高了建联开销占比、缓存控制又减少了高网速时段采样、多样化 CDN 资源与分片并行下载等都会改变观测值,结果是码率沦为其他策略调整的副产品,所以在不改主框架的情况下,可以叠加几项修正,其中建联开销修正由 反解得到:

为窗口内平均任务大小,为建联开销粗估值,静态基准用于把该开销的影响固定,迭代方向是引入更多 RTT 特征、改为预估指定分片的下载耗时,并按 CDN 类型分别估计等。

SHEF(Stratified Heterogeneous Estimation Fusion,2026) 的目的是更彻底地解决单队列的结构性局限,由于采样只在下载完成时产生,更新频率受下载节奏支配,稳态播放下采样间隔可达数秒,网络劣化时只能沿用很旧的估计。SHEF 相当于把「窗口取长还是取短」的 trade-off 从窗口移到加权的维度,即将下载完成、过程、超时等不同类别事件分入不同队列,再按网络状态加权融合:

(往左滑动查看完整公式)

不同采样共享同一数据结构,仅以事件类型区分语义,让测速值在连续下载中持续变化,配合突变弱网检测影响下载决策,替换后带来 LT 上升、画质提升、卡顿率下降、成本下降等收益。

04 | 小结

在团队过往的总结中,曾经定义了 L1-L5 级别的个性化能力标准,虽然当前抖音仍在 L4 的层次上前行——

  • 对齐最先进的个性化技术

  • 建立千级别的干预点

  • 支持半自动化挖掘新干预点和自动化评估

  • 支持高阶信号如长序列、多模态等

  • 支持业务影响视角进行特征构建,支持通过数据挖掘驱动特征构建

  • 视频和用户全类型覆盖

  • 达到十万分之一的业务优化精度

  • ......

但随着 AI 浪潮近几年的推动,L5 等级所描述的全系统、全链路精准感知与计算,自动化拓展状态空间,策略统筹、模型精度方面达成理论最优等目标,也并非天方夜谭、遥不可及,期待后续抖音可以将技术理想实践落地,为用户带来极限的音视频体验。

阅读原文

跳转微信打开

以电商客服为例,看 AgentKit 技能评测如何让 Skill 敢上生产!

2026年10月30日 16:53

AgentKit 2026-10-30 16:53 北京

一个 95.8 分的 Skill 为什么还不敢上生产?

Skill 写好、跑通之后,如果回答不好下面三个问题,也很难大规模应用到生产环境当中:

  • 它到底好不好用? Agent 表面上完成了任务,但得出的结论可能会违反业务规则;出现这类问题,系统不会报错,在抽查时也很难发现。

  • 问题出在哪,该怎么改? 知道分数低,想查问题出在哪儿?需要逐条翻执行轨迹,才能找到是哪条指令出了错。

  • 改完是否变好? 修好这一处的同时,可能会改坏另一处;模型升级后,Skill 还有没有用,也缺少参考依据。

火山引擎 AgentKit 技能评测,不止于 Skill 打分,更能串起判分、洞察调优、对比验证的完整闭环。

  • 判分:支持 Agent as a Judge。裁判 Agent 能查轨迹、读产物、跑脚本,逐项复核结论,不会被 “看起来没问题” 的结果骗过;六个预置维度开箱即用,也支持自定义评估器。

  • 洞察调优:从失分根因到一键调优。它能直接给出要改的文件、行号和改法,一键复制给 Agent 就可以完成修改。

  • 对比验证:用 A/B 对照确认效果。新旧版本、有无 Skill、不同 Skill,都能在同一数据集和评估器下比较质量与成本;改没改好、值不值得用,都用数据说话。

下面以电商售后客服 Agent 退款审核 Skill 的一次评测演示为例,看火山引擎 AgentKit 技能评测如何应用。

复制链接至浏览器可直接体验下方完整流程:https://s17uffe794hvnhq5hduse.apigateway-cn-beijing.volceapi.com/

01 | 判分:用真实业务任务检验 Skill 好不好用

电商场景中,商家退款政策规定:签收超 7 天的订单,不予退款。

1.1 用真实任务准备评测集

基于该政策,我们准备了 40 条真实的评测任务,覆盖期限临界、重复记录、金额异常、客户冒充身份等多种情况。

每条任务附有参考输出。我们会将这套评测集作为复测基准,后续每次修改都会进行对比复测,还能将它一键上传至 AgentKit 评测集平台。

1.2 选择评估器,六个预置维度开箱即用

准备好评测集后,需要通过评估器来判断 Skill 执行的好坏。对此,AgentKit 预置了六个评估维度:

维度

检查什么

任务完成度

要求的事情是否做完,交付是否齐全

结果正确性

结论、数值和业务处理是否正确

约束遵守度

是否遵守隐私、权限、操作范围和输出要求

Skill 遵循度

Skill 中适用的关键方法和要求是否落实

证据可靠性

结论是否得到实际资料和核验结果的支持

 过程稳健度

 遇到问题能否有效调整,有没有无效重复或盲目重试

根据自身场景和诉求,业务可自行添加自定义评估器;创建评测实验时,还可以分别配置执行模型和评分模型。

1.3 执行评测实验,裁判 Agent 严格评估

该 Skill 总分为 95.8,整体表现很好,但从细项看,结果正确性只有 91.3 分:部分签收时间在 8 至 15 天的订单被判为可退,违背了退款政策。

在生产环境中,这类失误可能被视为生产事故,也会大幅降低企业对 Agent 的信任度。

在 AgentKit 中,我们可以快速定位到问题点:

在评估时,裁判 Agent 没有直接采信被测 Agent 的说法。它读取了实际交付的审核表,翻出被误判订单(签收第 8 天的订单)的签收天数,再跟政策原文逐一核对,最后追查到了错误的源头:Skill 改写了政策。

问题找到了,接下来怎么把 Skill 改好?能不能“一键优化”呢?

02 | 洞察调优:一键定位 Skill 问题

执行完评测后,在评测报告下方即可查看调优建议:

调优建议会写明问题、改法和精确位置:

SKILL.md:17:删除此处“其中退款期限统一使用 15 天”的改写,改为严格要求按 references/policy.md days>7 判 ineligible/的 expired,第 7 天含在期限内执行,不再另行覆盖期限。

点击「复制调优建议」,可一键交给 Agent 进行修改;也可以点击 SKILL.md:17,跳到对应行手动修改。

03 | 对比验证:支持 A/B 等多维度复测

改完之后,Skill 是不是真的变好了?AgentKit 支持多种复测对比方式,帮助验证调优效果:

对比维度

回答的问题

保持不变的条件

帮助做出的决定

有无 Skill

当前模型下,这个 Skill 还能带来多少提升?

数据集、评估器、模型

保留、精简或下线 Skill

不同 Skill

同一类任务,哪个版本的 Skill 更合适?

数据集、评估器、模型

选用、合并或分场景使用

本案例中,我们用同一个数据集和评估器,把修改前后两个版本的 Skill 进行 A/B 对照。

指标

修改前

修改后

总综合得分

95.8

99.8

结果正确性

91.3

100

Skill 遵循度

92.5

100

证据可靠性

91.3

98.8

任务完成度

100

100

  约束遵守度

100

100

  过程稳健度

100

100

  平均轨迹耗时

28.33s 

26.05s

  平均 Token 消耗

64.8k

66.3k

  平均执行步骤错误率

2.8%

2.1%

总综合得分从 95.8 提升到 99.8,结果正确性从 91.3 提升到 100,证据可靠性从 91.3 升到 98.8,原本满分的三个维度没有下降。效率上,平均耗时缩短约 2 秒,Token 消耗基本持平。

过去,Skill 改没改好,只能靠人工抽查和经验判断;现在,每一次修改都能用评测数据说话,让你的 Skill 从 “能跑的通” 走到 “敢上生产”。

想要体验上述过程,可复制链接至浏览器: https://s17uffe794hvnhq5hduse.apigateway-cn-beijing.volceapi.com/ ,快速上手体验。

04 | Skill 上生产还有哪些问题?

Skill 上线后不会一成不变:版本要迭代,模型要升级,规则要调整,还会被拿去挑选和审查。归纳起来会出现三类问题:

问题类型

典型场景

AgentKit 技能能力

变更可控:

变了之后还靠谱吗?

版本变动:修好一处,可能会改坏别处

模型替换:换了模型后,Skill 的提升效果可能缩水

规则变化:政策调整后,Skill 还按老口径执行

版本对比:Diff 逐行看清改动

A/B 复测:改版本、换模型后,对比前后表现

选型有据:

该用哪个、值不值得用?

Skill 选择:内部多个团队和外部厂商,都有同类 Skill,难以取舍

价值判断:加了 Skill 后,是否一定能变得更好

不同 Skill 对比:同等条件下比质量和成本

有无 Skill 对比:判断该 Skill 是保留还是下线

安全合规:

会不会出事?

数据隐私:泄露客户信息、越权操作

行业规范:违反合规要求

约束遵守度:检查隐私、权限和操作范围

自定义评估器:把合规及业务规则纳入到判分体系

除了上述特色功能,技能评测还支持对产物的评测以及多轮对话评测。

AgentKit 让 Skill 的每一次变更、每一次选型都有据可依,上线也更安心。想体验更多技能能力,欢迎点击阅读原文,预约咨询。

阅读原文

跳转微信打开

迎战双十一,如何让智能客服 Agent 经得起真实业务考验?

2026年10月29日 18:14

AgentKit 2026-10-29 18:14 北京

导语

面对双十一,智能客服 Agent 既要答得准确,也要服务可靠。如何打通业务数据、规范工具调用,让 Agent 经得起真实业务考验?影腾智联的售后智能客服实践提供了一个参考。

影腾智联聚焦智能家居与物联网消费电子,面向家庭用户和小微商户提供智能摄像头、智能门铃、免插卡 4G 随身 WiFi 等产品及服务。这些产品的售后问题涉及设备、网络、账号与套餐等多个环节,对客服的专业诊断与协同处理能力提出了要求。

为此,影腾智联基于火山引擎 AgentKit 构建售后智能客服“小影”,将其嵌入影腾智联 App,串联知识问答、设备诊断与人工协同,逐步承接真实售后咨询。

本文聚焦售后智能客服“小影”从问答验证走向生产应用的实践,介绍影腾智联如何借助 AgentKit 打通业务工具、保障服务可靠运行,并通过观测与评测持续优化服务质量。

01 | 企业痛点:海量咨询下的效率与服务质量挑战

影腾智联拥有数百人规模的售前与售后客服团队,日均处理工单数量达数万单。为缓解大量重复咨询与排障带来的服务压力,影腾智联希望引入 Agent,降低售后人力成本、提升服务体验的一致性。

  • 重复咨询挤占人力,高峰体验不均。海量重复性咨询(使用教程、故障排查、流量套餐、设备共享等)占据客服大量时间。高峰时段排队、等待时间长,不同客服的应答口径与处理质量难以统一,影响用户体验和店铺评级。

  • 设备复杂,自助排障能力不足。影腾智联设备种类多(太阳能/插电款摄像头、4G/WiFi 款、单目/双目等),故障类型涉及网络、供电、存储、画面等多个维度。同一句"摄像头看不到画面",可能对应供电、网络制式、信号质量、设备在线状态、套餐、权限或存储等不同原因。App 内自助排障能力有限,大量问题最终转人工。

  • 稳定性是电商经营红线。电商平台对店铺稳定性有严格要求,一旦产品或功能出现大面积不可用,将导致店铺评级降低,严重可能被关停整改,直接影响营收。售后 Agent 不仅要回答问题,更要稳定、可控、可审计。

02 | 解决方案:基于 AgentKit 构建生产级售后服务 Agent

为提升售后服务效率与体验一致性,影腾智联建设售后智能客服“小影”,面向智能摄像头、随身 WiFi 等设备用户,解答设备使用、套餐及配置等高频问题,并结合设备状态与告警数据诊断故障、提供处置建议。

为支撑“小影”稳定承接生产流量,影腾智联选择高代码开发路线,采用火山方舟豆包大模型,基于 VeADK 编排业务流程,并依托 AgentKit 的弹性运行、工具接入、身份权限及观测评测能力,实现诊断过程可追溯、业务数据访问受控、Skill 变更可评测回归,保障服务可靠性与迭代质量。

影腾智联售后 Agent 基于火山引擎 AgentKit 的三层能力构建:

架构层

AgentKit 核心能力

应用方式

构建与资产

VeADK、Skill、企业知识

管理产品知识、客服规范与排障流程

连接与运行

Gateway、Runtime、Identity

受控接入业务接口,统一身份认证,按负载弹性扩缩容

治理与优化

Observability、Evaluation

追踪处理链路,分析响应耗时,评测模型与规则变更

2.1 打通知识与工具,串联 AI 客服的咨询和诊断

“小影”覆盖使用教程、功能咨询、流量套餐和账号配置等高频问题,根据设备型号匹配教程与处理建议。针对设备故障,结合可获取的状态和告警数据,调用设备、套餐及权限等工具,分析可能原因并给出排查步骤。

影腾智联将问题分类、排障规范和转人工策略封装为 Skill,进行版本化管理;存量业务接口经 AgentKit Gateway 转换为 MCP 工具,统一管理鉴权、路由、限流与审计,确保业务数据在授权范围内访问。

对数据不足或无法确认的问题,Agent 携带设备信息和已完成的排查步骤转交人工,减少重复询问,形成咨询、诊断与人工协同的服务闭环。

2.2 托管运行,保障服务稳定可靠

售后 Agent 上线后,需要持续处理模型生成、工具调用和多轮交互。对影腾智联而言,运行环境的可靠性直接关系到用户能否顺利完成咨询与故障排查。

“小影”托管于 AgentKit Serverless Runtime,由平台提供运行资源管理与按需扩缩容能力,支持服务随实际负载调整资源,减少团队自行配置和维护运行环境的工作。

业务工具调用则通过 AgentKit Gateway 统一管理,以鉴权和限流等机制控制接口访问。Runtime 与 Gateway 配合,为 Agent 运行和后端业务访问提供支撑,让影腾智联团队能够将更多精力投入排障流程与服务质量优化。

2.3 观测与评测,优化响应和效果

智能客服的问题可能出现在模型生成、知识匹配、工具调用或多轮交互等不同环节。仅查看最终回答,难以判断一次诊断为什么出错、用户等待时间消耗在哪里。

借助 AgentKit 的观测能力,影腾智联可以追踪模型与工具调用链路,定位耗时和异常环节,使问题排查从查看最终答复深入到具体执行过程,为调整知识、工具与业务流程提供依据。

影腾智联同时自建会话管理后台,支持会话追溯、摘要、分类、质检与标签管理,并以 3 名金牌客服的聊天记录为参考,提炼服务知识与处理规范,建设人工与 AI 对比分析体系。

真实会话持续沉淀为评测集,用于验证模型、知识和 Skill 的变更。通过“发现问题—定位原因—调整流程—评测回归”的迭代方式,团队能够检查修改是否解决原有问题,以及是否影响其他场景,降低依赖零散对话测试带来的遗漏风险。

引入观测评测一体化之前,影腾智联对售后 Agent 的问题定位与质量把控主要依赖零散对话测试和人工抽检:一旦出现回复异常,难以判断问题出在模型生成、知识匹配、工具调用还是多轮交互环节;质检仅靠每日抽检 10-20 条会话,远低于每日3000条的工单量。

依托 AgentKit 观测评测一体化能力(全链路观测 + 评测与 Skill 中心打通 + 会话管理后台)后,团队实现了"发现问题—定位原因—调整流程—评测回归"的迭代闭环。前后效果对比如下:

对比维度

观测评测一体化之前

观测评测一体化之后

问题定位

依赖零散对话测试,难以定位问题环节,单次异常排查需 1-2 天

追踪模型与工具调用链路,分钟级定位到具体环节(模型/知识/工具/多轮交互)

质检覆盖

每日人工抽检 10-20 条,覆盖率约 1%

会话全量入库,自动化质检、摘要、分类与标签管理,覆盖率 100%

自助解决能力

大量问题最终转人工,人工介入占比高

高频问题自助解决率明显提升,转人工率下降

变更与迭代

模型、知识或 Skill 变更靠人工验证,回归风险高

真实会话沉淀为评测集,每次变更前评测回归,验证效果且避免影响其他场景

优化依据

以零散对话测试和客服经验为主,缺乏量化标准

以 3 名金牌客服聊天记录为参考,建立人工与 AI 对比分析体系,效果可衡量

03 | 落地成效:接入生产流量,Agent 规模化运行

基于 AgentKit 构建的“小影”已在影腾智联 App 上线,为用户提供设备使用指导与故障排查,并在转人工时同步交接上下文与排查记录,减少重复询问,让客服更专注于复杂问题处理,对于影腾来说,智能客服Agent的建设已经在如下三个方面初见成效:

  • 降低售后人力成本。智能客服自动承接高频重复咨询与基础排障,减少人工客服接待量,让客服团队聚焦复杂故障与高价值服务,逐步优化售后人力投入,实现降本提效。

  • 提速问题处理。Agent 可快速调取人工客服难以直接获取的设备状态、套餐与权限等后台数据,结合设备型号精准定位问题、给出排查建议,加快问题解决速度,减少用户等待与重复描述。

  • 服务稳定可靠、质量可衡量。依托 Serverless 弹性运行与观测评测闭环,Agent 可稳定承接高峰期咨询,会话全流程可追溯、可质检,服务质量从"凭感觉"变为"可观测、可迭代"。

目前,“小影”已逐步进入常态化生产运行,项目累计沉淀会话约 4 万条,日均导入约 3000 条,Token 消耗超过几十亿。真实会话持续转化为知识补充与评测素材,为后续服务优化提供依据,进一步提升客服响应效率与问题诊断准确性。

点击「阅读原文」,获取 AI 客服示例代码,开启你的客服 Agent 搭建实践。

阅读原文

跳转微信打开

OpenViking 上线原生 3D 内容理解模型

2026年10月28日 18:34

Viking 2026-10-28 18:34 北京

🔥10 月 20 日,OpenViking 发布原生支持 3D 数据导入与解析的内容理解模型。

现在你可以把零件模型、工程图纸和项目资料都交给 OpenViking,在豆包工作/Workbuddy/Codex/Claude 等 Agent 中描述你要找的结构,让 AI 帮你找候选零件、整理 BOM,核对供应变更带来的影响。

OpenViking ✖️ 3D 内容理解模型

OpenVIking 是火山引擎推出的 Agent 上下文数据库,支持文档、图片、音视频等多模态数据理解。

今天迎来重磅升级,上线首个 3D 内容理解模型,支持三维STEP 文件的导入与解析,信息还原率做到 100%。

导入一个三维 STEP 文件,解析产物会包含其正交六视图、八轴侧视图、信息摘要及模型明细,涵盖几何、PMI、装配、工艺等全部原始信息。

解析目录

正交六视图

轴侧八视图

信息摘要

模型明细

左右滑动查看更多精彩内容

以上内容,OpenViking 均会建立索引,并用于下游模型推理。接入 Agent 后,可以在以下场景感受到价值。

场景一|让 Agent 理解三维结构,找到那个零件

一个做机器人零部件设计的结构工程师,电脑里已经积累了大量的模型和工程图纸。

当需要为新机器人设计一个安装支架。你需要翻历史项目、查零件库,挨个确认有没有可复用的设计。

而现在,你只需要将机器人零件库,图纸,项目资料全部上传到 OpenVIking,连接到你使用的 Agent。

对它说:“我要把这台机械臂固定到设备的竖直安装面上。帮我找一个 L 形安装座,水平面承接机器人底部,竖直面连接设备,并避开侧后方线缆。帮我找下有没有合适的零件”,再附上一张新机器人连接位置的截图。

Agent 就会自动推断:水平面有 4 个 Φ11 孔,孔距为 160×160 mm,竖直面另有 4 个连接孔。线缆侧可以朝开放方向布置···,并在 OV 库里找到符合该特征的零件。

以后,再也不用担心重复设计,任何你想找的结构,Agent 都可以帮你完成。

原始机械臂模型

OpenViking + Codex检索

检索到的零件 (D063)

左右滑动查看更多精彩内容

场景二|BOM 清单与成本,一句话搞定

你完成了新零件的设计。但在发给采购前,还需要整理出 BOM 清单,并完成成本估算。

这一步非常简单,你只需要让 Agent 根据 ov 库里已有的历史采购报价、公司的 BOM 要求。

把 CAD 软件的导入明细给到 Agent,并说:“帮我整理出 xx 零件的 BOM 清单,基于历史报价完成成本估算”。

Agent 就能帮你一键完成,直接发给采购,工作效率大大提升。

原始机械臂模型

FreeCAD导出的BOM明细

OpenViking + Codex处理

BOM清单及成本估算

左右滑动查看更多精彩内容

场景三|零件断供不用担心,影响范围立刻确定

当一家螺丝供应商突然断供,相应下单、产线上的生产,售后的保证都会受到影响。

作为负责人的你需要第一时间查清范围,应对风险。

但是 M3×8 内六角圆柱头螺钉已经用了十年,相关联的产品很难穷尽,盘清影响更是难上加难。

不过,你不用担心。只要零件库、BOM 清单、采购记录存在 OpenViking,那你只需要把零件的信息,又或模型文件,甚至一张截图给 Agent,对它说:“帮我找到这个 M3×8 内六角圆柱头螺钉都在哪些产品中有使用,用量多少”。

Agent 将理解这根螺丝的所有特征,并跟库里的零件做比对,沿着 BOM 和采购清单就能找到所有相关联的产品。

有了 OpenViking,风险应对也有了保障。

断供的M3×8 内六角圆柱头螺钉

OpenViking + Codex处理过程

螺钉具体位置及用量

左右滑动查看更多精彩内容

最后

OpenViking 作为业内首个理解三维世界的 Agent 上下文数据库产品,后续将陆续支持dxf、iges、sldprt、sldasm 等更多格式的导入与理解。现在接入,后续上线无需额外操作,即刻使用。

🚀 上手试用,前 50 文档免费:

https://s.c1ns.cn/UfurW

🌟 开源 OpenViking:
访问 GitHub 仓库(https://github.com/volcengine/OpenViking),为我们点亮一颗 Star!

❓三分钟测出你是哪种 Agent 饲养员选择属于你的 OpenViking:

https://blog.openviking.ai/post/should-you-use-openviking/

💬 加入飞书交流群&微信群!

点击阅读原文立即体验👇

阅读原文

跳转微信打开

一份旅行手册,豆包做完,IGA Pages 一句话就分享出去

2026年10月27日 18:00

视频架构 2026-10-27 18:00 北京

打开豆包工作,说一句“帮我做一份北京红叶旅行手册”,几分钟后,一份排版清爽、带时间轴、带预算表的网页就躺在你的文件夹里。可朋友想看?你得把 HTML 连同图片文件夹一起发过去,朋友们下载、解压、双击打开 —— 手机上还可能错位。想让一群人一起往里填行程、投票、算 AA?更不可能。

问题不在做得好不好,而在做完之后那最后一步:怎么让它被看到、被一起用。

IGA Pages 就是补上这一步的插件——它把豆包工作做出来的页面,一句话变成可以分享、可以共创的在线链接。下面用一次真实的北京红叶行程,看两个 Demo 分别怎么落地。

个人旅行手册 Demo

这是最基础的用法 —— 一个人做、所有人看。

如何做出来它?

第一步,描述你要什么。

在豆包工作里打开一个新的工作任务说:

    帮我做一份「北京 5 日秋季红叶」旅行手册网页:
    - 封面用北京秋季主题。
    - 按天做时间轴,每天列景点、交通方式、预计停留时间。
    - 每个行程节点配一段 100 字左右的介绍和亮点。
    - 附一张整体路线示意。
    - 最后加一个预算表和 5 条实用贴士。
    风格清爽,适合手机看。

    几分钟后,一份移动端手册就出来了:慕田峪长城秋色封面、五天时间轴、路线示意图、预算表、五条贴士。它是一个 HTML 文件,待在你的项目目录里。

    第二步,说一句“部署”。

    这时你不用管它怎么发布、发布到哪、域名是什么。只要说:

      帮我部署上线。

      第一次部署时,Pages 会引导你完成登录认证(在浏览器里授权一次即可,后续会自动保持登录;授权失效时重新登录即可)。这一步只做一次。

      完成认证后,Pages 自动接管:打包项目文件、上传到火山引擎服务器、完成部署,几秒后返回一个公网预览链接。你把它发给同行的朋友,她在手机上点开就是完整的手册 —— 不需要下载、不需要解压、不需要任何设置。

      这就是第一件事的价值:一个人做出来的东西,一句话变成所有人都能看到的页面。它适合旅行手册、活动通知、产品介绍页、个人作品集 —— 任何“做好了就发给大家看”的场景。

      从“我的行程”到“我们的行程”

      旅行手册真到了组队出行的时候,问题才刚开始。

      一个人做的手册是给别人看。可真到了行前,群里就开始刷屏:香山和慕田峪先去哪个?酒店定城区还是住景区旁?故宫门票谁来约?这顿烤鸭谁先垫了?钱怎么分?

      这些事,一份定稿的手册回答不了 —— 因为它已经“定稿”了,但组队的行程是所有人一起攒出来的。你需要一个大家都能打开、都能往里写、写了别人立刻能看到的地方 —— 一面“大家一起写的墙”。

      共创行程墙 Demo

      接着上面那个项目,不用推翻重来。你说:

        在这份旅行手册的基础上,升级成一个多人共创行程墙:
        ① 景点投票,大家能点赞、票数实时更新
        ② 想去清单,任何人都能新增条目
        ③ 可认领的任务卡(订票/订酒店/租车),显示认领人
        ④ AA 预算表,自动汇总人均
        这些数据要能被多人写入并长期保存下来。帮我部署上线。

        关键就在最后那句“多人写入、长期保存”——Pages 识别到这需要数据库,自动接上了火山引擎 Supabase。它做了几件你不需要操心的事:

        • 在云端数据库里建好四张表:投票记录、想去清单、任务卡、预算明细;

        • 打开行级安全,让任何人都能读、能写,数据长期留在云端;

        • 开启实时同步 —— 一个人投了票,其他人的页面几秒内就更新;

        • 把页面和数据库一起部署到同一个链接下。

        整个过程你不需要写一行代码、不需要建一张表。Pages 按你的描述把数据库结构设计好,再把它和页面一起发出去,返回一个可分享的链接。

        同行的朋友打开页面,先在顶部输入自己的昵称,就能开始协作:给想去的景点投一票、把“五道营胡同午餐”加进清单、认领“订故宫门票”那张任务卡、记下一笔酒店的垫付。

        这就是第二件事的价值:从“给别人看”升级到“我们一起写”。它适合组队出行、活动筹备、班级作业、部门小项目 —— 任何“一群人需要在同一个地方对齐信息”的场景。

        IGA Pages:补上“用起来”这一步

        两个 Demo 背后,是 IGA Pages 在发挥作用。

        豆包工作近日正式发布。它能围绕一句话的目标,自动写文档、做表格、生成图片视频,甚至直接搭出一个网页或小应用。你描述想要什么,它就把成品交到你手上。可东西做出来,不等于用起来。

        IGA Pages 是豆包工作里的一个内置技能插件。你只需在「插件 - 豆包推荐」中搜索“iga pages”并安装,就可以使用。安装插件以后,当豆包帮你做完一个页面,你只要顺口说一句“帮我部署”、“发出去给别人看”,它就自动接管,不需要你单独找入口、装工具、配环境。

        Pages 做两件事:

        • 第一件,把静态页面变成可分享的链接。你做的网页在“做好那一刻就定稿了”—— 谁打开都是同一份内容。Pages 把它发布到火山引擎遍布全球的服务器上,几秒内生成一个预览链接。你把链接转发到微信群,对方在手机浏览器里直接打开,不需要任何额外操作。

        • 第二件,也是它真正不一样的地方。当你说“这个要多人一起写、数据要存下来”,Pages 会自动接上火山引擎 Supabase —— 一个云端数据库,把“前端页面 + 数据库”打包成一个完整项目一起部署。你不需要懂什么是表、什么是接口,Pages 帮你搭好。正是这一层,让“大家一起用”成为可能。

        AI 负责造,Pages 负责流通

        两个 Demo 看似不同,其实是同一条路径上的两步。

        • Demo 一的静态部署,解决的是“被看到”—— 你做的东西不再困在自己的文件夹里,一个链接就能送到任何人手机上。

        • Demo 二的动态部署,解决的是“被一起用”—— 页面不再是一张定稿的纸,而是一面可以共同编辑、共同记录、共同决策的墙。

        Pages 不是把东西“做完”的工具,而是把做完的东西“发出去”的那一步。AI 负责造,Pages 负责让它真正流通起来。

        立即试用

        打开豆包工作,把你最近做的那份东西 —— 一份手册、一个清单、一个活动页 —— 顺口说一句“帮我部署”。你会立刻看到它从文件夹里走出来,变成一个可以转发、可以打开、可以和朋友一起填的链接。

        开始前提醒:

        合法的预览链接必须包含 iga_token 和 iga_time。出于安全考虑,豆包展示的预览链接可能没有这两个参数。这时,你可以直接要求豆包提供保留 iga_token 和 iga_time 的预览链接。

        • 火山引擎 Supabase 按实际用量计费。搭建动态 Demo 前需确保火山引擎账号余额充足,否则可能搭建失败。了解更多计费信息(https://docs.volcengine.com/docs/aidap/Billing_items_and_prices?lang=zh)。

        • AI 生成具有随机性。同一句提示词每次生成的版式、配图、文案细节可能不同;上文 Demo 中的页面结构是本次生成的结果,不代表每次都完全一致。你可以多生成几次挑最满意的,再让 Pages 部署它。

        跳转微信打开

        ❌