铃阅
❌

普通视图

OpenViking 3D理解模型上线轴测八视图及PMI解析

2026年11月12日 18:00

OpenViking 2026-11-12 18:00 北京

文章来源|Viking 团队

项目地址|github.com/volcengine/OpenViking

OpenViking如何理解一个3D模型

OpenViking发布原生3D内容理解模型,支持三维.STEP文件的导入与解析,信息还原率做到 100%。

导入一个3D文件,不仅会提取常规的正交视图、几何信息,还会使用八轴侧视图来补充被遮挡的内部结构和几何特征,同时保留全部的尺寸、公差、装配、工艺(PMI)细节。看得见内部结构,也能读懂规格参数。

‹ 左右滑动查看 5 张视图 ›

解析目录

正交六视图

轴侧八视图

信息摘要(含PMI)

模型明细

轴侧视图如何用|同一类零件,识别细节差异

以两款四方嵌件底座为例:外形完全相同,唯一的区别在内壁盲窝——型号 1 是圆形,型号 2 是六角形。

型号1 嵌件底座

型号2 嵌件底座

这个差异藏在壳体内部,正交六视图里看不到,两款零件的六视图完全一致。同样问 Agent:“帮我找一个内壁有六边形盲孔的四方嵌件底座,之前有设计过”,结果截然不同:

只有正交六视图

正交六视图 + 轴测八视图

检索结果

无法确认,只能给出型号 1、型号 2 两个候选

直接定位到型号 2

判断依据

六视图看不到内壁孔口和孔底

轴测图中能看到内壁的六边形凹孔和孔底

后续动作

需要你逐个打开模型确认

无需人工确认

只有正交六视图时,Agent 找到两款外形相符的候选,但无法判断哪一款带六边形盲孔:

‹ 左右滑动查看 3 张视图 ›

OpenViking + Codex 检索结果:无法确认

仅保留正交六视图

型号 1 / 2 的正交六视图一致

加上轴测八视图后,Agent 从轴测图中识别出内壁的六边形凹孔,直接给出答案:

‹ 左右滑动查看 4 张视图 ›

OpenViking + Codex 检索结果:
直接定位型号 2

正交六视图 + 轴测八视图

型号 1

型号 2

再细节的差异也能被3D内容理解模型捕捉,Agent都能检索到。

PMI信息如何用|提供零件规格,实现精准定位

PMI(Product and Manufacturing Information,产品制造信息)是 3D 模型中附带的尺寸、公差、材料、工艺等制造信息。以一个基础安装座为例:

安装底座模型

PMI&模型对应关系图

OpenViking的3D内容理解模型可以对3D结构的全部PMI信息进行理解,同时区分几何、尺寸、公差、装配、工艺五个部分,自动加工到Summary.md文件中,供Agent按需读取。

‹ 左右滑动查看 5 张视图 ›

几何

尺寸

公差

装配

工艺

当你需要找到一个精确尺寸的零件,可以问Agent:“找一个底板厚2cm,带4个直径6.6 mm安装孔的底座”,Agent 会定位到「基础安装座标品.step」,逐项对照你的要求列出零件参数——板厚 20 mm(±0.05 mm)、4 个贯通底板的安装孔、孔径 Ø6.6 mm(±0.1 mm),并标明信息来源。

OpenViking导入

OpenViking + Codex检索

再复杂的规格参数也都能被Agent读懂并找到。

最后

OpenViking 作为业内首个理解三维世界的 Agent 上下文数据库产品,能够完整准确理解3D模型的所有细节特征和规格参数,实现精准检索。看得见内部结构,也能读懂规格参数。现在接入,点击阅读原文即刻使用。


🚀 上手试用,前 50 文档免费

volcengine.com/product/openviking-service

🌟 开源 OpenViking:访问 GitHub 仓库,为我们点亮一颗 Star!

    github.com/volcengine/OpenViking

❓三分钟测出你是哪种 Agent 饲养员选择属于你的 OpenViking

https://blog.openviking.ai/post/should-you-use-openviking/

💬 加入飞书交流群&微信群!

点击「阅读原文」立即体验👇

阅读原文

跳转微信打开

AI 原型几分钟,设计返工一整天?OpenViking 让 AI 用上你的 Figma 设计稿

2026年11月6日 18:14

OpenViking 2026-11-06 18:14 北京

文章来源|OpenViking 团队

项目地址|github.com/volcengine/OpenViking

原型十分钟就能点了,设计师看一眼:「这不是我们的产品」。这个问题不在模型,而是 Agent 从来没见过你产品的设计稿。

用 AI 做过原型的产品经理,大概都经历过这几件事:

  • AI 做出来的界面都长一个样:紫色渐变、大圆角卡片、满屏 ✨。你的原型多半也是这个味儿,跟你们自己的设计规范没什么关系,侧边栏是 Agent 编的,颜色是它挑的,弹窗是它想象的。

  • 评审会上一大半时间在聊颜色、间距、按钮放哪,需求本身没讲几句。

  • 原型过了,设计还得在 Figma 里从头画一遍。你做的原型,最后只是一份「参考」。

  • PRD 里的草图跟线上页面对不上,研发来问:「这个按钮到底加在现在哪个页面上?」

AI 画得再快,画出来的东西进不了产品,就是在给设计师加活。

我是 OpenViking 的产品经理,这几件事我每周都在经历。后来我决定把 360 张产品的设计稿放进了 OpenViking,原型和 PRD 草图从此直接对齐设计规范,设计拿过去就能用。

下面让我们聊聊到底是怎么做的~

📺 不想看字的话,可以先看这支 3 分钟的视频:

🚀 想直接上手:火山引擎 OpenViking,开通后创建一个个人版库就能跟着做。

你可能已经试过的两个办法

  1. 每次贴截图。  管用,但只管这一次。截图要你自己找、自己挑,换个会话、换个工具又得重贴一遍。哪天贴错一张旧版截图,Agent 就照着旧版画。

  2. 给 Figma 链接。  Figma MCP 能读你指定的画板,前提是你已经知道是哪一个。控制台几百个画板,「找图」这件事还是落在你身上。

Agent 能看懂图,这早就不是问题。缺的是它自己知道去哪找、该参考哪一张。

一个产品,360 张设计稿,进一个目录

设计团队先把历史定稿的设计放在 Figma 里。 我的 Agent 把每个画板按 2 倍图导出,一个 Figma 页面一个子文件夹,放进 OpenViking。文件名统一是「序号_画了什么_Figma节点ID.png」,Agent 参考了哪张,设计师查看节点 ID 就能回到 Figma 核对。 传进去之后,OpenViking 会把每张图看一遍,给每一层都写好说明:

  • L0 一句话摘要:这个文件夹装的是什么。

  • L1 导读:像一本书的目录,写清楚每组图画的是什么、想看什么该打开哪张。

  • 每张图一段描述:标题、文案、按钮、布局。

这些说明不用任何人手写。 这也是 OpenViking 和网盘、图库不一样的地方:一堆截图传进去,变成了 Agent 能看懂、能顺着目录找的设计资料库。

Agent 像翻目录一样找图

拿一个产品经理常遇到的需求举例:团队版要支持「批量邀请成员」。我跟 Agent 说:「参考我们的设计稿,画一个批量邀请成员的弹窗。」 Agent 不会把 360 张图一张张打开,而是顺着 OpenViking 写好的目录往下找:

  1. 总目录说:团队版管理员的界面在 08 文件夹

  2. 08 的导读说:「添加成员」在 05

  3. 05 的导读把邀请弹窗、邮箱报错、重复标红、邀请进度、发送成功这些状态分别在哪张图都列清楚了。

Agent 只打开要用的那几张,照着画。邮箱重复怎么提示、批量发送时进度怎么显示,这些容易漏掉的状态也照着设计稿画出来了。不用你找图,也不用你贴图。

一条规则,所有 Agent 都照做

能搜到,还得 Agent 记得去搜。我在 OpenViking 记忆里存了一条规则:

画任何界面、草图、原型之前,先查 ui-design 目录和 README。新旧截图不一致时,以最新的为准。

规则存在 OpenViking 里,不在某个工具自己的配置文件里。Claude Code、Codex、TRAE 接上 OpenViking,读到的都是同一条,我没再重复说过。

那几件事,现在是这样

以前

现在

设计师:「这不是我们的产品。」

原型用的是定稿的布局、颜色和组件

评审一大半时间在聊样式

样式已经对齐,直接聊流程

原型过了,设计从头重画

18 屏原型 1:1 转进 Figma,组件化后扩到 108 屏、约 290 个点击跳转,没人重画

PRD 草图对不上线上页面

草图是真实控制台的整页截图,红框标出改动

每次贴截图,还可能贴到旧版

设计改了就重传那个子文件夹,Figma 里删掉的画板库里也会删掉

自己试一下

  1. 开通 火山引擎 OpenViking,创建一个个人版库,配好模型凭证。

  2. 按 figma-to-openviking 安装说明,给你用的 Agent 装好 skill。

  3. 把 Figma 链接发给 Agent:「把这些设计稿导入 OpenViking」。它会先列出页面、问你存到哪个目录,再用 2 张画板试跑并估算 token,你确认后才全部导入。

  4. 让它把「画界面前先查设计目录」记下来。然后让它画个原型,拿给设计师看。


🚀 上手试用:volcengine.com/product/openviking-service

🌟 Star GitHub:github.com/volcengine/OpenViking

💬 加入飞书&微信交流群

点击「阅读原文」立即体验👇

阅读原文

跳转微信打开

OpenViking连接业务系统,LLM Wiki一键编译

2026年11月4日 19:32

OpenViking 2026-11-04 19:32 北京

文章来源|OpenViking 团队

项目地址|https://github.com/volcengine/OpenViking

OpenViking上线数据连接器、知识编译功能,支持飞书文档、项目和代码仓库的数据接入与同步,一键编译出业务需要的知识Wiki、代码图谱、阶段性汇报产物,让AI帮你搞定项目交接、进展同步。

OpenViking ✖️ 数据连接与知识编译

OpenViking是火山引擎推出的Agent上下文数据库,支持文档、图片、音视频、3D等多模态数据的导入与理解。

现在,OpenViking已上线多种数据连接器,支持飞书文档、项目、代码仓库的连接与定时同步。

使用可参考 https://docs.volcengine.com/docs/vector_database_vikingdb/Overalldescription?lang=zh

连接入口

数据导入

定时同步

滑动查看更多

基于导入的项目知识,通过知识编译(Compile)指令,就可以一键产出知识Wiki、代码图谱、汇报材料等业务需要的加工产物,打通从数据连接到业务可用的高速通路。

支持自定义加工,使用可参考:https://docs.volcengine.com/docs/vector_database_vikingdb/Compile-Compileresources?lang=zh#knowledge-graph

预置编译模版

原始项目文件

产物1:LLM-Wiki

产物2:知识图谱

滑动查看更多

将数据导入 OpenViking,连接上你的 Agent,无论是豆包工作,Workbuddy,还是 Codex,Claude 都可以在以下场景感受到价值。

场景一|新人入职,快速了解项目全貌

新员工入职、项目交接,动辄需要整理几万字的交接文档,新人理解多少还要另说。

现在,把项目资料上传到ov,一键形成LLM Wiki,捕捉每一份上下文。新人安装好ov,只需要跟自己的Agent说:“我是一个新来的研发,接下来主要负责xxx项目。根据ov公共库的内容,帮我梳理一份onboarding阅读材料”。

然后,Agent就会自动通过ov查询,找到关联信息,最终推给用户一个含项目背景、目标、需求列表(来自飞书文档)、代码架构设计、模块设计(来自仓库)、项目进展、当前迭代情况(来自飞书项目)的完整阅读文档,同时通过LLM-Wiki清晰阐明各模块间的关系。

新人通过阅读了解很快就可以完成onboarding。

项目上传 OV

编译出 LLM Wiki

OpenViking + Codex 检索

Onboarding 阅读材料

滑动查看更多

场景二|周期汇报,业务进展一键追踪

每次项目周会、季度总结,都需要成员一起复盘、梳理进展、互相关联,再集中呈现。

现在,项目在ov持续编译,LLM Wiki实时更新。项目负责人只需要安装好ov,跟自己的Agent说:“帮我整理xx项目这周的进展”。

然后,Agent就会通过ov和最新的图谱,找到项目关联的所有产品需求、技术文档、市场反馈(来自飞书文档)、项目代码(来自仓库)以及当前版本正在开发的需求进展和bug处理进度(来自飞书项目)。最终整理出一份完整的市场、产品、技术进展以及版本迭代详情。

汇报再也不需要团队成员花时间去整理复盘,项目负责人也能随时获得最新反馈。

项目上传 OV

编译出 LLM Wiki

OpenViking + Codex 检索

项目周报

滑动查看更多

场景三|协同开发,代码逻辑清晰可见

项目的Git仓库调用逻辑复杂、频繁更新,每次熟悉代码,都像剥了层皮一样痛苦。

现在,所有Git仓库都可以通过连接器上传到OpenViking,并一键编译为Code Wiki,清晰呈现函数间的调用和项目逻辑关系。每次开发时,你只需要跟安装好ov的Agent说:“基于xxx产品文档,帮我写一份技术方案”。

然后,Agent就会通过ov自动查看库里同步的产品需求文档(来自飞书文档),找到当前项目的代码(来自于仓库),结合需求和现状,完成技术方案。如果是多人开发同一个项目也没关系,库里的仓库会保持定期同步,Code Wiki也会动态更新,Agent看到的永远是最新的,不用担心代码的版本问题。

进入测试,你也可以直接通过Agent看到所有的缺陷(来自飞书项目),指导它一步步完成修复,直到顺利上线。

项目上传

编译出 LLM-Wiki

OpenViking + Codex 检索

技术方案

滑动查看更多

最后

OpenViking将陆续覆盖钉钉、Confluence等更多数据源,推出更强大且个性化的知识编译能力。

打通从数据连接到业务应用的高速通路。

现在接入,后续上线无需额外操作,即刻使用。

🚀 上手试用,前 50 文档免费:volcengine.com/product/openviking-service

🌟 开源 OpenViking:访问 GitHub 仓库,为我们点亮一颗 Star!

https://github.com/volcengine/OpenViking

❓三分钟测出你是哪种 Agent 饲养员,选择属于你的 OpenViking

https://blog.openviking.ai/post/should-you-use-openviking/

💬 加入飞书交流群&微信群!

点击【阅读原文】立即体验👇

阅读原文

跳转微信打开

OpenViking 上线原生 3D 内容理解模型

2026年10月27日 19:04

原创 OpenViking 2026-10-27 19:04 北京

OpenViking 发布原生支持 3D 数据导入与解析的内容理解模型

10 月 20 日,OpenViking 发布原生支持 3D 数据导入与解析的内容理解模型。

现在你可以把零件模型、工程图纸和项目资料都交给 OpenViking,在豆包工作/Workbuddy/Codex/Claude 等 Agent 中描述你要找的结构,让 AI 帮你找候选零件、整理 BOM,核对供应变更带来的影响。

OpenViking ✖️ 3D 内容理解模型

OpenViking 是火山引擎推出的 Agent 上下文数据库,支持文档、图片、音视频等多模态数据理解。

今天迎来重磅升级,上线首个 3D 内容理解模型,支持三维 STEP 文件的导入与解析,信息还原率做到 100%。

导入一个三维 STEP 文件,解析产物会包含其正交六视图、八轴侧视图、信息摘要及模型明细,涵盖几何、PMI、装配、工艺等全部原始信息。

解析目录
解析目录
正交六视图
正交六视图
轴侧八视图
轴侧八视图
信息摘要
信息摘要
模型明细
模型明细

以上内容,OpenViking 均会建立索引,并用于下游模型推理。接入 Agent 后,可以在以下场景感受到价值。

场景一|让 Agent 理解三维结构,找到那个零件

一个做机器人零部件设计的结构工程师,电脑里已经积累了大量的模型和工程图纸。

当需要为新机器人设计一个安装支架。你需要翻历史项目、查零件库,挨个确认有没有可复用的设计。

而现在,你只需要将机器人零件库,图纸,项目资料全部上传到 OpenViking,连接到你使用的 Agent。

对它说:“我要把这台机械臂固定到设备的竖直安装面上。帮我找一个 L 形安装座,水平面承接机器人底部,竖直面连接设备,并避开侧后方线缆。帮我找下有没有合适的零件”,再附上一张新机器人连接位置的截图。

Agent 就会自动推断:水平面有 4 个 Φ11 孔,孔距为 160×160 mm,竖直面另有 4 个连接孔。线缆侧可以朝开放方向布置···,并在 OpenViking 库里找到符合该特征的零件。

以后,再也不用担心重复设计,任何你想找的结构,Agent 都可以帮你完成。

原始机械臂模型
OpenViking + Codex检索
OpenViking + Codex检索
检索到的零件 (D063)
检索到的零件 (D063)

场景二|BOM 清单与成本,一句话搞定

你完成了新零件的设计。但在发给采购前,还需要整理出 BOM 清单,并完成成本估算。

这一步非常简单,你只需要让 Agent 根据 OpenViking 库里已有的历史采购报价、公司的 BOM 要求。

把 CAD 软件的导入明细给到 Agent,并说:“帮我整理出 xx 零件的 BOM 清单,基于历史报价完成成本估算”。 Agent 就能帮你一键完成,直接发给采购,工作效率大大提升。

原始机械臂模型
原始机械臂模型
FreeCAD导出的BOM明细
FreeCAD导出的BOM明细
OpenViking + Codex处理
OpenViking + Codex处理
BOM清单及成本估算
BOM清单及成本估算

场景三|零件断供不用担心,影响范围立刻确定

当一家螺丝供应商突然断供,相应下单、产线上的生产,售后的保证都会受到影响。

作为负责人的你需要第一时间查清范围,应对风险。

但是 M3×8 内六角圆柱头螺钉已经用了十年,相关联的产品很难穷尽,盘清影响更是难上加难。

不过,你不用担心。只要零件库、BOM 清单、采购记录存在 OpenViking,那你只需要把零件的信息,又或模型文件,甚至一张截图给 Agent,对它说:“帮我找到这个 M3×8 内六角圆柱头螺钉都在哪些产品中有使用,用量多少”。

Agent 将理解这根螺丝的所有特征,并跟库里的零件做比对,沿着 BOM 和采购清单就能找到所有相关联的产品。

有了 OpenViking,风险应对也有了保障。

断供的M3×8 内六角圆柱头螺钉
断供的M3×8 内六角圆柱头螺钉
OpenViking + Codex处理过程
OpenViking + Codex处理过程
螺钉具体位置及用量
螺钉具体位置及用量

最后

OpenViking 作为业内首个理解三维世界的 Agent 上下文数据库产品,后续将陆续支持dxf、iges、sldprt、sldasm 等更多格式的导入与理解。现在接入,后续上线无需额外操作,即刻使用。


🚀 点击「阅读原文」立即试用,上传前 50 个文档免费 👉 

https://v2ig.cn/h4BUnhqt-dU/

🌟 开源 OpenViking:访问 GitHub 仓库(https://github.com/volcengine/OpenViking),为我们点亮一颗 Star!

❓三分钟测出你是哪种 Agent 饲养员选择属于你的 OpenViking ⬇️

https://blog.openviking.ai/post/should-you-use-openviking/

💬 加入飞书交流群&微信群!

阅读原文

跳转微信打开

ByteDance 2026 上半年 Linux 内核贡献回顾

2026年10月20日 18:22

字节跳动STE团队 2026-10-20 18:22 北京

文章来源|字节跳动 STE 团队

Linux 内核运行在形态丰富、规模各异的计算基础设施之上。它的每一项机制调整,都需要同时面对性能、正确性、可维护性、硬件差异和长期兼容性等多重约束。

对我们而言,参与 Linux 社区建设,不只是把代码提交到上游。它既包括将生产环境中发现的问题抽象为通用方案,也包括参与讨论、审阅其他开发者的工作,与社区一起把有价值的改动打磨成熟。

为什么我们要参与社区?改动进入主线后,无需在每个内核版本上重复适配本地补丁,显著降低长期维护成本;社区的多轮审阅和测试也能发现内部验证遗漏的问题,让代码以更高质量反哺生产环境。更重要的是,持续贡献让我们从代码使用者转变为生态共建者,及时把握内核发展方向。这是一种更高效、更可持续的工程策略。

2026 年度,截止到 9 月底,我们团队已有 23 名工程师贡献的 198 个代码提交被 Linux 社区维护分支接收,覆盖内存管理、调度、文件系统与 I/O、RISC-V、虚拟化、IOMMU、网络、性能工具和内核测试等方向。同时,我们还参与了 113 个社区补丁的审阅与推进。从贡献自己的方案,到帮助其他开发者完善方案,这些工作共同构成了我们参与 Linux 内核社区的完整实践。

一、从生产问题出发,让通用能力进入 Linux

1. 从 16.7 毫秒到 1.56 毫秒:让等待 IPI 的过程恢复可抢占

在延迟敏感型业务中,任务能否及时获得 CPU,直接影响服务的长尾表现。即使一个实时任务拥有很高的调度优先级,如果当前 CPU 长时间处于不可抢占状态,它仍然只能等待。

我们在生产环境的 DPDK 工作负载中发现,部分 CPU 会出现毫秒级甚至十毫秒级的长时间不可抢占事件。进一步分析表明,其中的大部分长尾来自进程退出、内存释放等路径触发的远程 TLB 刷新。

在 x86 系统中,远程 TLB 刷新通常通过处理器间中断,也就是 IPI,通知其他 CPU 执行操作。Linux 原有的 smp_call_function 系列接口会在准备请求、发送 IPI,以及等待远端 CPU 完成的整个过程中关闭抢占。如果远端 CPU 暂时关闭中断,或者系统中需要等待的 CPU 较多,发起任务可能在不可抢占状态下等待数毫秒甚至更久。

原有流程可以简化为:

真正依赖当前 CPU 的,主要是目标选择、请求构造和 IPI 发送阶段。等待远端完成时,任务本身并不必然继续绑定在原 CPU 上。

围绕这一观察,我们提交了由 14 个补丁组成的系列,重新划分跨 CPU 调用中的抢占边界:在请求完成入队和发送后恢复抢占,让同步等待阶段变得可抢占、可迁移。

这并不是简单删除几处 preempt_disable。恢复抢占后,任务可能被切走或迁移,原本由 per-CPU 数据隐含保证的生命周期和并发关系都需要重新建立。该系列因此进一步引入 task-local IPI mask,并系统处理 CPU hotplug、CSD 存储生命周期、x86 TLB flush,以及 KVM、Xen、Hyper-V 等虚拟化后端对 CPU-local 状态的依赖。

在生产环境中,每 30 秒统计窗口内最大不可抢占时长的 P99 出现了明显下降:

应用该系列后,在 arch_tlbbatch_flush 和 flush_tlb_mm_range 路径上不再观察到超过 1 ms 的不可抢占事件。与此同时,针对 x86 TLB flush 数据结构调整所做的微基准测试显示,新方案没有带来可测量的性能退化。

这一变化显著改善了实时任务及时获得 CPU 的基础条件。上述 90.7% 衡量的是最大不可抢占时长 P99 的降幅。

该系列经历了 10 个版本的社区迭代。来自调度、实时、x86 和 RCU 领域的多位社区开发者参与了设计讨论、代码审阅与测试。方案也从早期的栈上 cpumask 和 RCU 保护,逐步演进为边界更清晰的 task-local IPI 状态。

从生产环境中的 16 毫秒级长尾,到覆盖 SMP、x86 MM 和虚拟化路径的通用内核机制,这组工作呈现了生产实践进入开源社区的一条完整路径。

2. 容器退出之后:系统性解决 dying memory cgroup 问题

在容器环境中,一个任务或容器退出后,对应的 memory cgroup 理论上也应该完成回收。但现实要复杂得多:文件页等内存对象可能被不同任务共享,其生命周期也可能超过创建它们的 memcg。只要这些对象继续持有原 memcg 的引用,用户已经删除的 memcg 就无法真正释放,形成 dying memory cgroup。

当任务不断创建、退出,并反复访问相同文件时,文件页可能被后续实例持续使用,dying memcg 也会随之积累。这不仅消耗内存,还可能降低页面回收效率。该问题在 Linux 社区已经存在多年,也是大规模容器环境中尤其值得关注的资源生命周期问题。

我们围绕这一问题提交了 33 个补丁。我们提出的方案让 LRU folio 不再长期固定原始 memcg 的生命周期,并在 memcg 下线时重新归属相关资源;同时通过 RCU、引用计数和 lruvec 锁,保证查询、回收和重新归属过程中的并发安全。

这项改动涉及的不只是一个函数或一条回收路径,而是覆盖传统 LRU、MGLRU、workingset、writeback、zswap、页面迁移等多个核心模块。也正因为文件页可以共享、可以长期存在,且可能在任意时刻参与回收或迁移,解决 dying memcg 必须系统检查每一个获取 memcg 或 lruvec 指针的使用者。

在补丁集说明给出的复现中,连续创建并删除 2000 个 memory cgroup,同时让文件页跨越这些 cgroup 的生命周期。应用新方案后,dying memcg 的数量不再显著增长。

这项工作的意义不仅是释放一部分内核元数据,更重要的是让 Linux 在频繁创建和销毁容器的环境中,能够更准确地管理跨生命周期的文件页和回收状态。

3. 重构内存元数据基础设施:推动 HVO 走向通用化

Linux 需要为每一页物理内存维护 struct page 等元数据。系统内存越大,这部分元数据本身所占的空间就越可观。HugeTLB Vmemmap Optimization,简称 HVO,通过复用部分 vmemmap 页面,减少大页对应的元数据开销。

原有 HVO 实现包含一条服务于 HugeTLB 的特殊早期启动路径:在通用 sparse-vmemmap 流程之前预先建立优化后的映射。为了支持这条路径,通用内存初始化代码还需要维护专用状态。这使得机制难以复用,也让 bootmem、memory hotplug、Device DAX 和体系结构页表操作之间的边界更加复杂。

2026 年,我们围绕这一方向完成了四组相互衔接的工作,共计 47 个提交:

修复 vmemmap 优化在 DAX、memory hotplug 和 ZONE_DEVICE 场景中的统计与初始化错误;

重构 bootmem gigantic HugeTLB 的早期分配和初始化流程,并修复启动及架构相关问题;

将不同架构重复实现的 vmemmap PMD 操作整理为通用 helper;

在 sparse-vmemmap 中引入基于 memory section 的优化描述,并将 HugeTLB bootmem 页面迁移到这条通用路径。

在新的设计中,HugeTLB 不再自行提前建立一套特殊的 vmemmap 映射,而是把 compound page order 记录在相应的 memory section 中。通用 sparse-vmemmap population 路径根据 section 元数据决定如何分配或复用 tail vmemmap 页面。完成迁移后,原有专用的预初始化机制和一批冗余状态可以被删除。

这项工作的重点不是增加另一个局部优化,而是重新划分子系统职责:HugeTLB 描述需求,sparse-vmemmap 负责实现通用优化,体系结构代码则提供必要的页表能力。它让 HVO 的实现更容易维护,也为未来服务更多 HVO 用户建立了基础。

围绕 HugeTLB,我们还完善了大规模 NUMA 系统中的启动参数预留能力。在一台拥有 4 个 NUMA 节点、384 GB 内存的 x86 虚拟机中,相关改进使能够成功预留的 2 MiB 大页容量从不足 374 GB 提高到超过 379 GB。

这一阶段完成了 HugeTLB 向 section-based 通用框架的迁移,并为 Device DAX 等更多应用 HVO 的场景的后续演进打下基础。

4. 面对 2500 万个 struct page:加速大容量内存设备初始化

大容量 PMEM、fsdax 和 devdax 设备上线时,内核需要为对应的每个物理页初始化 struct page。对于 100 GB 的设备,这意味着大约 2500 万次高度相似的元数据初始化。相关开销直接发生在同步的设备 probe、bind 或 rebind 路径中,用户执行设备配置、热添加、恢复和重新绑定时都要等待它完成。

我们提出的方案,不再让每个 struct page 都重复走完整初始化流程,而是先生成已经正确初始化的模板,再刷新与 PFN 有关的字段并复制到后续页面。该方案同时覆盖普通 head page 和 compound tail page。

为了进一步降低写分配和缓存污染,系列还为内核引入了 memcpy_nontemporal 接口,并在 x86 上扩展固定尺寸的 MOVNTI 快速路径。没有体系结构专用后端的平台仍然回退到普通 memcpy,因此模板复用本身是一项跨架构优化。

该系列分别在虚拟机、物理机和 arm64 环境中进行了验证:

arm64 测试没有使用 x86 的 MOVNTI 快速路径,仍然获得了明显改善,这说明通用的模板复制机制本身就能为其他架构带来收益。

这些测试使用了不同的架构、页大小和设备对齐配置,验证了优化在多种环境中的有效性。表中数据均衡量 memmap_init_zone_device 阶段的耗时。

5. 当设备足够快:为小块 Direct I/O 建立 iomap 快速路径

随着 Gen5 NVMe 等高速存储设备不断提升性能,瓶颈开始从硬件转移到内核软件路径。在 4 KiB 随机读测试中,原始块设备可以达到约 320 万 IOPS,而经过 ext4 或 XFS 的 iomap Direct I/O 通用路径时,性能约为 192 万 IOPS。

性能分析显示,内存分配、iomap 状态机迭代和异步完成处理占用了相当比例的 CPU 时间。对于一个位于单个文件系统块内、无需拆分、无需加密和特殊回调的简单读请求,完整通用路径所提供的复杂能力并没有全部被使用。

我们因此为符合条件的小块只读 Direct I/O 建立了一条轻量快速路径。请求状态与 bio 使用一次分配,常见成功场景直接完成;不满足条件的复杂请求仍然进入原有通用路径,从而保持已有功能和语义。

在原始单核 io_uring poll-mode 测试中,ext4 的 4 KiB 随机读性能从约 192 万 IOPS 提升到 219 万 IOPS。在更完整的 fio 测试矩阵中:

ext4 在不同队列深度和 I/O 模式下最高提升 10.06%;

XFS 最高提升 9.76%;

在所列低队列深度测试中,性能与原有实现基本持平。

这一案例体现了 Linux 通用基础设施的价值:对 iomap 中一条公共路径的优化,可以同时惠及 ext4 和 XFS 等多个文件系统。

二、从关键机制到多元生态

从故障现场到稳定内核

除了完整的功能和优化系列,我们自 2026 年以来被社区接收的代码提交中,还有 52 个明确标记了所修复的历史变更,32 个被抄送至稳定版维护团队。这些改动覆盖崩溃、资源泄漏、并发竞争、错误计费和硬件异常等多类问题。

其中一些问题直接来自复杂生产环境。

在设备直通场景中,PCIe endpoint 的链路可能因为 surprise removal 或链路故障而失联。如果 Intel IOMMU 此时仍然向已经不可访问的设备发送 ATS invalidation,并同步等待完成,宿主机可能永久卡住。我们针对传统模式和 scalable mode 分别完善了设备可访问性检查,避免 QEMU、DPDK 等用户态设备使用场景在异常链路下将故障扩大为 hardlockup。

在 core scheduling 场景中,newidle balance 可以在暂时释放 core-wide lock 时迁移任务,导致同一个任务被两个 sibling CPU 同时选中并触发内核警告或崩溃。相关修复恢复了 core scheduling 下的正确重试语义。

其他代表性修复还包括:

修复 VDUSE 消息超时与读取并发导致的 double list deletion;

修复 HVO rollback 恢复错误的 head-page 元数据;

修复 userfaultfd 为其他进程填充 HugeTLB 时,内存被计费到 handler memcg 的问题;

修复 memory hotplug、CMA、shrinker 和 MGLRU 中的资源泄漏与竞争;

修复 ext4、EROFS、NFS、FUSE、device-mapper 和网络驱动中的正确性问题。

这些工作未必都适合单独成为一篇长故事,但它们共同构成了内核社区的重要日常:从真实故障中定位根因,将修复放回通用代码,并为稳定版内核的后续回移提供依据。

延伸到更多架构:页表回收与 RISC-V 生态

在内存回收方向,我们还将 PT_RECLAIM(页表回收) 扩展到更多体系结构。在 64 位系统中,对 100 GB 以上的大范围映射执行 madvise(MADV_DONTNEED) 后,可能留下大量空的 PTE 页表页。相关 8 个补丁完善了 Kconfig 依赖,并为 alpha、UML、parisc、MIPS 和 LoongArch 等架构补齐所需能力,使 PT_RECLAIM 可以在更多平台默认工作。

我们对 RISC-V 的贡献则覆盖内存管理、性能分析、异常处理和虚拟化等多个层面,包括:

在 update_mmu_cache 路径使用 ASID,并在可用时采用 Svinval;

修复 THP split 中 page-table-check 对临时无效 PMD 的错误统计;

完善 ftrace、stacktrace 和 kprobes 的正确性;

增加 hardware error trap handler 支持;

修复 hwprobe 与用户态启动之间的初始化时序;

完善 KVM guest interrupt file 和指令扩展支持。

与此同时,我们还向 perf、ftrace、cgroup selftests 和 livepatch selftests 等工具与测试基础设施贡献修复。内核能力能否被稳定使用,既依赖核心实现,也依赖持续演进的验证工具。

三、双向参与:既贡献方案,也为社区代码把关

Linux 内核是由全球开发者共同维护的协作工程。一个补丁从提出到合入,不仅需要作者完成设计和实现,也离不开熟悉相关子系统的开发者检查正确性、并发边界、体系结构差异和长期维护成本。

我们之所以投入精力对其他开发者的补丁进行深入审阅,是因为内核是共享的基础设施:社区贡献者提交的改进同样会进入我们使用的内核,其质量直接关系到业务的稳定性与性能。因此,这种审阅并非单向付出,而是一个共同受益的过程——它帮助贡献者发现潜在问题、厘清设计边界、验证不同配置,让方案更易长期维护;而经过打磨的改进最终也会回馈到我们的生产环境中,形成彼此促进的良性循环。

这种持续投入也体现在社区正式角色的积累上。截至目前,我们已有多位工程师被列入 Linux 内核的 MAINTAINERS 文件,在内存管理等核心子系统中担任维护者(Maintainer)或审阅者(Reviewer)。其中,团队中有工程师担任 HugeTLB 子系统的 Maintainer,并负责 memcg 与 shrinker 的 Review;其他成员还分别承担 shrinker、MGLRU(Multi-Gen LRU)、内存回收(Reclaim)、RISC-V QoS Resctrl、zswap 压缩交换缓存和 KSM(Kernel Samepage Merging)等方向的 Reviewer 工作。此外,团队中还有工程师担任 RISC-V 国际组织虚拟机管理程序特别兴趣小组(Hypervisor SIG)副主席。这些角色既是社区对我们技术能力的认可,也意味着我们需要持续投入精力保障相关子系统的代码质量与长期演进。

让长期积累的技术经验服务更多贡献者

2026 年以来,我们为社区贡献了 76 条 Reviewed-by 和 48 条 Acked-by,覆盖 113 个不同补丁。

其中,我们主要围绕内存管理核心机制参与社区审阅,相关工作覆盖 HugeTLB、memcg 与 shrinker、vmscan、sparse-vmemmap 和页表回收等领域。

从内存管理走向虚拟化、存储、调度及 RISC-V 生态

我们参与审阅的补丁中,有 82 个涉及 mm 目录。除此之外,Review 足迹还延伸到内核核心代码、VDUSE、HugeTLB 文件系统、iomap、x86 内存管理、live update 以及 RISC-V 生态建设等方向。

我们重点参与了 VDUSE、iomap、块设备 polling、scheduler cgroup migration 和 RISC-V 生态等方向的补丁审阅。这些工作将我们在生产系统中积累的虚拟化、存储和调度经验带入更广泛的社区协作。

在开放协作中共同完善方案

我们提交的工作同样在社区审阅中不断演进。允许 IPI completion waiting 恢复抢占的系列经历了 10 个版本,社区反馈推动方案调整 cpumask 存储方式、CPU hotplug 下的生命周期、x86 栈对象对齐方式和虚拟化后端的保护边界,并补充构建修复、微基准与 torture test。

HVO 相关工作则通过拆分和重组,将较大的通用化目标整理为 bootmem HugeTLB 重构、正确性修复、通用 PMD helper 和 section-based HVO 等可独立审阅的步骤。iomap 快速路径也在文件系统社区的审阅和整合下,形成了边界严格、同时适用于 ext4 和 XFS 的通用实现。

一边接受全球社区对我们代码的审阅,一边以 Reviewed-by 和 Acked-by 帮助其他开发者推进工作,我们正通过这种双向协作,持续参与 Linux 内核的长期演进。

四、持续把生产实践和技术判断沉淀为社区能力

2026 年以来,我们的 Linux 内核社区贡献既有 198 个被接收的代码提交,也有覆盖 113 个社区补丁的 Review 与 Ack。比数字本身更重要的,是这些工作形成了一条持续运转的路径:从生产环境发现并复现问题,深入核心代码寻找根因;以可维护、可验证的方式提出通用方案;在社区反馈中反复完善设计;再将积累下来的技术判断用于审阅其他开发者的工作。

从改善实时任务的调度长尾,到治理容器退出后的内存生命周期;从推动 HVO 基础设施演进,到提升大容量内存设备和高速存储的效率;从贡献自己的补丁,到帮助社区开发者完善更多有价值的改动,我们将继续参与 Linux 内核社区建设,与全球开发者一起推动基础软件长期演进。

跳转微信打开

VisActor 全新图可视化开源项目:VGraph

2026年9月1日 17:29

字节跳动开源 2026-09-01 17:29 北京

VGraph 正式开源了!

来源|VisActor 团队

VGraph 正式开源了。如果你正在做数据血缘、知识图谱、关系网络、树图分析、流程编排或图编辑器,现在可以用一套更贴近真实业务场景的关系图库,直接把复杂关系变成可读、可交互、可落地的产品体验。

什么是 VGraph:面向真实业务场景的关系图库

VGraph 是一套面向真实业务场景的关系图库,聚焦关系数据的可视化表达、交互编辑与产品化落地。

关系图产品常常不是输在算法或数据,而是输在体验:用户看不明白、交互不顺、细节做不深、工程接不住。

VGraph 这次开源,带来的价值就在于:让关系图不再只是一个技术展示能力,而是一种可以进入日常业务系统的产品能力。

一句话总结:如果你希望把复杂关系做成真正可用、可交互、可持续演进的业务产品,VGraph 值得加入你的技术选型清单。

VGraph能解决什么问题

很多团队都遇到过同一个问题:关系数据不难拿到,难的是把它讲清楚、跑顺畅、做得像产品。

  • 图画出来了,但节点一多就乱,用户看不懂重点

  • 能展示静态关系,但缺少真实业务需要的交互和编辑能力

  • 想做复杂节点、信息卡片、右键菜单、Tooltip、表单编辑,接入成本很高

  • 图分析、图编辑、树图、血缘、流程场景往往要拼很多能力,工程复杂度高

VGraph 想解决的,正是这类“从图形展示到业务产品”之间的最后一公里。它不只关注“把点和边画出来”,更强调复杂关系的表达能力、交互能力和产品落地能力。

  • 关系表达更完整:支持有向图、关系图、树图、嵌套布局、力导向布局等多种结构

  • 业务组件更友好:内置节点、连线、分组、图例、交互行为,同时支持高度定制

  • React 节点能力强:复杂节点、标签页、按钮、表单、状态切换都能自然接进来

  • 图编辑能力更贴近产品:适合做流程编排、节点编辑、自由排布、批量操作等场景

  • 从展示到分析一体化:既能做看板式分析图,也能做可交互、可操作的业务图应用

一眼就能想到的应用场景

  • 数据血缘:表级血缘、字段级血缘、上下游影响分析

  • 知识图谱:人物关系、企业关系、事件关系、社交网络

  • 流程与编排:DAG 流程、审批流、任务编排、流水线编辑

  • 树状分析:组织架构、行政区划、分层指标、目录结构

  • 图编辑器:低代码流程设计器、策略编辑器、图形化配置面板

现在就开始

如果你想先感受 VGraph 的表达力,不需要从零造轮子,最快可以按下面这条路径开始:

  1. 先跑示例:直接打开官方文档里的 demo,优先看数据血缘、知识图谱和流程编排几个代表场景。

  2. 再装依赖:在你的前端项目里接入核心包,快速把一张关系图先跑起来。

npm install @visactor/vgraph @visactor/react-vgraph @visactor/react-vgraph-ui

第三步,替换成你的业务数据:先用真实节点和边把业务关系映射出来,再逐步叠加复杂节点、交互操作和编辑能力。

经典业务场景

如果你希望快速判断 VGraph 是否适合自己的业务,最直接的方法不是先看参数表,而是拿一个典型场景做最小验证。下面这 4 类场景,基本覆盖了大多数关系图产品的第一批落地需求。

数据血缘

适合表级 / 字段级上下游追踪、影响范围分析和链路排查。

对应 Demo:

https://www.visactor.io/vgraph/demo/solutions/dataLineage

import { GraphStructure } from '@visactor/vgraph';
import { DataLineageGraph } from '@visactor/react-vgraph';
const data = new GraphStructure({
  directed: true,
  nodes,
  edges
});
<DataLineageGraph
  data={data}
  baseTableId="table_a"
  size={[width, height]}
  minDepth={-2}
  maxDepth={2}
/>;

知识图谱

适合人物、企业、事件、资产之间的关系探索,从“看关系”走向“找线索”。

对应 Demo:

https://www.visactor.io/vgraph/demo/force/redMansions

import { Graph, defaultForces, ForceX, ForceY, ForceLink } from '@visactor/vgraph';
const forces = defaultForces();
forces.set('posX', new ForceX({ options: { x: width / 2, strength: 0.05 } }));
forces.set('posY', new ForceY({ options: { y: height / 2, strength: 0.05 } }));
forces.set('link', new ForceLink({ options: { distance: 50 } }));
const graph = new Graph({
  container: 'container',
  width,
  height,
  layout: { type: 'force', options: { forces } }
});
graph.data({ nodes, edges });

流程编排与图编辑器

适合 DAG、审批流、任务编排和低代码流程设计器,让图既能展示,也能编辑。

对应 Demo:

https://www.visactor.io/vgraph/demo/editor/commonFlowEditorForm

import { CommonFlowEditor } from '@visactor/vgraph';
const editor = new CommonFlowEditor({
  container: 'container',
  graphSize: [width, height],
  renderMode: 'dom',
setDefaultNode() {
return {
      width: 140,
      height: 40,
      anchors: [
        { show: 'hover', position: [0, 0.5] },
        { show: 'hover', position: [1, 0.5] }
      ]
    };
  },
  setDefaultEdge(edgeData) {
return {
type: edgeData.target ? 'turningLine' : 'line',
      endArrow: true,
      radius: 10
    };
  }
});
editor.getGraph().data({ nodes, edges });

树状分析与层级关系

适合组织架构、目录结构、分层指标和行政区划等树图场景。

对应 Demo:

https://www.visactor.io/vgraph/demo/tree/basic

import { TreeGraph } from '@visactor/vgraph';
const graph = new TreeGraph({
  container: 'container',
  width,
  height,
  layout: {
type: 'dendrogram',
    options: { direction: 'LR', radial: true }
  }
});
graph.data({
  id: 'root',
  children: [{ id: 'child1' }, { id: 'child2' }]
});

如果你正在评估关系图产品的技术底座,最直接的方式就是拿一个真实业务场景试一遍,看看 VGraph 能不能把你的关系数据真正做成产品。

跳转微信打开

Lance Meetup 2026 · 上海站|正式开启报名!

2026年8月12日 18:27

Lance&LanceDB 2026-08-12 18:27 北京

开源活动报名中

当 AI 迈向多模态、具身智能与大规模训推,数据基础设施如何平衡成本、性能与治理?

Lance & LanceDB 中文社区 · 上海站线下沙龙将于 9 月 12 日正式举办,这也是上半年继北京站之后,社区在国内举办的第二站城市沙龙。

届时,LanceDB 核心成员将携手一线云厂商、芯片厂商与互联网企业技术专家,围绕多模态数据、具身智能、向量存储与开源生态,与你面对面畅聊技术实践。

活动信息

1.时间:2026 年 9 月 12 日(周六)13:30 ~ 17:40

2.地点:上海 · 新江湾广场 T2A F1-LectureHall 01

3.主办方:Lance & LanceDB 官方中文社区、字节跳动开源、英特尔

4.参与形式:免费报名,审核结果以具体短信通知为准

内容亮点

1.硬核实战分享:深入解析 Lance 在多模态训练、推理与向量检索等场景下的落地挑战与架构方案。

2.开源产业对话:火山引擎、英特尔等头部厂商的一线实践,洞察开源技术如何驱动商业创新。

3.具身智能新场景:探索 Lance 在具身数据管理、多模态感知存储等前沿场景的数据底座新范式。

4.企业级案例首发:聚焦 Lance 在多模态数据湖、具身智能、研发提效等最新企业级落地案例。

5.深度社区连接:与 LanceDB 核心开发者零距离交流,掌握开源前沿动态。


立即报名 & 完整议程!

扫描二维码,填写报名表单

名额有限,先到先得~

也欢迎扫描下方海报二维码

加入活动群

提前获取会议信息与交流!

报名审核通过后,将统一通过短信通知,请注意查收!

 点击阅读原文,报名本次活动

阅读原文

跳转微信打开

火山引擎开源 Agent 驱动的搜索自迭代技术

2026年7月24日 17:30

原创 Viking AI 搜索 2026-07-24 17:30 北京

会调用搜索,只是Agent搜索能力的第一步。更难的是:当结果不好时,它能不能找到改进方向,并通过一轮轮实验把搜索变好?

假设你刚上线一个商品搜索应用:搜品牌、品类和型号基本正常,但用户输入“适合通勤的轻便双肩包”,结果就开始跑偏。

你提高语义召回权重,长句理解变好了,精确型号词却可能变差;提高关键词匹配门槛,前几条结果更准了,零结果又开始增加;放大候选集,召回更多了,噪声和延迟也可能随之上升。

很多搜索项目都会遇到类似的调优困境。问题不是没有参数可调,而是这些参数彼此影响:一次看似简单的修改,往往同时改变召回、排序、零结果率和延迟。要判断一组策略是否真的更好,还需要准备 Query、批量搜索、相关性标注、离线评测和 Bad Case 分析。

过去,这套工作依赖搜索专家反复试验。每一轮都能做,但很难低成本、可复现地持续做。

于是我们开始思考:既然 Agent 已经能够理解目标和调用搜索,它能不能再向前一步——根据当前数据和 Query 分布,自动提出候选策略,用实验验证收益,并告诉开发者“为什么这组配置更好”?

围绕这个问题,火山引擎在开源项目 SearchCLI 中开放了 vs search tune。开发者提供应用、数据集和 Query Set 后,Agent 可以调用它完成 Query 校验、实验规划、候选策略生成、批量搜索、相关性标注、指标计算、结果对比和候选 Scene 创建。

在服饰商品、综合商品和图片内容等三个业务数据集的阶段性离线评测中,自动调优策略相较默认策略,NDCG@20 提升 11.66%~13.50%,Precision@10 最高提升 21.17%。

这组结果首先说明了一件事:底层模型和数据不变时,仅仅围绕具体业务的 Query 分布重新组织召回模式、关键词与语义权重、匹配门槛和候选规模,也能释放出可观的效果空间。以上为阶段性离线结果,实际收益仍取决于 Query 代表性、标签质量和业务数据分布。

我们把这套能力称为:Agent驱动的搜索自迭代。

“自迭代”不是让 Agent 绕过控制、直接修改线上策略,而是把“发现问题—提出假设—分配评测预算—筛选候选—验证收益—输出候选配置”变成一套可以重复运行、结果可以审阅的闭环。

接下来,我们将拆解这套闭环如何运转,以及背后的 SPA 策略优化框架,如何在有限搜索和标注预算下,把更多实验机会留给真正有希望的策略。

一、从“会搜索”到“会把搜索变好”

一个 AI 搜索系统通常包含召回模式、关键词与语义权重、关键词匹配门槛、候选集规模等配置。参数越多,适配不同场景的能力越强,但人工调优的门槛也越高。

真正困难的不是修改某一个参数,而是持续回答:当前策略在哪些 Query 上不好?应该加强关键词还是语义召回?平均指标提升是否掩盖了某类 Query 的退化?新策略是否会增加零结果和延迟?

搜索自迭代把这套专家工作流转化为一个反馈闭环:

Query 与业务数据
  → 评测当前效果
  → 生成候选策略
  → 执行搜索与标注
  → 比较指标和 Bad Case
  → 输出候选配置
  → 人工确认后进入验证

这里的“自”指流程可以由 Agent 持续驱动;“迭代”指每一轮都有 Query、标签和指标作为证据。生产变更仍保留明确的人为边界。

二、为什么是 Agent + Skills + CLI?

搜索调优既包含上下文判断,也包含领域知识和大量确定性执行。我们将三类工作拆给不同层次:

组成

职责

Agent

理解目标、选择评测路径、解释结果并决定下一步

Skills

提供参数语义、调优边界、安全规则和标准工作流

SearchCLI

执行批量搜索、标注、缓存、指标计算、恢复和报告生成

例如,Agent 会先判断用户是否有真实 Query;没有时,才生成合成 Query 并交由用户审阅。昂贵评测前必须先执行 Plan,确认策略数、Query 数和最大标注量。最终应用策略时,也必须先 dry-run,再由用户确认是否创建候选 Scene。

一次完整调优可能包含数千次搜索请求和大量 Query-item 相关性判断。如果让 Agent 临时拼脚本,网络抖动、限流或进程中断都可能让结果丢失。CLI 的价值,是把这些长任务变成稳定命令和机器可读的运行产物,让 Agent 决定“做什么”,让执行层保证“可复现地做完”。

一次自迭代如何发生

第一步是准备 Query Set。真实搜索日志、客服问题和人工整理的典型 Query 最有价值;如果暂时没有,也可以从数据集样本生成合成 Query,但必须先展示样例和类型分布,由用户判断它们是否代表真实意图。

第二步是校验和规划。validate 会检查格式、重复 Query、类型倾斜和 sourceItemIds 覆盖率;plan 则在不调用搜索和 LLM 的情况下,提前计算策略数量、搜索请求数与最大标签量。用户可以在真正花费预算前缩小 Query Set、减少候选或先选择低成本标签。

第三步是运行和复核。CLI 对每个候选执行批量搜索,先用 Source-item 银标快速筛选,或直接使用 LLM Judge 进行语义相关性判断,再计算 NDCG、MRR、Precision、零结果率和延迟。报告不仅给出推荐策略,也保留每条 Query 的明细,方便 Agent 解释收益来自哪里、是否存在退化。

最后,Agent 可以比较不同 Run,并把确认后的推荐配置转成候选 Scene。整个过程对应 query-generate → validate → plan → run → report → compare → apply,每一步都有结构化输入、输出和检查点。

三、SPA:把预算花在更值得评测的策略上

搜索调优看起来像参数优化,实质上却是一个评测成本高、反馈有噪声、参数存在约束、结果还必须可解释和可落地的实验设计问题。

候选策略、Query 数量和 TopK 增加后,最坏情况下的标注量近似为:

strategy_count × query_count × topK

因此,算法的核心任务不是生成尽可能多的组合,而是决定:哪些策略值得先测,哪些应尽早淘汰,下一轮沿什么方向探索,以及何时已经有足够证据停止。

SPA(Strategy Population Annealing)把搜索策略编码为带领域语义的 Genome,以专家先验构造初始种群,通过多保真评测、多视角 Elite、语义化进化和退火机制分配预算,再用鲁棒统计选出稳定、可解释的候选策略。

1. Genome:搜索参数不是普通数值向量

{
"user_defined_recall_mode": "KeywordSemantic",
"dense_weight": 0.25,
"text_weight": 0.75,
"query_keyword_match_percent": 0.3,
"max_retrieved_num": 100
}

这组参数既有枚举值,也有近似连续值和请求侧参数;同时还存在约束,例如 dense_weight 与 text_weight 需要归一,不同召回模式下参数含义也不同。SPA 的交叉、变异和移动都必须先理解这些语义,生成后还要经过裁剪、归一化、合法性校验和去重,才能转化为可执行配置。

第一阶段聚焦 similarity-only:只优化召回模式、关键词/语义权重、关键词匹配比例和最大候选数,不同时调整 Rerank、个性化、热度或运营规则。这样才能把效果变化归因到文本相关性策略本身。

2. 初始种群:覆盖搜索行为,而不是平均撒点

Matrix Optimizer 会在若干固定档位上组合参数,优点是简单、稳定;缺点是不同参数不一定产生不同搜索行为,有限预算可能被大量相近或低价值组合占用。

SPA 的初始种群由当前策略、默认 Baseline、KeywordOnly / SemanticOnly 等边界策略、粗粒度 Matrix 和行业 Prior 组成。商品搜索可以多保留关键词主导的混合策略,知识库问答则保留更多语义增强分支。算法从有意义的行为区域出发,而不是从随机点开始。

当前开源首版已实现这一层:基于多个代表性中心,建立粗、细两种搜索半径,生成边界、中心和邻域候选,再执行合法化与去重。粗粒度邻域用于判断方向,细粒度邻域用于比较局部差异。

3. 多保真评测:先排除错误方向,再提高置信度

完整设计将评测分为三层:

阶段

评测方式

目的

Fast Pass

小 Query Set + Source-item 银标

淘汰明显无效策略

Middle Pass

按 Query 类型扩大评测

识别只在局部场景有效的策略

Confirm Pass

完整 Query Set + LLM Judge / 人工标签

高置信确认最终候选

如果一个策略连生成 Query 的源 Item 都召不回来,就没必要继续为它的 Top20 结果支付 LLM 标注成本。反过来,Fast Pass 高分也不能直接胜出:它还要证明收益不是只集中在标题改写等少数 Query 类型上。

4. 多视角 Elite:保留一条策略前沿

只按平均 NDCG 选 TopN 很危险。某个策略可能在短词 Query 上很强,却让自然语言 Query 明显退化;另一个策略平均分略低,但零结果率、延迟和分类型表现更稳定。

因此,SPA 同时保留 Global Best、Query-Type Best、Stable Best、Low-Latency Best、Low-Zero-Result Best、Baseline-Improver 和差异足够大的 Diverse Candidate。每个 Elite 都回答一个问题:它为什么值得继续消耗预算?这比单一排名更能防止种群过早塌缩。

5. 语义化进化与种群退火

下一代候选来自三类动作。交叉会组合两个 Elite 中已被验证的有效结构,例如采用策略 A 的关键词/语义权重和策略 B 的关键词门槛;局部变异会在优秀策略附近调整权重、候选规模或匹配比例;方向移动则让候选向全局最优或某类 Query 的局部最优靠近。

这些动作都不是随机拼 JSON。例如,高关键词门槛导致零结果上升时,下一代会降低门槛;候选数从 100 增加到 200 没有提升却增加延迟时,搜索会向较小规模收敛。

退火温度控制探索幅度:早期温度高,允许接受少量当前略差但差异较大的策略;中期围绕 Elite 交叉和变异,同时保留边界探针;后期温度降低,只在高价值区域细调。与单点模拟退火不同,SPA 同时保留多个策略分支,因此既能跳出局部最优,也不容易被一次随机移动带偏。

6. 鲁棒目标:不被一次高分欺骗

RobustScore =
  NDCG@20
  + α × MRR@10
  - β × zero_result_rate
  - γ × latency_penalty
  - δ × query_type_variance
  - ε × confidence_interval_width

NDCG 衡量整体排序,MRR 强调首个高相关结果的位置;零结果率和延迟是落地约束;Query 类型方差用于惩罚“只在少数类型上好”的策略。置信区间可通过 Bootstrap 得到:对 Query Set 多次重采样,如果一个策略均值高但区间很宽,说明它可能只是碰巧在这批 Query 上表现好。

因此,完整 SPA 要找的不是一次实验中的最高分,而是在 Query 分布和 Judge 噪声下仍然稳定的策略。

四、实验结果

实验比较自动调优策略与默认策略。在三个不同业务数据集上,

  • NDCG@20 提升 11.66%~13.50%

  • NDCG@10 提升 9.56%~15.08%

  • MRR@10 提升 7.74%~14.95%

  • Precision@10 提升 7.36%~21.17%。

五、让算法真正可用的 CLI 工程层

算法决定评估什么,工程层决定实验能否稳定完成。SearchCLI 重点沉淀了四类能力。

Plan:先把实验成本编译出来。vs search tune plan 不实际调用搜索或 LLM,而是提前给出 Query 数、候选策略数、预计搜索请求和最大标注量,让 Agent 在昂贵任务开始前缩小范围或调整标签来源。

受控并发:把长任务拆成小任务。  当前开源实现将评测拆为 strategy × query 任务,并采用有界批次调度;每批通过 Promise.allSettled 汇总结果,单个失败不会丢掉同批已完成的数据,也不会无限放大请求。任务队列与 Worker Pool 是后续可继续演进的方向。

标签缓存:让 LLM 判断成为可复用资产。  不同策略经常召回相同 Item。SearchCLI 的缓存 Key 同时包含数据集、Query、Item 内容和 Judge 配置;只有这些信息一致时才复用,内容或评测标准变化后旧标签会自然失效,从而在节省成本的同时避免误用历史结果。

Checkpoint / Resume:中断后接着跑。  CLI 会持续保存运行状态、搜索结果、已用标签、失败记录、中间指标和性能摘要。任务中断后,Agent 可以使用原 Run ID 继续未完成部分,不必重新支付已经完成的搜索与标注成本。

最终的 apply 也保留安全边界:先 dry-run 展示配置,获得确认后只创建新的候选 Scene,不会自动切换默认入口。自动化减少的是重复劳动,不是取消人的业务判断。

六、快速开始

SearchCLI 要求 Node.js 20 或更高版本,并采用 Apache-2.0 License 开源。安装 CLI 与 Viking Skills:

git clone git@github.com:volcengine/SearchCLI.git vs
cd vs
bash ./scripts/install.sh
npx skills add "git@github.com:volcengine/SearchCLI.git" -y -g
vs auth login
vs doctor --json

Agent可以通过以下指令进行调优:

vs search tune validate --queries ./queries.jsonl --json
vs search tune plan \
  --application-id <application-id> \
  --dataset-id <dataset-id> \
  --queries ./queries.jsonl \
  --profile similarity-only \
  --optimizer spa \
  --json
vs search tune run \
  --application-id <application-id> \
  --dataset-id <dataset-id> \
  --queries ./queries.jsonl \
  --profile similarity-only \
  --optimizer spa \
  --label-source llm \
  --json
vs search tune report --run-id <run-id> --json

项目地址:https://github.com/volcengine/SearchCLI

结语

Agent 时代,搜索系统面对的问题正在从“能不能提供足够多的策略参数”,转向“能不能根据当前数据和 Query,持续找到更适合的策略”。

SearchCLI 给出的答案,是用 Skills 沉淀搜索专家知识,用 CLI 承担确定性实验,用 SPA 提高评测预算的有效性,再由 Agent 把它们组织成一个可审阅的闭环。

从“可调用”到“可评测”,从“可配置”到“可迭代”。

这正是我们开源 Agent 驱动搜索自迭代技术的初衷。

未来,Viking AI搜将推出更多能力,和我们一起,让搜索变得更简单、让自迭代这件事持续向前!

点击「阅读原文」,立即体验

阅读原文

跳转微信打开

30 分钟搞定个人情报站:Viking AI 搜索让前沿资讯实时推到面前

2026年7月21日 17:30

原创 Viking 2026-07-21 17:30 北京

小 V 是那种"永远在追新"的开发者。

每天早上到公司,泡好咖啡打开电脑的第一件事,就是依次点开一长串书签栏:GitHub Trending 看看今天又冒出来什么新星项目,arXiv 刷一下最新的 AI 论文摘要,几个常看的技术博客要走一遍,各大厂的产品更新公告不能漏,还有几个微信群和社区论坛里也总藏着一手讨论。

起初他觉得这是自己的信息优势——比别人更早知道新工具、新论文、新方向。那种"我又发现了一个宝藏项目"的兴奋感,但慢慢的,事情开始变味了。

浏览器的标签页越开越多,经常一抬头就是十几个窗口挤在上面,想找昨天看到的那篇文章,翻半天收藏夹也想不起来存在了哪个文件夹里。更糟的是,真正有价值的线索开始被淹没:上午看到的一个有意思的开源项目,下午就被新的论文和产品动态冲得没影了;上周标记"周末仔细读"的深度文章,到了周末连标题都记不清。他像个在信息海洋里徒手捞鱼的渔夫,网撒得越来越大,真正捞上来的有用东西却越来越少。

他想要的其实不是另一个更整齐的收藏夹,也不是把所有资讯简单堆到一个页面里。他真正想要的,是一个属于自己的"前沿技术雷达"——新内容进来时,能按他关注的方向自动分拣、主动推荐;想深挖某个方向时,可以直接搜;看到一条线索想继续追问时,还能顺着往下聊。

如果从零开始搭这么一套系统,想想就头大。数据源要一个个接,爬虫要自己写,清洗规则要慢慢调,索引要建,推荐算法要配,问答能力还得接上大模型。最麻烦的是,这东西不能是一锤子买卖——今天导入的数据是新鲜的,过三天不更新,雷达就变成了旧闻仓库。

他不是没尝试过自己解决。试过用 RSS 阅读器把所有源聚在一起,结果只是把"开十几个标签页"变成了"在一个超长信息流里往下刷",信息噪音一点没少;也试过周末花半天时间写爬虫、搭 ES、做简单的关键词匹配,折腾完才发现,光是维护各个网站的爬虫规则就够喝一壶,更别说推荐和问答了,最后还是得回到手动刷的老路上。

直到他偶然发现了一套组合:Viking AI 搜索及其搭配专门为 Agent 打造的智能体工具 SearchCLI。

Viking AI Search 本身是一个开箱即用的智能搜索服务,你把数据接进来,就能直接获得完整的搜索、推荐、问答一体化体验——不用自己从零搭一套搜推系统,也不用分别对接多个服务,这三种能力是天然打通的。而 SearchCLI 就是专门给 Agent 和开发者准备的工具。它把从环境配置、数据接入到任务监控的整套流程都封装好了,小 V 完全不需要在这些底层环节分心——SearchCLI 会引导 Agent 精准爬取他关心的内容、完成数据清洗和结构化,再通过自带的 Connector 增量同步能力自动完成后续工作。从首批数据入库到后续新内容的持续更新,整个过程都是自动流转的:新内容一到位,就会顺滑地进入 Viking AI Search 完成索引,全程无感,不需要任何手动操作。

小 V 本来以为要折腾一整天,没想到跟着 Agent 的引导走,整个流程三步就走完了。

第一步:装好工具

没有复杂的前置配置,也不用先研究半天产品文档。小 V 做的第一件事,就是把安装指令直接发给 Agent,让它自己把 SearchCLI 装好、配好。

复制这句话给 Agent:

“帮我按照这个安装文档,在我的真实终端里安装 SearchCLI,并在安装完成后执行 vs --help 确认>可用:https://github.com/volcengine/SearchCLI/blob/main/docs/install-guide.md”

工具装好后,只需要去火山引擎官网获取一组 AK/SK,作为接入 Viking AI Search 的鉴权凭据就可以了。

如何获取 AK/SK:

点击 火山 AI 搜索首月体验版(https://console.volcengine.com),注册火山账号,获取 AK/SK 即可体验产品功能,首月仅需 9.9 元 🥰

等安装和鉴权都跑完,小V又让 Agent 确认了一遍 SearchCLI 的可用状态,确保后续数据接入的路是通的。

复制这句话给 Agent:

“已经安装 SearchCLI,如何使用?”

这一步花了不到十分钟。小 V 没敲几行命令,甚至没怎么看文档,基础环境就全部就绪了。

第二步:接入数据

环境准备好之后,就到了最核心的一步:把他关心的内容接进来。

他还是没填任何配置表单,只是像提需求一样,把自己想追踪的内容和更新频率告诉了 Agent:哪些来源、要什么主题、多久更新一次。剩下的事都不用他管—— SearchCLI 会引导 Agent 完成数据爬取、清洗和结构化,再通过 Connector 自动把数据同步进 Viking AI 搜索,爬虫调度和增量同步都会在后台自动跑起来。

复制这句话给 Agent:

请帮我启动一个定时爬虫任务,配置规则如下:从当前时间开始,每三天执行一次爬取任务,具体爬取内容包括:

  1. 获取最近3天内微信公众号平台中浏览量较高的关于AI应用产品的推文

  2. 获取最近3天内各大互联网厂商发布的AI模型和AI产品相关的最新产品报告文档

  3. 在arxiv平台获取最新发布的关于 SparseAttention 主题的前20篇论文

完成爬取后,将所有获取到的内容正确导入到 Viking AI 搜索系统中

看着数据一条条流入系统,小 V 意识到,以前最让他头疼的数据接入问题,居然就这么无声无息地解决了。他不用为每个数据源写单独的接入脚本,也不用第一次导入完就担心下次更新怎么办——从首批数据入库到后续定时抓取的新内容,整个流转都是自动的。

他也完全不需要自己写监控、查日志,想确认链路状态的时候,只要问一句 Agent,就能看到爬虫是不是在正常跑、数据有没有持续同步进来,整个过程透明可控。

复制这句话给 Agent:

“帮我查看当前爬虫任务、Connector 数据接收任务,以及 Viking AI Search 导入任务的状态。”

爬虫调度器在后台稳稳跑着,Connector 的同步游标在慢慢往前走,每一批新爬回来的内容都会被自动送进 Viking AI Search 建好索引。他不用再操心"今天有没有新内容进来"这件事了。

第三步:体验产品

等第一批数据索引完成,小 V 很快就使用 Agent 搭出了属于自己的前沿技术雷达页面。

Viking AI Search 已经把最核心的三种能力都准备好了——个性化推荐、全文语义搜索、多轮智能问答,这三种能力是天然打通的。Agent 只需要基于这三个接口做一层简单的前端封装,就能快速搭出一个能用的业务入口:每天打开能看到按关注方向推荐的新内容,想找特定主题可以直接搜,有疑问还能基于入库内容直接提问。

问答能力尤其让人惊喜。看到推荐里感兴趣的内容,不用自己点进去逐篇读,直接提问就能获得基于全量入库内容的整理回答,系统还会标注参考了哪些来源,既能快速拿到结论,也能点进原文深挖细节,还支持多轮连续追问。

想定向找某个方向的内容时,搜索体验也很顺滑。不管是搜技术关键词、论文标题还是产品名称,都能基于语义理解找到相关内容,而不只是简单的字符串匹配,找资料的效率比翻十几个标签页高太多。

坐在电脑前看着自己的技术雷达真的跑起来——新的论文已经入库,推荐列表里出现了他关心的方向,随便问一个问题都能得到有条理的回答——小 V 还有点没反应过来。

从他在对话框里敲下"我想做一个自己的前沿技术雷达"开始,到装完工具、配好数据源、第一批内容自动同步完成、搜推问三个能力全部能用,满打满算才过了三十分钟。

放在以前,光是搭数据接入、写爬虫、调索引这几件事,可能就要花掉他一整个周末,更别说后续还要维护爬虫、更新数据、接问答能力。而现在,他甚至没怎么敲命令,也没去研究复杂的搜索技术文档,只是把自己想要什么说清楚,整条链路就跑通了。

省流总结

回头看整个过程,小 V 其实没有做什么复杂的开发工作。他既没有从零搭一整套搜推系统,也没有花几周时间写爬虫、调索引、对接模型。

他做的所有事情,就是把自己的需求讲清楚:我想要一个每天自动更新的前沿技术雷达,持续追踪这几个方向的新内容。剩下的事情,Agent 负责把需求落地成实际的爬取和清洗任务,SearchCLI 引导 Agent 走通全流程并通过 Connector 自动完成数据同步,Viking AI Search 在背后承接搜索、推荐、问答的全部核心能力。

这条路最大的价值,不是"什么都不用做",而是把原来分散在各个环节、卡了开发者很久的脏活累活,都整理成了一条顺滑的路径。尤其是数据接入这个最大的门槛被彻底打平之后,你不用再在基础设施上耗几周时间,从想法到一个真正能用、会自己更新的产品入口,只要三十分钟。

立即体验:让关心的内容自动来到你面前

如果你也在做技术资讯聚合、企业知识库、内容推荐、智能客服或开发者工具,想把持续变化的数据变成可搜索、可推荐、可问答的真实体验,不如现在就从 Viking AI Search 和 SearchCLI 开始试一试。

别让每天出现的新线索,停在散落各处的信息源里。

把你真正关心的内容持续接入 Viking AI Search,让新的发现每天主动来到你面前。

跳转微信打开

字节跳动 STE 固件团队亮相 OCP China 2026:从标准化到智能化,构建下一代数据中心固件基础设施

2026年7月14日 12:02

STE 固件团队 2026-07-14 12:02 北京

在 AI 算力规模爆发式增长的今天,服务器固件——这个曾经隐藏在操作系统底层的"隐形基础设施"——正成为决定数据中...

在 AI 算力规模爆发式增长的今天,服务器固件——这个曾经隐藏在操作系统底层的"隐形基础设施"——正成为决定数据中心可靠性、安全性和运维效率的关键变量。

2026 年开放计算中国峰会(OCP China 2026)上,字节跳动 STE 固件团队带来了三场技术分享,覆盖了 XPU 模组标准化接口设计、OpenBMC 平台移植的 Agent 框架、以及 RAS API 标准化三大方向。

如果把万卡级智算集群比作一座城市,那么这三项工作恰好回答了三个递进的问题:如何统一管理城中形形色色的算力设施?如何高效构建承载这些管理能力的固件平台?当规模带来不可避免的故障时,如何快速发现、定位和恢复?——从管理接口标准化到研发效率智能化再到运行可靠性体系化,三者构成了一条完整的技术闭环。

图 1:三项工作技术闭环——"管理—构建—运行"

本文将深度解读这三项工作的技术内核,分享字节跳动在服务器固件领域的工程实践与思考。

一、XPU 模组标准化接口设计:让万卡集群的管理不再是"适配地狱"

分享人:郁雷、孙国新 | 字节跳动 STE 固件团队

1.1 问题背景:智算时代的 XPU 管理之痛

随着大模型训练和推理需求的爆发,数据中心中 XPU(GPU/NPU/加速卡)的部署规模急剧增长。单机 XPU 数量已从 4-8 卡增长到 16-32 卡,万卡级集群成为常态。然而,XPU 规模的爆发只是挑战的一个维度——更深层的问题在于管理的碎片化。

字节跳动固件团队在实际业务中发现了三大核心痛点:

  • 场景复杂:训练、推理、微调等不同业务场景对 XPU 的监控需求各异,难以用一套方案覆盖。

  • 生态分散:不同厂商的 GPU/NPU/XPU 管理接口差异巨大,运维工具需要为每个厂商单独适配。

  • 运维压力:万卡集群需要自动化、标准化的管理手段,但现有接口能力参差不齐,难以支撑规模化运维。

1.2 现状分析:监控能力"百家争鸣"背后的适配成本

团队对主流 XPU 厂商的带外管理能力做了一次系统性的横向对比,结果不容乐观:

监控能力

厂商 A

厂商 B

厂商 C

基础信息(温度/功耗)

支持

支持

支持

网卡监控

支持

支持

支持

光链路监控

支持

不支持

不支持

端口状态(Switch)

支持

不支持

支持

一键日志收集

不支持

支持

支持

固件升级接口

支持

部分支持

不支持

虽然各厂商基本都遵循 Redfish 标准并提供 IPMI 接口,但在具体监控能力和功能完整性上存在显著差异。这意味着,运维工具必须为不同厂商编写不同的解析逻辑,适配成本随厂商数量线性增长。

1.3 解决方案:统一 Redfish 接口层

面对这一挑战,字节跳动提出了"接口与实现解耦"的核心设计理念:机头 BMC 不区分 XPU 型号,统一使用标准化的 Redfish 接口进行管理。

整体架构采用分层设计:

  • 管理通道:Redfish over LAN,作为主通道提供完整的带外管理能力。

  • Sideband 备用通道:I2C,作为底层控制和应急机制,在主通道不可用时提供基础管理能力。

图 2:XPU 统一 Redfish 管理架构

1.4 为什么不是 RDE?

DMTF 提出的 Redfish Device Enablement(RDE)是带外设备管理的行业标准之一,团队在设计方案时对其进行了深入评估:

维度

DMTF RDE 规范

本方案:Redfish XPU 标准

协议

PLDM (MCTP over SMBus/I3C)

Redfish

数据格式

BEJ 二进制编码

JSON 明文

优势

标准化程度高,适合通用设备

实现简单、易于调试,针对 XPU 场景优化

劣势

Schema 不一致,调试困难,带宽受限

需定义 XPU 专用 Schema,社区需共同维护

扩展性

扩展需修改 BEJ 映射,成本高

扩展只需新增 Schema 文件,成本低

运维体验

不同部件内容不一,运维困难

接口统一,运维简单

适用场景

通用 PCIe 设备

专注 XPU 管理

RDE 在 XPU 场景面临如下关键挑战:

  1. Schema 不一致:不同 XPU 厂商实现的 RDE Schema 仍有差异,上层仍需差异化适配。

  2. 调试困难:BEJ 二进制编码导致问题排查效率低下。

  3. 带宽受限:MCTP/SMBus 链路带宽有限,难以满足 XPU 场景下高频采集大量传感器数据的需求。

  4. Schema 缺失:缺乏面向 XPU 特有资源(如 Scale Up Switch、Retimer)的标准 Schema 定义。

RDE 为通用 PCIe 设备管理提供了良好基础,但 XPU 场景需要更聚焦的接口设计。字节跳动的方案选择直接使用 Redfish JSON 明文通信,在可调试性和扩展性上取得明显优势。

1.5 核心接口规范

方案定义了一套覆盖 XPU 全生命周期管理的核心 API:

功能分类

Redfish URI

关键字段

模组 BMC 状态

/redfish/v1

/redfish/v1

StartupState

/redfish/v1/Chassis/{id}/Processors/{xpu_id}

ReadingCelsius, PowerWatts

Switch 端口信息

/redfish/v1/Fabrics/{id}/Switches/{id}/Ports/{id}/Metrics

BadTLPCount

RNIC 信息

/redfish/v1/Chassis/{id}/NetworkAdapters/{id}

LinkStatus

Retimer 信息

/redfish/v1/Chassis/{id}/Retimer/{id}

LinkWidth, LinkSpeed

固件版本

/redfish/v1/UpdateService/FirmwareInventory/{component}

Version

Bundle 升级

/redfish/v1/UpdateService/FirmwareFile

UpdateStatus

一键日志收集

/redfish/v1/Managers/LogService/CollectAllLog

Status

功耗封顶

/redfish/v1/Chassis/{id}/Power

LimitInWatts

多卡互联

/redfish/v1/Systems/{id}/Processors/{xpu_id}

PartitionID

这套接口设计具有良好的可扩展性:新模组只需实现接口集加 OEM 扩展,即可被机头 BMC 统一管理,无需修改上层运维逻辑。

1.6 开放生态与社区路线

字节跳动明确表示,XPU 模组标准化接口设计将走开放、开源社区联合开发的路线,目标是构建开放共赢的 XPU 管理生态。这不仅有利于行业标准化推进,也为 XPU 厂商提供了清晰的接口规范参考。

二、超越代码生成:用 Agent 框架破解 OpenBMC 平台移植难题

分享人:郏春辉 | 字节跳动 STE 固件团队

从管理接口到固件构建:标准化落地的效率瓶颈

第一节介绍的统一 Redfish 接口层,最终要运行在 BMC 固件之上。然而,每一款新的 XPU 模组、每一代新的服务器平台,都意味着 OpenBMC 固件需要重新移植适配。如果平台移植的速度跟不上硬件迭代节奏,再好的标准化接口设计也无法快速落地。字节跳动固件团队面对的下一个挑战,正是如何把 BMC 固件的开发效率提升到与万卡集群部署规模相匹配的水平。

2.1 OpenBMC 平台移植的痛点

OpenBMC 作为开源 BMC 固件项目,已被越来越多的数据中心采用。然而,将 OpenBMC 移植到新硬件平台是一项复杂且重复性高的工程——涉及传感器配置、GPIO 映射、FRU 信息、IPMI 命令、Web UI 适配等大量平台特定代码的编写。

传统的移植流程高度依赖资深工程师的经验积累,存在三个突出问题:

  • 知识传承困难:平台移植知识散落在不同工程师的脑中、代码注释里、历史 commit 中,新人上手周期长。

  • 重复劳动多:每个新平台都要从头配置相似的传感器、GPIO、FRU 等信息,已有的经验难以复用。

  • 质量不可控:依赖人工编写配置,容易出错且难以系统性验证。

2.2 从"代码生成"到"Agent 框架"

字节跳动固件团队没有止步于简单的"AI 辅助代码生成",而是构建了一套面向 OpenBMC 平台移植的 Agent 框架。这个框架的核心思想是:将工程师的经验转化为可执行的知识库,让 AI Agent 基于工具链完成平台移植的全流程。

框架的关键设计包括:

可执行知识库(Executable Knowledge Base)

不同于静态文档,可执行知识库将平台移植知识结构化为 Agent 可直接调用的规则和工具。知识库中的每一条知识都关联了具体的执行逻辑——比如 "NVMe sensor 依赖对应的 I2C 通道,DTS 配置中需要添加 mctp 相关属性" 这样的规则,会被转化为 Agent + CLI 工具链生成的配置。

CLI + Agent 协同

框架采用 CLI 工具与 AI Agent 协同的工作模式:CLI 工具负责确定性的数据读取和配置生成,AI Agent 负责理解需求、决策流程、调用工具和处理异常。这种"工具+Agent"的组合有效降低了 AI 幻觉风险——Agent 的每一步操作都有工具验证,而非纯粹依赖模型推理。

图 3:OpenBMC Agent 框架协同架构

2.3 效果与价值

这套 Agent 框架在实际使用中取得了显著成效:

  • 配置生成速度:完成一个新平台的配置生成仅需不到 1 分钟。

  • 人力成本降低:累计工作量从过去的人月级降低到不到 2 人周。

  • 质量提升:通过工具链的系统性验证,配置一致性显著提高,减少了人为错误。

更重要的是,这个框架展示了 AI 在基础设施工程中的正确用法:不是用 AI 替代工程师,而是将工程师的经验沉淀为可执行的知识资产,通过 Agent 框架实现经验的规模化和自动化复用。

三、构建开放的 RAS API 标准:为高可用数据中心打地基

分享人:龚发强 | 字节跳动 STE 固件团队

从构建到运行:规模化带来的可靠性挑战

当 XPU 管理接口实现了标准化、BMC 固件开发效率大幅提升之后,万卡集群的部署和运维便有了基础保障。但规模本身就是新的风险源——万台设备的集群中,硬件故障不再是"小概率事件"而是"常态"。问题从"如何建设和部署"转向了"当故障不可避免时,如何快速发现、精准定位、高效恢复"。这正是 RAS(可靠性、可用性、可服务性)要回答的问题。

3.1 RAS 标准化的行业迫切性

在传统 CPU 为主的数据中心时代,RAS 能力已相对成熟。但随着异构计算(CPU + GPU + NPU)成为主流,RAS 面临着全新的挑战。

字节跳动固件团队在业务实践中发现,当前行业 RAS 领域存在一个结构性问题:不同厂商使用不同的故障上报方案。

这意味着,当数据中心部署了来自多个厂商的服务器时,运维团队需要对接多套不同的 RAS 接口,故障定位和根因分析的效率严重受限。在万卡级集群中,一个 GPU 故障可能引发训练任务中断,如果不能快速定位和恢复,损失以小时甚至天计。

值得注意的是,这里的"多厂商接口不一致"与第一节中 XPU 管理接口碎片化的问题如出一辙——标准化缺失是贯穿固件生态的结构性痛点,无论管理接口还是故障上报接口都未能幸免。

3.2 推动 RAS API 标准化

为解决这一问题,字节跳动固件团队在 OCP 社区中牵头推动 RAS API 的标准化工作,从需求定义到接口规范设计均发挥了核心驱动作用,引领异构计算故障管理体系的标准化建设。

RAS API 标准化的目标不是重新发明轮子,而是在现有厂商方案之上定义统一的接口层,让上层运维平台可以通过标准化的 API 获取故障信息、触发诊断流程、执行恢复操作,而不必关心底层厂商差异。

3.3 异构计算时代的 RAS 新挑战

异构计算的兴起给 RAS 带来了几个全新命题:

从单节点到跨数据中心

传统 RAS 关注单台服务器的故障检测和恢复。但在 AI 训练场景中,一个训练任务横跨数百甚至数千台服务器,RAS 需要从单节点视角升级到集群甚至数据中心视角——不仅要知道"哪台机器出了什么故障",还要评估"这个故障对正在运行的任务有什么影响,最优的恢复策略是什么"。

从 CPU 中心到异构协同

过去 RAS 以 CPU 为中心,GPU/NPU 等加速卡是"外围设备"。如今 XPU 成为算力主力,RAS 必须覆盖 XPU 的故障检测、错误隔离和恢复,而 XPU 的故障模式与 CPU 有显著差异。

AI 驱动的故障预测

基于历史故障数据和运行时遥测信息,利用 AI 技术进行故障预测,是 RAS 演进的重要方向。标准化的 RAS API 为构建统一的数据采集层提供了基础,使得 AI 故障预测模型可以获取到一致、高质量的训练数据。这与第二节中 Agent 框架的理念遥相呼应——AI 的价值不在于替代人工,而在于将数据转化为可行动的智能决策。

3.4 云系统 RAS 演进路线

字节跳动提出了云系统 RAS 的演进路线,从单节点 RAS 到集群级 RAS,再到跨数据中心的智能 RAS 体系。这条路线的核心思路是:

  1. 标准化先行:协同 OCP 社区推动 RAS API 标准化,统一数据采集和上报接口。

  2. 平台化支撑:构建统一的 RAS 数据平台,汇聚全量故障数据。

  3. 智能化闭环:基于 AI 实现故障预测、自动诊断和智能恢复。

图 4:RAS 演进路线

四、总结与展望

字节跳动 STE 固件团队在 OCP China 2026 上的三场分享,勾勒出了一条清晰的技术路线:

方向

核心命题

关键成果

XPU 标准化接口

解决多厂商 XPU 管理碎片化

统一 Redfish 接口层,社区开放共建

OpenBMC Agent 框架

提升平台移植效率

配置生成 < 1 分钟,工作量降至 < 2 人周

RAS API 标准

统一异构计算故障管理

定义 RAS API 标准,统一异构故障上报接口

图 5:总结与展望

这三项工作并非孤立的技术点,而是沿着"管理—构建—运行"的逻辑自然递进:

  • 管理标准化是起点——XPU 统一 Redfish 接口层解决了"如何管"的问题,让万卡异构集群拥有一致的管理平面。

  • 研发智能化是桥梁——OpenBMC Agent 框架解决了"如何建"的问题,让支撑管理平面的 BMC 固件能够快速、高质量地交付。

  • 运行可靠化是归宿——RAS API 标准化解决了"如何稳"的问题,让规模化运行后的故障能够被快速发现、定位和恢复。

贯穿三者的主线是标准化与智能化:标准化是规模化运维的前提,无论是 XPU 管理接口还是 RAS API,统一标准都是第一步;智能化是效率杠杆,Agent 框架将工程经验转化为可执行的知识资产,AI 故障预测将 RAS 从被动响应推向主动预防。

字节跳动固件团队表示,未来将继续推动 XPU 管理接口和 RAS API 的社区标准化进程,持续完善 OpenBMC Agent 框架的知识库覆盖度和自动化能力。

开放、开源、共建——这不只是口号,而是字节跳动固件团队在 OCP China 2026 上传递的明确信号。在 AI 算力基础设施快速演进的今天,只有行业共同建设标准化的固件生态,才能让数据中心的可靠性和效率真正迈上新台阶。

跳转微信打开

❌