铃阅
❌

普通视图

滴滴开源 HUATUO 在世界互联网大会获奖!(文末有福利)

2026年11月9日 19:58

原创 滴滴开源 2026-11-09 19:58 北京

这一荣誉是对 HUATUO 在技术创新、开源生态建设和产业应用等全方面价值的认可。

近期,以“开源开放共建共享——携手构建网络空间命运共同体”为主题的 2026 年世界互联网大会乌镇峰会落下帷幕,滴滴开源项目 HUATUO(华佗)荣获“直通乌镇”全球互联网大赛开源先锋社区奖。这一荣誉是对 HUATUO 在技术创新、开源生态建设和产业应用等全方面价值的认可,也让滴滴基于真实业务场景沉淀的操作系统可观测技术成果,走上了全球技术交流与产业合作的舞台。

本届大会重点围绕人工智能开源开放的理念与实践开展深入交流。大会开幕式主旨演讲指出,互联网与人工智能等技术加速融合,对经济社会发展产生更为广泛而深刻的影响,并提出要坚持科技赋能,促进技术转移和知识共享,与各国一道打造开放包容、充满活力的数字创新生态。知识共享与开放协作,也正是 HUATUO 持续推进技术开源与产业共建的重要方向。

HUATUO 是由滴滴云平台事业群开源、依托中国计算机学会(CCF)孵化的操作系统内核与 Agent 沙箱全景观测项目。目前,项目已在 20 余家企业部署应用,覆盖互联网、人工智能、AI 芯片、金融等多个行业,并吸引沐曦、华为昇腾、摩尔线程等企业参与开源生态共建。

从滴滴真实业务场景中的技术实践,到开源社区的持续迭代,再到产业伙伴的协同共建与应用落地,HUATUO 正在将内部技术积累转化为开放共享的技术能力,推动开源创新在更广泛的产业场景中持续创造价值。

项目地址:https://github.com/ccfos/huatuo

项目官网:https://huatuo.tech/

互 动 有 礼

评论区聊聊:

你见过最酷的开源工具,或者你还期待HUATUO解锁哪些新能力?

我们将抽取10名读者送出——

【COSCon'26 第十一届中国开源年会】通票(含大礼包)

地点、时间 ➡️杭州 11.14-11.15

往期推荐

点击跳转项目

阅读原文

跳转微信打开

滴滴自动驾驶项目获中国汽车工程学会科学技术奖特等奖

2026年11月5日 19:58

滴滴技术 2026-11-05 19:58 北京

本年度该奖项全国仅评出1项。

近日,在第三十三届中国汽车工程学会年会上,2026年度中国汽车工程学会科学技术奖正式揭晓,滴滴自动驾驶核心参与的“多源数据混合驱动的端到端自动驾驶关键技术及应用”项目,从众多参评成果中脱颖而出,荣获技术发明奖特等奖,本年度该奖项全国仅评出1项。

作为项目主要参与单位,滴滴自动驾驶与清华大学等单位围绕端到端自动驾驶技术开展深度联合攻关。项目提出了“多源数据混合+闭环阶梯训练”的技术路线,创建了先监督预训练、后强化学习的训练范式,形成高安全、高兼容、可泛化的端到端自动驾驶技术体系,有助于提升城市道路场景自动驾驶通行能力。

联合团队打造了“研究-工程-商业”产学研合作新范式,滴滴自动驾驶深度参与技术研发、工程化验证与场景落地工作。联合项目的技术成果已部署于滴滴自动驾驶车队,在广州、北京等示范区域开展落地应用,打通了从基础理论、核心算法到产业化落地的创新链条。

中国汽车工程学会科学技术奖是国内汽车行业最具权威性和影响力的科技奖项之一,技术发明特等奖代表我国汽车工程领域原始创新的顶尖水准,是行业对原创技术价值与产业化贡献的高度肯定。本次获奖,标志着我国在端到端自动驾驶底层核心技术上取得里程碑式突破。滴滴自动驾驶将持续发力L4级自动驾驶前沿创新,携手产学研伙伴,加速推进技术迭代与产业落地,为中国智能网联汽车产业自主高质量发展注入动力。

跳转微信打开

滴滴开源 HelixHarness:让团队AI Coding稳定交付

2026年10月29日 19:58

原创 金融技术 2026-10-29 19:58 北京

本项目已开源,欢迎探讨交流~

一、前言

2025 年,随着大模型技术的持续突破,AI 迎来了新一轮发展热潮。尤其在软件研发领域,AI Coding 正在迅速改变开发者的工作方式。

从最初的代码补全、辅助编程、理解需求、设计方案、甚至执行测试,AI 已经开始参与越来越多的软件研发环节。但在真实的软件工程环境中,开发者需要解决的远不止代码生成,如何让 Coding Agent 理解真实项目、遵循团队规范,并在复杂的工程环境中稳定完成研发任务,滴滴金融技术团队基于内部真实场景的探索实践,正式开源面向团队的 AI Coding Harness - HelixHarness。

项目地址:https://github.com/didi/helixharness

二、背景:从真实工程中淬炼出来的工具

HelixHarness 最早起源于滴滴金融技术团队内部的 OpenHarness 项目。 Helix 意为“螺旋”,象征持续演进、循环迭代与不断向上的成长过程。正如 DNA 双螺旋承载着生命的遗传信息与进化密码,HelixHarness 也希望通过工程知识的持续积累、真实研发实践中的观测与评测反馈,不断优化 AI Coding 的工程化能力,让每个团队都能构建并持续进化属于自己的专属 Harness。

最初,我们也是从个人使用 AI Coding 开始的。借助 Coding Agent,开发者能够更高效地理解代码、完成开发任务。随着 AI Coding 的深入应用,我们开始思考:面对真实工程中复杂的业务知识、技术架构和研发规范,如何让 AI 从提升个人开发效率,进一步走向支撑团队规模化的研发交付?

带着这一思考,我们开始将 AI Coding 引入团队中真实业务研发中, 随着实践的深入,项目逐步从单个团队走向滴滴内部更广泛的推广应用,目前已在公司内部推广至 10 余个部门和团队,累计应用于上百个业务模块。 在企业团队的规模化实践中探索它的能力适用性,也逐渐发现了像“工程化支撑”、“过程可观测”、“能力评测”和“团队适配”等方面的挑战。

  • 工程化支撑不足。 AI 缺乏对项目知识、业务逻辑和工程规范的完整理解,也缺少贯穿需求、开发、验证的统一工作流程,开发者仍需投入大量精力引导 AI。

  • 过程数据不可观测。 AI 开发过程中的工具调用、代码修改和返工路径缺乏有效记录,难以准确分析研发效率与问题根因。

  • 框架迭代缺少评测。 知识、规则、Skills 和工作流持续迭代,但缺乏统一的评测体系,难以客观衡量改进效果。

  • 框架与团队不适配。 不同团队的技术栈、工程规范和研发流程存在差异,通用 Harness 难以直接适配,重复定制成本高、经验复用难。

经历这些实践后,我们逐渐意识到,AI Coding 在企业团队中面临的核心挑战,已经不只是如何让 AI 写出更好的代码,而是如何让 AI 在真实工程环境中,更稳定、更可控、可衡量地完成研发任务。

这也让我们开始重新思考:能不能在现有 Coding Agent 之上,构建一套工程化基础设施,既能让 AI 理解项目、遵循团队规范,又能记录执行过程、评估实际效果,并支持不同团队根据自己的需求持续扩展?

HelixHarness 正是在这样的背景下逐步诞生的。

 HelixHarness 整体架构与工程化能力

三、HelixHarness 的设计和思考

3.1 核心工作流设计

在工程开发场景中,一个需求从理解、方案设计、代码开发到测试验证,往往需要经过多个相互关联的环节,所以我们基于内部真实研发项目的实践经验,将日常研发流程中的关键环节抽象为一套标准化研发命令,贴合项目初始化、需求方案设计、开发执行、结果验证和归档沉淀等阶段。让 Coding Agent 在工程约束下有序完成任务。

通过标准化命令,组织端到端研发工作流

HelixHarness 将研发过程拆解为初始化、方案设计、开发执行和结果归档等阶段,并通过统一命令驱动执行。

通过标准化命令启动工作流

初始化、方案设计、执行开发和归档沉淀

3.2 工程上下文管理:让项目知识成为可复用资产

在真实企业团队的日常研发中,项目知识往往分散在代码仓库、技术文档、工程规范和开发者经验中。这些知识既包括系统架构、模块职责、业务逻辑,也包括代码规范、安全要求和历史设计约束。如果完全依赖开发者在每次对话中补充,不仅增加 AI Coding 的使用成本,也难以保证不同开发者、不同任务之间的一致性。

因此,HelixHarness 将工程上下文进行结构化组织,通过 Knowledge、Harness、Specs、Hooks 四个部分,为 Coding Agent 提供相对完整的工程环境。

通过标准化目录,将工程知识沉淀到项目中

HelixHarness 将工程知识、规范约束、需求契约和检查规则统一组织在项目目录中,与业务代码共同维护。

通过标准化目录结构,让原本分散在文档和个人经验中的工程知识,转变为可管理、可复用、可持续更新的项目资产。

business-project/           业务仓库根目录
├── src/                    业务源码(示例)
├── tests/                  业务测试(示例)
├── config/                 业务配置(示例)
├── docs/                   HelixHarness 上下文与交付工件
│   ├── harness/            工程约束与索引
│   ├── knowledge/          项目知识与索引
│   ├── specs/              需求规格、任务及验证工件
│   └── hooks/              检查规则
└── AGENTS.md               宿主上下文入口

通过四层工程上下文,让知识真正参与 AI Coding

工程知识的结构化存储只是第一步,更重要的是让这些知识能够在 AI Coding 的实际执行过程中发挥作用。

HelixHarness 通过四层工程上下文,将项目知识、工程约束、需求契约与自动化检查机制相结合,并融入从需求分析、方案设计到开发验证的完整工作流。让 Coding Agent 在理解项目的基础上,遵循团队规范,明确开发目标,通过检查保障质量,最终完成交付闭环。

Knowledge、Harness、Specs、Hooks 四层工程上下文

3.3 可观测、评测、自进化

随着团队持续使用框架,会不断积累真实研发过程中的执行数据、问题反馈和工程经验,Knowledge、Rules、Skills、Workflow 等框架能力也需要随之持续优化。这就需要我们是针对 HelixHarness 自身的工程化能力不断进行迭代升级,包括项目知识、工程规范、技能工具和研发工作流等,让框架更好地适应团队的实际研发需求。

这也带来了一个关键问题:每次对 HelixHarness 进行改造升级后,我们如何判断这些改动是否真正有效?是否会引入新的问题?

举 2 个例子来说,例如我们调整某个 Rule,它可能在规范 AI 行为的同时可能引入额外的执行约束;或者我们在框架中新增一个 Skill,虽然可能提升特定场景下的开发效率,却未必适用于其他研发场景。

因此,HelixHarness 希望建立一套基于真实工程数据、面向框架能力升级的可观测、可评测、可持续进化机制,让每一次框架调整都有数据依据、效果验证和风险控制,而不是单纯依赖经验判断。

其整体思路是:

可观测 → 形成假设 → 候选修改→ 统一评测 → 受控采纳 → 持续迭代

可观测、统一评测与持续进化闭环

四、与同类框架的差异

当前,AI Coding 生态中已涌现出丰富的工具与框架。有的项目能提供代码理解、任务规划和工具执行能力;有的项目提供 Skills 和 MCP 等机制支持能力扩展;还有的项目从开发流程和任务规范等方向提供了各自的解决方案。

我们框架的核心定位,是在现有 Coding Agent 的能力基础上,进一步组织真实工程所需的项目知识、团队规范、研发工作流以及验证评测机制。HelixHarness 希望在已有生态基础上,重点解决工程能力如何在团队中统一组织、复用和持续改进的问题。HelixHarness 不仅提供完整的 AI Coding 工程化基础能力,更支持不同企业团队结合自身的业务知识、工程规范和研发流程,持续构建和演进属于自己的专属 Harness。

五、未来规划:构建持续进化生态

HelixHarness 计划分阶段扩展 Agent 支持、开放工作流程配置,并围绕真实企业团队研发场景持续迭代,让框架更好地适配不同团队的开发工具与研发方式。

5.1扩展 Agent 支持

在现有支持的基础上,调研开发者使用的其他 Agent,并推进相应的适配开发,逐步覆盖主流 Agent,让更多团队能够在熟悉的开发工具中使用 HelixHarness。

5.2支持工作流程自定义

针对不同企业团队在研发流程上的差异,提供工作流程顺序的配置能力。团队可以根据自身的流程要求调整工作流,使 HelixHarness 更好地适配企业团队实际的研发过程。

六、写在最后

希望通过这篇介绍,大家对 HelixHarness 的设计思路、核心能力,以及它如何帮助企业团队打造专属 Harness,有了更清晰的认识。如果你的团队正在探索 AI Coding 的落地方式,希望让 AI 更好地理解项目知识、遵循工程规范,并融入日常研发流程,HelixHarness 可以作为一个值得尝试的选择。

也欢迎大家结合自己的业务场景和使用体验,与我们探讨交流。无论是使用中的疑问、希望补充的能力,还是已经验证有效的工程经验,都欢迎分享。期待和更多开发者一起,在真实研发实践中不断完善 HelixHarness,让它更好地服务团队的实际需求。

项目地址:

https://github.com/didi/helixharness

往期推荐

点击阅读原文,跳转项目

阅读原文

跳转微信打开

Agent 缺的不是记忆,是“教训”:causal-memory 的设计与实战

2026年10月15日 19:58

原创 贺璟轩 2026-10-15 19:58 北京

记忆这件事,目标不是让 AI 记住所有事,是让人不必重复所有坑。

一、Agent 的记忆有四个结构性缺陷

用过 AI 编程助手的人对这些场面不陌生:昨天刚踩过的坑,今天换个会话再踩一遍;上周评审否决过的方案,这周原样又提了回来。前两个问题是「忘」,后两个问题是「错」——记错比忘记更麻烦。

缺陷一:上下文压缩会吃掉"当初为什么"。长任务跑到一半,Agent 开始用同样的错误方法反复修同一个 bug。它不是忘了做过什么,是忘了当初为什么那么做、后果是什么。这不是感觉,可以实测:把一段包含因果细节的对话用生产级压缩算法反复压缩,每轮测两类记忆的召回率

图 1 | 压缩 5 轮后,原文里的因果信息只剩 45%(2→3 轮之间断崖式衰退),而因果记忆库一行没丢——它活在上下文窗口之外,压缩算法够不着

缺陷二:踩过的坑换个会话再踩一遍。我们做了一个专门埋重复陷阱的 trap-world 基准:不带因果记忆的系统重复踩坑率 67%,带上之后降到 33%。差别不在模型,在于"决策→结果"有没有被存成能检索的结构。

缺陷三:记忆困在一台机器、一个进程里。Agent 的"经验"存在某个本地目录,换台电脑、换个同事接手,全部归零。团队里"那个坑我踩过"靠口口相传。

缺陷四:记忆自己会劣化,而且没人发现。把"相关"记成"因果"、同一个决策反复记录同一种结局形成回声、失败案例压根没被写下来、互相矛盾的记忆同时排在检索前排——记忆入了库,不等于记忆是对的。这是四个里最难的一个,也是本文后半段的重点。

目前常见的记忆方案主要在解决前三个缺陷。causal-memory 想把四个一起解掉:给 Agent 建一层以「决策 → 结果」因果边为核心、住在上下文窗口之外、并且持续接受体检的记忆系统。

二、相关方向的现状

2025–2026 年,Agent 记忆成了热门方向,学术界和工业界都有不少探索。几条主要路线:

方案 

路线 

核心机制 

mem0(arXiv:2504.19413) 

事实抽取 

从对话动态抽取/整合/检索事实,Mem0g 增加图表示;2026 年转向单遍 ADD-only 抽取 

Zep / Graphiti(arXiv:2501.13956) 

时序知识图谱 

episode → 实体/事实(带双时态有效期)→ 社区摘要三层结构 

Letta / MemGPT(arXiv:2310.08560) 

OS 式内存管理 

LLM 自主管理 core/archival 两级内存,函数调用换入换出 

腾讯 TencentDB Agent Memory(2026-05 开源) 

分层记忆 

L0 原始对话 → L1 原子事实 → L2 场景 → L3 画像逐层蒸馏;符号化短期记忆使 Token 消耗最高降约 61% 

Anthropic memory tool + Dreaming(2026-05 发布) 

上下文外存储 + 后台巩固 

文件系统式记忆 + 定时"做梦"进程重组记忆库;Harvey 报告任务完成量提升 6 倍 

这些路线的重心大多在事实的抽取与召回上,主流基准(LoCoMo、LongMemEval)考的也主要是事实召回——用户的偏好是什么、第几周说过什么。

评测口径的争议也一直存在:Zep 官方曾发文逐条质疑 mem0 的 LoCoMo 成绩(数据集只有 16k–26k token、不测知识更新、评测实现有 role 混淆);社区里也有"benchmark theatre"的说法,各家自报的分数因裁判模型和检索协议不同而难以直接对比。对读者来说,看分数之前先问评测协议,总是没错的。

比分数更要紧的是:这些基准不考"Agent 有没有从失败里学到东西"。学术界更早开始关注这个问题——CLIN(ICLR 2024)让 Agent 从 action→observation→reward 里提炼因果抽象;MemRL(arXiv:2601.03192)指出被动语义匹配容易检索到噪声,解法是给记忆挂 Q-value 做效用排序;HeLa-Mem(ACL 2026)引入 Hebbian 学习,让一起激活的记忆互相增强。

causal-memory 和 HeLa-Mem 的关系顺便说清:HeLa-Mem 做了记忆的「兴奋侧」,causal-memory 补上了「抑制侧」。完整的记忆既要知道"什么导致了什么",也要知道"什么阻止了什么再次发生"。

三、核心设计

3.1 七种边类型:先给因果关系分型

causal-memory 把所有记忆统一成一张图上的七种边,每种边在扩散激活时有不同的传播系数(hippocampus/types.rs 的 spread_coeff):

图 2 | 七种边的扩散系数。

prevented 是唯一的负系数边——生物大脑有兴奋和抑制两种信号,这里把抑制侧补上了

这张词表是因果记忆和事实记忆的分界线。写入时 LLM 必须给每条经验标注关系类型;下游所有因果推演都读它。关键的一条:co_occurrence(共现)专门收留"机制不明、疑似共同原因"的观察——机制没搞清楚的一律记为关联而非因果,链式前向遍历的 SQL 里显式排除它。一条混杂未排除的关联,永远不会以因果预测的身份出现在干预查询结果里。

prevented 是另一端的重头戏。它不是"低分事实",而是负扩散:Agent 即将采取一个曾经避免过事故的动作时,相关节点以负激活出现在召回结果前列,作为显式警告,而不是沉默地排在队尾。实现上有三个细节:

  • 绝对值最大合并。节点激活的合并规则是 abs-max 而不是有符号 max——signed-max 下 −0.126 > 0.0 不成立,负激活永远写不进去。abs-max 让同一节点上 caused(正)和 prevented(负)谁强谁赢。

  • 扇出豁免。经典的 Collins & Loftus 扩散模型要求激活按扇出度分流,但这里只对联想通道(fact / co_occurrence)除扇出,因果家族边不除——否则一条“此操作曾阻止生产事故”的边,仅仅因为节点连接多,警告信号就被稀释掉了。

  • 消融可验证。引擎留了 disable_inhibition() 开关,测试证明:有抑制时“零停机发布”节点以负激活出现(预警生效);关掉抑制后这个节点彻底消失。预警能力确实来自负扩散,不是别的机制顺带实现的。

3.2 海马体引擎:把脑科学翻译成工程组件

引擎不是工程堆叠,是脑科学 × 因果推断 × 系统工程的交叉。人脑海马体不是硬盘,它有精细分工,代码里逐一有对应实现(hippocampus/mod.rs,模块头注释就是映射表):

图 3 | 整体架构:写入门控保证检索池干净,海马体引擎负责扩散激活与离线巩固,SQLite 持久层位于上下文窗外

  • DG(齿状回)→ SimHash 模式分离:128 位 SimHash,hamming ≤ 2 判定近重复。相似经验不重复记录,防止互相污染。

  • CA3 → K-hop 扩散激活:正向 CSR 图(decision→outcome)加反向 CSR 图(归因追溯用),默认衰减 0.7、最深 5 跳;种子激活按 Q 值加权(0.5 + 0.5·Q),被验证好用的经验天然先被点亮。图存储是 CSR + SoA 布局,扩散系数建图时预乘进权重数组;新写入的边走 patch overlay,下次重建时并入。

  • CA1 → 新颖度检测:新记忆写入前先对 decision 文本做内部扩散得到“预测结果”,再和实际 outcome 比相似度,surprise 超过阈值才值得记——意外才是最有价值的经验。混合门控模式下,只有落在边界带的样本才付费调 LLM 做语义级判断。

  • SWR(尖波涟漪)→ 离线巩固:对齐 Anthropic Dreams 的不可变模式——所有变更(LTP 强化 ×1.05 封顶 2.0、LTD 衰减、三重标准 GC:弱且零重放且 30 天休眠)先算成 delta 应用到 clone 上,原图绝不动,附完整审计日志。

3.3 因果三层:顺着 Pearl 的阶梯往上爬

Pearl 的因果阶梯把智能分三级:观察(我看到了 X)、干预(如果做 X 会怎样)、反事实(当时换个做法会怎样)。事实的存取对应第一级,causal-memory 的工具按三级阶梯补齐:

层级 

工具 

实际在算什么 

R1 关联 

search_causal

从已记录的边算 P(outcome|相似决策)

R2 干预 

intervention_query

经验式 do-效应:沿相似历史动作的前向链推演,按 task_tag 分层,带Simpson 悖论警告 

R3 反事实 

counterfactual_query

对比式 A/B:两个候选方案各自的实际结局分布 

图 4 | Pearl 因果阶梯的工程化映射:R1 检索、R2 干预仿真、R3 对比式反事实,逐级上行

反事实这一层值得展开。严格的 Pearl 第三层需要溯因(abduction,基于当时的世界状态做条件化)和机制模型,开放世界里拿不到 SCM 真值——有论文测过(arXiv:2510.01539),强制模型做溯因时分数会掉 25–40 个点。我们的做法是只做工程上能站住的子集:

第一,记录溯因需要的原料。

record_decision 有个 context 参数,记下决策时的环境、约束、关键参数。同样的 task_tag + 同样的 context 指纹 = 同一个世界状态下的不同选择,也就是一次自然实验(存进 decision_forks 表)。设计文档里有句话我很喜欢:"a fork pair is evidence about one world; distributions are evidence about many"——成对证据讲的是同一个世界里的两种选择,比跨世界的统计分布硬得多。所以反事实对比时,fork 兄弟边永远渲染在分布证据前面。

第二,每次反事实判断都记账。

counterfactual_query 每出一个结论(prefer_a / prefer_b / no_difference),就往 pending_predictions 写一条待决预测。等现实发生了——新记录的决策文本匹配上某个待决选项——自动结算对错:押了 X、现实走了 X、结局是好,算押对;现实走了对手、对手翻车了,也算押对;结局 mixed 则不计入分母。

prediction_report 随时给出按方法、按领域分层的准确率仪表盘。反事实判断因此是可证伪的,而不是修辞。

第三,证据不足时明说。

真正的 micro-SCM 估计(noisy-OR + EM 拟合)被刻意推迟:同一个领域内攒够 30 个 fork 对才触发,不够就直接回答"不可识别,降级为对比式"。这比硬给一个漂亮数字强。

R2 干预查询是 Agent 动手前的最后一道安检。一次典型调用长这样:

图 5 | 一次干预预警的完整链路:危险动作触发前向仿真,命中 prevented 负扩散边,输出 DANGER 并引用当初记录的事故教训

这道安检经过了带 ground-truth 的合成世界校准:真危险、真安全、被阻止三类场景 100% 判准;而"被混杂伪装"类在修复前 100% 虚报 DANGER——Agent 会因为一条假因果不敢做正确的事。修复就是把机制不明的观察全部降级为 co_occurrence 并在前向链 SQL 里排除,修复后这类虚警降到 0%,写死为回归守卫。

3.4 记忆归账:结果怎么回流成"下次排前面"

记住了"决策→结果"只是第一步。更难的问题是归账(credit assignment):一堆决策和结果混在一起,谁该为哪个结果负责?被验证有用的经验,下次凭什么排在前面?causal-memory 里有四条归账链路。

第一条,Q-value 贝尔曼回传。睡眠巩固时,被重放验证过的边给两端节点发奖励 r=1.0,跑标准贝尔曼更新 Q ← Q + α·(r + γ·max_Q(邻居) − Q)(α=0.1,γ=0.9)。关键在 γ·max_Q 那一项:结果端的高 Q 会沿因果链回流到父决策——一个决策通向了好结果,它自己的分数也涨。Q 值写回 SQLite 持久化,下次检索时种子激活就是 0.5 + 0.5·Q。一句话:有用的经验下次自动排前,不用人调。

图 6 | 归账回路:验证有用 → Q 值更新并沿链回传 → 持久化 → 下次召回自动排前

第二条,失败显著性。巩固阶段给边打重放分数时,结局明确失败的加 0.5 分、用户反馈来源的加 0.3、别处出现矛盾结局的加 0.2。代码注释里管这个叫 emotional salience——和人脑一样,疼过的记忆更牢。

第三条,影响面归账。每条新决策可以记录 influenced_by——"这个决定受了哪些已有记忆的影响"。等到某条记忆被证伪作废时,系统反查它影响过的所有后续决策,浮出水面供人复查。错误记忆的影响半径是显式的,不是猜的。

第四条,来源分层的时间账。每条边记录发现来源(用户反馈 / LLM 推断 / 时间邻近 / 规则),来源直接决定半衰期档位:用户确认过的经验 90 天半衰期且永不被 GC,LLM 推断的 90 天,纯时间邻近的只剩 7 天。谁说的,决定了这话能活多久。

3.5 写入门控:噪声不进场,检索才干净

很多记忆系统精度不行,锅不在检索,在写入太脏。写入路径有三道闸:原始对话轮次只进审计表 session_logs,永不进检索池;规则过滤分三级——失败必记(40+ 个 error/panic/timeout 标记)、状态变更工具必记、只读工具显式排除,早期版本"每个工具调用都记"曾产出大量 ran cargo build → exit 0 式噪声;最后 LLM 用 130 行的 V3 prompt 提炼五类条目(fact / preference / lesson / event / causal),其中 causal 类用对照 few-shot 严防 caused 和 prevented 混淆——"加了重试之后超时消失"是 PREVENTED 不是 CAUSED。

3.6 检索:每查询临时建索引的反直觉选择

检索是 BM25(k1=1.2, b=0.75)与语义向量(本地 ONNX bge-small,或 HTTP 嵌入,没配置就优雅降级纯 BM25)经 RRF 融合。一个反直觉的选择:每查询临时重建 BM25 索引,不维护全局索引。候选集通常数百到数千条,重建只要微秒,换来的是按 task_tag 过滤后的子语料上 IDF 统计精确——过滤完再算词频,和不过滤直接查全局索引,结果可能完全不同。

四、记忆治理:入库之后,谁保证它是对的

回到开头的缺陷四。记忆入库 ≠ 记忆是对的。提炼模型会犯几种系统性错误:看到"改了 A 之后 B 也变了"就记一条 A→B(可能背后有共同原因 C,这是伪因果);同一个决策反复记录、结局永远相同(记忆在回声,不在跟踪世界);某类任务记下来的几乎全是好结果(失败根本没被写下来);互相矛盾的记忆同时排在检索前排,谁也不提醒谁的存在。

causal-memory 的做法是给引擎加一条治理横切面,核心原则一句话:系统只标注、不静默裁决——所有可疑结构标出来给人审查,记忆库永远不替人删历史。

4.1 五道 refuter:给每条因果边做置信度体检

借鉴 DoWhy 的反证框架,但 Agent 记忆图上跑不了统计检验,于是全部换成图结构检验。每条有效边过 5 道测试,综合打 A–F 级:

# 

Refuter 

检验逻辑 

抓什么 

1 

confounder 

两端邻居集合的 Jaccard 重叠 

真因果边共享上下文;零重叠 = 疑似伪相关 

2 

corroboration 

去掉该边后的替代路径计数 

真关系有冗余证据;孤立单边可疑 

3 

placebo 

随机节点替换源点做可达性测试 

真边有激活特异性;随便换个节点也能到 = 不特异 

4 

backdoor 

公共祖先能否绕过该边到达终点(底层是精确 d-分离判定) 

"A→B"其实被共同原因 C 完全解释 

5 

temporal 

因的 event_time 必须早于果 

果先于因 = 时序上不可能,伪边铁证 

这些阈值不是拍脑袋的,是校准出来的——每个阈值背后都有一次"合成 ground-truth 世界"实验。举两个校准期的真实战例:corroboration 里"无替代路径即判伪"这一支被直接砍掉,因为最小 DAG 链本来就不可冗余,它曾误杀 38% 的真边;backdoor 坚持绝对计数阈值而不是密度归一化,因为稠密图里祖先路径几乎连通所有节点,归一化版本同样误杀 38% 真边。temporal 是唯一近乎零误杀的信号,加入后伪边标记率从 35.7% 提到 64.3%,真边保留率纹丝不动。

4.2 BiasAudit:给记忆库做统计体检

睡眠巩固的第五个阶段是三个纯观测检测器:

  • 极性偏斜:某个领域已知结局 ≥90% 是同一方向(至少 5 个样本)就盖章。13 个样本只有 1 个反对,在公平过程下是约 0.2% 的小概率事件——要么这个领域真的顺,要么失败根本没被记录。

  • 零方差重复:同一决策记录 ≥3 次、结局极性次次相同,自我强化嫌疑。

  • 置信度漂移:最近 20 条边的平均置信度和历史均值偏移 ≥0.15,只报告不盖章——没有单条边该负责,这是提炼模型最近的系统性偏差。

被盖章的边进人类审查队列。检索、衰减、GC 全部刻意忽略这个标记——它和软作废是同一个哲学:系统只标注,不裁决。

4.3 矛盾主动检索:检索结果里的"反方辩友"

search_causal 带 explain=true 时,检索完正信之后主动追加一段矛盾历史:取候选池里排位最高的带极性条目当"当前信念",把极性相反的历史条目以 [contradiction] 标签附上。同一个问题的两面同时摆上台面,"记忆自相矛盾"从沉默风险变成显式信息。

五、评测:自己出一份考卷

公开基准考不了因果能力,所以项目自带了一份考卷 CausalEval:因果图即答案键。先确定性生成类型化 DAG,再由 LLM 把图叙事化成对话,标准答案直接从图结构推导,零人工标注。结果如下图,灰色是同一协议下不带因果结构的事实记忆基线:

图 7 | CausalEval v13 七个维度的自评结果(项目内部基准,仅供参考)。C2 干预、C4 抑制、C7 更新是相对基线提升最多的维度;C6 跨任务迁移是目前最弱的维度

公开的事实召回基准(LoCoMo、LongMemEval-S)我们也跑了对照实验,能到可用水平,但那不是这套系统的主攻方向,具体数据以仓库评测页为准。另外提醒一句:各家基准的裁判模型和检索协议差异很大,这类分数建议都当"自报数据"看待——包括我们自己。

两组更贴近实际价值的实验:压缩存活(图 1 的数据来源,5 次压缩后文本 45%、因果表 100%);trap-world 重复犯错率 33% vs 无记忆对照组 67%。

六、实战:一个真实记忆库的两个多月

评测之外,我自己日常研发的 Agent 一直挂着 causal-memory。下面是这个真实数据库(2026-07-27 至 2026-10-03,只读统计)的全貌:

426 条因果边、817 个记忆节点、2901 条事实、56 条跨任务 meta 边。边的分布:caused 303(71%)、enabled 69(16%)、prevented 52(12%)。有个分布细节值得注意:prevented 类的平均置信度最高(0.815)——"避免事故"的教训被记得最牢,写入时系统也最有把握。

图 8 | 真实记忆库画像:426 条因果边的类型分布(左)与月度增长(右)

复用情况有硬数据:46% 的因果边被召回过 6 次以上。最典型的一条是"GitHub 直连不通时用 git -c http.proxy 走系统代理"——两个月里被复用了 4 次,每次都有新边记录"又复用了同一方案"。被召回最多(19 次)的是一条 Go toolchain 缓存路径的工程细节。

两个我自己印象最深的故事:

“

一次被阻止的生产事故(prevented · 置信度 0.95)

某存储服务多租户改造,Agent 记录下"新二进制先对租户库副本跑漂移验证,确认后再换容器"。副本验证直接暴露了一个迁移 FK bug——避免了生产 9 个租户库全部打不开的事故。修复后全量迁移零失败。

“

"没查记忆,多花 20 分钟"(元教训 · negative)

一次 GitHub 443 端口完全不通,Agent 没有先查因果记忆,手写脚本走 REST API 绕推,多花约 20 分钟;事后发现代理方案在记忆里已经被验证过两次,一行命令就能解决。这条边让我们定下一条纪律:网络/部署类操作前,先 search_causal。

意外也被如实记录过。distill 链路曾经整体失效,查下来是上游模型静默升级,V3 prompt 在新模型上陷入重复循环。这条边以 0.4 的低置信度入库,如实标注"这是负面意外结果",后来直接促成了一条工程纪律:prompt 必须按当前模型重新校准。

也得说实话:这个库同样暴露了短板。写时门控的 session_logs 没启用,Hebbian 共现边只积累了 6 条且权重从没涨过,召回审计功能 9 月才上线、只有 12 条记录,决策分叉表还是空的。机制都落地了,但有几个能力还没攒够有统计意义的实战样本。

七、工程化:一个人也能维护的记忆层

整个系统是 Rust 写的单二进制:MCP server(stdio + Streamable HTTP)、离线 session 提取 CLI(extract / judge / reasoning / distill 四档成本可选)、睡眠巩固、基准 harness,全在一个文件里。几个工程决策值得单独说:

  • git 式快照同步,语义完全自实现。commit 是内容寻址的 sha256 对象,换机器 clone 一次恢复完整上下文,checkout 回滚任意快照;单写者假设下不需要 merge 算法。第一目标不是团队共享,是上下文灾备——Agent 跑到哪,记忆跟到哪。团队共享是自然延伸:多台 AI 工具挂同一个共享远端,纠错状态随 pull 全员对齐,新人一次 clone 继承全组历史。

  • 多租户 HTTP:token 映射租户,每租户独立 SQLite 惰性打开,配置热重载、损坏时 fail-closed。团队级共享记忆中心的部署形态。

  • 可观测性:Prometheus /metrics,/debug/recall 返回每次召回的完整 trace(种子、逐跳摘要、逐结果溯源)。记忆系统的召回过程本身必须可调试。

  • 生态接入:Claude Code / Cursor / Kimi Code / Codex 走 MCP + skill;PyO3 Python 绑定与 17 个 MCP 工具一一对应;另有 Hermes 和 DeepSeek Harness 的原生插件。

  • 测试:HEAD 实测 460+ 个测试,覆盖 16 个设计层的端到端验证;校准 harness(合成 ground-truth 世界)全部开源在仓库里。

八、一个延伸视角:自我改进的地基是记忆

最近 RSI(Recursive Self-Improvement,递归自我改进)的讨论不少:ICLR 2026 开了相关 workshop,工业界和开源社区都有项目在探索让 Agent 越用越强。有个定义比较干净:系统改变自身的持久组件,评估这个改变,再用改进后的流程跑下一轮。

拆开看是三个环节:改持久组件、评估、循环。每个环节都值得问一句。

改哪个组件?按风险和成本排:改权重最贵最险,改自身代码次之,改 prompt、工具策略便宜一些,而改记忆是成本最低、今天就能做的一层——不动模型、不动代码,只让"下次调用时的经验排序"变得更好。causal-memory 的睡眠巩固加 Q 值归账,本质上就是一个记忆层的最小闭环:行动 → 记录结局 → 归账更新排序 → 下次行动用到新排序 → 再记录。循环已经跑起来了,只是改的东西是记忆而不是权重。

评估信号从哪来?每个自改进循环,本质上都在声称"某种评估信号可以替代人类判断",这个信号不能凭空来。causal-memory 里有三样东西在造它:结局极性判定(这次成了还是败了)、Q 值贝尔曼回传(好结果沿因果链给决策加分)、预测账本(反事实判断自动结算准确率)。没有这层归账,"改进"就只是"变化"——系统变了,但没人知道是变好了还是变坏了。

循环怎么不退化?这是最少人提的一点。没有持久记忆的自我改进会原地打转:上一轮改了什么、效果如何,下一轮全忘了,同样的错误改法反复出现;更糟的是回声式劣化——自己产生的记录不断强化自己。第四章的治理机制放在这个语境下再看就有新含义:BiasAudit 的零方差重复检测,防的是"自我改进变成自我重复";置信度漂移检测,防的是"评估信号本身悄悄变质"。

所以 causal-memory 在这件事上的位置,我们放得比较低:它不承诺让 Agent 自己变成更强的模型,只是让 Agent 的每一次"改"都有据可查、有账可算、有坑可避。

九、局限与展望

系统目前还是 alpha(v0.9.3),未竟之事写明白:C6 跨任务迁移只有 20%,跨领域的经验类比还是最难的开放问题;干预查询的准确率基准设计好了还没跑完;缺 7×24 生产环境的长周期验证;Hebbian 共现、决策分叉在真实流量下还没形成规模。

后续有几个明确的方向:把 session 级的快照与恢复补上,让上下文灾备形成闭环(换机器、换工具都能带走完整记忆);从反复成功的决策模式里蒸馏可复用的 skill 文件,从 prevented 边里沉淀"禁止事项";做更主动的记忆保鲜——过期轮换和陈旧度检测,让"这条经验还新吗"成为可查询的属性。企业场景里也有自然的落地处:运维 Agent 的故障复盘记忆(每次处置的 decision→outcome 自动沉淀,同类故障不二次踩坑)、研发团队的共享记忆中心、客服运营里"什么动作曾引发客诉"的抑制性预警。

“

记忆这件事,目标不是让 AI 记住所有事,是让人不必重复所有坑。

参考与链接

  • 项目仓库(Apache-2.0):github.com/JingxuanC/causal-memory

  • mem0:arXiv:2504.19413

  • Zep / Graphiti:arXiv:2501.13956;Zep 对 LoCoMo 评测的质疑:getzep.com/blog(2025-05)

  • MemGPT:arXiv:2310.08560

  • CLIN:arXiv:2310.10134(ICLR 2024)

  • MemRL:arXiv:2601.03192

  • HeLa-Mem:arXiv:2604.16839(ACL 2026)

  • Executable Counterfactuals:arXiv:2510.01539

  • ICLR 2026 Workshop on AI with Recursive Self-Improvement;awesome-rsi 资源库

  • 腾讯 TencentDB Agent Memory:github.com/TencentCloud/TencentDB-Agent-Memory(2026-05 开源)

  • Anthropic:Effective context engineering for AI agents(anthropic.com/engineering);Dreaming(Code with Claude, 2026-05)

  • LoCoMo(ACL 2024)、LongMemEval:arXiv:2410.10813(ICLR 2025)

跳转微信打开

面向 Agent 沙箱的内核全景观测|滴滴开源 CCF 中国开源大会分享回顾

2026年8月31日 19:58

原创 滴滴开源 2026-08-31 19:58 北京

近期,CCF中国开源大会在重庆山城国际会议中心开幕。大会以“渝见开源,数智启新”为主题,围绕泛在操作系统、具身智能、开源供应链安全等前沿方向,为参会者带来了行业技术干货。

大会上,滴滴 HUATUO 华佗开源项目负责人张同浩带来了《面向 Agent 沙箱的内核全景观测》主题分享,介绍 HUATUO 在内核观测、异常捕获和性能分析方面的探索。下面将从 AI 时代的系统观测挑战出发,带大家了解 HUATUO 如何构建面向 Agent 沙箱的内核全景观测能力。

项目地址:https://github.com/ccfos/huatuo

项目官网:https://huatuo.tech/

背景和挑战

云原生时代

  • 容器虚拟化,共享内核,资源混部以及服务网格等技术的引入增加了基础架构的复杂度,间接增加了系统故障定位的复杂度。

  • 在生产实践中,当出现问题时,往往需要进行服务的止损,降级,以及容器的迁移和重建等操作,这些操作导致了故障现场的丢失。然而,线下复现故障往往需要投入大量的人力物力,最后也未必能够复现,即使复现也无法完全保证根因一致。

  • 其次,我们面临的问题更加复杂,之前解决的问题都是周期性,可复现的问题。然而现在面临的问题更加复杂化,从周期性问题已经演进为了间接性,不可复现问题。这些问题存在窗口非常短,触发条件非常苛刻。

  • 面对这些业务痛点,更棘手的问题是当时行业内并没有有效的、观测内核微观异常的工具。

AI 时代

然而到了AI 时代,又新增了很多挑战首先 Agent 沙箱工作负载呈现高并发,资源突发的特点,并且这些工作负载资源画像,很难预测。在 AI 训练场景中,硬件已成为关键资源,任何单点硬件异常都可能拖慢整体训练速度、甚至训练任务失败。

解决方案

面对这些挑战我们的解决方案是什么?

要实现系统故障分析,首先要完成系统可观测,现场可追溯,故障可分析的目标。

  • 如何解决内核版本兼容和稳定性问题?eBPF技术的出现,使得内核可编程,并能够安全的运行用户定制代码。采用 eBPF 可以替换传统的内核模块实现问题分析。eBPF+内核动态追踪技术,可以实现零侵入的、低损耗的、安全的执行观测埋点。

  • 如何解决系统与业务数据串联问题?系统层面和应用层面的数据天然存在隔离,但在故障定位中,必须实现系统层面观测数据与应用业务层面数据的串联,这样才能够真正的定位到故障根因。通过在内核侧感知cgroup创建事件,将容器ID和内核cgroup地址进行关联,所有的内核事件都带上cgroup地址,最后在用户态完成解析关联。

  • 如何实现系统层面的可观测?HUATUO 华佗开源项目综合使用 kprobe、tracepoint、ftrace、perf event 和 eBPF 等动态追踪能力,在不修改业务代码的前提下,从宿主机内核侧获取指标、事件和调用栈,并把能力分成五层:

    • 内核全景指标,通过eBPF实现更加精细化内核指标采集,把“系统慢”定界到具体子系统,如调度,协议栈或者BlockIO等。

    • 异常事件感知,在关键系统的异常路径,慢速路径,常态挂钩。保留内存,调度,网络异常现场,避免故障恢复后证据丢失。

    • 全自动换追踪 AutoTracing, 通过滑动窗口,阈值触发,自动采集火焰图、内核栈、进程和文件快照。这种方式兼顾低损耗与观测深度。

    • 持续性能剖析。在传统火焰图基础之上,增加时间维度,实现对历史时间内热点回溯,解决性能抖动问题。

    • 异构硬件感知。此外该项目也支持 AI 计算场景下的硬件(包括ECC、AER、PCIe、GPU/NPU、RoCE等)故障感知,提升 AI 训练的有效时常。

全栈观测底座

有了上面的顶层设计之后,需要实现具体观测能力。因此,我们实现了全栈观测底座。

全栈观测,全景覆盖

  • 全网络协议栈观测。实现从物理链路、驱动、协议栈到用户态的全链路观测,覆盖收发延迟、硬件与软件层面的丢包检测、报文重传以及 TCP 收发队列状态。

  • I/O 全栈观测。以 inode 为核心,对进程级 I/O 生命周期进行端到端追踪,涵盖 VFS、文件系统、Page Cache、Block Queue、驱动直至物理设备。通过关联丰富的上下文信息,定位 I/O 响应缓慢的根本原因。

  • CPU 争抢检测。在高密度沙箱节点环境中,单纯依赖 CPU 使用率无法有效反映资源争抢状况。HUATUO 关注容器内部争抢和外部争抢(这对 Agent 沙箱尤其关键,因为一个任务的延迟既可能来自自身并发,也可能来自“噪声邻居”):

    • 内部争抢:同一容器内线程数超过可用 CPU;

    • 外部争抢:容器与节点上的其他工作负载竞争 runqueue;

    • 调度延迟:任务已 runnable,却迟迟没有获得 CPU;

  • 通用系统观测。HungTask、Softlockup、IRQ/SoftIRQ 延迟和内存回收共同覆盖了系统级停顿。它们能发现平均利用率无法描述的短时异常,例如某个 CPU 长时间关中断、D 状态任务堆积,或容器直接内存回收阻塞。

异常即捕获,而非事后猜测

指标适合观察趋势,事件更适合保留边界明确的异常现场。HUATUO 将 eBPF 程序挂到内核的异常路径或慢速路径:事件触发时,在内核态收集进程、调用栈、网络或硬件上下文,通过 Perf Event Buffer 交给用户态处理,再执行过滤、容器关联和持久化。

AutoTracing 自动捕获毛刺

很多性能问题既不是清晰的内核异常,也无法靠平均指标复现。例如容器 CPU 突然冲高 10 秒、磁盘 await 连续抖动、匿名内存快速增长,等工程师介入时已经恢复。

AutoTracing 的做法是:实时监测系统异常,通过滑动窗口、EMA、增量阈值或连续超阈判断异常。阈值并不是不可改变的常量:项目提供了生产经验默认值,但在不同 CPU 配额、磁盘介质和任务密度下,仍应根据基线进行校准。

火焰图把“CPU 高”进一步转换成函数和调用路径。左侧 Top Table 适合快速寻找热点符号,右侧火焰图适合分析调用关系。对沙箱节点而言,还可以把目标限制到对应的 VMM PID、线程组或 cgroup,避免全机聚合掩盖单个 Sandbox 的热点。

持续性能剖析,让现场可回溯

AutoTracing 解决“异常时自动抓一次”,持续性能剖析解决“问题在一段时间内如何演进”。传统临时采样把所有数据聚合成一张图,缺少时间线;持续剖析按窗口保留结果,使偶发慢变成可以搜索、对比和回溯的历史现场。HUATUO 的统一 profiler 目前覆盖:

其中 Off-CPU 剖析尤其适合分析“CPU 不高但请求很慢”的问题。它把线程离开 CPU 的时间归因到切出时的调用路径,并区分阻塞等待和 runqueue 调度等待:前者更可能指向 I/O、锁或条件变量,后者更可能指向 CPU 争抢。

原生内存剖析则区分三个经常被混在一起的概念:

  • virtual_alloc:申请了多少虚拟地址空间;

  • physical_alloc:采集窗口内实际分配了多少物理页;

  • physical_usage:采集时仍有多少物理页驻留。

图:物理内存驻留按进程与调用路径聚合,可以从“节点内存高”下钻到具体分配路径。

在单机现场,可以直接使用 CLI:

在平台侧(huatuo-apiserver),Profiling API 可以完成能力查询、创建任务、查看状态和结果、获取原始数据、停止及删除任务。由此,临时命令进一步演进成服务化、任务化的持续剖析平台能力。

从 RAS 到 GPU/NPU

AI 基础设施中,硬件问题并不总以“设备掉线”的方式出现。ECC 可纠正错误持续升高、PCIe 链路降宽、AER 错误、GPU 降频或 RoCE 重试,都可能先表现为吞吐下降或长尾延迟。

HUATUO 通过 Linux RAS 体系中的 MCE、EDAC、ACPI GHES 和 PCIe AER 捕获结构化硬件事件,进入告警与审计链路:

图 3:硬件错误从 CPU、内存、平台和 PCIe 设备进入内核 RAS 子系统。

这套能力主要服务于四类目标:
  • 提前预警:同一 DIMM 的 ECC CE 频率持续升高时,支持提前换件;

  • 故障隔离:GPU、HCA、PCIe 或网卡链路异常时,支持隔离节点和迁移任务;

  • 性能退化定位:把 NVMe/HBA AER 与 I/O 延迟关联,区分软件、设备和链路问题;

  • 审计复盘:保留时间、设备 BDF、严重级别和原始字段,形成可追溯证据。

关键不是增加一批孤立的硬件指标,而是把硬件事件与同一时间窗口内的调度、网络、I/O 和剖析数据关联起来。只有这样,平台才能判断一次 Agent 卡顿到底来自软件调用路径,还是来自底层设备退化。

Agent 沙箱层级关联

探针采集到内核栈之后,仍然要回答“这是谁的现场”。容器环境可以利用 cgroup CSS、网络命名空间和容器运行时元数据完成关联;微虚拟机沙箱还需要补充 Sandbox 与 VMM 的映射。

社区进展

HUATUO 华佗项目于2025年由滴滴公司正式开源,并捐赠给中国计算机学会(CCF),经过持续建设,项目已逐步从滴滴内部的技术实践走向更广泛的开源社区。

截至 2026 年 8 月,HUATUO 已发布 v2.3.0,拥有约 1.1k GitHub Stars、51 位贡献者和 1,310 次提交,镜像拉取量超过 15k,并已在 20 多家企业部署。与此同时,沐曦、华为昇腾社区等也持续向 HUATUO 社区贡献 GPU/NPU 相关能力,推动项目进一步拓展 AI 基础设施场景。

在开源社区建设与技术创新方面,HUATUO 也获得了来自产业与社区的认可。项目入选《CCF-光华青年开源专项基金种子计划重点级项目》,同时进入 CNCF Landscape,并被 eBPF 基金会列为新兴项目。

面向 Agent 和 AI 基础设施,HUATUO 社区也将围绕以下方向持续建设,欢迎更多开发者参与共建:

  • MCP 故障分析:以标准工具接口向 Copilot 和 Agent 暴露诊断能力;

  • 分布式链路分析:把单节点内核现场扩展到跨节点网络和任务链路;

  • AI 场景性能分析:继续深化 GPU/NPU 训练与推理的软硬协同分析。

往期推荐

跳转微信打开

Apache COC Asia 2026|滴滴技术团队的三场专题分享

2026年8月20日 19:58

原创 滴滴开源 2026-08-20 19:58 北京

三场分享覆盖了存储、数据计算与 AI 开源协作等多个技术方向,值得一读。

近日,Apache COC Asia 2026 大会在北京顺利举办。作为 Apache 软件基金会的官方全球系列大会,来自全球各地的开源领袖围绕开源技术实践与发展趋势展开交流。

此次大会中,滴滴技术团队带来三场专题分享,分别聚焦大规模对象存储、开放湖仓和 AI 友好型开源项目,分享滴滴在相关技术领域的架构演进、规模化实践与开源探索。以下为本次大会中滴滴讲师的分享内容回顾:

分享一:《从 HDFS 元数据瓶颈到百 PB 级对象存储:架构演进、性能优化与 EC 落地》

滴滴 Ozone 团队围绕大规模对象存储的架构演进与生产实践展开分享。滴滴大数据存储研发工程师,Apache Ozone and Auron Contributor 魏铭详细介绍了滴滴如何应对 HDFS 在小文件场景下面临的元数据内存、块汇报和 RPC 队列瓶颈,并逐步建设起多集群、千节点、百 PB 容量、百亿文件规模的 Ozone 存储体系。

通过 Ozone Manager 与 Storage Container Manager 分层、RocksDB 元数据管理及 Container 化的数据组织方式,为对象存储、小文件和多租户场景提供更加灵活的扩展能力。

在此基础上,团队进一步分享了多集群治理、元数据读优化和首帧性能提升等关键实践。针对单集群文件数逼近百亿的问题,通过客户端 ViewFS 化实现 Bucket 级路由,将不同业务路径分配到不同 Ozone 集群,使单集群文件数控制在百亿以内;针对读请求集中在 OM Leader 的瓶颈,引入 Follower Read,并结合访问延迟与 appliedIndex 动态选择最优 OM,使 S3G 下载的 GetMetaLatency P90 下降5倍左右。面对 HDD 环境下的首帧延迟与高分位抖动,团队利用 NVMe 缓存 EC Block Group 的首个 Stripe,并从并发锁、后台扫描、数据删除和点对点迁移等方面系统治理 I/O 干扰。

在存储成本方面,滴滴将数据保护方式从三副本逐步迁移至 EC-6-3,使副本率由 3.0 降至约 1.5,释放数百 PB 存储空间。与此同时,团队也解决了 EC 分片删除积压、安全模式判断、管道缓存、反复重构和大规模数据迁移等一系列生产问题,并将相关优化反馈至 Apache Ozone 社区。

这些实践表明,超大规模存储系统的落地不仅依赖架构选型,更需要围绕性能、稳定性、成本和可运维性持续演进,在真实业务挑战与开源社区协作中共同完善技术体系。

分享二:《Evolution to Lakehouse: Cost-Effective Hive Migration and Real-Time Ingestion at Scale》

滴滴实时计算引擎团队负责人、Apache Flink Committer 俞航翔围绕从 Hive 数仓走向开放湖仓的生产演进展开分享,系统介绍了滴滴在 Hive 存量表规模化迁移 Iceberg、实时入湖和表管理方面的实践。随着 Data + AI 场景不断发展,业务对数据新鲜度、可复现和可演进的要求不断提高,同时需要兼容 HDFS、对象存储等不同存储底座,并为多种计算引擎提供统一、开放的数据消费能力。

基于此,滴滴围绕 Iceberg 构建生产级湖仓生态,打通业务开发、数据资产、多引擎计算与表管理等关键链路,并形成覆盖离线与实时链路的标准化迁移闭环。各类计算引擎面向不同场景协同工作,共享 Iceberg 表状态,由 Catalog 层提供统一的发现与治理入口,Amoro 负责独立于前台写入的表维护,将文件压缩、快照过期和孤儿文件清理异步化,并支持横向扩展。

实时接入方面,Kafka、DDMQ 和 PublicLog 链路由 Flink 直接提交 Iceberg Snapshot,下游可由多种引擎消费,在减少冗余存储与计算的同时,提升 ODS 数据新鲜度和链路稳定性。Binlog 入湖方面,相较 Canal 按链路独立部署和采集,Binlog Server 将每个 MySQL 集群的 Binlog 集中采集并服务多个下游,提供统一探活和 DOS 归档回放,降低资源与运维成本;基于 GTID Set 的完整性校验,可精准发现并定位缺失事务。此外,团队还补齐了 Minor/Major Compaction、Metadata Pushdown 和多表异步小文件合并等核心能力。

规模化迁移方面,滴滴将流程沉淀为“扫描、校验、双跑、回放、数据对比、验证、切换、观察、回滚”的标准闭环,并将全链路变更、收益计算、异常分析和审计进一步产品化、自动化。随着实时入湖和 Iceberg 表状态逐步落地,端到端数据新鲜度从小时级进入分钟级,节省了 PB 级存储,计算成本明显下降,也提升了数据就绪的稳定性和可预测性。

下一阶段,滴滴将围绕 Iceberg 夯实表格式演进基础,持续落地低成本、高稳定的实时湖仓,完善跨存储、跨引擎的统一 Catalog 与表运维,并以多引擎协同支撑更多 Data + AI 场景。

分享三:《面向智能体的开源项目演进:Seata 的 AI 友好化实践》

滴滴资深软件研发工程师,Apache Seata PMC 张锋从开源项目与 AI 协作的双重视角,结合滴滴内部 AI 实践和落地经验,介绍了 Seata 面向智能体演进的思考与实践。随着智能体开始参与理解架构、处理 Issue、修改代码、执行测试和提PR,AI Coding 带来的不只是开发效率提升,也让维护者面临上下文缺失、兼容性风险和验证成本上升等新挑战。

分享指出,AI 友好并不等于接受更多 AI 生成代码,而是让项目能够被可靠理解、安全操作,并继续接受开源社区治理。围绕这一目标,Seata 将演进路径划分为“人类可读、机器可检索、智能体可操作、社区治理”四个层次。以 Saga 状态语言为例,分享说明了如何将自然语言描述的业务意图转换为结构化、可验证、可视化、可执行的状态机定义,让模型输出从一段文本变成能够被工程体系检查的交付物。

在知识层建设上,Seata Knowledge Agent 采集文档、代码、API 规范和社区讨论等多源信息,保留知识的来源、版本与时间语义,再由知识编译智能体围绕稳定主题生成可持续演进的规范知识。查询智能体根据具体任务提供包含关键决策、约束条件、未解决问题和来源引用的最小上下文包,并通过证据追溯、问题澄清、差异评审和 Git 历史保障知识可信。

未来,Saga Copilot 将进一步连接业务描述、知识检索、状态机生成、语义校验、流程模拟和可评审变更,逐步形成从理解项目、生成方案到验证贡献的完整闭环。AI 友好最终不是为某一个模型优化项目,而是通过更清晰的知识、更明确的接口、更可靠的验证和更开放的治理,让人类开发者与智能体都能更安全、更高效地参与开源协作。

结语

从百 PB 级对象存储,到开放湖仓体系,再到面向智能体的开源项目演进,三场分享覆盖了存储、数据计算与 AI 开源协作等多个技术方向。技术架构持续演进,开源项目不断创新,社区协作也在新的技术趋势下拓展出更多可能。

未来,滴滴开源将继续参与社区建设,持续沉淀和分享技术实践,与社区开发者共同探索技术边界,推动更多技术成果在开放协作中持续演进。

往期推荐

跳转微信打开

❌