铃阅时讯
❌

普通视图

阶跃与上海期智研究院共建智能体前沿研究院

2026年7月18日 20:55

阶跃StepFun 2026-07-18 20:55 上海

探索 Agent 时代关键命题

7 月 18 日,阶跃星辰与上海期智研究院宣布正式达成合作,双方将共同设立智能体前沿研究院,围绕智能体网络及经济原理、AI Safety 等方向开展联合研究,探索 Agent 时代的基础理论、核心技术、标准体系与产业范式。

上海期智研究院院长姚期智与阶跃星辰董事长、千里科技董事长印奇出席揭牌仪式并共同见证合作。

揭牌仪式上,双方联合提出“智能体时代五大全球新命题”,从行动权利、责任秩序、安全范式、经济基础和人机共生五个维度,回应智能体大规模进入真实世界后,人类社会必须共同面对的基础性问题。

作为长期布局 Agentic AI 的基础大模型公司,阶跃持续推动 AI 从模型能力走向真实世界应用。此次与上海期智研究院共建智能体前沿研究院,将进一步加强学术界与产业界协同创新,加快智能体前沿研究成果走向产业实践,助力构建开放、可信、可持续的智能体产业生态。

面向 Agent 时代,阶跃正式推出 StepStar 顶尖人才计划,在全球范围内招募智能体领域优秀人才。该计划旨在汇聚具有长期视野和原创精神的创新力量,支持研究者围绕智能体领域的前沿问题开展长期探索,推动更多原创思想转化为关键技术与真实应用。

阶跃期待与全球优秀人才一起,突破智能体技术边界,共同定义智能体的未来。

跳转微信打开

WAIC 2026开幕式主论坛 | 印奇:当智能体走进物理世界

2026年7月17日 21:50

阶跃StepFun 2026-07-17 21:50 北京

当智能体进入物理世界,每个人的可能,都将被十倍放大

2026 世界人工智能大会(WAIC 2026)今日开幕。作为全球人工智能领域的顶级盛会,本届大会以“智能伙伴 共创未来”为主题。

阶跃星辰董事长、千里科技董事长印奇作为特邀嘉宾出席大会开幕式并在大会主论坛(上午场)发表主题演讲《当智能体进入物理世界》。

以下为演讲全文——

各位嘉宾、各位朋友:

非常高兴在 WAIC 的开幕式上,和大家一起探讨人工智能技术和产业发展的下个阶段。过去 5 年,AI 快速发展,回看每一次 AI 爆发,都离不开两股力量的结合:超级模型与超级应用。Transformer 大语言模型和 chatbot 聊天机器人的结合,带来了 ChatGPT 时刻;强化学习、推理模型与辅助编程的结合,打开了 AI 编程的巨大机遇。那么,下一波爆发点会是什么?我们看到的一个巨大的可能,就是智能体模型和下一代终端产品的结合。

所以,今天我想分享的主题是:当智能体走进物理世界。

15 年前,我刚刚大学毕业,选择的第一份工作就是成为一名 AI 创业者。15 年后,AI 创业从一个小众赛道变成这个时代全球最大的共识之一。我深感能在这个时代成为一名 AI 创业者,无比幸运。

当今的每一位 AI 研究者和 AI 创业者,都是站在历史巨人的肩膀上。

一边是 70 年来几代 AI 科学家孜孜不倦的探索。不管是符号学派还是连接学派,再到深度学习和大模型。细看整个 AI 技术的发展脉络,都呈现出高度的连续性,同时又具备从量变到质变、如阶跃函数般的跳变性。

另一边,沿着产业和应用的角度,IT 行业、PC 互联网、移动互联网、云计算、半导体、新能源,共同构成了 AI 爆发不可或缺的序章。

2026 年,模型能力跨越了能力的临界点。可以说,我们已经站在 AGI 高峰的山脚下。

5 年前,AI 能连续执行的任务时长仅仅是几秒钟,今天它已经能够独立工作数十小时,而且进步的斜率还在不断增大。我发现其中一个有趣的规律,AI 发展的里程碑似乎总和一个词紧密相关,那就是“语言”。

从早期的图灵测试,机器能否如人类一般掌握自然语言,是衡量智能最重要的标准;后来大语言模型 predict next token 的模式出现,一开始大家认为这不是智能,到后面惊讶的发现这恰恰开启了通往智能的真正大门。

再到 2026 年的关口,AI 已经不光掌握了人类交流的语言,还在人类最重要的智力劳动——编程上快速追赶甚至超越人类。

这可能会成为图灵测试的 2.0 版本:在最重要的语言框架下,机器是否能超越人?下一阶段更关键的问题也将变成,我们如何为 AI 进入物理世界设计一套新的语言体系?哲学家维特根斯坦曾说:“语言的边界,就是世界的边界。”在 AI 的世界里,也似乎遵循这个规律。

无论是从模型技术演进还是产业发展的角度,“智能体”都变成 AI 下一阶段最重要的关键词。回看历史,所有的产品都是某种服务的载体。在信息革命 80 年的时间里,最重要的产品形态,从大型计算机、个人计算机,再到软件、网站、移动应用,接下来可能快速转变成“智能体”这样一种新载体。

智能体,将不仅是一个聊天的机器人,它能感知外部物理世界,理解用户深度记忆和偏好,综合决策和执行,完成用户交予的各项任务。

智能体,正在成为生产力的最小单元。

未来,每个人身边都会有专业智能体:工程师有代码智能体,设计师有创意智能体,研究员有分析智能体……这些智能体,会让一个人拥有一支团队的能力,也让屏幕里的智能真正走进我们的工作和生活。

因此,智能体带来的不是一个单点应用机会,而是三个结构性变化:新系统、新载体、新网络。

第一,是新系统。

过去四十年,每一次计算平台的变化,都伴随着操作系统的变化。PC 时代管理软件,移动时代管理应用,智能体时代则要管理很多能够理解目标、规划路径、调用工具并执行任务的智能体。因此,智能体能做什么,不只取决于模型有多聪明,也取决于操作系统为它打开了多大的能力边界。

因此我提出一个公式:智能体能力 = 模型能力 × 智能体操作系统能力。

如果说模型决定智能体能“想多远”,那么 Agentic OS 决定智能体“走多远”——它连接模型与数据、工具、接口和设备,让智能体不仅能够理解世界,也能够采取行动。这就是智能体原生操作系统,它将成为未来人机交互和产业生态的重要基础设施。

第二,是新载体。

移动互联网时代,终端连接人与数字世界;智能体时代,终端将带着智能走进物理世界。它不再只是等待人的操作,而是能够感知环境、理解情境并采取行动。

这意味着,终端的设计逻辑正在改变:过去,我们围绕人的操作方式设计机器;未来,我们将围绕人与智能的协作方式重新定义终端。

终端的设计理念也将从“以人为本”,进一步走向“人机共生”。

电脑将成为 Agent 工作站,手机将成为随身智能中枢,汽车将成为移动智能空间,机器人将成为人类身边的智能伙伴。更重要的是,这些终端不再彼此孤立。电脑、手机、汽车和机器人,将成为同一个智能体在不同场景下的不同身体。智能可以在多个终端之间连续存在、自由迁移、协同完成任务。

未来的终端竞争,不再只是设备之争,而是谁能让智能体更好地感知环境、采取行动,真正进入物理世界。

第三,是新网络。

互联网时代,连接的是人、信息和服务;智能体时代,我们将还将连接能够理解目标、调度资源、协同工作的智能体。这就是 A2A 网络。

从产业视角看,这不仅一种通信协议,更是一张由 Agent 和人类共同构成的人机共生价值网络。未来,数十亿人、数百亿设备和智能体,都可能成为其中的节点,形成一个规模更大、协作效率更高的新型网络。

对创业者而言,这意味着新的产业机会:智能体会有自己的身份和信用。人们可以找到它、了解它擅长什么、把任务交给它,也可以根据它的表现付费、评价,以及与它合作。

当智能体能够自主寻找伙伴、组织协作、完成交易,A2A 就不再只是技术协议,而将成为智能体经济的基础设施。

但也正因为智能体正在进入组织、网络、设备和真实世界,我们必须看到:人机共生带来的,不只是能力跃迁,更是秩序重构。

当智能体开始代表人行动,我们必须回答三个问题:

    • 它可以代表谁行动?

    • 行动产生后果,谁来负责?

    • 当它连接数据、设备和真实环境,怎样确保身份可信、权限可控、行为可追溯?

过去,我们更多是在科幻作品中思考这些命题。今天,随着智能体走进现实,它们正成为必须真正面对的问题。

为此,阶跃正与图灵奖得主姚期智先生领衔的上海期智研究院开展前沿研究。我们也期待与全球专家学者一道,探索智能体时代新的技术体系、治理机制与社会契约。作为年轻一代 AI 创业者,我们既是这场技术浪潮的参与者和受益者,也是下一阶段秩序的共同建设者。我们有机会把智能从屏幕带入真实世界,也有责任让它更可信、更安全、更普惠,成为人类长期的伙伴。

Agent 时代最大的意义,不是替代人,而是放大人。它正在孕育新一代 AI Native 建设者,也催生新一代 AI Native 组织。

AI Native,不只是会用 AI,而是从第一天起,就把 AI 写进产品、系统和组织的基因里。对个人,它让一个人拥有一支团队的能力;对创业者,它意味着创造新产品、新组织,甚至一个全新的产业。

每一次技术革命,都会催生新一代伟大的企业。我们相信,人工智能时代的超级建设者,也一定会从 AI Native 组织中诞生,并由他们参与书写下一段产业历史。

最后,我想回到阶跃最朴素的使命:智能阶跃,十倍每个人的可能。

我相信,未来不是机器替代人的世界,而是人与智能共同进化的世界。

在 AI 行业的 15 年里,我觉得最有意思的地方是:技术还年轻,产业还年轻,很多问题还没有标准答案。大家不是在一条已经铺好的路上竞速,而是在一起把这条路修出来。

因此,我们这一代 AI 创业者要做的不只是创造更强的模型,更要让智能走进真实世界,成为每个人都能使用、都能信任的力量。

当智能体进入物理世界,每个人的可能,都将被十倍放大。

谢谢大家。

跳转微信打开

Wan-Streamer v0.2:响应延迟仅550ms,让 AI 真正与你"面对面"

2026年7月17日 15:14

原创 通义实验室 2026-07-17 15:14 浙江

实时互动,丝滑连麦~

和 AI 打视频电话,卡顿、延迟、声画不同步,是常态。

这本质上就是“语音识别 ➡️ 大模型 ➡️ 语音合成 ➡️ 动画驱动”的流水线拼装。环节越多,延迟越高,割裂感越强。

但真正的自然交流,应该像和朋友打视频一样自然:没有卡顿,没有等待。

它能实时读懂你的微表情,像真人一样点头、做手势,让声音、唇形与神态在毫秒间完美同步。

最新发布的 Wan-Streamer v0.2 让这成为现实。

一分钟认识 Wan-Streamer

它是面向实时双工交互的端到端全模态理解与生成模型,把“听、看、说、演”统一进单个 Transformer 中,让 AI 像真人一样边听、边看、边回应。

  • 极致低延迟:端到端响应延迟 550ms(200ms模型延迟 + 350ms网络延迟),

  • 画质增强:输出分辨率从 v0.1 的 192×336 提升至 640×368 @ 25FPS,微表情场景细节清晰可见;

  • 全模态端到端:原生支持文本、音频、视频的实时理解与同步生成,无需外部模块拼装。

我们对比了市面上主流的实时交互系统。在响应延迟上,Wan-Streamer 的端到端交互延迟在 0.55s 左右(含网络传输),显著快于常见的实时语音对话模型。

在功能覆盖上,Wan-Streamer 同时具备了视频感知、视频输出、全双工交互、端到端架构且响应延迟控制在1秒内。

架构重构:从“流水线”到“原生因果流”

传统的实时数字人系统,底层通常是级联流水线。

“

举个例子:当你说一句话,系统需要等语音转成文字,大模型生成文本回复,再合成语音,最后驱动数字人张嘴。这个过程不仅要等待,而且各个模块独立运行,容易出现声音和嘴型对不上、表情僵硬的问题。

”

Wan-Streamer 将用户的文本、音频、视频输入,与智能体的输出,统一映射到同一条因果时间线(Causal Timeline) 上。

模型无需等待“一整段话”说完,而是引入了流式单元(Streaming Unit) 的概念。大约每160ms就会完成一次完整的闭环:

  • 感知当前 160ms 的用户音视频输入;

  • 更新共享的交互状态与上下文;

  • 生成同步的语音和视频 Latent(潜变量);

  • 解码并输出上一单元的音视频响应。

这意味着,AI 不需要等你说完再想,而是在你说话的每一小段时间里,同步完成“感知 ➡️ 理解 ➡️ 生成 ➡️ 解码”。这种原生流式的建模方式,是实现极低延迟与全双工交互的基础。

从 v0.1 到 v0.2:画质跃升与“场景锚定”

v0.1 验证了端到端原生流式音视频对话的可行性,但 192×336 的分辨率在视觉上局限于近景特写(Close-up),主要聚焦于面部和嘴型。

v0.2 将输出分辨率大幅提升至640×368。这不仅仅是像素的增加,更带来了视觉构图与应用场景的质变。

AI 不再只是一个“悬浮的头部”。在 v0.2 的画面中,你可以清晰看到它的视线方向、身体姿态、自然的手势动作,甚至它面前的桌子和周围的房间布局。

技术解密:Thinker-Performer 双通路与 Ulysses 并行

分辨率的大幅提升,意味着视频 Latent 生成的计算量显著增加。如果将这些计算任务放在原有的低延迟通路中,200ms 的模型侧延迟底线将被突破。

如何在提升画质的同时,不增加用户可感知的延迟?

Wan-Streamer v0.2将模型拆分为两条并行通路,在物理硬件上进行解耦:

思考者:单卡快车道

Thinker 部署在单张 GPU上,负责所有对延迟敏感的任务:流式音视频感知、语言与状态更新、构建 K/V 缓存(让模型记住上下文),以及音频解码。 

它就像对话中的“大脑”,负责快速听懂你的话、记住上下文,并立刻组织语言,保证 200ms 的极低响应。

执行者:多卡 Ulysses 并行

640×368 的高分辨率视频生成计算量极大。在 Wan-Streamer v0.2 中,Performer 被扩展为一个多 GPU 的 Ulysses 式上下文并行集群,专门承担这部分重载计算。 

它就像幕后的“渲染团队”。因为高清画面计算量大,系统采用 Ulysses 序列并行机制,将长视频序列切分给多张显卡分工合作、并行去噪。(注:由于音频 Latent 序列较短,切分反而会增加通信开销,因此音频生成不进行序列切分,直接计算)。

时序重叠

更关键的设计在于时序调度。单卡 Thinker 的工作窗口与多卡 Performer 的计算窗口是重叠的。 当 Performer 集群在后台处理当前帧的高清视频 Latent 时,Thinker 已经在处理下一帧的用户输入,并解码上一帧的音频。

通过这种“快慢分工、时序重叠”的架构,v0.2 将额外的视觉生成成本从延迟敏感路径中剥离。在包含 350ms 双向网络预算的情况下,总远程交互延迟依然保持在约 550ms。

Wan-Streamer v0.2  延迟保持部署拓扑时序图

万物皆可对话:想象力才是唯一边界

只要能用自然语言描述,Wan-Streamer 就能在虚拟世界里把那个"角色"实时呈现出来,和你面对面交流。没有预设剧本,没有固定角色库——你的想象力就是唯一的边界。

你可以和秦始皇聊统一六国,听李白即兴吟诗、让蒙娜丽莎开口说话,和清明上河图里的路人聊聊宋朝生活,还能问问你家猫主子整天都在想什么......

基于这种高度自由的角色生成能力,Wan-Streamer 典型的应用场景包括:

  • 视频通话式 AI 助手:打开摄像头即可面对面交流,适用于口语陪练、面试模拟、心理咨询等需要“在场感”的场景。

  • 场景化陪伴与教育:AI 老师可以通过画面“看着”学生的表情判断理解程度;AI 可以在厨房里实时指导做菜的步骤。

  • 沉浸式游戏 NPC:游戏中的角色可以拥有表情、肢体语言和实时反应,与玩家进行真正的“面对面”对话。

  • 无障碍交互:为听障用户实时生成带精确唇语和手势的视频回应;为视障用户实时描述摄像头捕捉到的周围环境。

让 AI 能够自然地参与实时对话,需要它真正理解用户的话语、读懂表情,并在几百毫秒内给出综合反应。

Wan-Streamer v0.2 是我们在这一方向上的持续探索:通过原生流式架构与分布式推理拓扑,在单一模型的交互循环中同时完成理解与生成,让 AI 的沟通方式进一步逼近真人。

这是一条长期的研究路线,我们将持续迭代 Wan-Streamer,敬请期待。

推荐内容

Qwen-Audio-3.0-Realtime 如何让语音交互“懂倾听,更聪明”?

跳转微信打开

AI专栏 | Demo 跑通了,上线就翻车?Java Agent 生产的那些坑,我们帮你填了

2026年7月17日 11:50

原创 Cris/小蜗牛 2026-07-17 11:50 上海

一个 Harness,把 Java Agent 从 Demo 拉到生产

作者简介

Cris Yang,携程资深后端开发工程师,关注AI原理探索与Agent构建。

奋斗的小蜗牛,开源项目 SnailJob / SnailAi 作者。专注于系统架构、分布式设计、高性能系统与 AI Agent 技术探索。

导读:Java 团队做 Agent,不缺模型接入方案,缺的是让 Agent 稳定跑在生产里的运行时能力。记忆漂移、大报文击穿上下文、推理不可复盘、工具变更要发版——这些问题现有框架不兜底。Spring-Ai-Trip 在 Spring AI 上叠加了一层 Harness,用渐进压缩、Spill 溢出保护、认知可观测等机制,填平 Demo 到生产之间的鸿沟。如果你也在 Java 侧做 Agent,也在被这些“Demo 跑通了,上线就翻车”的问题反复折磨,这篇文章或许能帮你少踩几个坑。

一、Java 侧做 Agent,我们到底缺什么

二、设计哲学:我们如何看待 Agent 运行时

三、系统架构:Spring-Ai-Trip 的全景视图

四、短期记忆:渐进式压缩

五、可观测性:Span + Event 树

六、Spill:大结果的溢出保护

七、能力供给:填平 Skill 的空白 + MCP 热插拔

八、并行工具调用:能同时做的事,别排队

九、端到端实战:一次排障会话,把所有机制串起来

十、Roadmap:我们还在往哪走

一、Java 侧做 Agent,我们到底缺什么

过去两年,Agent 生态的语言分布很偏——Python、TS 那边百花齐放,Java 这边一直不温不火。LangChain4j 和 Spring AI 把接入大模型这件事做得挺到位,后来的 Spring AI Alibaba、AgentScope Java 又在编排和多 Agent 协作方向补上了部分能力。但真正在生产里做过 Java 侧 Agent 的团队,大概率都踩过下面这三个问题:

  • 技术栈错配:国内后端团队的技术栈基本以 Java 为主,用 Python 独立搭建服务会带来跨语言 RPC 调用,同时需要维护两套可观测体系、两套配置中心,让整队人转去写 Python 也不现实。他们要的不是能用 Python 跑的 Agent,而是"能用 Java 写、能长在现有业务代码旁边"的 Agent。

  • 企业级治理断层:多数开源框架只做到能跑起来:调通模型、跑通工具。至于链路追踪、配置中心、限流熔断、审计合规、灰度发布——大多要业务方自己接。

  • 运行时空白:即便选了 Java 方案,现有框架也基本只做到能调通大模型。而生产化真正的难点在运行时:短期记忆怎么管、单次工具返回的 5 万字报文怎么处理、错误结论的推理过程怎么回溯、工具怎么在不重启的情况下加减、并发工具调用怎么保证一致性——这些几乎没有框架给你兜。

会调大模型,只是拿到了入场券;让 Agent 稳定、可控、可解释地跑在生产里,才是真正难的部分。

现有 Java 方案审视

Spring AI把接入大模型这件事做得很轻,统一的模型抽象、Advisor 拦截链、Tool Calling 注解对 Java 工程师很友好。但也就到接入这一步:ChatMemory 只有滑动窗口这类基础实现,工具返回值直接进上下文、没有溢出保护,Observation 只覆盖到"调用发生了"这一层,工具注册是启动期静态的,会话生命周期没有作用域概念。

Spring AI 是模型抽象层,不是Agent 运行时。它给你一辆能开的车,但生产化需要的变速箱、ABS、行车电脑,得自己造。

Spring AI Alibaba走得更远,Graph 编排、Nacos 集成、DashScope 生态、Studio 工具链。我们没选它:一来我们已经在用 QConfig、CAT、内部 MCP 网关,换 Nacos 这套等于把现有基建全部替掉;二来它的重点在编排,我们头疼的是单个 Agent 内部怎么更稳定的运行。

AgentScope Java出现得晚,但布局铺得比较全:不可变消息、@Tool 注解、A2A / MCP 双协议、Reactor 非阻塞,适合新起项目。它和我们的场景不一样:它是一站式开发平台,我们是往已有 Spring Boot 服务里嵌的一层。后文会把它拿来做对照。

Spring AI 之外这块空白,大到值得单独做一层。我们将该中间层叫做 Spring-Ai-Trip,作为挂载在 Spring AI 与业务 Agent 之间的Harness。

二、设计哲学:我们如何看待 Agent 运行时

在讲机制之前,先把心法交代清楚,后面所有具体设计,都是这四条原则的推论。

2.1 叠加,而不是替代(Additive over Replacement)

不重造 Spring AI 的轮子,所有能力以 Advisor / ToolCallback / Observation 的方式挂到它上面。业务方随时可以只用 Spring AI 原生能力,也随时可以按需开启我们的能力项。

2.2 读写分离,把复杂度推后(Lazy Compaction)

写入路径永远简单快速——毫秒级落库,零加工。所有 Agent 决策(压缩、预算判断、锚定、修复)都推迟到注入模型的那一刻再做。原始数据永远完整保留在库里,复盘、审计、回放随时可查。

2.3 信息不丢弃,只降级(Progressive Degradation)

面对上下文压力,信息从高精度原文渐进降级到高密度摘要,而不是断崖式截断,也不是被打散成检索碎片。我们要的是斜坡,即保留连续的、可读的、只是密度不同的一份历史。

2.4 默认安全,业务无感(Safe by Default)

异常路径的清理、并发下的一致性、工具下线的安全窗口、进程重启后的会话续接,这些脏活都由框架在业务背后处理干净。

三、系统架构:Spring-Ai-Trip 的全景视图

3.1 整体架构图

3.2 核心数据流

一次 agent调用穿过 Harness 的完整路径,大致是这样:

四、短期记忆:渐进式压缩

Agent 的短期记忆决定了它是能连续作战的助手,还是每轮从零开始的无状态函数。没有记忆的 Agent 本质上是 f(当前输入) → 输出,会在三个层面断裂:

  • 对话连续性断裂:第 1 轮说"处理订单 ORD-2024-001",第 5 轮问"进展怎样了"——Agent 已经不记得订单号

  • 决策链断裂:中间环节丢失,无法基于已有结论继续推进

  • 行动链断裂:早期工具返回消失,可能重复调用或跳过步骤

记忆不是 Agent 的附加功能,而是 Agent 区别于 API wrapper 的本质特征。

4.1 通行做法的结构性缺陷

上下文窗口是固定的,对话越长越满,必须淘汰一些内容。核心问题是淘汰标准:按什么规则丢、丢完之后关键信息还在不在。

滑动窗口——Spring AI 的 MessageWindowChatMemory、LangChain 的 ConversationBufferWindowMemory 都是这个路子:保留最近 N 条消息,超出从队头丢。它用位置作为唯一淘汰标准,可信息的价值根本不由时间决定——用户第 1 轮说的"帮我处理订单 ORD-2024-001 的退款",可能比第 19 轮那句"嗯"重要一万倍。到第 21 轮,窗口一滑,最初的目标被无声丢弃,于是 Agent 开始目标漂移:越聊越偏,或者每一轮都在重新猜用户到底想要啥。

RAG 检索——把历史向量化,用时再捞。它擅长跨文档知识检索,但用作会话记忆有个硬伤:它按语义相似度捞相关片段,却感知不到时序,也拼不出对话的整体画像——Agent 知道自己某次查过订单,却不知道整个任务进展到哪一步了。

看清了这些,我们的设计哲学其实就一句话:

永远不丢弃任何信息;注入模型时,按信息价值的衰减曲线,渐进地压缩。

"渐进"是关键词。信息不是在某个边界突然消失,也不是被打散成碎片,而是连续、分级地从高精度原文过渡到高密度摘要。

在思考这套渐进压缩具体怎么做时,Claude Code 的四层上下文管理机制给了我们很大启发——我们借鉴了其中三条核心思想:信息不应被断崖式截断、摘要应该结构化而不是"总结一下"、压缩之后需要显式恢复。但不能直接照搬:Claude Code 是单机 CLI,单进程持有会话状态、SM 文件写本地磁盘;我们是分布式服务端,多实例无粘性会话、要跨实例续接、要接多家模型厂商——这些差异决定了我们最终落地的形态和它不同。

4.2 三层防御体系

第一层:完整持久化。所有消息逐条落库,只追加、不删除。

这一层还带来一个容易被忽视、却极其关键的设计——读写分离。写入永远只是简单的一次落库,毫秒级,零压缩开销;所有压缩都只发生在读取、注入模型的那一刻。原始数据一条都不少地躺在库里,复盘、审计、回放随时可查。这一步还顺带解决了服务端才需要面对的跨实例会话续接:任何实例接过 sessionId,都能从库里拿到完整历史 + 摘要,不依赖任何本地状态。

第二层:工具结果微压缩。这是一个纯内存计算、完全不调用大模型的轻量回收。它的核心洞察是:一次工具调用的返回值,价值衰减得极快。一个 3000 token 的订单查询结果,在 Agent 已经据此告诉用户"订单已发货"之后,那 3000 token 的原始 JSON 就不再需要了——留下"我查过了,已发货"这个事实就够了。

    压缩前(约 3000 tokens):

      [工具] query_order → {"status":200,"body":{"orderId":"...","items":[...大量数据...]}}




    压缩后(约 10 tokens):

      [工具] query_order → "[旧工具结果已清理,可按 evidence-id=e7f3a 回查]"


    一些打磨得比较细的点: 以完结轮次为原子单位——工具调用链可能横跨好几条消息,只有当整轮真正结束了其中的结果才有资格被回收,绝不切断正在进行的调用链;按工具分策略——不同工具挂不同压缩规则,关键操作永不压缩、查询结果过期即清

    替换文本带证据指针——清理后的占位符里带一个指向持久化层的 evidence-id,排障时需要还原当时看到了什么,直接按指针回查即可,和后面讲的可观测性打通,原始工具返回并没有真的消失,只是从注入模型的上下文里退场。一次 20 轮工具调用的对话,光微压缩就能释放约 5 万 token。

    第三层:LLM 结构化摘要。 当微压缩之后仍然超预算,才动用大模型,把早期对话折叠成一份结构化摘要。注意,这不是让模型随便总结一下,而是按一个固定的九段式模板来写,并且给每一段排了优先级:

    这个设计直接命中前面说的目标漂移:User Intent 和 Current State 被显式地、结构化地锚定在摘要里,无论压缩多少轮,Agent 始终清楚"用户要什么"和"我做到哪了"。token 实在不够时,先从 P3 往下砍,P0 段落死保。摘要以 <system-reminder> 标签包住、作为一条历史消息注入,插在近期原文之前,既压缩了信息量,又最大限度保住了会话连贯。

    对话再长呢?摘要之上还能再做摘要。当已有一份摘要、又积累了一批新对话,框架会以合并更新的方式做增量摘要——在旧摘要基础上更新各段,而不是从头重写。于是摘要的质量随对话深度线性提升,而不是反复推倒重来。

    顺带对照一下 AgentScope Java 的思路:它的短期记忆走标准的消息容器

    ( InMemoryMemory ),长期记忆则通过 LongTermMemory 接口委托给 ReMe / Mem0 /阿里百炼等外部服务——重心是"记忆服务的对接"。回到"单会话内不忘事"这个问题上,它的重心不在这里;我们更像在做"记忆的注入形态"。两种取向没有对错,解决的是不同层次的问题,甚至可以叠加。

    4.3 悬空调用修复:服务端才会踩到的坑

    还有一个真实生产才会踩到的坑:服务中断。假如一轮工具调用刚发出、结果还没回来,进程就重启了,库里就留下了一个悬空的工具调用——这违反了大模型 API 的消息协议,下次直接报错。框架在加载历史时会自动检测并修复这种残缺,把违规的悬空消息剔除干净,让会话能安全地接着跑。这类"脏活",正是分布式 Harness 该替业务扛下来的。

    4.4 动态预算:为什么固定配额会翻车

    那么,超不超预算这条线,到底谁来划?

    给历史消息分配固定配额(比如窗口的 80% 留给历史)这个想法,建立在一个错误假设上——prompt 里除历史之外的部分是稳定的。它一点都不稳定:系统提示词(从几十到三千多 token)、工具 Schema(20 个工具轻松过万)、当前用户输入(一句"好"是 1 token,粘贴一份日志是几千 token)——固定比例要么太保守、要么一遇工具增多就溢出。

    正确的算法不是"取窗口的某个比例",而是"窗口减去所有已知固定开销之后,剩下多少给历史"

      有效窗口   = 上下文窗口 − 预留输出(默认 8000) − 安全缓冲(默认 3000)

      固定开销   = 系统提示词 + 工具 Schema + 当前输入

      历史预算   = 有效窗口 − 固定开销

      预估总量   = 固定开销 + 摘要 tokens + 历史 tokens

      触发压缩   ⇔  预估总量 > 有效窗口 × 阈值(默认 0.90)


      关键在"先扣后算":不可压缩的输出预留和安全余量先扣掉,固定开销再扣掉,剩下的才是历史的真实空间;判断是否压缩时,摘要本身也占地方,必须算进去。所有 token 数由一个本地近似估算器算出——英文约 4 字符 1 token、中文约 2 字符 1 token、JSON 上浮 15%——不调用远程 tokenizer,靠 10% 的阈值余量兜住估算误差。

      五、可观测性:Span + Event 树

      Agent 的故障模式和传统服务根本不同:没有异常堆栈,没有错误码,服务运行一切正常——只是推理方向偏了。传统 APM 能覆盖调用链路和耗时分布,但覆盖不到推理层:模型在哪一步、基于什么证据、做出了什么判断,这些信息在现有监控体系里是缺失的。

      5.1 一个真实的排障案例

      用户问:"帮我看看为什么昨天下午订单转化率跌了。"Agent 调了几个工具,最后回答:"经查,是支付网关超时率上升导致的转化率下跌,建议排查支付链路。"

      结论有零有整,业务方信了,排查支付链路一整天,结果发现支付一切正常。

      问题到底出在哪?如果没有可观测性,你只能靠猜。而当你能把这次会话完整回放出来,真相一目了然:

      真相浮出水面:那个查超时率的工具,数据只覆盖到中午 12 点,而下跌发生在下午两点后。模型拿到的是一份残缺数据,却把"上午的上升趋势"错误外推成了"下午的根因"。

      错误不在模型笨,而在于它拿到的证据本身有问题,且没人能看见这个断裂。有了完整的 Span + Event 回放,你一眼就能锁定:不是模型的锅,是那个工具的数据覆盖范围有问题,去修工具,而不是去调提示词。

      5.2 认知可观测 vs 传统监控

      这就是认知可观测性和传统监控的根本区别:它记录的不只是调用发生了,而是模型基于什么证据、做出了什么推理、得到了什么结论。

      我们把一次 Agent 执行,建模成一棵由Span和 Event 组成的树:

      • Span 是有始有终、可嵌套的执行区间:一次会话套着多轮对话,每轮里有模型调用和工具调用。它天然还原了 Agent "思考—行动—再思考"的递归结构。

      • Event是 Span 内部的关键瞬间:模型的思维链、最终回复、工具的入参与出参、以及错误。

      尤其是 Thinking 事件——模型的思维链被显式捕获下来。上面那个例子里,正是第 3 轮那句"有上升趋势 → 大概率是它导致的",暴露了模型的推理跳跃。没有它,你永远只能对着一个错误结论干瞪眼。

      5.3 可观测性后台

      那么,如何让这些认知层的可观测事件——思维链、证据链、工具入参出参、token 消耗、错误现场——被开发者直观地感受到呢?一个好用的可视化后台同样必不可少。为此,我们把整棵 Span + Event 树做成了一个专门服务于 Agent 开发的可视化平台。

      通过它,开发者可以按会话回放 Agent 的每一次执行,把模型看到的"有效上下文""每一步的思维链""工具的入参与出参""token 与耗时的分布""异常事件的现场"一并摊在同一个视图里。最终答案只是结果,Trace 才是调优入口——写完一版提示词、加了一个工具、换了一个模型之后,改动到底让 Agent 变好了还是变差了,不再靠肉眼比对输出去猜,而是能落到一条条可对照的证据上

      六、Spill:大结果的溢出保护

      短期记忆管的是随时间累积的膨胀,但还有一类膨胀是瞬间的——单次工具调用就能返回 5 万字。我们踩过这个坑:一个 BAT 生态的 MCP 工具,某次调用甩回将近 5 万字的报文。这份报文一旦原样进入上下文,三件事同时发生:

        预算瞬间击穿——单条消息就吃掉大半个窗口,其它历史被迫大规模压缩甚至丢弃;

        注意力被稀释——模型淹没在海量它根本不关心的字段里,真正该看的那几行反而被忽略,输出质量肉眼可见地下滑;

        成本被引爆——这份报文会跟着后续每一轮对话反复重新发送,token 一次次翻倍计费。

        而模型绝大多数时候只需要其中某个字段,或者只需要知道这个接口调通了、数据拿到了。

        6.1 思路:类比操作系统的内存交换

        我们的应对,叫 Spill(溢出保护)。思路和操作系统的内存交换如出一辙:内存(上下文)放不下的大块数据,落到磁盘去,在内存里只留一个指针。

        具体来说,任何工具的返回值,一旦超过阈值(默认 32000 字符),框架会自动接管:

        • 把完整原文落盘持久化,一个字节都不丢;

        • 给模型的上下文里,只留一段预览(默认前 2048 字符)+ 一句明确的说明 + 一个可回读的路径。

        模型看到的,从一堵 5 万字的墙变成了这样:

          [工具结果过大,已溢出到磁盘]

          预览(前 2048 字符):

          {"code":0,"data":{"list":[{"id":"...","name":"..."} ...

          完整内容已保存至:spill://order-assistant/conv-abc/tool-7f3a.json

          如需完整数据,可使用读取工具按该路径获取。


          这个设计的巧妙之处在于,它把要不要看全文的决策权,交还给了模型自己。绝大多数情况下,预览里的信息已经足够它继续推理;万一真需要全文里的某个细节,它可以主动拿着路径去回读——甚至只读其中一段。

          信息一点没少,但它从"强行灌进大脑"变成了"需要时再查阅的档案"。

          6.2 几个我们打磨过的细节

          按 tool 粒度可配置。哪些工具触发、阈值多少、预览多长、要不要落盘,都能挂到策略上按工具定制。有些工具的输出天然结构化(比如 JSON List),可以在预览时智能截取前若干项 + 计数摘要;有些工具的输出是纯文本报告,直接截前 N 个字符就够了。

          回读工具支持范围读取。回读接口不是要么给你全文、要么什么都没有,而是允许按字节区间、按 JSON path、按分页游标读取——避免回读又把上下文爆一次。模型看到一个 5 万字的 spill 文件路径时,它可以只回读第 3 到第 5 条 list 项,而不是被迫拿全文。

          命名空间和会话生命周期绑定。Spill 文件按 agentName/sessionId/toolId 组织,天然属于一次会话的资源。会话结束(无论成功、失败、取消、超时),这批文件跟着会话作用域一起被清理,不会在磁盘上留下孤儿。

          并发一致性。多个工具在同一轮里并发返回、并发触发 Spill 时,文件命名要不冲突、回注消息要顺序对齐、可观测 Span 要各挂各的——这些一致性细节在虚拟线程环境下都经过了针对性测试。

          "大工具返回值该往哪放"这个问题,不是我们独家看到的坑。Spring AI 目前还没有这一层的原生抽象,工具返回值直接进上下文;LangChain 一侧靠调用方手动 truncate——信息就直接丢了。有意思的对照来自 AgentScope Java,它的 ToolResultEvictionMiddleware 思路和我们的 Spill 几乎撞在一起:超过阈值自动接管、原文落盘、上下文里换成预览占位符、模型按需回读。它甚至在设计文档里明确区分了两件事——eviction 解决"上下文的宽度"(单条消息太大)、compaction 解决"上下文的深度"(消息太多),和我们把 Spill 与短期记忆压缩分成两层的思路完全一致。不同团队独立收敛到相近的方案,这本身就说明"大工具返回值该落盘 + 预留回读入口"是这类问题现阶段的合理解。差异更多在细节和归属——阈值、预览方式、挂载层次、命名空间——来自各自场景的具体约束,而不是设计思路的分歧。

          七、能力供给:填平 Skill 的空白 + MCP 热插拔

          Agent 的能力边界,由它手里的工具决定。这里有一对天生的矛盾:

          • 工具给少了——Agent 啥也干不成;

          • 工具给多了——每个工具的名字、描述、参数 Schema 都要塞进上下文,20 个工具轻松吃掉上万 token,不但烧钱,还稀释模型注意力。

          更别提工具还会变:今天上线一个新数据源,明天下线一个旧接口。难道每次都要改代码、发版?

          7.1 拆解一:填平 Spring AI 在 Skill 上的空白

          Skill 按需加载的思路早已是业界共识:上下文里只放技能清单(name + description),模型判断需要时,再调工具捞正文。这一层机制本身不新——新的是 Spring AI 在这件事上是一片空白,业务方要么自己拼加载器,要么把指令全塞进 system prompt。

          我们把 Skill 作为一等公民补齐,做了两个来源的实现:

          • 内置 Skill(classpath 加载):团队沉淀的通用能力——日志排查、大工具输出处理、ClickHouse 查询等——以 jar 内置形式随框架下发,引依赖即得。

          • DB 动态 Skill(后台可配):每次 spawn() 拉取当前 (appId, agentName) 绑定的技能清单,后台上架、编辑、绑定,下一次 spawn 即生效——不改代码、不发版。

          同名 DB Skill 覆盖内置 Skill。平台方提供默认能力池,业务方按需扩展或覆盖。

          7.2 拆解二:让工具能"热插拔"——MCP 动态工具注册

          工具集本身可由配置中心(如 QConfig)驱动、运行时热更新:改一份配置即时生效,全程不重启、不发版。

          热更新的难点在"安全":更新的瞬间,可能正有请求在用旧工具。两个机制兜底:

          • 差量刷新:只动真正变化的部分,避免"配置一变就全量重连"的雪崩。

          • 引用计数 + 延迟关闭:要下线的工具连接,等它身上所有在途调用都结束才真正释放——绝不会在请求执行到一半时把连接抽走。

          7.3 内置原子工具

          框架还内置了一批开箱即用的原子工具:文件读写、命令执行、任务清单、HTTP 调用等——都是我们在多个业务场景里反复用到、抽象出来的最小可复用能力集。

          八、并行工具调用:能同时做的事,别排队

          还有一个体感极强的痛点:慢。

          模型常常一次性决定调好几个相互独立的工具——查订单、查物流、查用户等级。串行执行意味着耗时累加,但这几个调用之间根本没有依赖,没必要排队。

          8.1 虚拟线程:契合"大部分时间在等网络"的场景

          框架的做法很直接:当模型在一轮里请求了多个独立的工具调用,用Java 虚拟线程把它们并发执行——总耗时从各段相加变成取最长的那段。虚拟线程极其轻量,成百上千个并发的 IO 等待也扛得住,契合工具调用这种"大部分时间在等网络"的场景。

          8.2 并发了,但不能乱

          • 结果顺序对齐:并发返回的工具结果回注 Prompt 时,要和模型请求顺序严格对齐——不能因为查物流比查订单快 200ms 就颠倒。

          • 观测 Span 不串味:每个工具调用挂在自己那条 Span 子树上,Thinking / ToolInput / ToolOutput 归属不错乱。

          • Spill 和微压缩在并发下照常工作:多工具并发触发 Spill 时文件命名不冲突;微压缩"完结轮次"的判定依然正确。

          这些一致性细节,框架都在底层处理干净——业务侧感知不到并发的复杂,只感知到变快了。

          九、端到端实战:一次排障会话,把所有机制串起来

          单看每个机制,都像一个独立的补丁。但它们真正的威力,在于协同。我们用一个贯穿始终的场景,把它们串成一条线。

          用户:"帮我排查下为什么订单 ORD-2024-0117 一直卡在'支付中'。"

          第 1 步——技能与工具就位。 收到问题,Agent 扫一眼上下文里的技能清单,判断这是支付排障,用内置工具把"支付状态机排查"这份技能的正文加载进来。同时,配置中心早已把这个环境该有的查询工具热插拔就绪。

          第 2 步——并行取证。 模型一次性决定:查订单主表、查支付流水、查网关回调日志。三个调用互不依赖,框架用虚拟线程并发执行,耗时取最长的一段,而不是三段相加。

          第 3 步——大报文不炸场。 网关回调日志甩回来一份 4 万字的报文。它没有污染上下文——超过阈值的部分被自动落盘,模型只拿到预览和一个回读路径。模型瞄一眼预览,发现关键信息不在里头,于是拿着路径只回读了它需要的那一段。上面这几步,都发生在响应这同一个问题的过程里,即模型内部"思考—取证—再思考"地递归推进,整个过程被记录成一棵 Span/Event 树。

          聊到后面几轮——记忆不漂移。 排障很少一问一答就结束:给出初步结论后,用户往往接着追问——"那网关重试过没有""换昨天同一时段再看看"。这样一来一回,就成了多轮对话。压缩正是在这里发挥作用:它不发生在某一轮的内部推理中,而是当新一轮对话到来、框架把历史加载进来准备注入模型的那一刻才触发。此时,前几轮里那些完整的工具返回值,被微压缩成"查过了、结果如何"的事实条目;更早的几轮被折叠成结构化摘要,而"用户要排查 ORD-2024-0117 的支付卡单"这个目标,始终被稳稳锚定在摘要的 P0 段落里——哪怕聊到第 20 轮,Agent 依然清楚自己在查什么。

          结论给出后——一切可回放。 整个过程被完整记录成一棵 Span + Event 树。万一结论有问题,你能一眼看到模型在哪一步、基于哪份证据、想岔了。

          会话结束——干净收场。 无论这次是顺利结案还是中途被取消,会话谢幕的那一刻,spill 文件、内存缓存、临时工具连接被成套释放,不留一点残渣。

          而这一整套协同,业务方几乎一行都不用写。 你只管把对话喂进去,把业务工具接上去;压缩、预算、锚定、修复、观测、清理,全在后台悄悄运转。业务代码里,剩下的就是那件你本该专注的事:把这个领域的问题解决好。

          十、Roadmap:我们还在往哪走

          Spring-Ai-Trip 解决的,是"让 Agent 稳稳跑在生产里"这一层的问题。往前看,还有更大的图景:

          • 更强的 Agentic Loop: 让 Agent 的自主规划、反思、纠错能力更成熟,并支持Plan Mode、Sub Agent,从"能完成任务"走向"能把任务完成得更好"。

          • 长期记忆: 短期记忆解决一次会话内不忘事,长期记忆要解决跨会话地积累经验、认识用户。

          • 自愈与容错: 把"悬空调用修复"这类点状能力,扩展成一套系统化的故障自恢复机制。

          • 提示词治理: 让提示词像代码一样,可版本化、可评测、可灰度。

          写在最后

          回头看,Spring-Ai-Trip 做的所有事情,其实都围绕一句话:

          把"会调大模型"和"能在生产里跑好一个 Agent"之间那道鸿沟,用一层 Harness 填掉。

          它不替代 Spring AI,而是叠在上面;它也不去和 Spring AI Alibaba、AgentScope 抢编排层的位置,而是专心把单个 Agent 内部怎么活下去这件事做好——记忆、Spill、可观测、能力供给、并行工具调用,每一层都是我们在业务里被问题绊过一次之后,补上的一块。它们对业务方大多只是一行配置,但每一行背后,都是从 Demo 到生产之间必须过的一道坎。

          如果你也在 Java 这边做 Agent,也在被这些问题反复折磨,希望文章里的思路对你有用。

          【推荐阅读】

           “携程技术”公众号

            分享,交流,成长

          跳转微信打开

          让 Token 消费看得见、管得住、省得下 - AI 网关成本治理能力解析

          2026年7月15日 15:00

          绍玮、鸿杰、渴炜 2026-07-15 15:00 陕西

          模型能用,但成本理不清怎么办?腾讯云 AI 网关,帮你看好每一分钱。

          一封让 CTO 一夜没睡的邮件

          上个月,某公司的 CTO 收到了一封让他睡不着的邮件 - 大模型月账单比上个月涨了 3 倍。

          更让他崩溃的是:财务追问 “这些钱花在哪儿” ,工程团队查了半天,只能给出一个模糊的答案: “大概……是这个 AI 助手在跑吧?”

          没有多维度的成本拆解、没有多维度的场景分析、没有异常消费的提醒—— 只知道成本多了,不知道花在了哪里。

          大模型接入不是终点。当业务真正跑起来以后,另一场硬仗才刚刚开始: 模型 Token 成本怎么观测,模型配额怎么管理 。

          解决这样的问题,不止需要一个功能点 — 从实时成本观测到多维配额、从默认策略到配额计数,都需要一整套体系来支持。基于 腾讯云原生智能网关-AI 网关(以下简称 AI 网关)拥有完整的成本治理与配额体系,可以让大模型的每一次 Token 消耗都 “看得见、管得住、省得下”。

          开头的情况并非个例

          过去三个月,AI 网关团队走访了几十家把大模型接入生产的客户。我们发现: “账单暴涨” 背后不是一个问题,而是同一套结构性漏洞的多种表现。

          场景一 | 账单失控,谁花了多少一无所知

          月底账单出来,Token 消耗暴涨 300% 。可你不知道:

          • 是哪个团队在花?

          • 是哪个模型在烧?

          • 是哪个时间段异常?

          • 是业务增长,还是有人在 “刷模型” ?

          问题本质 :Token 消耗黑盒,缺乏多维度使用量统计与成本溯源能力。

          场景二 | 集群配额计数不一致,超限流量溜过去

          业务高峰期,网关 A 节点计数到 80%,网关 B 节点才 50%——因为 “已用额度” 各自在内存里维护。

          同一个消费者,实际早已超限,但换一个节点还在继续放行。

          问题不是没设配额,问题是—— 配额被三个节点分别数了三份 。

          问题本质 :本地内存计数无法跨节点共享,集群环境下配额计数不一致。

          其他更多问题场景

          场景

          痛点

          新消费者 Token 用量 “裸奔”

          管理员忘配配额,月初就把整月的 Token 配额全部使用

          配额粒度太粗

          大小用户一刀切,大的被限死、小的挡不住,配额运营死板

          Token 重复消耗

          用户换个说法问同一个问题,每次都花一遍推理成本,极大浪费资源

          成本配置太复杂

          搭一套完整管控要在 4 个页面间反复跳,容易遗漏

          AI 网关是这么解决的 — 一套体系,五项能力

          针对以上痛点,腾讯云 AI 网关给出的答案不是 “加个功能” ,而是提供 一整套成本治理体系 。

          【能力一:多维度配额治理】Token 不是唯一要关注的指标

          每个模型的 Token 价格完全不同,请求次数多起来也会更难处理,只限 Token 远远不够。 除 Token 外也需要关注成本和请求次数 :

          维度

          管什么

          Token

          Token 消耗上限

          请求次数

          模型调用次数

          成本

          花费的成本金额

          三个维度独立计数、独立判定,粒度精细到每一个消费者。同时在时间上,AI 网关支持按照 日、周、月和年 时间维度配置消费者配额,让配额运营更加灵活。

          【能力二:默认配额策略】让新消费者 Token 配额不再 “裸奔”

          新消费者创建时,AI 网关会 自动注入一条默认配额规则 ——哪怕管理员忘配置,也不会出现 “月初打穿全月 Token 配额池” 的 “惨剧” 。可在配额管理处配置默认配额,设置完成后所有新建消费者都会自动配置一条配额。

          (图:默认配额策略配置)

          【能力三:语义缓存】Token 消耗的 “沉默杀手”

          用户换个说法问同样的问题—— “今天北京天气” 和 “北京今天天气怎么样” ——在传统系统里是两次独立推理,两次 Token 消耗。

          语义缓存不是关键词匹配,而是 基于向量相似度 :语义相近就命中同一份缓存,可以极大降低 Token 消耗和工具请求次数。

          (图:语义缓存工作示意图)

          【能力四:实时成本计量】从 “事后对账” 到 “即刻可观测”

          传统方案每小时才统计一次。这意味着 — 9:05 发生的超量流量,你要等到 10:00 才能看到。中间的 55 分钟,系统还在放行。

          但是面对 AI 成本黑盒,AI 网关拿出成本观测方案:

          • 分钟级实时:直接从 Redis 读,不再等定时任务获取,两分钟内就可以看到最新的成本情况报表和数据

          • 重启不丢:Redis 配置全局统一管理,配置重启后对应的配额计数仍然完好

          展示能力

          内容

          解决问题

          周期总成本

          实时展示当前自然累计费用

          不用等月底账单,随时知道已花多少

          最高成本消费者

          标出当月费用最高的消费者(含名称、所属组、已用费用)

          快速定位 “谁在烧钱” ——是正常业务增长还是异常调用

          最高成本模型服务

          标出当月费用最高的模型服务(含服务名、已用费用)

          快速定位 “钱花在哪个模型上” ——是否该考虑模型降级

          成本趋势图

          按日展示输入成本 + 输出成本双柱状对比

          看趋势——是平稳消费还是在逐日攀升;输入 vs 输出成本比例是否异常

          多维下钻明细

          按消费者/消费者组/模型服务/模型 API/路由 5 个维度下钻

          账单暴涨时,从总览逐层定位到具体的消费者+模型+API+时间段

          【能力五:成本管理大盘】从 “管得住” 到 “算得清”

          能观测具体额度后,下一步是算清楚账。多维度使用量统计让每一次 Token 消耗都有迹可循,账单暴涨时,可以极快发现哪里是成本 “漏洞” 。

          展示视角

          回答的问题

          消费者视角

          哪个团队/应用消耗最多?钱该算到谁头上?

          模型服务视角

          哪个模型是成本大头?该不该换便宜的?

          模型 API 视角

          哪个接口消费最高?是不是有接口被滥用?

          (图:成本管理大盘)

          技术底气 | 为什么能做到 “分钟级 + 强一致”

          整个系统的核心是 两条分离原则 :

          • 配置与执行分离 ——控制面管控不影响调用执行

          • 热路径与分析路径分离 ——统计分析延迟也不影响限流与配额

          围绕这两条原则,三条链路各司其职:

          链路

          方向

          关键特征

          配置下发

          控制面 → 数据面

          双写一致、准实时生效

          实时计数

          数据面 ↔ Redis

          原子递增、跨节点共享

          统计分析

          日志 → 控制面

          准实时、与执行解耦

          跨节点一致性的核心: 用 Redis 的 INCRBY 原子递增把集群里所有节点拧成 “一个视图” — A 节点数到 80%,B 节点看到的也是 80%。计数偏移的病根一次性除掉!

          (图:三条链路架构示意图)

          总结

          大模型从 “能用” 走向 “生产” 的过程中,成本治理不是可选项,而是必答题。

          智能路由解决了 “选最优模型” ,业务连续性解决了 “模型不稳定” ,而 Token 成本治理与配额运营解决的是第三个关键问题 — 模型能用,但成本理不清怎么办 。

          AI 网关给出的答案是 “一套体系、多维治理” :

          • 一套体系 :从实时计量 → 多维配额 → 默认策略 → 语义缓存 → 成本大盘,形成完整的成本治理闭环

          • 多维治理 :Token 数量、请求次数、成本独立管控,粒度精细到消费者

          六个用户场景、五项核心功能、一套完整的成本运营体系 — 大模型用起来很好,但账单得有人管。 AI 网关,帮你看好每一分钱。

          如果您正在推进企业 AI 应用建设,欢迎在评论区告诉我们你正在面对的 AI 落地挑战。前往产品页面了解详情:https://cloud.tencent.com/product/cngw

          AI 网关能力全景

          点击 👇 视频查看 「AI 网关接入演示」


          阅读原文

          跳转微信打开

          爱奇艺AI驱动漏洞闭环治理:让安全发现更智能、修复闭环更高效

          2026年7月15日 12:00

          原创 爱奇艺安全团队 2026-07-15 12:00 北京

          构建AI安全治理体系,推动漏洞发现与修复智能化闭环。

          随着业务系统、API 接口、AI 应用和自动化工具持续增长,安全治理的复杂度也在快速上升。

          一方面,资产和接口数量持续增加,仅依赖人工排查很难做到全面覆盖;另一方面,业务逻辑漏洞、越权漏洞、修复绕过等问题,往往需要理解业务场景、接口关系和权限边界,传统扫描器很难稳定发现。

          更重要的是,漏洞发现只是第一步。后续的风险确认、通知提醒、业务沟通、修复推动、复测验证、白盒扫描接入、WAF 整改等流程,过去高度依赖人工运营。安全同学需要反复解释风险、催办进度、协助协同、跟进修复状态,整体闭环周期较长,也容易受到人力投入影响。

          为解决这些问题,我们围绕“漏洞发现—风险确认—修复推动—运营处置”构建了 AI 驱动的安全闭环治理体系,通过 AI 安全白帽、安全小助手、多智能体协同和工具调用能力,将漏洞治理从过去的“人工驱动为主、规则扫描为辅”,升级为“AI 智能体驱动、人工校验兜底”的新模式。

          其中,在自动修复方向,团队基于自研安全编排平台探索了“事件驱动 + Agent 自动修复”的实践:当安全扫描产生缺陷或用户主动发起修复任务后,系统可自动触发修复 Agent,完成缺陷理解、修复方案生成、代码修改、自测验证和合并请求提交,并在关键节点引入人工确认、状态留痕和独立裁决机制,避免 Agent “自修自批”,确保修复过程可控、可审计、可追溯。

          简单来说,AI 不再只是辅助分析工具,而是开始参与漏洞发现、风险验证、业务沟通和闭环推动,让安全治理变得更主动、更高效、更可持续。

          AI 提效:让漏洞治理更快发现、更快修复、更少人工消耗

          项目通过 AI 安全白帽与安全小助手,构建了覆盖漏洞发现、验证、通知、修复推动和运营处置的智能化闭环。

          在漏洞发现侧,AI 安全白帽上线以来累计发现百余个有效安全风险,其中包含二十余个高风险问题,覆盖业务逻辑、权限控制、接口安全、数据保护等多个典型场景。通过 AI 自动分析、上下文理解和自动化验证能力,安全团队能够更快发现过去主要依赖人工经验挖掘的高价值漏洞。

          在运营闭环侧,安全小助手进一步承接漏洞通知、修复沟通、白盒扫描接入和 WAF 整改等流程。上线后,白盒扫描接入量显著提升,漏洞平均修复周期明显缩短,修复逾期率持续下降。

          这说明 AI 的价值不仅体现在“多发现漏洞”,更体现在“让漏洞更快被理解、更快被处理、更快完成闭环”。

          体验升级:从“只能看通知”到“可以直接问”

          传统安全通知体系主要解决的是“把信息发出去”的问题。业务同学收到通知后,通常只能阅读内容;如果想继续了解漏洞详情、影响范围、资产归属、处理建议或接入流程,仍然需要额外找安全同学沟通。

          安全小助手带来的核心变化,是将安全协作从“告知型安全”升级为“服务型安全”。

          过去,安全团队更多是向业务同步风险、发送通知、推动整改;现在,业务同学可以通过统一的对话入口,直接完成安全咨询、问题确认、流程推进和反馈闭环。

          例如,业务同学可以直接询问:

          • 这个漏洞影响哪些资产?

          • 我负责的域名是否已经接入安全能力?

          • 这个安全通知需要我做什么?

          • 漏洞修复完成后应该如何反馈?

          • 能否协助拉相关同学一起推进处理?

          通过这种方式,安全服务不再只是“发通知、提要求”,而是进一步前置到业务日常工作中,帮助业务更快理解风险、更快找到责任人、更快完成整改闭环。

          同时,安全小助手发出的通知会沉淀在聊天记录中。通知不再是一次性消息,而是后续对话、追问和处理的上下文基础,减少了重复解释和反复确认成本。


          核心能力一:AI 安全白帽,让 AI 具备“安全专家式”的漏洞挖掘能力

          AI 安全白帽不是传统扫描器的简单升级,而是将 AI 推理能力与接口上下文、业务语义、代码分析和自动化验证工具结合,形成具备自主分析能力的智能漏洞挖掘体系。

          在漏洞挖掘过程中,AI 可以结合接口参数、调用链关系、业务语义和权限边界,识别未授权访问、水平越权、ID 遍历、权限提升、敏感数据导出、注入类风险等高价值漏洞。

          对于信息不完整的场景,AI 还可以主动补全上下文,分析相关代码和接口关系,理解复杂防御逻辑和潜在绕过路径,并通过自动化验证方式降低误报、提升漏洞确认效率。

          相比传统扫描器主要依赖规则匹配,AI 安全白帽更擅长发现依赖业务理解、权限关系和接口调用链分析的复杂漏洞,覆盖了过去主要依赖人工安全专家手工挖掘的高价值场景。

          核心能力二:安全小助手,让漏洞运营从“人工催办”变成“智能闭环”

          安全小助手基于多智能体协同、工具调用和流程编排能力,承接漏洞提醒、修复沟通、白盒扫描接入、WAF 整改、模板化通知等安全运营流程。

          在实际使用中,安全小助手可以根据不同场景自动理解任务、拆解步骤,并调用对应工具完成处理。例如,针对漏洞整改场景,可以自动发送通知、解释风险、协助确认负责人、跟进修复状态,并在必要时触发人工确认。

          针对高风险写操作,系统引入Human-in-the-loop机制,也就是“关键动作人工确认”。涉及通知、建群、写入、整改推动等动作时,既能利用 AI 自动化提效,也能确保关键操作可确认、可审计、可追溯,兼顾效率与安全合规。

          通过自动提醒、自动协同、流程编排和上下文沉淀,安全小助手显著降低了安全运营中的重复沟通成本,让安全同学从大量事务性催办中释放出来,把更多精力投入到高风险研判和治理优化中。


          典型实践一:SQL 注入检测与自动化复核

          在 SQL 注入治理场景中,项目引入基于大模型的数据标注能力,并建设扫描结果自动化验证模块,支持漏洞的自动化复核和风险确认。

          在某业务场景中,AI 发现一个注入类风险存在修复不彻底问题。原防护策略只处理了部分特殊输入,但仍存在绕过风险。AI 通过进一步分析和验证,识别出残留风险,避免漏洞出现“表面修复、实质仍可利用”的情况。

          这类场景说明,AI 不只是发现新漏洞,也可以帮助识别漏洞修复后的绕过风险,提升复测质量和修复可靠性。

          典型实践二:高价值业务逻辑漏洞发现

          AI 安全白帽在多个核心业务场景中发现了高风险业务逻辑漏洞,暴露出业务系统在权限控制、身份校验和敏感数据保护方面的薄弱点。

          例如:

          • 任意文件读取风险:攻击者可能通过漏洞读取服务器上的敏感文件,进一步获取配置文件、密钥或账号凭证,扩大攻击面。

          • 接口未授权访问风险:部分接口缺少有效身份校验,可能导致用户信息或业务数据被越权访问。

          • 越权操作风险:部分业务接口对用户身份和资源归属校验不足,可能导致越权查询、修改或删除数据。

          这类漏洞往往不是简单的规则匹配问题,而是依赖对业务身份体系、权限边界、接口语义、调用链路和数据敏感性的综合理解。传统扫描器通常难以稳定识别此类复杂业务逻辑风险,而 AI 安全白帽能够结合上下文进行推理分析,主动发现隐藏在业务流程中的权限绕过、越权访问和敏感数据暴露问题。

          典型实践三:让复杂安全流程更轻量

          安全小助手背后的关键能力,是多智能体调度架构。

          可以简单理解为:安全小助手就像一个“主助手”,负责理解用户问题、拆解任务、规划处理步骤;再根据不同场景,调用对应的“专业子助手”或工具完成具体任务。

          过去,如果要支持一个新的安全查询或处理流程,通常需要提前设计固定意图、开发接口能力、配置规则流程,并人工编排数据源和处理逻辑。每增加一个数据源、一个工具或一个新流程,都需要重新开发和配置,扩展成本较高,也难以应对复杂、动态、多步骤的问题。

          现在,安全小助手可以基于 AI 的理解与规划能力,自动将用户问题拆解为多个步骤,并结合上下文调用不同能力。

          例如,当用户询问某个安全通知时,小助手可以:

          • 理解通知内容;

          • 关联历史处理记录;

          • 查询相关资产和负责人;

          • 判断当前处理状态;

          • 给出下一步处理建议。

          也就是说,安全小助手不只是“回答问题”,而是能够协助完成从理解、查询、判断到推进的完整流程。

          这种模式带来了四个直接价值:

          第一,减少人工解释成本。很多常见问题可以由小助手直接回答,业务同学不必反复拉安全同学确认。

          第二,降低业务理解成本。安全信息不再只是长文档、专业术语或复杂规则,而是转化为更易理解的对话式说明。

          第三,提升流程推进效率。服务接入、漏洞协同、修复提醒、资产查询等操作,可以通过小助手统一承接,减少跨系统跳转和人工中转。

          第四,增强能力扩展性。通过模板化通知、工具调用和子智能体能力,新场景可以更快接入,不需要每次都从零开发完整流程。

          整体来看,多智能体调度架构让安全小助手从“问答工具”升级为“流程协作入口”,把原本复杂、分散、依赖人工推动的安全流程,变得更加轻量、高效和易扩展。

          典型实践四:一个窗口处理更多安全事项

          安全小助手目前已覆盖多个典型安全协作场景,正在把分散的安全咨询、查询和流程推进,逐步整合到一个对话窗口中。

          1.服务接入:从“问流程”到“直接推进”

          在服务接入场景中,小助手可以协助业务同学查询接入状态、了解接入要求,并根据当前进度推动后续流程处理,减少反复沟通和人工确认成本。

          2.资产查询:从“找人查”到“随时问”

          在资产查询场景中,小助手可以帮助业务同学快速了解域名、系统、服务等安全相关信息,减少“找人问、等人查”的时间,让资产信息获取更加便捷。

          3.漏洞处理:从“单点通知”到“持续闭环”

          在漏洞治理场景中,小助手支持漏洞协同、修复提醒、处理进度跟进等能力,帮助安全团队和业务团队围绕同一个问题持续协作,推动漏洞从发现、通知、修复到反馈形成闭环。

          4.多模态输入:让问题提交更自然

          在多模态能力方面,小助手也在探索支持图片、文档等多种输入形式,使业务同学可以用更自然的方式提交问题、补充材料和说明上下文。

          对业务同学来说,安全小助手带来的核心变化可以概括为一句话:

          过去处理安全事项,往往需要“找人、查系统、看文档、等反馈”;现在可以先从一个对话窗口开始,直接提问、持续跟进、推动闭环。

          典型实践五:事件驱动的 Agent 自动修复

          面对白盒扫描持续产出大量代码安全与质量缺陷、人工修复链路长且易遗漏的问题,团队探索并落地了“事件驱动 + Agent 自动修复”的漏洞治理实践。系统可在流水线安全扫描完成后,或由安全平台主动发起修复任务时,自动接收扫描结果并触发专用修复 Agent。Agent 会基于缺陷上下文自动完成问题理解、修复方案生成、代码修改、自测验证和合并请求提交等流程,将原本依赖人工串联的修复过程转化为自动化闭环。

          为避免 Agent “自修自批”,实践中引入了多阶段确认与独立评估机制,在修复方案、修复结果、流程状态和发布门禁等关键节点保留必要的人工确认、过程留痕和质量校验能力,确保自动化修复过程可控、可审计、可追溯。落地实践表明,该模式可显著缩短单个漏洞修复周期,提升修复效率,并已在多个项目和流水线场景中完成批量验证,覆盖百余个高优先级缺陷修复。整体来看,该实践在提升漏洞治理效率的同时,也强化了自动化修复过程中的安全边界和质量保障能力。

          当前新版本进一步强化了多段门禁、自动拦截、失败即关闭和独立裁判服务,在提升漏洞修复效率的同时,增强了安全边界和质量保障能力。该实践标志着 AI 能力从“辅助分析安全报告”进一步走向“参与漏洞修复闭环”,也为后续构建“发现 Agent—修复 Agent—评估 Agent”的多 Agent 协同安全治理体系奠定了基础。


          创新点

          1.AI 提升的不只是发现能力,更是闭环效率

          AI 安全能力的价值,不仅在于发现更多漏洞,也在于让漏洞更快完成闭环。

          在发现侧,AI 安全白帽通过上下文理解、代码分析、接口语义识别和自动化验证,提升了高价值漏洞的发现效率。

          在运营侧,安全小助手通过自动通知、智能问答、流程推进和工具调用,提升了漏洞修复协作效率,减少了大量重复解释、人工催办和跨系统操作。

          这意味着,AI 不只是提升“发现问题”的能力,也在提升“解决问题”的效率。

          2.从“辅助工具”到“治理智能体”

          项目最大的创新在于,将 AI 从“辅助分析工具”升级为“安全治理智能体”。

          在发现侧,AI 安全白帽结合接口台账、代码上下文、业务语义和自动化验证工具,实现类安全专家的自主分析与漏洞确认。

          在运营侧,安全小助手通过多智能体协同、工具调用和流程编排,将漏洞提醒、业务沟通、复测验证、白盒接入和 WAF 整改串联成可执行、可追踪、可审计的闭环流程。

          这使安全治理不再只依赖单点人工经验,而是逐步沉淀为可复制、可扩展、可持续迭代的智能化能力。


          总结与展望

          整体来看,AI 驱动的漏洞闭环治理不仅提升了漏洞发现能力,也显著降低了人工挖掘、漏洞运营通知和系统整改推进成本,推动安全能力从“单点工具”向“智能闭环平台”演进。

          通过 AI 安全白帽、漏洞自动化复核、安全小助手和闭环运营能力的结合,安全工作正在从依赖人工经验的被动响应,转向可规模化、可持续迭代的智能化治理模式。

          未来,AI 安全能力将继续向更深层次的业务理解和自动化协同演进。

          一方面,AI 安全白帽将从单点漏洞发现,进一步扩展到复杂业务逻辑分析、跨系统攻击链推理、自动化复现和修复建议生成,持续提升高价值漏洞发现效率。

          另一方面,安全智能体将进一步增强协作能力,在漏洞识别、风险判断、影响面分析、整改建议和修复验证中形成更完整的闭环。

          同时,围绕智能体身份识别、权限控制、凭证代理、访问审计和安全基线等基础能力,后续也将持续完善 AI Agent 在企业环境中的安全运行机制,确保 AI 能够在可控、可审计、可追溯的前提下访问业务系统和执行安全任务。

          整体目标是将 AI 能力从“辅助发现问题”升级为“参与安全治理”,逐步形成覆盖风险识别、自动评估、闭环运营和持续治理的 AI 安全体系。

          纳逗Pro全链路赋能、专项免费算力支持!爱奇艺AI影视创作营第二期来了

          AI 时代的质量门禁左移:Agentic Quality Engineering 架构与落地模板

          爱奇艺大数据混合云存储

          这张成绩单,数字一个比一个猛!

          别让AI瞎猜了:用Harness Engineering 终结无限返工

          跳转微信打开

          Qwen-Audio-3.0-Realtime 如何让语音交互“懂倾听,更聪明”?

          2026年7月15日 10:31

          通义实验室 2026-07-15 10:31 浙江

          脑子快、情商高、耳朵灵

          语音交互的下一个形态是什么?

          是毫秒级的快速响应?是深度思考的逻辑推理?还是能够感知情绪、像真人般对谈的情感共鸣?

          如何让语音交互跨越“机械感”走向了“自然和智能”?我们也在持续探索。

          今天,我们想和大家分享阿里语音交互模型 Fun-Realtime-AudioChat 的全面升级(现已更名为 Qwen-Audio-3.0-Realtime),为大家带来这套完备的实时语音交互对话方案。

          Qwen-Audio-3.0-Realtime 亮点速看:

          1、根据语境动态调整语气与情感表达,支持音色克隆,告别机械朗读感;

          2、内置多模态双工控制模型,支持声纹级背景过滤,嘈杂环境下对话依然流畅,不易被打断;

          3、Artificial Analysis 子项中综合排名第一,超越 OpenAI GPT-Realtime-2。

          4、支持动态工具调用,可完成路线规划、信息查询等任务,不止是聊天。

          我们先通过几个真实的交互切片,看看 Qwen-Audio-3.0-Realtime 在实际对话中的表现。

          一、高表现力与共情对话

          Qwen-Audio-3.0-Realtime 突破了传统语音助手"机械朗读"的局限,具备高表现力的音频回复与共情对话能力。

          模型能够根据对话语境动态调整语气、节奏、音调和情感表达,实现真正拟人化的语音交互。

          同时针对自定义音色需求,也提供了音色克隆能力配置用于实际业务应用。在 S2S 语音指令遵循公开 Benchmark VStyle 上取得 SOTA 效果。

          在多种复杂语境下,Qwen-Audio-3.0-Realtime 也能轻松应对~

          • 在激烈的辩论场景中,准确理解对方论点、快速组织反驳逻辑,同时保持口语化表达和适当的语气强度。

          • 角色扮演时,能根据设定的角色(如历史人物、职业身份等)调整说话风格、用词习惯和情感表达,并响应显式指令进行风格切换。

          • 在情感陪伴中,当你倾诉烦恼或分享喜悦时,通过语调、节奏和内容表达共情,提供温暖的情感支持。

          这些表现的背后,是我们在生成侧的深度优化:

          • 情感感知生成:识别你的情绪状态,并给予有温度的共情回应。

          • 韵律动态调整:根据语义重点与对话节奏,自动调整语速、停顿、重音等韵律特征。

          • 副语言信息处理:能够理解和生成笑声、叹息、犹豫等非语言声音信号,还原真人交流的细腻。 

          • 个性化风格适配:一秒切换专属说话风格,完美演绎你设定的任何角色。

          你可以让它做懂你的 AI 伴侣,提供情感陪伴;也能化身专业的智能客服,随情绪调整策略。 化身教育助手,用鼓励的语气激发学习动力;变身娱乐搭子,陪你角色扮演、沉浸式讲故事。

          二、流畅双工交互

          真实的对话往往发生在开放且复杂的环境中。为了让交互更加自然流畅,Qwen-Audio-3.0-Realtime 内置了“多模态感知的双工控制”模型,能够感知语音、环境、背景、说话人等丰富的音频和语义信息,进行精准的双工节奏判断。

          无论身处何种复杂声场,它都能保持从容:

          • 嘈杂背景环境下的双工对话:在餐厅、开放工区等嘈杂环境中,不受干扰,精准锁定你的声音。

          • 多人交谈不打断:在多人讨论中,准确识别主对话对象,不被旁听者干扰。

          • 多说话人智能切换:根据上下文和语义线索,智能判断当前对话对象,在不同说话人间自然切换。

          这些自然倾听的背后,是我们在控制侧的重构:

          多模态感知与智能打断检测:同时分析音频、语义与声纹特征,敏锐分辨“环境杂音”与“你的真实插话”,避免误判。

          声纹级抗干扰(开发者进阶能力):除了环境噪声鲁棒性,我们还在 Realtime-API 中预留了 audio_prompt 字段。开发者可传入特定用户提前录制的音频列表,使模型在双工对话中实现“声纹级”的精准锁定,忽略其他人声和背噪,达成极致开放场景下的流畅双工。

          凭借上述技术,Qwen-Audio-3.0-Realtime 在 Artificial Analysis 对话动态子项中取得 SOTA 成绩,打断检测准确率、响应时延等关键指标全面领先。

          注:上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

          无论是在喧嚣的咖啡厅或交通工具上,它都能为你保持流畅对话;在多人会议或家庭聚会中,它能精准锁定主对话对象,从容应对旁人干扰与自然插话;即使在高并发的客服呼叫中心,它依然能保持稳定的对话质量。

          三、不止于聊天:Agentic 与动态工具调用

          Qwen-Audio-3.0-Realtime 具备强大的 Agentic 能力和动态工具调用机制。它能根据对话上下文智能判断何时调用工具、何时日常聊天,实现无缝的任务执行与对话切换。

          为了验证模型在复杂业务中的工具调用与任务执行能力,我们在 TauBench(涵盖零售、航空、电信等真实业务领域)进行了测试(注:Audio 模型将 UserSimulator 改为语音输入)。

          面对你包含多重约束的复杂口语指令,Qwen-Audio-3.0-Realtime 能准确拆解意图,自动调用外部工具,进行多步推理与计算,最终给出完整、可行且时间精确的行动方案。

          让语音长出“手脚”,得益于以下核心特性的支撑:

          • 动态工具路由:深刻理解你的意图,无需显式指令即可自动调用合适工具。

          • 多工具协同:支持同时注册多个工具,根据任务复杂度灵活组合。

          • 统一能力接入:基于 FunctionCall 标准协议可以完成 MCP、API、知识库的引入。

          • 上下文感知:工具返回的结果自动融入对话记忆,让多轮辅助对话如丝般顺滑。

          只需一句话,它就能帮你搞定本地生活的路线规划与餐厅推荐,或是查询实时新闻与股票行情;它甚至能直接接管复杂的任务执行与数据分析,如日程安排、表格查询,让语音真正成为你的超级助理。

          四、底座支撑:同时兼顾“快”与“聪明”

          为了兼顾复杂推理与快速对话,同时解决“语音模型智商衰减”这一痛点,我们在底层架构上进行了创新。

          On-Policy Distillation 与多教师蒸馏

          我们采用 On-Policy Distillation 框架,将文本大模型的完整推理能力蒸馏至语音模型。同时引入多教师蒸馏策略,确保模型在各个维度“不偏科”:

          • 口语多轮偏好教师保证口语化表达偏好与指令遵循;

          • 通用教师保证基本问答和推理能力;

          • Agentic教师保证工具调用与复杂任务执行;

          • 音频理解教师负责音频及副语言信息对话及推理。

          此外,Qwen-Audio-3.0-Realtime 提供了针对日常问答等极度敏感时延的场景,直接生成回复,实现毫秒级响应。 

          得益于此,Qwen-Audio-3.0-Realtime 在全球权威评测 Artificial Analysis 的Speech Reasoning(语音推理) 子项中取得了综合排名第一的成绩。 

          注:上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

          在 VoiceBench(验证事实准确性与知识检索)和 AudioMultiChallenge(验证多轮指令遵循)等主流基准测试中同样表现优异:

          • VoiceBench:在业界主流的语音问答基准测试中表现优异,验证了模型在开放域问答、知识检索、事实准确性等方面的能力。(plus:标准prompt-92.5,口语prompt-90.5 ,下降2.0;flash:标准prompt-89.8,口语prompt-87.5,下降2.4)

          • AudioMultiChallenge:在多轮音频对话挑战赛中展现出色的指令遵循能力和上下文理解能力(plus:标准prompt-44.0,口语prompt-37.6,下降6.4;flash:标准prompt-43.6,口语prompt-38.1,下降5.5)

          这证明了它不仅能“听见”,更能“听懂并深度思考”。

          目前,Qwen-Audio-3.0-Realtime 已上线,你可以进入阿里云百炼体验!

          体验地址

          推荐内容

          小有可为AI向善创新挑战赛,启程!

          Qwen-AgentWorld 开源:让 Agent 学会“先预测,再行动”

          跳转微信打开

          字节跳动 STE 固件团队亮相 OCP China 2026:从标准化到智能化,构建下一代数据中心固件基础设施

          2026年7月14日 12:02

          STE 固件团队 2026-07-14 12:02 北京

          在 AI 算力规模爆发式增长的今天,服务器固件——这个曾经隐藏在操作系统底层的"隐形基础设施"——正成为决定数据中...

          在 AI 算力规模爆发式增长的今天,服务器固件——这个曾经隐藏在操作系统底层的"隐形基础设施"——正成为决定数据中心可靠性、安全性和运维效率的关键变量。

          2026 年开放计算中国峰会(OCP China 2026)上,字节跳动 STE 固件团队带来了三场技术分享,覆盖了 XPU 模组标准化接口设计、OpenBMC 平台移植的 Agent 框架、以及 RAS API 标准化三大方向。

          如果把万卡级智算集群比作一座城市,那么这三项工作恰好回答了三个递进的问题:如何统一管理城中形形色色的算力设施?如何高效构建承载这些管理能力的固件平台?当规模带来不可避免的故障时,如何快速发现、定位和恢复?——从管理接口标准化到研发效率智能化再到运行可靠性体系化,三者构成了一条完整的技术闭环。

          图 1:三项工作技术闭环——"管理—构建—运行"

          本文将深度解读这三项工作的技术内核,分享字节跳动在服务器固件领域的工程实践与思考。

          一、XPU 模组标准化接口设计:让万卡集群的管理不再是"适配地狱"

          分享人:郁雷、孙国新 | 字节跳动 STE 固件团队

          1.1 问题背景:智算时代的 XPU 管理之痛

          随着大模型训练和推理需求的爆发,数据中心中 XPU(GPU/NPU/加速卡)的部署规模急剧增长。单机 XPU 数量已从 4-8 卡增长到 16-32 卡,万卡级集群成为常态。然而,XPU 规模的爆发只是挑战的一个维度——更深层的问题在于管理的碎片化。

          字节跳动固件团队在实际业务中发现了三大核心痛点:

          • 场景复杂:训练、推理、微调等不同业务场景对 XPU 的监控需求各异,难以用一套方案覆盖。

          • 生态分散:不同厂商的 GPU/NPU/XPU 管理接口差异巨大,运维工具需要为每个厂商单独适配。

          • 运维压力:万卡集群需要自动化、标准化的管理手段,但现有接口能力参差不齐,难以支撑规模化运维。

          1.2 现状分析:监控能力"百家争鸣"背后的适配成本

          团队对主流 XPU 厂商的带外管理能力做了一次系统性的横向对比,结果不容乐观:

          监控能力

          厂商 A

          厂商 B

          厂商 C

          基础信息(温度/功耗)

          支持

          支持

          支持

          网卡监控

          支持

          支持

          支持

          光链路监控

          支持

          不支持

          不支持

          端口状态(Switch)

          支持

          不支持

          支持

          一键日志收集

          不支持

          支持

          支持

          固件升级接口

          支持

          部分支持

          不支持

          虽然各厂商基本都遵循 Redfish 标准并提供 IPMI 接口,但在具体监控能力和功能完整性上存在显著差异。这意味着,运维工具必须为不同厂商编写不同的解析逻辑,适配成本随厂商数量线性增长。

          1.3 解决方案:统一 Redfish 接口层

          面对这一挑战,字节跳动提出了"接口与实现解耦"的核心设计理念:机头 BMC 不区分 XPU 型号,统一使用标准化的 Redfish 接口进行管理。

          整体架构采用分层设计:

          • 管理通道:Redfish over LAN,作为主通道提供完整的带外管理能力。

          • Sideband 备用通道:I2C,作为底层控制和应急机制,在主通道不可用时提供基础管理能力。

          图 2:XPU 统一 Redfish 管理架构

          1.4 为什么不是 RDE?

          DMTF 提出的 Redfish Device Enablement(RDE)是带外设备管理的行业标准之一,团队在设计方案时对其进行了深入评估:

          维度

          DMTF RDE 规范

          本方案:Redfish XPU 标准

          协议

          PLDM (MCTP over SMBus/I3C)

          Redfish

          数据格式

          BEJ 二进制编码

          JSON 明文

          优势

          标准化程度高,适合通用设备

          实现简单、易于调试,针对 XPU 场景优化

          劣势

          Schema 不一致,调试困难,带宽受限

          需定义 XPU 专用 Schema,社区需共同维护

          扩展性

          扩展需修改 BEJ 映射,成本高

          扩展只需新增 Schema 文件,成本低

          运维体验

          不同部件内容不一,运维困难

          接口统一,运维简单

          适用场景

          通用 PCIe 设备

          专注 XPU 管理

          RDE 在 XPU 场景面临如下关键挑战:

          1. Schema 不一致:不同 XPU 厂商实现的 RDE Schema 仍有差异,上层仍需差异化适配。

          2. 调试困难:BEJ 二进制编码导致问题排查效率低下。

          3. 带宽受限:MCTP/SMBus 链路带宽有限,难以满足 XPU 场景下高频采集大量传感器数据的需求。

          4. Schema 缺失:缺乏面向 XPU 特有资源(如 Scale Up Switch、Retimer)的标准 Schema 定义。

          RDE 为通用 PCIe 设备管理提供了良好基础,但 XPU 场景需要更聚焦的接口设计。字节跳动的方案选择直接使用 Redfish JSON 明文通信,在可调试性和扩展性上取得明显优势。

          1.5 核心接口规范

          方案定义了一套覆盖 XPU 全生命周期管理的核心 API:

          功能分类

          Redfish URI

          关键字段

          模组 BMC 状态

          /redfish/v1

          /redfish/v1

          StartupState

          /redfish/v1/Chassis/{id}/Processors/{xpu_id}

          ReadingCelsius, PowerWatts

          Switch 端口信息

          /redfish/v1/Fabrics/{id}/Switches/{id}/Ports/{id}/Metrics

          BadTLPCount

          RNIC 信息

          /redfish/v1/Chassis/{id}/NetworkAdapters/{id}

          LinkStatus

          Retimer 信息

          /redfish/v1/Chassis/{id}/Retimer/{id}

          LinkWidth, LinkSpeed

          固件版本

          /redfish/v1/UpdateService/FirmwareInventory/{component}

          Version

          Bundle 升级

          /redfish/v1/UpdateService/FirmwareFile

          UpdateStatus

          一键日志收集

          /redfish/v1/Managers/LogService/CollectAllLog

          Status

          功耗封顶

          /redfish/v1/Chassis/{id}/Power

          LimitInWatts

          多卡互联

          /redfish/v1/Systems/{id}/Processors/{xpu_id}

          PartitionID

          这套接口设计具有良好的可扩展性:新模组只需实现接口集加 OEM 扩展,即可被机头 BMC 统一管理,无需修改上层运维逻辑。

          1.6 开放生态与社区路线

          字节跳动明确表示,XPU 模组标准化接口设计将走开放、开源社区联合开发的路线,目标是构建开放共赢的 XPU 管理生态。这不仅有利于行业标准化推进,也为 XPU 厂商提供了清晰的接口规范参考。

          二、超越代码生成:用 Agent 框架破解 OpenBMC 平台移植难题

          分享人:郏春辉 | 字节跳动 STE 固件团队

          从管理接口到固件构建:标准化落地的效率瓶颈

          第一节介绍的统一 Redfish 接口层,最终要运行在 BMC 固件之上。然而,每一款新的 XPU 模组、每一代新的服务器平台,都意味着 OpenBMC 固件需要重新移植适配。如果平台移植的速度跟不上硬件迭代节奏,再好的标准化接口设计也无法快速落地。字节跳动固件团队面对的下一个挑战,正是如何把 BMC 固件的开发效率提升到与万卡集群部署规模相匹配的水平。

          2.1 OpenBMC 平台移植的痛点

          OpenBMC 作为开源 BMC 固件项目,已被越来越多的数据中心采用。然而,将 OpenBMC 移植到新硬件平台是一项复杂且重复性高的工程——涉及传感器配置、GPIO 映射、FRU 信息、IPMI 命令、Web UI 适配等大量平台特定代码的编写。

          传统的移植流程高度依赖资深工程师的经验积累,存在三个突出问题:

          • 知识传承困难:平台移植知识散落在不同工程师的脑中、代码注释里、历史 commit 中,新人上手周期长。

          • 重复劳动多:每个新平台都要从头配置相似的传感器、GPIO、FRU 等信息,已有的经验难以复用。

          • 质量不可控:依赖人工编写配置,容易出错且难以系统性验证。

          2.2 从"代码生成"到"Agent 框架"

          字节跳动固件团队没有止步于简单的"AI 辅助代码生成",而是构建了一套面向 OpenBMC 平台移植的 Agent 框架。这个框架的核心思想是:将工程师的经验转化为可执行的知识库,让 AI Agent 基于工具链完成平台移植的全流程。

          框架的关键设计包括:

          可执行知识库(Executable Knowledge Base)

          不同于静态文档,可执行知识库将平台移植知识结构化为 Agent 可直接调用的规则和工具。知识库中的每一条知识都关联了具体的执行逻辑——比如 "NVMe sensor 依赖对应的 I2C 通道,DTS 配置中需要添加 mctp 相关属性" 这样的规则,会被转化为 Agent + CLI 工具链生成的配置。

          CLI + Agent 协同

          框架采用 CLI 工具与 AI Agent 协同的工作模式:CLI 工具负责确定性的数据读取和配置生成,AI Agent 负责理解需求、决策流程、调用工具和处理异常。这种"工具+Agent"的组合有效降低了 AI 幻觉风险——Agent 的每一步操作都有工具验证,而非纯粹依赖模型推理。

          图 3:OpenBMC Agent 框架协同架构

          2.3 效果与价值

          这套 Agent 框架在实际使用中取得了显著成效:

          • 配置生成速度:完成一个新平台的配置生成仅需不到 1 分钟。

          • 人力成本降低:累计工作量从过去的人月级降低到不到 2 人周。

          • 质量提升:通过工具链的系统性验证,配置一致性显著提高,减少了人为错误。

          更重要的是,这个框架展示了 AI 在基础设施工程中的正确用法:不是用 AI 替代工程师,而是将工程师的经验沉淀为可执行的知识资产,通过 Agent 框架实现经验的规模化和自动化复用。

          三、构建开放的 RAS API 标准:为高可用数据中心打地基

          分享人:龚发强 | 字节跳动 STE 固件团队

          从构建到运行:规模化带来的可靠性挑战

          当 XPU 管理接口实现了标准化、BMC 固件开发效率大幅提升之后,万卡集群的部署和运维便有了基础保障。但规模本身就是新的风险源——万台设备的集群中,硬件故障不再是"小概率事件"而是"常态"。问题从"如何建设和部署"转向了"当故障不可避免时,如何快速发现、精准定位、高效恢复"。这正是 RAS(可靠性、可用性、可服务性)要回答的问题。

          3.1 RAS 标准化的行业迫切性

          在传统 CPU 为主的数据中心时代,RAS 能力已相对成熟。但随着异构计算(CPU + GPU + NPU)成为主流,RAS 面临着全新的挑战。

          字节跳动固件团队在业务实践中发现,当前行业 RAS 领域存在一个结构性问题:不同厂商使用不同的故障上报方案。

          这意味着,当数据中心部署了来自多个厂商的服务器时,运维团队需要对接多套不同的 RAS 接口,故障定位和根因分析的效率严重受限。在万卡级集群中,一个 GPU 故障可能引发训练任务中断,如果不能快速定位和恢复,损失以小时甚至天计。

          值得注意的是,这里的"多厂商接口不一致"与第一节中 XPU 管理接口碎片化的问题如出一辙——标准化缺失是贯穿固件生态的结构性痛点,无论管理接口还是故障上报接口都未能幸免。

          3.2 推动 RAS API 标准化

          为解决这一问题,字节跳动固件团队在 OCP 社区中牵头推动 RAS API 的标准化工作,从需求定义到接口规范设计均发挥了核心驱动作用,引领异构计算故障管理体系的标准化建设。

          RAS API 标准化的目标不是重新发明轮子,而是在现有厂商方案之上定义统一的接口层,让上层运维平台可以通过标准化的 API 获取故障信息、触发诊断流程、执行恢复操作,而不必关心底层厂商差异。

          3.3 异构计算时代的 RAS 新挑战

          异构计算的兴起给 RAS 带来了几个全新命题:

          从单节点到跨数据中心

          传统 RAS 关注单台服务器的故障检测和恢复。但在 AI 训练场景中,一个训练任务横跨数百甚至数千台服务器,RAS 需要从单节点视角升级到集群甚至数据中心视角——不仅要知道"哪台机器出了什么故障",还要评估"这个故障对正在运行的任务有什么影响,最优的恢复策略是什么"。

          从 CPU 中心到异构协同

          过去 RAS 以 CPU 为中心,GPU/NPU 等加速卡是"外围设备"。如今 XPU 成为算力主力,RAS 必须覆盖 XPU 的故障检测、错误隔离和恢复,而 XPU 的故障模式与 CPU 有显著差异。

          AI 驱动的故障预测

          基于历史故障数据和运行时遥测信息,利用 AI 技术进行故障预测,是 RAS 演进的重要方向。标准化的 RAS API 为构建统一的数据采集层提供了基础,使得 AI 故障预测模型可以获取到一致、高质量的训练数据。这与第二节中 Agent 框架的理念遥相呼应——AI 的价值不在于替代人工,而在于将数据转化为可行动的智能决策。

          3.4 云系统 RAS 演进路线

          字节跳动提出了云系统 RAS 的演进路线,从单节点 RAS 到集群级 RAS,再到跨数据中心的智能 RAS 体系。这条路线的核心思路是:

          1. 标准化先行:协同 OCP 社区推动 RAS API 标准化,统一数据采集和上报接口。

          2. 平台化支撑:构建统一的 RAS 数据平台,汇聚全量故障数据。

          3. 智能化闭环:基于 AI 实现故障预测、自动诊断和智能恢复。

          图 4:RAS 演进路线

          四、总结与展望

          字节跳动 STE 固件团队在 OCP China 2026 上的三场分享,勾勒出了一条清晰的技术路线:

          方向

          核心命题

          关键成果

          XPU 标准化接口

          解决多厂商 XPU 管理碎片化

          统一 Redfish 接口层,社区开放共建

          OpenBMC Agent 框架

          提升平台移植效率

          配置生成 < 1 分钟,工作量降至 < 2 人周

          RAS API 标准

          统一异构计算故障管理

          定义 RAS API 标准,统一异构故障上报接口

          图 5:总结与展望

          这三项工作并非孤立的技术点,而是沿着"管理—构建—运行"的逻辑自然递进:

          • 管理标准化是起点——XPU 统一 Redfish 接口层解决了"如何管"的问题,让万卡异构集群拥有一致的管理平面。

          • 研发智能化是桥梁——OpenBMC Agent 框架解决了"如何建"的问题,让支撑管理平面的 BMC 固件能够快速、高质量地交付。

          • 运行可靠化是归宿——RAS API 标准化解决了"如何稳"的问题,让规模化运行后的故障能够被快速发现、定位和恢复。

          贯穿三者的主线是标准化与智能化:标准化是规模化运维的前提,无论是 XPU 管理接口还是 RAS API,统一标准都是第一步;智能化是效率杠杆,Agent 框架将工程经验转化为可执行的知识资产,AI 故障预测将 RAS 从被动响应推向主动预防。

          字节跳动固件团队表示,未来将继续推动 XPU 管理接口和 RAS API 的社区标准化进程,持续完善 OpenBMC Agent 框架的知识库覆盖度和自动化能力。

          开放、开源、共建——这不只是口号,而是字节跳动固件团队在 OCP China 2026 上传递的明确信号。在 AI 算力基础设施快速演进的今天,只有行业共同建设标准化的固件生态,才能让数据中心的可靠性和效率真正迈上新台阶。

          跳转微信打开

          叙事的黄昏

          2026年7月14日 00:50

          原创 立涛 2026-07-14 00:50 上海

          一个故事最危险的阶段,往往发生在它最正确的时候。

          文|郑立涛

          2023年至2025年,美元金价连续三年加速上涨,涨幅分别达到了14.6%、25.5%和67%。进入2026年后,黄金又在不到一个月内上涨约28%,从4,368美元冲至约5,586美元。到1月29日,央行购金、美元信用弱化、财政赤字扩张、地缘冲突升级与货币宽松预期,几乎被市场拼成了一个无可反驳的故事。

          半年之后,世界并没有变得更平静。中国人民银行仍在买金,全球央行仍然希望提高黄金储备,中东的冲突又一次强化了“乱世黄金”的叙事。但黄金的价格却在1月见顶后持续回落,6月底盘中一度触及约3,963美元,最大回撤约29%。不少在过去两年涨幅很大的金矿股,也已经从高位回撤60%,甚至更多。

          上涨周期里的黄金叙事依然在持续兑现,但价格却已经提前结束了行情。

          这种背离,非常值得复盘。一个叙事可以长期正确,也可以在某个阶段被强力演绎、广泛扩圈,最终成为几乎所有人的共识。价格取决于预期怎么变化、后面还有多少资金愿意买;等到事实最充分、故事最有说服力时,潜在买家可能已经不多了。

          类似的背离也出现在去年的泡泡玛特身上:公司业绩仍在增长,“全球IP平台”的故事仍在逐步兑现,股价却已经率先见顶。

          两个看似无关的资产,背后或许存在着相似的定价过程。

          为什么当一个板块的叙事最强、扩圈最充分的时候,往往价格总是先于基本面反转?当我们理解了这个,我们也更容易理解,为什么在每一波投机行情中赚到大额浮盈容易,但逃顶却总是那么困难。

          一、黄金长牛周期的超级叙事

          2022年以后,市场给黄金定价的方式发生了明显变化。

          俄乌冲突后,俄罗斯外汇储备被冻结。此后,对不少新兴市场央行而言,储备资产的安全性已经不只取决于信用和流动性,还取决于能否免受制裁影响。黄金不对应任何主权发行人的承诺,在本国或中立地区托管时,更容易保持独立性。

          欧洲央行在2025年的研究中发现,俄乌冲突以后,黄金与实际利率之间原有的关系明显减弱;与中国和俄罗斯地缘关系更接近的国家,官方储备中的黄金占比上升得更快。降低制裁风险,已经成为不少央行调整储备结构时需要考虑的问题。

          央行买金的规模也明显扩大。2022年至2024年,全球央行每年净购金都在1,000吨上下;2025年回落至863吨,但仍显著高于2010年至2021年的年均473吨。

          央行购金并非一两年的短期行为,它反映的是全球储备体系逐步走向多元化。美国财政赤字长期维持高位、地缘政治更加碎片化,也在持续提高黄金作为非主权储备资产的重要性。

          这些变化给黄金提供了扎实的长期理由,也让围绕黄金形成的故事格外有说服力。

          二、长期逻辑的提前定价

          黄金最初的上涨主要由央行推动,西方投资者的参与仍然有限。2024年以后,降息预期、美元走弱、地缘风险与对美国财政的担忧,又把ETF、期货和趋势资金吸引进来。

          2025年,全球黄金投资需求增至2,175吨,同比增长84%,达到央行净购金量的2.5倍;全球黄金ETF全年净流入890亿美元。央行继续提供长期方向,金融资金则逐渐取得日常定价权。

          价格上涨又开始反过来提高叙事的可信度。黄金不断创出新高,媒体关注增加,ETF申购扩大,趋势资金继续加仓。每一次回调都能很快修复,也让市场越来越相信:只要长期故事没有变化,短期下跌就值得买。

          到了2026年1月,这种正反馈进一步加速。全球黄金ETF单月净增持约120吨,持仓与资产规模双双创下纪录;中国黄金ETF净增持38吨,而中国人民银行当月增持约1.2吨。央行仍然是长期叙事的核心,但1月这段急涨主要由投资者资金推动。

          这时发生了一个重要变化:市场把原本需要几年兑现的逻辑,在几个月里提前计入了价格。每一条长期理由依然成立,但还能被这些理由说服的新买家已经越来越少。

          到1月底,央行购金仍在提供长期支撑,真正让价格加速的却是降息预期与ETF、趋势资金。央行买盘没有消失,但只要后两类资金不再流入,金价就会失去最直接的推动力。

          三、叙事继续兑现,黄金却已开始下跌

          1月之后,最先变化的是仓位,随后是货币政策环境。

          年初,市场普遍预期美联储将继续降息、美国经济逐渐走弱。随后,就业、投资和经济活动表现出韧性,AI capex没有明显降温,降息预期不断后移,甚至出现重新加息的讨论。美国2026年一季度实际GDP增长2.0%,设备与软件投资继续贡献增长;6月美联储也明确提到生产率与资本投资较强、通胀仍然偏高。

          黄金的结构性需求仍在,但货币宽松带来的周期性顺风暂时消失。与此同时,1月集中流入的ETF与趋势资金开始退出。最初的快速下跌主要来自杠杆和趋势资金集中减仓;随后几个月,早期获利资金陆续兑现收益,高位买入者也在反弹中减仓,市场对利率和金价后续路径的分歧逐渐加大,因此调整一直延续。

          2026年一季度,全球央行仍净购入244吨黄金;6月全球黄金ETF却单月流出89亿美元、减持74吨。慢资金继续改变储备结构,快资金正在降低仓位,两者完全可以同时发生。

          这轮回落,把此前混在一起的几件事重新分开了:央行购金仍在支撑长期价值,利率变化影响中期方向,拥挤仓位则决定短期涨跌有多急。长期逻辑没有消失,并不能阻止一轮由资金退出引发的深度调整。

          这也把问题带到了黄金之外:当长期趋势仍然成立,价格却不再跟随好消息上涨,市场究竟发生了什么?索罗斯关于反身性的研究,提供了一种解释。

          四、叙事的黄昏期

          索罗斯在《金融炼金术》中分析资产的繁荣与崩溃时,使用了两个核心变量:现实中存在的底层趋势,以及市场围绕这条趋势形成的主流认知。

          一轮典型的反身性过程,往往从一条尚未被充分认识的真实趋势开始。市场逐渐发现它,价格随之上涨;价格上涨又反过来强化主流认知,并在某些资产里改变融资、供给或需求。过程当中会经历几次回调测试。如果趋势经受住测试,怀疑者减少,信念与仓位进一步加强。

          索罗斯将后续阶段称为twilight period,也就是黄昏期。疑虑已经出现,越来越多人失去信心,原有趋势却仍依靠惯性延续。等到价格趋势真正反转,杠杆清算和信心变化会让负反馈向相反方向运行。

          用这个框架回看黄金,有一处尤其值得注意。

          黄金的长期趋势仍然成立,问题出在市场怎样把它外推到短期:央行持续购金,逐渐被理解为金价不会深度回撤;世界更加混乱,被理解为每次冲突都会带来同样规模的新买盘;长期中枢可能抬升,又被理解为任何价格都值得追。

          可以将这个过程概括为「真趋势—错误外推—仓位饱和」。

          真实趋势为行情提供起点。它必须足够强,才能在早期不断经受质疑和回调,吸引更多投资者加入。

          错误外推让价格跑得比现实更快。市场逐渐把几年才能验证的逻辑集中折现到几个月内,把方向正确延伸为路径平滑,再把长期空间延伸为任何价格都值得持有。

          仓位饱和最终耗尽边际买家。观点只有转化成资金才会推动价格;等到大多数相信者已经完成仓位转化,继续出现的利好更多是在满足原有预期,很难再创造同等规模的新增买入力量。

          叙事的黄昏由此拥有一个很反直觉的特征:故事仍然正确,故事对价格的解释力却在下降。市场关注的重心已经从“这件事是否成立”,转向“还有多少人会因为它而买入”。

          五、黄昏期的五个信号

          黄昏期没有一个可以精确确认的点位,但可以观察五类变化。

          1)讨论从事实转向价格

          这种变化并不只发生在黄金上。早期参与者讨论的,通常是故事背后的事实:央行为何持续购金,Labubu 为何能在海外成为爆款,HBM 为何长期紧缺。到了后期,讨论的重心逐渐从事实转向价格:涨了多少、还能涨多少、每次回调是不是新的买点。上涨被当成故事正确的证据,故事又成了继续追涨的理由。

          此时更值得问的是:新的事实还能不能说服原来的怀疑者?如果它只是在让已经相信的人更加确信,能够被这套故事吸引进来的新买家也就越来越少了。

          2)观点已转化为仓位

          口头共识对价格的影响有限。ETF申购、期货净多头、期权交易、杠杆产品与相关股票持仓,才能看出有多少人已经把观点变成仓位。

          黄金1月的特殊之处,就在于长期央行买盘与短期金融资金恰好叠在一起。央行买盘可以持续很多年,ETF、期货和趋势资金却能在几个月内把未来收益提前计入价格。

          3)利好开始钝化

          利好还能不能推动价格,是最值得观察的信号。

          到了行情后段,好消息往往仍然很多,但大部分已经被市场提前想到。长期逻辑继续成立、公司继续增长,只是在兑现原有预期;价格若想再明显上涨,还需要业绩进一步加速、盈利预测继续上调,或者有一批新资金入场。

          此时,一些资金会重新计算继续持有的赔率:向上的空间已经被乐观预期压缩,任何意外却都可能带来较大回撤。不需要提前猜中利空会从哪里出现,只要潜在收益变小、风险回报不再划算,反应较快的资金就会先离开。

          因此,“利好不涨”本身就是信息。事实越来越有利,价格反应却越来越弱,说明好消息已经很难带来新的认知和资金。再往后,利好公布后的高开低走,甚至会变成持仓者减仓的机会。

          所以,「故事是否正确」和「价格对好消息的反应」,需要分开观察。很多类似的周期告诉我们,事实尚未见顶,价格完全可能提前见顶。

          4)轻微逆风引发更大波动

          最先离开的资金,会让原本紧密的抱团开始松动。价格转弱后,趋势资金降低仓位,杠杆资金收缩敞口,后进入的投机资金逐步止盈。大家离开的理由未必相同,卖出的方向却是一致的。

          仓位越一致,行情越不需要一条足以推翻长期逻辑的大利空。美元反弹、降息预期后移、保证金提高,单独看都不足以解释黄金的大幅下跌;叠加在一起,却会让拥挤资金失去继续加仓的理由,原本正常的获利了结也可能演变成集中减仓。

          这类反转通常很不对称:利好越来越难推动价格,一点利空却可能引起较大回撤。

          5)低PE带来的错觉

          叙事拥挤不一定表现为很高的PE。对黄金矿企、存储和其他周期性公司来说,拥挤也可能藏在处于高位的利润里。

          假设一家公司的正常盈利为5元,股价100元,对应20倍PE。景气高峰时盈利升到10元,股价即使涨至150元,PE仍会降到15倍。股票已经上涨50%,估值看起来反而更便宜。如果盈利随后回到5元,静态PE会重新变成30倍。

          所以,看到低PE,先要问当下的盈利能否持续。用正常化的价格、利润率与capex重新计算后仍然便宜,估值才有更扎实的安全边际。直接把景气高峰的利润年化,很容易把周期高点误认为长期盈利能力。

          六、复盘泡泡玛特:故事仍在兑现,股价提前见顶

          泡泡玛特与黄金看起来毫不相干。黄金交易的是货币信用、央行需求与地缘风险,泡泡玛特交易的是消费、IP与公司的经营能力。但两轮行情有一个共同点:价格见顶时,故事恰好最有说服力;见顶以后,股价震荡下行,但公司经营或长期需求并没有马上转坏。

          1)一次持续两年的经营重估

          2021年上市热潮退去以后,市场曾经把泡泡玛特理解为一家依赖盲盒红利和少数IP的潮玩公司。盲盒有没有长期需求、年轻人的兴趣会不会迅速变化、单一IP的生命周期能维持多久,这些问题很难回答,也限制了市场愿意给它的估值。

          真正改变定价的,是公司从2023年开始连续交出了一组很难忽视的经营结果。

          Labubu从一个圈层IP走向大众市场,毛绒产品打开了盲盒之外的新载体,海外门店与供应链逐渐跑通。到2024年,公司收入达到130.4亿元,同比增长106.9%;经调整净利润达到34.0亿元,同比增长185.9%。其中海外及港澳台收入增长375.2%至50.7亿元,占总收入的38.9%。

          这组数据改变了市场看待泡泡玛特的方式。国内潮玩增长放缓的担心,被更快的海外增长冲淡,海外的热度又反向带动了国内的热度;毛绒产品又打开了盲盒之外的新场景。随着海外门店、供应链和IP运营逐渐跑通,市场也开始把它从一家潮玩零售商,重新理解为一家拥有产品设计、IP运营、供应链和全球渠道能力的公司。

          所以,股价上涨既有利润增长,也有估值重估。公司利润持续超出预期,投资者也在不断提高对其商业模式上限的判断。泡泡玛特的股价从2024年2月的16.96港元一路涨到2025年8月的339.8港元,最高涨幅约20倍。这个涨幅的背后,确实有经营上的巨大变化。

          2)从Labubu到“全球IP平台”

          一轮叙事最初往往是具体的。泡泡玛特最初的故事是Labubu成为爆款,随后变成海外收入高速增长,再往后则扩张成了“全球IP平台”。

          这三层叙事看起来只差几个字,估值含义却完全不同。一个爆款贡献的是一段产品周期;全球化贡献的是更大的市场空间;平台意味着公司拥有一套可以反复发现IP、孵化IP、放大IP并在全球变现的能力。叙事走到第三层以后,投资者购买的已经不只是当期Labubu的利润,还包括未来尚未出现的许多个Labubu。

          泡泡玛特的特殊之处在于,每一层叙事都得到了现实的支持。海外门店排队、明星带货与社交媒体传播证明Labubu已经跨越文化圈层;收入和利润证明热度能够转化为商业价值;Molly、Skullpanda、Crybaby等IP以及不断扩张的品类,又为平台化能力提供了更多想象空间。“中国迪士尼”的说法因此越来越有吸引力。

          叙事也在这个过程中逐渐改变了市场的提问方式。早期的问题是“Labubu能不能成为全球爆款”,后来变成“泡泡玛特还能制造多少个全球爆款”。前一个问题已经得到回答,后一个问题的答案需要许多年才能验证,市场却在很短的时间里把很大一部分成功概率计入了价格。

          3)最强业绩与最满预期

          2025年8月,泡泡玛特公布了一份无可挑剔的半年报:上半年收入达到138.8亿元,同比增长204.4%,半年的收入已经超过2024年全年;归母净利润同比增长396.5%。

          业绩出来以后,卖方又集中上调了盈利预测与目标价。摩根士丹利、汇丰和招商证券给出的目标价先后提高到365港元、379港元和410港元。高股价看起来也没有那么贵了,因为只要把当时的增长继续外推,未来两三年的盈利分母会迅速变大,远期PE自然会逐年下降。

          这些目标价本身并不重要。更值得复盘的是,到这个时候,市场能想到的好消息几乎都已经出现:业绩爆发、盈利预测上调、长期空间打开,越来越多投资者也开始认同“全球IP平台”的故事。中报再次证明了多头此前看对了,但市场已经很难从中找到此前没有想到的新增长。到2025年8月26日,股价在339.8港元见顶,距离这份最强中报发布只有几个交易日。

          公司没有变差,股价继续上涨的门槛却变高了。公司若想支撑更高的价格,需要持续交出比三位数增长更强的惊喜;任何增长降速、爆款热度波动或第二IP不及预期,都可能让此前不断上调的盈利预测掉头向下。

          对行情后期入场的资金来说,继续持有能赚到的空间已经变小,未来某个意外带来回撤的风险却始终存在。部分资金率先离开后,价格对利好的反应开始减弱,原本一致的持仓也逐渐松动。公司仍在变好,股票却需要越来越大的超预期才能继续上涨。

          4)20%增长指引发布之后

          见顶后的泡泡玛特并未马上进入经营下行。2025年全年,公司收入达到371.2亿元,同比增长184.7%;经调整净利润达到130.8亿元,同比增长284.5%。海外扩张、IP商业化和盈利能力都在继续兑现。

          真正改变市场定价的,是管理层在2026年3月25日业绩会上给出的增长目标:2026年收入增长不低于20%。对绝大多数消费公司来说,20%的增长仍然相当不错;但泡泡玛特此前的价格建立在连续翻倍甚至三位数增长之上,20%意味着盈利曲线将从爆发状态回到更正常的斜率。业绩与指引发布当天,股价下跌近23%。

          截至7月10日,泡泡玛特收于150.7港元,较2025年高点回撤约56%。现实中的公司仍在增长,“全球IP平台”的长期逻辑也没有消失,股价却已经回吐了此前按爆发期增速定价的很大一部分涨幅。

          Labubu已经证明中国IP可以进入全球消费市场,泡泡玛特也证明自己拥有全球渠道、产品开发与商业化能力,这些事实至今仍然成立。但“一个全球爆款”能否稳定复制成“多个全球爆款”,“一家优秀的IP公司”能否长期成为“全球IP平台”,仍然需要更长时间和更多IP来验证。行情最热的时候,价格已经把后一层也当成了接近确定的未来。

          叙事进入黄昏期,不意味着公司突然变差,也不要求长期逻辑被推翻。它只说明市场从怀疑到相信的那段最快重估已经走完:怀疑者越来越少,盈利预期越来越高,公司继续兑现好业绩,股价也越来越涨不动。此后即使故事仍然成立,投资回报也要等待现实追上此前被计入价格的未来。

          七、存储,或许正在复现同一个过程

          存储与黄金,也有几处相似。

          存储的长期逻辑同样有强大的现实基础。AI训练和推理显著提高HBM、Server DRAM与企业级SSD需求;HBM占用更多晶圆与先进封装资源,挤压普通DRAM供给;新建晶圆厂需要多年;三大厂商的集中度和投资纪律也较过去更强。

          美光预计,DRAM与NAND的供需紧张将持续到2027年以后。公司已经签订16份战略客户协议,覆盖未来约20%的DRAM销量和约三分之一的NAND销量,其中不少协议具有多年期与take-or-pay性质。这些变化提高了存储企业盈利的可见度。

          公司盈利已经到了罕见的水平。2026年一季度,美光收入达到414.6亿美元,营业利润率81.2%;下一季度又指引收入500亿美元、毛利率约86%。按照约31美元的单季EPS简单年化,当前公司股价对应仅为个位数PE。

          但真正的问题仍是,这样的利润涨势能维持多久?

          美光本季度DRAM收入同比增长343%,bit shipment只增长了低个位数,价格上涨约60%成为主要推动力。

          三星的情况更加明显。2026年一季度,三星存储业务收入从上一季度的37.1万亿韩元增至74.8万亿韩元,接近翻倍;半导体部门营业利润也从16.4万亿韩元增至53.7万亿韩元。同期服务器DRAM与服务器NAND的bit增长分别只有一成多和两成多,DRAM与NAND的客单价却分别上涨了九成左右。收入和利润的爆发主要由价格上涨与高价值产品占比提升推动,出货量的贡献小得多。

          到了二季度,这种分化更加明显。三星初步预计收入达到171万亿韩元,同比增长129%;营业利润达到89.4万亿韩元,是上年同期的约19倍,并且高于市场预期。业绩公布当天,股价下跌6.9%。市场关注的重点已经从当期利润转向DRAM涨价速度,以及AI资本开支能否继续支撑如此高的价格。DRAM涨幅只是略低于此前过于乐观的预期,影响却压过了创纪录的利润。市场早已把高利润当作应有之义,任何不及预期都变得更加敏感。

          美光与三星共同说明,当前存储公司的低PE很大程度上来自处于周期高位的利润。AI需求真实且强劲,利润对价格也同样敏感。bit增长相对有限时,ASP每一次上调都会直接放大利润;涨价速度一旦放缓,利润会收缩,即使股价不变,PE也会迅速抬高。

          第一个拐点已经摆在眼前:价格仍在上涨,涨幅却在快速收窄。2026年一季度,一般型DRAM合约价上涨约90%至95%;二季度预计再上涨58%至63%;到了三季度,TrendForce预计涨幅收窄至13%至18%,NAND涨幅收窄至10%至15%。价格仍在上升,但消费电子客户的成本承受力已经接近极限,PC和智能手机的消费需求也开始受到影响。

          供给端的扩产也开始回应高价格。美光预计2026财年capex超过270亿美元,2027财年全年capex将超过400亿美元;爱达荷晶圆厂计划在2027年中开始出片,台湾与新加坡项目预计在2027至2028年前后逐步贡献产能。

          黄金的上涨很难在短期内增加矿山供给,而存储的高价格与高利润却会鼓励客户抢签长约,也会推动厂商增加capex。行情越好,未来供给增加得越快。几家厂商都希望行业保持投资纪律,但谁也不愿意在下一轮份额竞争中落后。对单家公司合理的扩产,叠加在一起就可能重新制造过剩。这正是存储周期反复出现的囚徒困境。

          把这些信号放在一起,或许我们应该高度关注,存储是否已经进入叙事的黄昏期。AI需求仍然真实,未来几个季度的业绩也可能继续创新高;市场关心的问题却已经变了:此前关心利润还能涨多高,现在关心高利润还能维持多久。

          股价已经从高位明显回落,但这并不意味着风险已经释放完。周期股常见的顺序是,股价先跌,盈利预测后降。前一段回撤消化的是拥挤仓位和过高预期,下一段风险可能来自ASP涨幅收窄之后的利润下修。只要盈利预期仍处在高位,个位数PE提供的安全垫就可能比表面上薄得多。

          因此,未来一段时间的存储股走势,值得我们密切关注。由于业绩的强劲,不排除会有剧烈反弹的行情,但ASP涨幅收窄、消费端开始承压、资本开支明显上修、股价对创纪录利润反应转弱,这几个信号已经同时出现。

          存储未来几个季度的业绩大概率仍然很好,但业绩创新高,并不能保证股价同步创下新高。

          八、一轮叙事行情的六个阶段

          从黄金、泡泡玛特到存储,一轮由真实变化推动的行情,大致会经历下述几个阶段:

          1)变化已经发生,市场还没有充分认识,价格反应不大。

          2)事实不断验证,越来越多人开始相信,价格随之上涨。

          3)价格上涨强化信心,资金流入继续推高价格。几次回调都能修复以后,市场对故事的信念越来越强。

          4)故事扩散到更多人,观点逐渐变成仓位,盈利预测被连续上调。此时股价已经涨了很多,却可能因为当期利润增长得更快而显得便宜。

          5)故事进入黄昏期。事实仍在变好,价格对利好的反应却越来越弱;一点逆风就会带来较大波动。市场还在讨论故事能走多远,愿意新买入的人已经不多。

          6)价格转弱,减仓和止损互相强化。长期逻辑可能继续成立,市场则要用一段下跌或横盘,消化此前提前计入的未来。

          这套框架无法精确预测顶部,也不适合把每一次“利好不涨”解释成行情结束。它提供的价值,是帮助我们把故事是否正确、市场已经相信到什么程度、当前价格还剩多少赔率分开观察。

          判断一个叙事有没有进入黄昏期,可以归结为三个问题:这个故事还能说服多少原本不相信的人;相信它的人还有多少没有转化成仓位;当最有利的事实出现时,价格还能不能继续上涨。

          本文并非要否定黄金、泡泡玛特和AI产业的长期趋势,但通过对几个案例的复盘,或许能够启发我们多一个视角,去理解一轮投机炒作周期的演化路径与节奏。

          叙事最有价值的阶段,往往是它正在被事实验证、市场却还没有充分相信的时候。等到现实中的每一个事件都在为它作证,我们更应该观察的,或许是还有多少利好没有被价格充分反映。

          跳转微信打开

          硅谷最火的岗位 FDE,我们干了三年(后续):这回把坑全摊开了

          2026年7月13日 23:35

          原创 佳芮的创业笔记 2026-07-13 23:35 北京

          FDE,让AI真正变成生产力

          这是崔牛会基于《硅谷今年最火的岗位 FDE,我们闷头干了三年》做的一小时深访。

          崔牛会的创始人崔强约访时说得很直接:他想看 FDE 照进中国的落地现实到底长什么样,能不能抽出一套给中国 AI 公司、SaaS 转型公司用得上的打法。

          所以这次不复述文章,只追问那些一笔带过、当时觉得"不好展开"的地方。

          下面按对话整理,问题做了合并,金句做了高亮。

          一、FDE 这个词,和一个没打算做 FDE 的起点

          崔牛会:你最早注意到 FDE 这个词是什么时候?是前年 10 月 Palantir 把它讲火的时候吗?

          更早,具体哪天记不清了,但一定在 2023 年之前。Palantir 这个角色搞了二十多年,我很早就盯着这家公司。

          但有意思的是,2023 年我自己下场的时候,出发点根本不是 FDE。我们几乎是跟 dify、coze 同一时间做那套低代码平台的。我在 SaaS 行业创业了十多年,太清楚上一代低代码平台的毛病了:技术看不上,觉得这东西 low,不屑于用;非技术又没那个逻辑能力,用不起来。每家低代码公司本质上都在发明一种自己的语言,可你这门语言凭什么能标准化到所有人都认?这就跟"PHP 是世界上最好的语言"一样,是个吵了二十年也没结果的梗。

          所以我当时就一个判断:这套东西必须我们自己用,自己拿它给客户交付结果。我卖了太多年软件,太清楚 SaaS 交付的从来不是软件,是最佳实践——今天 AI 让最佳实践交付得更简洁,那我们干脆只卖最后那个结果。2023 年第一天我就没卖软件,第一天就开始搭团队。那时候团队不叫 FDE,叫 PE,prompt engineer。

          崔牛会:那会儿招 PE 是什么光景?

          巨贵,还傲慢。一个应届生两万多。我印象特别深,面一个人鼻孔朝天,我多问几个细节,他觉得我在窃取他的方案——我就问了他一个 RAG 的原理,他转头找 HR 投诉,说你们公司想偷我的知识产权。

          现在回头看挺可笑,但那就是当时的风气:大家对 AI 没什么真认知,懂一点点就觉得自己是大佬。这事现在完全不存在了。说它只是想说明,我们是从一个很糙的起点摸出来的。后来我才发现,当时纯属自救折腾出来的这些东西,OpenAI 后来也在做——真没想到。

          二、为什么是一个新角色,不是"让更好的人上"

          崔牛会:你最早是怎么意识到,需要的是一个新角色,而不是把现有的人换成更厉害的?

          是被客户的不满意逼出来的。

          最早交付全靠 PE。他能照着客户说的把提示词、把流程搭出来,活儿不差。但那一年半,我有一半时间在救火。火分两类。

          一类是 PE 摸不透客户那门生意:客户怎么获客、钱卡在哪个环节、一句话背后是什么业务逻辑,他不懂。客户说一套,他照着搭一套,交出去总不是客户真正要的。这类火,我后来靠搭一支懂行业的咨询团队压下去——先把客户的生意吃透,再动手搭。

          另一类是交付出去的 Agent 质量不合格:测试时好好的,一上线碰到真实数据和真实用户就出问题。这类火,我后来靠「句子守护」压下去——专门盯 Agent 上线之后的表现。

          我一开始的反应跟大多数人一样:是不是这个 PE 不够强?换个更强的上。换了发现没用。再强的 PE,一个人也补不上"读懂客户的生意",更盯不住上线后的质量——那都不是 prompt 写得好不好的问题。

          两类火救下来,我才想明白:缺的不是能力高低,是能力的组合,还有责任的边界。一个人既要钻进客户的生意,又要把东西搭出来,又要接进系统,还要上线后一直盯着。这套组合,现有任何一个岗位都不完整。所以不是"让更好的人上",是这个活本身需要一个新角色。

          崔牛会:实施、售前、产品经理、客户成功,公司里这些岗位都现成的,为什么补不上这个位置?

          因为它们各自只对一段负责,干完那一段就撤了。

          售前对签单负责,单签下来就走。实施对验收负责,验收完就走。产品经理对 roadmap 负责,做的是卖给所有客户的功能,不对某一个客户身上的结果负责。客户成功维护关系、催客户用起来,但他不动手改系统。

          AI 系统最麻烦的地方,是风险在上线后。它是个概率系统,测试时好好的,一碰到真实数据和真实用户就开始悄悄退化,还不报错,一点点把客户的信任磨掉。偏偏这时候,上面这些角色全撤了——系统最该有人盯的时候,没人了。

          FDE 补的就是这个。售前的终点、产品经理的终点、实施的终点,正好是 FDE 的起点。从进场到上线到客户自己的人能接手,一根线拉到底,中间不换人。

          还得补一句为什么是现在。

          传统交付为什么要一串角色接力?因为一个人干不完。懂生意、搭系统、接老系统、上线盯着,每一段都是专门的活,只能拆开交给不同的人。可一拆开,每交接一次,上下文就掉一层:售前听懂的需求,传到实施那儿变了形;实施搭的东西,产品又按自己的 roadmap 改一道。交付里最值钱的就是上下文,可协作的人越多,上下文丢得越快——每一道交接都在丢。所以最好的办法,是让一个人尽量把能做的都做完。

          以前只能忍这份损耗,没有 AI,一个人确实干不完这么多事。今天不一样:写代码、搭流程、跑测试这些工序,AI 都能当手脚使,一个 FDE 借着这套工具,能把原来一条流水线上几个人接力的活,自己并行做完。人少了,交接少了,上下文就留住了。一根线拉到底不是因为我们要求 FDE 是全才,是 AI 把那些原本必须拆开的工序,重新收拢回了一个人手里。

          崔牛会:这听起来像是 OPC(一人公司)的逻辑。

          我有个暴论:OPC 是个伪命题,可每家公司里,每个人又都该是 OPC。只有这样组织效率才提得上去。Anthropic 后来的访谈里讲的也是这件事——职位的边界会模糊掉,因为当每个人都为结果负责,沟通产生的信息熵就少了。

          说白了有点像 OKR 和 KPI:当大家的 O 真的统一了,你就没必要再去拆那一堆 KPI 了。

          三、FDE 到底是什么,它怎么反过来塑造了你们

          崔牛会:用你自己的话定义 FDE。

          一个客户,很多能力,对客户身上的真实成果负责。

          拆开就三件:读懂客户的生意,把要交付的成果设计出来,用工程手段把质量兜住。具体到我们,就是 FDE 拿着七大产品基建,直接给客户交付结果。写代码只是其中一道工序,不是目的。衡量他的不是写了多少代码、交了几份文档,是这套系统到底有没有人在用、客户的生意有没有变好。

          这套基建是三年踩坑踩出来的。FDE 拿它做完一个客户,能做到 1/10 的时间、1/10 的成本,交付两倍好的效果——中间是 200 倍的差异化。

          崔牛会:它和售前、产品经理、实施顾问,一句话各自的区别?

          售前对"签没签下来"负责,FDE 对"签下来之后客户有没有变好"负责。产品经理对"功能上没上线"负责,FDE 对"这个客户的转化、人效有没有真涨"负责。实施顾问对"交付物验收没验收"负责,FDE 对"上线之后还在不在跑"负责。

          差别都在最后那半句。前面那些岗位的终点,是 FDE 的起点。

          崔牛会:上一篇文章把 FDE 对客户的价值讲透了。我想问反过来的——它对句子互动自己的价值是什么?

          这个问题问到点子上了。对外我们讲的都是客户人效翻倍、转化涨了多少。对内,FDE 对我们最大的价值,是它塑造了我们的产品形态。

          我们今天的七个产品基建,只有句子秒回、句子秒懂这两个是当初坐在会议室里规划出来的;剩下五个,全是 FDE 在客户现场撞墙撞出来的。这也是我第一天就不卖软件的原因——我卖了太多年软件,太知道这里头的拧巴了:客户提的需求都是合理的,客户提的解决方案永远是不合理的。如果客户那么厉害,他自己就能当产品经理了。需求经过销售、经过售后、再传到产品手里,早就变形成一个奇怪的东西,解决不了他真正的问题。那好,我直接下场给你解决,我自己就知道最佳实践长什么样。

          句子守护就是这么长出来的,这个故事很典型。

          我逼着 FDE 必须交付好结果。FDE 说不行,有这问题那问题。我说好,那给你做 AI 测试。第一版做出来,FDE 又说一堆断点。我拉着 CTO 一起对,CTO 说你可以这么这么做,FDE 说不行有问题,俩人就是对不到一起去。我说那行,CTO 你下场,你把这个客户的 AI 测试整个跑出来,给我交付个结果。CTO 下场才发现,原来中间这么多断点,FDE 根本没能力把它讲清楚。整个句子守护,就是 CTO 一个人从产品设计、开发、测试到交付结果干出来的——因为他自己干过 FDE,所以他知道断点在哪,所以他解得开。雏形出来后再丢给产品包装交互、丢给测试做工程化测试,才成了今天的产品。

          AI 时代,我们公司很多产品的开发顺序都倒过来了:原来是产品提需求、技术写代码、测试测结果;现在是技术直接下场把活干完,再丢回给产品写 PRD、丢给测试出报告,紧接着上线。生产的顺序变了,生产的组织也跟着变了。

          崔牛会:那 FDE 是一个岗位,还是一种能力?

          现在是岗位,本质是能力,长期会变成 AI native 公司的基本功。

          同一件事,两个名字:对外,给客户搭 AI 员工的岗位叫 FDE;对内,帮我用 AI 重塑组织的岗位叫 AI 管培生。只是对内做得更彻底——因为决策权在我手里。他们直接向我汇报,任务只有一个:把我们自己的业务流,用 AI 重做一遍。有些对内跑通的场景,直接就长成了对外能卖的产品。比如内部招聘难受,我们就把 boss 直聘打招呼、自动面试全自动化,做成产品卖出去;比如我们有个产品叫跟单小二,最早是内部的 AI CRM——我认为以后 B2B 销售就负责到场、提供情绪价值,会议纪要、录 CRM、竞品分析、出解决方案、跟踪客户进展这些后台活全是 AI 给他干完。

          这事不止这两个岗位在干,是整个公司在干。合同审核我们有个 AI 员工叫秒审,一份合同从过去审一天压到两分钟。我办过一次内部的 AI 员工 Hackathon,让各部门自己造 AI 员工,马上还要再办一次——标准就一个:这个 AI 员工能不能在内部真上岗、真接活,不是做个 demo 给大家看。每两周一次 AI workshop,以前是我讲,现在台上换成了销售、运营、财务、HR 这些从没写过代码的人,分享自己怎么用 vibe coding 把手上的活解决掉。为了让大家敢用,我给全员开了无限量 token,一人一台 MacBook,爱怎么烧怎么烧。从我到不写代码的财务,每天第一件事都是打开 Claude Code 干活。

          加入句子互动,进入下一代 AI 组织

          我之所以把内部这件事看得重,是因为我判断组织形态本身在变。

          第一代是华为,把公司当一套流程跑,靠标准化做规模——run a company as a process。

          第二代是字节,把公司当产品做,整个组织像软件一样迭代——develop a company as a product。

          第三代我看的是 Anthropic:design a company as a parallel network——把公司设计成一张并行的网络,不停把串行的瓶颈压掉。

          前两代再强,人和人之间还是串行的:你等我交接,我等你审批。AI 第一次让协作可以并行,组织的最小单元不再是一支团队,是"一个人加一支 Agent 团队",我叫它 1+N。一家 AI native 公司,如果人均做不到 FDE,那就说明这个员工不合格——这事在 Anthropic 内部已经发生了,在我们公司我还在努力。

          四、谁在干,从哪来,怎么练

          崔牛会:现在 FDE 团队谁在带,结构什么样?多大规模?

          负责人是个学法学的 00 后女生。一开始没想让她当 leader,选她是因为两点:一是责任心极强,客户结果不好她会焦虑,甚至有点内耗;二是热心,我们开玩笑叫她鸡妈妈,新人进来她特别愿意教——这其实很少见,教人很费精力。她现在也面临新课题,带的人多了,太年轻,还需要更有资历、更懂客户和管理的人补上来,团队一直在迭代。但这个选择背后我想说的是:FDE 真正稀缺的不是写代码的人,是有极强责任心、又足够 AI native 的人。

          规模上,公司现在七八十人,三分之一是 FDE,二十多个。这是核心部门,未来人数可能超过产研。画像很杂:基本是 00 后,也有从腾讯、百度、比亚迪挖来的资深测试开发,还有我们自己的产品转岗的——中间出去创过业,做 Geo 拿了 TS,团队也组得不错,后来又回来了。我挺喜欢硅谷 PayPal 黑帮那种气质——Palantir 自己就是从那帮人里长出来的,反叛的人能做好 founder,也能做好 FDE。所以我们不强求统一画像,核心就是责任心、AI native、好奇心、执行力。

          我们刻意把规模按住。这不是省钱,是设计。如果客户翻一倍 FDE 就得翻一倍,那说明产品没起到杠杆,又退回外包了。Palantir 到 2016 年 FDE 比软件工程师还多,我们想走反过来的路:客户在涨,FDE 人数按住,靠产品基建放大每个 FDE 能盖住的客户数。

          崔牛会:从哪招?要行业老兵,还是 AI 原住民?淘汰率多高?

          两类人,不是一类。一类是懂某门生意的老手,招这种我专挑"反叛者"——不只懂这行怎么干,还能一眼看出现在这套为什么不够好。另一类是长在 AI 里的年轻人,天生把大模型当手脚使。唯独不该上来就招的是算法工程师。大部分公司做 AI 落地第一反应是招算法,错了。第一个该招的,是能听懂客户怎么赚钱的人。

          招聘是社招,一整套标准面试体系,最后一轮我亲自面。早期我这关淘汰率 80% 到 90%,现在画像对齐了,淘汰率降到 10% 到 20%。我面得很快,半小时,就看一件事:你是不是真做过事。很多人爱用 fancy 的词把自己包装得很厉害,我往细节里追几句,纸老虎一捅就破。只要真做过,就能来。

          崔牛会:怎么培养?怎么考核?

          培养不靠上课,靠筛选加老带新。底层先筛两样东西:好奇心和执行力。

          好奇心,让你愿意扎进一门跟你八竿子打不着的生意,把它当回事去搞懂。

          执行力,让你在"看出哪儿不对"和"动手把它改了"之间一直来回,而不是写份报告就交差。

          这股劲,Palantir 早期那帮人身上最明显。他们招人不挑科班对口的领域专家,专挑好奇心旺、不服现状的——把一个你完全不懂的领域甩过来,情报也好、反欺诈也好,你能自己钻进去趟出条路。这批人后来出去开了一大堆公司,底色是同一种:不接受"这行就这么干",先问凭什么,再上手把它干掉。会写代码、懂行业,都能补;好奇心和不服气这两样,补不出来。我招 FDE 看的就是这股劲,比简历上写了什么重要得多。

          筛对了人,培养就简单了。先上一周新兵训练营——这套课打磨到现在,HR 自己就能带了,今年还拿到了工信部认证的 FDE 培训证书,甚至开始跟职业大学合作培训 FDE。上完直接老带新,老 FDE 带着新人上真实客户现场,跑着跑着就长出业务 sense,听得懂客户话里的生意了。这个过程没法加速,就得在真客户、真数据、真出过故障的现场崩溃过很多次,才能跑出来。所以我不觉得能招到完美的 FDE,但我有信心能培养出来。

          考核只看一件事:你负责的客户,业务指标有没有真涨。拿销售场景举例,我们落地时和客户做 AB Test——AI 组是销售加 AI,对照组是同样的销售纯人工,两组线索质量、团队水平拉平,只差用不用 AI。不看代码量,不看文档,不看工时。内部考核口径和对客户的收费口径是同一个,所以不会跑偏。

          崔牛会:你自己还会下场做 FDE 的活吗?

          会,而且挑的是最难的那摊——带着 AI 管培生,把我们自己的内部业务流重做一遍。我在革自己的命,第一刀先冲着我自己的工作流来。这种改造最难啃、杠杆也最高:它动的是流程本身、是谁干什么、是出了事谁担,这种决定只有我拍得了,所以我得自己先下场。

          我先把自己一天的活搬上 Agent——调研、写文档、看数据、盯几条线并行。我一个人每天就烧掉几百万 token,把模型推到极限,所以我很清楚现在模型最强能到哪、边界在哪。所以 FDE 不大敢跟我说"这是模型幻觉",他知道我会把他骂回去,而且会给一个更好的解法。

          我自己趟通一条,就带着 AI 管培生照着把它铺到对应部门,一条业务流一条业务流地重做。

          五、一个完整的案例,和按结果收费踩过的坑

          崔牛会:挑一个最典型的,从头到尾讲一遍。

          就讲那个头部在线教育客户。

          第一阶段,诊断。一位懂这行的前辈带着行业经验驻场三五天,把客户的 SOP、知识库、整条获客转化链路摸清楚:他从哪获客,怎么转化,钱卡在哪个环节。不上来装软件,先搞明白这门生意。

          第二阶段,搭。业务专家带着 FDE 把销售 Agent 搭起来、跑内测,质量这块交给句子守护兜底。

          第三阶段,落地,做 AB Test。整条链路一个环节一个环节比:触达率、响应率、转化率、人效,每一步都有数据,全程留痕。结果:AI 组的产出是对照组的三倍。一个销售一个月能盯的人,从一千做到三千。转人工率从 27% 降到 2.73%,故障率从 16.26% 降到 0.13%,线索量六个月爬了十一倍。收费跟着结果走:他盯的人翻了三倍,付给我们的也翻三倍。

          崔牛会:按结果收费喊了这么多年,这套收费方式是一开始就这样吗?

          不是,踩了很多坑,迭代了快一年。

          最早我特别想按 GMV 分成,跑失败了。因为 GMV 好不好,取决的因素太多——流量质量、销售转化、SKU 定价,你很难说这单涨了是因为我的 AI。GMV 没法做干净的 AB Test。

          迭代到最后,变成按 leads 收费,核心是控制变量法:只留"用不用 AI"这一个变量,别的全拉平,我才能说产出都是 AI 带来的。光是把这个量化指标跑通,就花了小一年——你不知道怎么量化,就不知道怎么收钱。

          中间还有个坑特别有意思:销售特别爱抠 AI 的字眼。在线教育的销售都觉得自己的话术身经百战,就揪着 AI 说"你这语气跟我不一样""你这句该用'亲'还是'宝'还是'~'",说你这就是不准。后来我们干脆不纠准确率了,只盯两类指标:

          • 过程指标:填表率、行课率、完课率、作业完成率

          • 结果指标:就一个——一个人能接的 leads 翻倍,ROI 不掉。人工组一个人接 800 leads,AI 组接 3000 leads,单个 leads 的 ROI 不下降

          注意力全压到这两类指标上,那些"要不要加个'哦'"的纠结,就不重要了。

          崔牛会:做了 FDE 之后,项目成功率提高了吗?怎么定义成功?

          提高了,但不是每个都成。成功的定义就是上面那个 AB Test:AI 组打赢对照组,客户业务指标真涨,然后他愿意续约、愿意把单子做大。从世俗的 SaaS 口径看,我们的 NDR 是 112%,recurring 收入占 92%——老客户每年不光续,还在扩,单个合同越做越大。这是用脚投票的结果。

          做不动的也有,两类。一类是数据和系统基建太烂,底层是散的,AI 在上面跑不起来;另一类是组织本身不愿意用,老板想要、下面的人不配合。这两类我们后面都有了对应的解法,下面讲。

          六、七大产品基建:现场每撞一堵墙,产品就长一块

          崔牛会:这种"现场的苦变成产品",挑几个最典型的讲讲?

          七个产品基建,每一个背后都是一堵现场撞过的墙。

          句子守护,我最看重的一个。它管的是 Agent 的质量。Agent 改一行就可能带坏另一处,靠人一遍遍手测根本测不全、测不准,上线前心里没底。我们的办法是把传统软件工程那一套搬过来,管 Agent 的健康度。我们内部叫六道关:AI 生成测试用例、批量验收跑回归、灰度上线、AI 工单、上线后 AI 质检——每改一行全量重考,回归不到标准不放行;上线后还有一个 AI 盯着所有 AI,定期抽检真实对话出健康度报告。这套东西在 PE 时代根本做不起来:全靠人的手感,没有自动化回归兜底,测漏是常态。现在它是产品,下一个客户进场质量这道关开箱就有。

          我们给它一句定位:像管软件一样管 Agent。我特别想做的事,本质是 AI 守护人,因为人本来就不靠谱。它也理顺了销售和 FDE 的协作。销售不懂技术,过去 Agent 到底好不好全靠嘴上掰扯,掰不清就来找我断官司。现在句子守护直接出一份测试报告,质量结果全在上面,是量化的——销售一看就知道 FDE 交付的 Agent 行不行,报告不达标就是 FDE 没搞好。这份报告甚至能直接摊给客户看。

          句子制造,从"客户基建太烂"那类失败里长出来的。客户底层数据是散的,AI 没法在上面跑,以前我们不做定开,就让客户自己去补,周期一拉长就不了了之。所以我们做了个独立环境,本质是个 coding agent,FDE 直接在里头给客户把需要的数字化系统做出来,时间成本很低,还跟我们系统打通。

          句子懂行,解决知识工程。客户甩给你两个 T 的文件,说"这就是我的知识库,拿去做 AI"。可文件里到处是矛盾:同一个产品,这份文档写卖 2000,那份写 5000,到底信哪个?而且文件散落各处,没标签、没元数据,根本没法检索。句子懂行用 AI 做预处理,把散落的内容整理成 AI 能检索的形态,再把所有矛盾点列出来,让客户先裁决哪条对、再进库,顺手把测试也做了。这是每个客户专属的知识工程——做好了,其实是帮客户把自己的知识先理清楚,AI 检索才跑得准。

          句子 CLI,解决"老系统不敢动"。客户有几百个系统,往往跟收银、跟钱相关,是核心业务,谁也不敢让你重做——出了事谁负责?所以我们不动它,给每个系统配 CLI,原系统不用改,照样能把数据处理打通。

          崔牛会:刚才提到两类做不动的客户,后来怎么解的?

          第一类,基建太烂,就是上面说的句子制造,直接下场帮他把数字化系统补上。

          第二类更微妙——老板和执行层有 gap,老板聊得很好,下面的人就是不配合。我们最早觉得自己有底气按结果收费,就不收咨询费,直接下场吭哧吭哧干。后来发现不行,不收咨询费他就不重视。所以现在反过来:先收一笔咨询费,老板交了钱,下面的人才会觉得"这东西我们交了钱,得用起来",后面再收按结果付费的 AI 员工费用。先收咨询费再按结果收费,成功率反而更高。

          七、什么客户最需要,规模化卡在哪

          崔牛会:在你的认知里,哪类客户最需要 FDE?

          所有非 AI native 的公司,都需要 FDE。

          判断一家公司 AI native 不 native,有个暴论式的标准:看 00 后比例,看 founder 背景。如果 founder 是 00 后、又在做 AI,大概率挺 native;如果 founder 不是 00 后、又没技术背景,很难。我自己是把命革掉半条,加上原本就写程序出身——我的开源框架上个时代有两万多 star,影响过上百万开发者——我才长成一个还算 AI native 的人。今天的 vibe coding,其实你得懂程序,才知道怎么设计架构、怎么部署。没技术背景的销售型创始人,补这个认知要花不少时间。

          顺带说个观察。美国的 SaaS 土壤确实比中国好太多,这点我承认。但也别因此就神化它的数字化程度。我中美两地常跑,2019 年进过 YC,现在也给一些美国 founder 做 mentor。一个耶鲁的同学做财务 Agent,底下接的还是 Windows 时代那种离谱的老软件,在美国跑了几十年。真到系统层面,各家公司都不行。怎么用 AI 把这些老掉牙的东西接进来、变成 AI 能处理的,才是今天所有 AI 公司共同的命题。

          项目这边:越复杂、离钱越近、结果越能量化的,FDE 机会越大。制造业、金融这类复杂项目尤其需要——我们最近还做了个 AI 后勤主管,管充电站的保洁:几千个充电桩,过去靠人排班、靠人盯、验收靠抽查,现在 AI 按需派单、AI 看照片验收、不合格自动出工单和报告,连这种蓝领后勤的活都能管。反过来,离钱越远的就越低一档,比如客服——同一个客户,一个 AI 销售岗一年带来的合同额,是 AI 客服岗的十倍以上。

          崔牛会:FDE 规模化,最大的挑战是什么?

          人。

          能扎进陌生生意、又对结果较真的人,本来就稀缺;更麻烦的是,这种人离自己出去开公司只差一步——他既懂一门生意怎么赚钱,又会用 AI 把活干完,凭什么留下来跟你干?

          我们公司最近就有两个离职的人又回来了。靠的是文化和产品基建,让人觉得"咱们一起干,你拿到的更多"。所以挑战是两层:一是持续找到、留住这种人;二是用产品把对这种人的依赖一点点降下来,让一个没那么稀缺的人,靠我们的工具也能干出接近的结果。第二层做得好不好,决定了按结果收费这个模式能铺多大。

          崔牛会:FDE 会成为 AI 公司的标配吗?

          会。Bob McGrew 那句话我很认同:

          Agent 没有现成的样子。SaaS 你一上来就知道要做成什么样,照着做个更好的去抢市场;Agent 不是,没人知道一个销售 Agent、客服 Agent、甚至我们做的那个能接案子的律师 Agent,最后该长成什么样,只能钻进客户真实业务里一点点试。谁想在 Agent 时代找到 PMF,FDE 大概绕不开。

          硅谷今年集体做 FDE,巨头一边自建一边拉麦肯锡、德勤,说到底是认了同一件事:客户认的是结果,不是过程。

          八、重来一次,和"CEO 是天花板"

          崔牛会:如果重来一次,你会怎么设计 FDE?

          三件事,两件照做,一件会改。

          照做的:第一天就按结果收费,2023 年就定下来,扛住了同行都按人头按工时收的压力。还有一句——第一天就别招算法,招懂生意的人。这条我们只做对了一半:确实第一天就没招算法,但也没招到懂生意的人,招的是一批 00 后 PE。不过那个时候我没那么多资源,再来一遍大概率还是这么走,还是得从零培养。这其实是个资源匹配的问题——换成今天的我,有资源了,第一天就会去招懂生意的人。

          为什么以前没资源、现在有了?很多人是因为相信所以看见,也有很多人是因为看见所以相信。两年前我盲目相信这事能成,先做了出来,今天麦肯锡、科尔尼、安迈这些非常资深的合伙人愿意跟我们合作、给我们带大 case——是因为我们做到了,他们看见了,所以信了。

          会改的:更早把"质量兜底"做成产品。句子守护我们做晚了。其实 2023 年第一个项目我就在干这事——自己写代码、用 Excel 把测试用例放进去批量跑结果,想把它标准化。但真做成花了这么久。为什么慢?说到底还是组织的问题:23 年我没有现在的现金流、现在的认知。一家 AI 公司的天花板,就是 CEO 本人——他的认知、他的执行力、他当下的资源,决定了这家公司能做成什么样。

          所以那些坑,我大概只能自己踩。CEO 多半是不撞南墙不回头的人,没撞到南墙,就总觉得自己是对的。换个阶段、换个认知,踩的坑不一样,但该犯的错一个不会少——区别只在于,撞下去之后知不知道收脚。

          阅读原文

          跳转微信打开

          人生周报v081:方法

          2026年7月13日 22:46

          原创 李继刚 2026-07-13 22:46 北京

          「不戚戚于贫贱,不汲汲于富贵。」

          《剑来》里,陈平安遇到眼前一亮的句子,会一笔一画刻在竹简上,时不时拿出来晒晒太阳,翻拣重读。

          以陈平安为师,我想记录一下每周在这世上遇到的好句子。

          每周读到的好句子,收下来晾一晾——是以有「读」。

          心里总有话忍不住想对这个世界讲,——是以有「说」。


          读

          真正的 bitter lesson 是,所有的主观判断都会被无情的客观现实碾压。所以人生就是一个不断客观的过程。

          即刻 @海松

          不要向他人证明自己,也不要向自己证明自己。

          「证明自己」是人生的弯路。

          即刻 @王盐

          知道人是什么时候开始没有心气的吗 就是你熬过巨大挫折和痛苦的那年 在外人看来你迈过了那道坎 但是只有你自己清楚 有一部分的你死在了那场劫难里

          即刻 @二狗想吃鱼

          三人行必有我师,这话被讲烂了,但大多数人只记住了“向强者学”。

          孔子的意思其实更狠:那两个人,一个教你该怎么做,一个教你别那样做。蠢货和烂人也是老师,你看着他栽跟头,就省下了自己栽的成本。

          我这些年学到最多的,不是从佩服的人身上,是从那些让我警醒“千万别变成这样”的人身上。

          X @qinluos

          Everyone wants freedom.

          Few people want the responsibility that comes with it.

          X @MoZarrinsadaf

          说

          凡以「不要」说出的愿望,仍属于它所否定的世界。

          凡以「我要」说出的愿望,才划出它所创造的世界。

          「我要」>「不要」

          ai 这几年,同样需求场景,体验“十倍好”提升的产品有哪些?

          「预测」是一种强大的「选择压」。

          它会逼迫你放弃模糊的理解,只留下对「结构」的判断。

          LLM 靠预测下一个 token,学到了语言的结构。

          人也应该靠预测所在领域的下一步,逼自己看见这个领域真正的生成机制。

          护城河不是「我和别人不一样」。

          护城河是某种差异无法被竞争者低成本抹平,并且这差异确实改变客户选择、成本曲线、供给速度或分发路径。

          人在做,AI 在看。

          书

          本周推荐书籍《谈谈方法》(笛卡尔)。

          我身上的一部分习惯,是早年读这本书时不自觉学到的。

          比如思考时建立一些原则:

          1. 明证:不把尚未清楚分明的东西当真,先挡住仓促与成见;

          2. 分解:把困难拆到可处理的部分;

          3. 次序:从简单、易知处逐步走向复杂;

          4. 穷举:全面复查,防止长推理链漏项。

          比如框里有好苹果和坏苹果,如何挑出坏苹果?

          先清空,再把好的一个个检视放进去。

          这招不一定是最优策略,但它们就这么一点点成为了我思考的一部分底色。

          跳转微信打开

          干货 | 200G内存尖峰、数十万Pod迁移:携程Karmada规模化治理实录

          2026年7月10日 12:00

          原创 扎克 2026-07-10 12:00 上海

          用联邦层承载全局治理,用成员集群保留本地自治

          作者简介

          扎克,携程资深云原生研发工程师。长期关注 Kubernetes 多集群、弹性调度与控制面稳定性建设,深耕复杂基础设施系统在真实业务流量下的落地与演进。

          导读:多集群治理并不只是把应用分发到多个 Kubernetes 集群这么简单。

          在大型在线业务场景下,基础设施平台既要统一分发资源,又要在容量变化、集群拆分、故障切换和基础组件交付过程中保持足够稳定。尤其是交易型业务,对弹性、可用性和变更平滑度都有很高要求:联邦控制面不能成为运行时强依赖,也不能在规模扩大后成为新的性能瓶颈。

          携程很早就开始了 Kubernetes 集群联邦实践。早期,我们主要使用 Kubefed 解决跨集群资源同步和统一管理问题。随着业务规模增长,多集群逐步从“资源分发”走向“生产调度与规模化治理”,平台侧需要更主动地控制应用跨集群分布,并在容量变化或异常场景下完成平滑调整。

          在这个过程中,我们逐步引入 Karmada,并将其作为新一代多集群联邦控制面的基础。如今,Karmada 已在携程用于多集群高可用、跨集群迁移以及基础组件统一交付等场景:累计完成数十万个 Pod 迁移,并将新集群 baseline 组件的初始化时间从数天缩短到数小时。

          本文会围绕三个层面展开:

          • 架构演进:为什么从 Kubefed 走向 Karmada,原有联邦模型在哪些生产场景下遇到边界;

          • 生产落地:如何支撑多集群高可用、跨集群平滑迁移和新集群基线组件初始化;

          • 规模化治理:几十万级资源规模下,如何优化控制面状态同步、启动成本、内存压力和策略权限边界。

          一、为什么从 Kubefed 走向 Karmada

          二、Karmada 在携程的生产落地

          三、规模化使用中的问题与优化

          四、后续方向

          一、为什么从 Kubefed 走向 Karmada

          在携程早期的集群联邦实践中,Kubefed 承担了部分资源联邦分发和多集群管理职责。它当时主要承担跨集群资源同步和统一管理的工作,也支撑了早期联邦能力建设。

          但随着多集群场景从简单资源分发扩展到容量调度、应用迁移和弹性治理,平台侧对联邦能力的要求发生了变化。Kubefed 的模型开始暴露出一些局限。

          1.1 资源模型引入额外适配成本

          Kubefed 通过 FederatedDeployment、FederatedConfigMap 等 federated 对象描述联邦资源。原生 Kubernetes 资源需要被转换成对应的 federated 资源后,才能参与多集群分发。

          这会带来额外的模型适配成本。原有围绕 Kubernetes 原生对象构建的发布、审计、运维链路,以及平台侧基于原生资源扩展的增强能力,都需要做相应改造。对于已经沉淀了大量 Kubernetes 原生能力的平台来说,这类改造成本并不低。

          1.2 平台策略与业务配置耦合

          在 Kubefed 模型中,业务资源定义、分发策略和集群差异配置往往集中在同一个 federated 对象中。

          当平台侧需要调整调度策略时,通常只能通过修改 federated workload 实现,而这类对象又通常由业务侧维护。这会增加变更成本,也不利于平台侧统一治理。随着多团队、多集群共用同一套联邦能力,这种耦合会进一步放大协作复杂度。

          1.3 缺少控制实例分布的上游入口

          在携程的联邦 HPA 场景中,成员集群必须保留本地扩缩容能力。扩缩容是高频核心链路,不能强依赖联邦控制面;否则一旦联邦控制面不可用,业务应用的自动扩缩容也会受到影响。因此,我们将实时扩缩容保留在成员集群内,由各成员集群 HPA 根据本地指标独立完成;联邦层则用于表达资源分发策略和跨集群调度意图。

          在携程旧有的 Kubefed 体系中,各成员集群可以独立扩缩容,但联邦层只能把当前副本结果记录回 federated workload。这能反映现状,却不方便表达平台侧的分布目标。比如管理员希望应用实例在两个集群中的比例按 3:7 分布时,Kubefed 缺少类似 weight 的配置入口。

          基于以上原因,我们开始采用 Karmada 作为新一代多集群联邦控制面的基础。

          与 Kubefed 不同,Karmada 并不是通过为每类资源重新定义 federated 对象来完成分发,而是尽量保持原生 Kubernetes 资源不变,并将业务对象、平台策略和调度结果拆开管理。

          业务资源仍以 Deployment、Service、ConfigMap、HPA 等原生 Kubernetes 对象存在;平台侧通过 PropagationPolicy、OverridePolicy 等策略对象描述分发范围、分布权重和集群差异配置。这样,业务对象不需要为了联邦分发改变形态,平台侧也可以在业务对象之外独立表达调度策略。

          对于携程需要控制实例分布、进行跨集群 Rebalance 的业务场景,Karmada 也提供了更明确的策略入口,例如通过 weight 描述应用在不同集群之间的目标分布。

          二、Karmada 在携程的生产落地

          引入 Karmada 之后,它最早承担的是资源分发入口,后来逐渐覆盖到多集群高可用、跨集群迁移和基础组件交付等场景。

          我们在架构设计中始终坚持一个核心原则:

          低频、全局、跨集群的能力放在联邦层;高频、局部、运行时强依赖的能力保留在成员集群内。

          这条边界决定了 Karmada 在携程生产环境中的角色:它负责全局策略、资源分发、状态聚合和跨集群调度意图,但不直接接管实时流量决策和成员集群内的实时扩缩容链路。

          2.1 韧性优先的多集群高可用架构

          携程有大量交易型业务,流量高峰明显,容量需求也具有很强的弹性。对这类业务来说,多集群架构不能只解决“资源分发到哪里”的问题,还必须保证故障发生时业务可以快速恢复。

          具体来说,我们会将无状态应用部署到多个成员集群中,每个成员集群都运行独立的 HPA 组件。正常情况下,各集群根据本地指标独立完成扩缩容。当某个承载线上流量的成员集群发生故障时,流量侧会基于实例健康状态摘除故障集群中的实例,并自动切换到其他健康集群;同时,健康集群中的 HPA 被触发扩容,完成自愈过程。

          在这个架构中,Karmada 负责分发应用资源和 HPA 对象,联邦层控制器负责状态聚合和 Rebalance 计算,但不直接接管实时流量决策和成员集群内的实时扩缩容。即使 Karmada 控制面短时间不可用,也只会影响应用更新和自动 Rebalance,不会影响已经运行服务的流量切换和本地 HPA 扩缩容能力。

          这也是我们在生产中非常看重的一点:联邦层需要足够可靠,但核心运行链路不应该把它作为实时强依赖。当前内部设计允许联邦控制面达到小时级别不可用,因为核心服务运行、流量切换和成员集群内扩缩容都不依赖联邦层的实时可用。

          这样的架构让故障影响面可以被限制在单个成员集群内,也让核心服务具备更强的高可用和容灾能力。

          2.2 权重驱动的平滑跨集群迁移

          随着业务规模快速增长,我们的部分 Kubernetes 集群曾经达到 5000 个节点以上。单集群规模继续扩大后,容量、运维和故障隔离都会遇到边界。因此,我们经常需要拆分集群,把应用逐步迁移到新的集群中。

          过去,这类迁移缺少管理员侧的统一能力,往往需要业务负责人通过重新发布应用来触发迁移。这个过程既耗时,也会增加业务侧的理解和操作成本。

          在 Karmada 体系下,我们在联邦层引入自研 fed-hpa-controller 和 Rebalance 状态机,用于聚合各成员集群的副本状态,并在迁移过程中按灰度批次推进实例分布调整。

          管理员可以通过 PropagationPolicy 中的 weight 声明应用在不同集群之间的目标分布比例,状态机会根据目标权重自动推进迁移。在生产操作中,目标权重也可以按阶段设置,用于控制整体迁移节奏。

          对于使用 HPA 的 workload,fed-hpa-controller 会结合 PropagationPolicy 中的 weight、各成员集群的实际副本数,以及 HPA 的扩缩容约束,驱动状态机计算每一批 Rebalance 的目标。

          执行时,状态机会优先扩容目标集群,使整体副本数在短时间内高于实际负载需求;随后源集群实例的平均负载就会下降,并由源集群本地 HPA 按缩容策略自然缩容。迁移节奏会与 HPA 的缩容稳定窗口对齐,避免副本数在集群之间来回抖动。

          对于不具备 HPA 的 workload,我们也在内部版本的 resourcebinding-controller 中补充了灰度控制逻辑,由控制器按固定步进自动推进副本分布调整。这样,跨集群平滑迁移能力不再局限于 HPA 场景。

          如果迁移过程中需要回退,也可以通过恢复上一版本 weight 触发反向 Rebalance,或者中止 Rebalance 后将期望状态重新对齐当前实际分布。

          目前,这套机制已经支撑我们在多个集群之间完成了大规模迁移,累计涉及超过数十万个 Pod。

          2.3 基础组件统一分发:从数天到数小时

          在多集群体系中,新集群创建完成并不意味着可以立刻承载业务。一个 Kubernetes 集群真正进入可用状态之前,还需要完成一组 baseline 组件的安装和初始化,包括网络、监控、日志、RBAC、Operator、平台插件以及其他支撑资源。

          这些组件数量多、来源分散,并且存在明确的依赖关系:有些组件必须先就绪,后续组件才能继续安装。

          在引入 Karmada 之前,这部分工作通常需要多个团队分别处理。不同团队维护各自的配置和发布流程,初始化过程中既要关注安装顺序,也要反复确认配置一致性。一次新集群交付往往需要持续数天。

          引入 Karmada 后,我们将基础组件分发收敛到统一入口。管理员只需要在控制面声明目标集群和分发策略,后续组件分发过程就可以自动推进。

          具体来说,组件之间的依赖和安装顺序由上层的 Trip Cluster Components Controller 负责编排。当前置组件就绪后,上层控制器再将后置组件纳入 Karmada 的分发范围,并通过 PropagationPolicy 下发到目标集群。Karmada 负责资源分发和状态保持,资源下发到成员集群后,继续按照 Kubernetes 原生方式运行。

          目前,这套能力已经覆盖数十个集群,新集群 baseline 初始化时间也从原来的数天缩短到数小时内,这让新集群从创建完成到具备业务承载能力的周期大幅缩短,也减少了扩容高峰期对多个团队串行配合的依赖。

          三、规模化使用中的问题与优化

          随着 Karmada 覆盖的集群和资源数量不断增加,我们遇到的问题也从“能力是否可用”逐渐转向“控制面能否在更大规模下稳定运行”。

          这些问题主要集中在三个方面:控制面高频状态同步、控制器启动成本、单实例内存压力。此外,多团队共用控制面后,策略权限边界也需要额外治理。

          3.1 高频状态同步带来的控制面压力

          Karmada 标准分发链路中,Work 是面向成员集群的资源载体,与成员集群对象存在 1:1 的映射关系;早期我们的 fed-hpa-controller 也沿用了 Work 进行分发。

          在 HPA 场景中,成员集群中的副本数、HPA status、ready pod 数量等状态会持续频繁变化。如果这些运行时状态都沿着联邦链路同步回 Karmada 控制面,Work 就会从资源分发载体变成高频更新对象。

          在生产中,这类高频更新曾经带来明显的控制面压力。部分场景下,Karmada 控制面中对应 Work 资源的更新频率可以达到每秒数百次。频繁读写会推动 etcd db size 增长,进而引发写入延迟劣化;Work 更新过快也会导致 karmada-controller-manager 的 informer cache 长时间滞后,进而出现大量 409 冲突。冲突后的重试又会继续放大整体负载,形成正反馈。

          针对这类问题,我们的优化思路是缩短高频链路,减少不必要的控制面写入:

          • 在内部版本 Karmada 中,弃用 Work 资源,将 Work 相关逻辑折叠进 resourcebinding-controller 和 fed-hpa-controller,避免每一次运行时状态变化都转化为 Work 更新;

          • 降低 HPA status 更新频率,减少联邦控制面的状态写入频率;

          • 对 watch event 做 batch 和去重,例如在短时间窗口内合并同一个对象的多次事件,减少 reconciliation 触发;

          • 升级 etcd 到 3.4,降低 db size 增长后对写入性能的影响。

          3.2 启动成本随资源规模放大

          karmada-controller-manager 启动时,需要先通过 List/Watch 建立控制面对象和成员集群对象的 informer cache。资源规模越大,首次 List 进行 cache 同步和存量对象入队处理的耗时就越长。在滚动发布或重启 controller 时,这部分启动成本会直接传导为业务用户感知到的发布延迟。

          这里的延迟主要来自三部分。

          第一,List 本身会随着对象数量增长而变慢,informer cache 同步时间随之变长,会延长 controller 新实例就绪所需时间。

          第二,如果 List 时间超过 kube-apiserver watch cache 能覆盖的时间窗口,后续 Watch 就容易出现 too old resource version,触发重新 List,并伴随 409 冲突和重试,进一步放大同步成本。

          第三,存量对象进入队列后仍然需要 controller 逐个处理。worker 并发、client QPS 和单次 reconcile 成本都不可能随资源量无限增长,因此资源量上来后,存量队列清空本身也会成为发布链路中的耗时点。

          对此,我们主要做了几类优化:

          • 启动阶段预加载 informer,等待 cache 同步完成后再上报 ready 并参与选主,从而在滚动更新过程中保留旧实例继续处理事件,降低新旧实例切换时的感知影响;

          • 调整 kube-apiserver watch cache 时间窗口,避免 too old resource version 错误。(在社区版本 v1.33 起可通过 --request-timeout 参数调整)

          • 对存量对象对账和新增变更事件区分优先级,引入优先级队列,优先处理新增和变更事件,将存量对象对账放到最后,降低业务用户的可感知延迟;

          • 写入前增加 deepEqual check,跳过无变化对象,减少无效 update 对 HTTP 请求 QPS 的占用,加快存量对账速度。

          3.3 karmada-controller-manager 内存压力

          随着纳管资源数量增加,karmada-controller-manager 的内存压力也会变得明显。内存占用主要来自几类对象和过程:

          • 需要 Karmada 进行分发的资源;

          • Karmada 控制面资源,例如 Work、ResourceBinding、PropagationPolicy、OverridePolicy;

          • 成员集群被纳管对象的 informer cache,且不仅包括被纳管对象,还包括该类别在成员集群的所有资源;

          • List/Watch 过程中的对象反序列化。

          在大规模下,启动或 cache 重建阶段的瞬时内存峰值会明显高于常态。尤其是在 dynamic informer 和 unstructured 对象路径中,数据从 JSON 字节流反序列化为 unstructured 对象进入 informer cache,会带来较高的对象化成本。

          当前线上较大规模下,Karmada 纳管资源量已经达到几十万级,karmada-controller-manager 在控制面启动时内存尖峰可达 200G。压测也表明,资源规模继续翻倍甚至数倍增长后,单实例内存会成为更明确的容量边界。

          当前可优先利用 watch list 相关能力。我们在基于 Kubernetes 1.36 的环境中验证后,观察到该能力可将启动时内存尖峰降低约 15%。

          此外,还有一些方向后续会继续评估:

          • 使用 CBORServingAndStorage feature gate,进一步降低传输以及编解码开销;

          • 对成员集群 informer 中冷数据使用 metadata informer,减少完整对象缓存;

          • 对类型固定、字段访问稳定的对象使用 typed informer,降低 unstructured 带来的编解码和内存开销;

          • 对部分大对象链路探索 bytes cache,减少不必要的编解码和 unstructured 对象化成本;

          • controller 分片,避免单进程承载过多对象。

          3.4 策略权限边界问题

          除了性能问题,策略权限边界也是深化使用后需要关注的点。PropagationPolicy 和 ClusterPropagationPolicy 通过 resourceSelectors 选择需要分发的资源。在多团队共用同一个 Karmada 控制面的情况下,如果缺少额外约束,就可能出现策略选择范围超过预期、不同团队策略互相冲突的问题。

          原生 Kubernetes RBAC 很难在统一资源类别内做细粒度约束。因此,我们在部分场景中引入 OPA 作为准入控制层,对 PP/CPP 的创建者、目标资源的 label、resourceSelectors 的匹配范围这几类信息做额外校验,避免策略越权选择其他团队的资源。

          这类问题本质上是多团队共享联邦控制面后必然会出现的治理问题。Karmada 提供了策略入口,平台侧还需要围绕这些入口补齐权限、审计和准入控制能力。

          四、后续方向

          后续,我们会继续推进历史 Kubefed 体系下线,并将更多基础设施治理能力收敛到 Karmada,减少两套联邦体系并存带来的维护成本,提升多集群交付和运维效率。

          同时,我们也会持续优化大规模场景下的控制面稳定性,减少资源规模增长对数据同步、缓存和控制器处理链路带来的压力。重点方向包括降低高频状态写入、优化启动阶段 cache 构建成本、控制单实例内存边界,以及探索 controller 分片等能力。

          回看整个演进过程,我们最核心的经验是:联邦控制面不应该接管所有事情,而应该明确自己的职责边界。低频、全局、跨集群的能力适合放在联邦层,例如资源分发、策略表达、跨集群迁移和基础设施治理;高频、局部、运行时强依赖的能力则应该保留在成员集群内,例如实时扩缩容、流量切换和本地故障自愈。

          换句话说,用联邦层承载全局治理,用成员集群保留本地自治。这条边界如果划不清,联邦控制面很容易从治理入口变成新的运行时风险点;划清之后,它才能真正承担全局治理的价值。

          【推荐阅读】

           “携程技术”公众号

            分享,交流,成长

          跳转微信打开

          ❌