压测 AI Agent 治理与评测调优实践
恒宇 2026-11-16 18:30 上海
压测平台接了智能分析 Agent 后,我才发现:结论跑偏时,根本不知道坏在哪一环。
于是我们把它治理调优,关键就这几步:
反馈没用→Trace 回放找错因
改完要验证→冻现场,喂回重跑
评测三件事→质量、延迟、成本
最扎心→一次高分不算数,得反复跑
经验→落成可回放、可对比的用例
坏在哪一环、怎么定位的,评论区聊聊 👇
恒宇 2026-11-16 18:30 上海
压测平台接了智能分析 Agent 后,我才发现:结论跑偏时,根本不知道坏在哪一环。
于是我们把它治理调优,关键就这几步:
反馈没用→Trace 回放找错因
改完要验证→冻现场,喂回重跑
评测三件事→质量、延迟、成本
最扎心→一次高分不算数,得反复跑
经验→落成可回放、可对比的用例
坏在哪一环、怎么定位的,评论区聊聊 👇
得物技术 2026-11-13 12:00 上海
一个"不会聊天"的AI,我把测试里一堆零碎的判断活儿交给它,又快又省。
用例打标,5秒搞定300个
UI自动化里选元素,7秒选好下一步
知识库召回后的用例精筛
你还能用来做什么?评论区讨论 👇
恒宇 2026-11-11 18:30 上海
压测调试是用户反馈问题最集中的环节。平台支持10种常用协议和30多个脚本组件,新手接触陌生协议、编排脚本或配置参数时,经常遇到调试报错。过去排查这类问题,得挨个核对场景配置、JMX 脚本、请求响应、JMeter日志和Trace,链路长、耗精力。
目录
一、建设背景:让Agent进入调试流程
二、目标:从上线反馈到治理闭环
三、Langfuse治理基础:从过程记录到问题排查
1.Langfuse在治理闭环中的作用
2.反馈案例:从用户反馈到待治理队列
四、评测体系:用固定证据验证Agent质量
1.固定问题现场,回测Agent方案
2.评测指标:方案质量、延迟与成本
3.评测器:以人工期望答案为基准的五档评分
五、调优案例:固化Dubbo排查经验,提升方案质量
1.实测记录:质量提升伴随中间波动
2.Dubbo调优案例:把平台排查经验固化到Agent
六、模型对比:在相同条件下比较候选模型
七、经验总结:让排查经验成为可验证的Agent能力
压测智能分析Agent接入真实业务后,分析结果跑偏可能是证据采集、工具调用、规则校验或模型推理中任意一环出了问题。只看最终结论,很难定位根因,也没法验证改动是否有效。
上线后的日常迭代主要得解决两个问题:
收到“分析不准”的反馈时,如何通过Trace还原Agent的执行链路,并定位具体出错环节。
完成Agent修复后,如何在相同的上下文和证据下开展回测,既确认原有问题已修复,也避免引入新的问题。
本文以Dubbo调试为例,还原从用户反馈、Trace排障、沉淀经验到固定场景回测的完整过程,介绍如何结合Langfuse与CLI Mock持续打磨 Agent。
一
建设背景:让Agent进入调试流程
压测调试是用户反馈问题最集中的环节。平台支持10种常用协议和30多个脚本组件,新手在接触陌生协议、编排脚本或配置参数时,经常遇到调试报错。过去排查此类问题,往往需要逐一核对场景配置、JMX 脚本、请求响应、JMeter日志和Trace,排查链路长且耗时费力。
针对这类调试问题,我们将智能分析Agent接入现有业务流程,由它自动收集场景配置、脚本、请求响应、日志和Trace等信息,完成初步排查并给出处理建议。涉及脚本修改时,Agent会先展示具体的修改内容,经用户确认后再写回平台。
从用户视角看,分析还是从调试页面发起。系统内部,请求依次经过:调试页面Copilot → Java业务网关→ Agent SDK运行服务 →Skill与CLI→ 平台数据与本地脚本。规则和程序先整理证据、生成候选原因,模型再结合上下文复核并输出方案;平台负责审批、执行和结果展示Langfuse则记录完整的分析过程,为后续排查和评测提供依据。
二
目标:从上线反馈到治理闭环
Agent推广到真实业务后,我们遇到的治理问题主要集中在三个方面:
反馈难采集:用户通常在分析结束后反馈问题,依赖事后描述和人工沟通,容易缺少当时的输入、场景配置和执行记录,难以完整还原问题现场。评价不统一:不同场景、版本和用户关注点不同,缺少统一的评测标准,单凭主观反馈难以客观比较Agent的实际效果。过程不透明:如果看不到Agent的工具调用、证据来源和判断过程,就很难确认问题出在证据采集、规则处理还是模型分析。
针对这些问题,我们希望将用户反馈、Trace排查、问题修复和回归评测串联起来,形成一套持续治理流程:用户反馈→关联Trace→还原并定位问题→修复Skill、规则或证据采集逻辑→固化回归Case→评测通过后上线。
每个确认的问题,都应留下可复用的排查经验和可重复执行的回归样本。这样,后续版本可以在相同的问题现场中验证改动效果,避免仅凭一次经验或主观感受判断Agent是否真正得到改进。
三
Langfuse治理基础:从过程记录到问题排查
上一节定义了从用户反馈到回归评测的治理闭环。要让这套流程运转起来,首先需要完整记录Agent的分析过程,并将用户反馈、调用证据和评测结果关联到同一次执行。
Langfuse不直接参与业务诊断。它负责保留Agent的输入输出、工具调用、执行耗时和模型成本,让一次分析可以被还原、检查和比较。当用户反馈方案未解决问题时,我们可以通过对应的Trace回到当时的分析现场,判断偏差发生在哪个环节。
Langfuse在治理闭环中的作用
压测平台负责运行Agent和执行工具,Langfuse负责记录过程并关联治理数据。线上Trace用于排查具体问题,离线实验用于验证修改后的方案质量。相关能力见Langfuse官方说明。
从系统架构看,SDK负责上报调用数据,Web/API接收事件,Worker异步处理,存储层提供Trace查询、数据集管理和评分分析能力。各组件之间的关系如下图所示,架构参考Langfuse 官方通用架构;CLI Mock是压测平台在评测场景中的扩展,将在第4章介绍。
反馈案例:从用户反馈到待治理队列
下面以一条“Agent 给出的方案未解决问题”的反馈为例,说明如何通过Trace还原分析过程。反馈中包含场景信息、用户原始诉求、方案不足和langfuseId(本次调用对应的Trace ID)。
①定位调用:根据Trace ID找到对应记录,核对调用时间、业务场景、用户输入和Agent 版本,确认反馈与Trace匹配。(左图)②还原链路:查看模型和工具的调用顺序,对照用户诉求、分析过程与最终方案,确认 Agent 实际执行了哪些步骤。(右图)
(左图)③ 核对证据:展开关键工具节点,检查调用参数、执行结果和异常信息,判断问题来自证据缺失、工具失败、规则处理偏差,还是模型没有正确使用已有证据。(右图)④ 登记待治理案例:记录方案不足、初步原因和待复核内容,通过Annotation Queue加入待治理队列,作为后续修复和回归样本的来源。队列名称以实际配置为准,操作见官方说明。
进入待治理队列只代表问题已经被记录。完成原因确认和Agent修复后,还需要在相同的问题现场中重新评测,验证修改是否有效。下一节将介绍固定证据数据集和CLI Mock如何支持这一过程。
四
评测体系:用固定证据验证Agent质量
上一节介绍了如何通过Trace还原一次分析过程。本节进一步说明,Agent完成修改后,如何验证改动是否真正有效。
评测的基本原则是让不同版本的Agent面对相同的问题、业务上下文和诊断证据,只改变需要验证的因素,再比较最终方案的质量、耗时和成本。Langfuse负责管理评测数据集、实验和评分结果,CLI Mock负责在回测时还原固定的业务证据。
固定问题现场,回测Agent方案
平台将用户问题、场景配置、JMX脚本、日志和请求响应等信息固化为评测Case,并为每个 Case配置人工校对后的参考答案。回测时,CLI Mock返回与原始问题一致的证据,避免线上数据变化影响前后版本的比较。
评测过程中运行的仍是真实Agent。Agent会按照正常业务流程调用工具、读取Mock证据、分析问题并生成方案,评测器再对实际输出进行评分。因此,固定的是问题输入和工具证据Agent 的分析过程和最终答案仍会重新执行。
验证Agent调优效果时,固定数据集、Mock证据、模型、评测器和执行预算,只修改对应的 Skill、规则或分析流程。比较候选模型时,则固定Agent实现和评测配置,只切换模型。对于结果波动较大的Case,需要重复运行并观察多轮结果,不能只根据单次最高分判断效果。
评测流程:固定问题与证据 → Agent 重新分析 → 自动评分 → 结果对比与回归。
评测指标:方案质量、延迟与成本
评测结果从方案质量、响应延迟和使用成本三个方面观察Agent的表现:
质量是首要判断标准。在质量接近时,再结合延迟和成本进行取舍。正式比较时,除平均值外,还应关注P95延迟、成本波动和重复运行结果,避免平均值掩盖极端情况。
评测器:以人工期望答案为基准的五档评分
评测器采用模型评审(LLM-as-a-Judge):以人工校对的期望答案为主要依据,判断 Agent 输出的语义一致性与关键内容覆盖程度。它接收三类输入:input是用户问题,用于理解背景、目标和约束;expectOutput是人工期望答案,提供评分基准;actualOutput是Agent实际生成的方案,作为评测对象。
评分边界:参考答案不是唯一的标准答案,也不要求实际输出复现参考答案的推理过程、措辞、结构、证据顺序或输出风格。
评测器只返回一个合法分数,不输出理由或其他文字。人工期望答案提供统一标准,也决定了评测边界;需要抽样复核高低分和争议案例,修订遗漏的有效解决路径后,再用统一版本重新评测。线上修复效果由用户再次调试确认。
① 定义评测器:在Langfuse中编辑需要的评测器定义,定义清楚需要传递的变量信息。
你是一个严格、客观的答案正确性评测器。你的任务是根据人工校对后的参考答案,评估 Agent 实际输出是否在语义上完成了用户任务。参考答案不是唯一的标准答案,也不要求实际输出复现参考答案的推理过程、措辞、结构、证据顺序或输出风格。变量说明:-<user_input>:用户原始问题,用于理解任务目标、上下文、限制条件和硬性约束。-<expected_output>:人工校对后的参考答案,是主要评分依据。-<actual_output>:Agent 实际生成的答案,是本次评估对象。请在内部完成以下分析:1. 从 <user_input> 中识别用户真正要解决的问题、目标、限制条件和硬性约束。2. 从 <expected_output> 中提取评分要点,并将其分为两类:- 主要评分点:解决用户主要问题所必需的核心结论、最终方案、必要约束、关键事实或关键证据。- 次要评分点:辅助排查信息、次要证据、补充解释、额外示例、格式性说明、参考答案特有的表达或非必要细节。3. 判断 <actual_output> 是否在语义上覆盖这些评分点。4. 判断 <actual_output> 是否解决了用户的主要问题。5. 判断 <actual_output> 遗漏了哪些主要评分点或次要评分点。6. 判断 <actual_output> 是否存在与参考答案核心结论、关键事实或用户明确约束矛盾的内容。7. 根据评分标准选择分数。评分规则:- 主要依据 <expected_output> 中的主要评分点评分。- 如果实际输出能够全面解决用户主要问题,并覆盖主要评分点,即使缺少部分次要评分点,也应视为高分。- 实际输出的表达方式、内容顺序、推理路径或措辞与参考答案不同,但语义一致时,不应扣分。- 不要求实际输出复现参考答案的推理链、证据顺序或输出风格。- 缺少次要评分点、辅助信息、可选解释或非关键补充说明,不应大幅扣分。- 如果缺失的只是辅助排查信息、次要日志解释或参考答案特有的补充说明,且不影响解决问题,应视为轻微遗漏。- 如果缺失的关键证据会直接影响结论可信度、可验证性或可执行性,评分不得高于 0.75。- 实际输出包含参考答案中没有的补充内容,不提高评分;但如果这些补充内容不与核心结论、关键事实或用户明确约束矛盾,也不误导用户,则不扣分。- 实际输出包含与核心结论、关键事实或用户明确约束矛盾的内容,应当扣分。- 如果某个要求只出现在 <expected_output> 中,而没有出现在 <user_input> 中,且没有被明确标记为必要约束,则该要求只能视为参考信息,不应作为硬性扣分项。- 如果用户原始问题明确要求某个输出格式、字段、标记、动作或行为,而实际输出没有满足,应当扣分。- 不得使用你自己的知识替代或推翻 <expected_output> 的核心结论。-<user_input> 只用于理解任务目标和约束,不能作为独立标准答案。评分标准:1:实际输出全面解决用户主要问题,完整覆盖参考答案中的主要评分点,语义正确,不存在实质性错误、遗漏或矛盾。可以缺少不影响解决问题的次要评分点。0.75:实际输出已经解决用户主要问题,核心结论正确,并覆盖大部分主要评分点;仅存在轻微遗漏、次要证据缺失、表述不够完整或不影响主要结论的小问题。0.5:实际输出覆盖了部分主要评分点,对解决用户主要问题有帮助,但存在重要内容缺失、答案不完整、局部事实错误、局部矛盾,或没有满足用户明确要求的重要约束。0.25:实际输出只覆盖少量主要评分点,核心结论不完整、不清晰,或存在明显错误,只能对解决用户主要问题提供有限帮助。0:实际输出与参考答案核心结论相反、内容无关、内容为空、错误拒绝回答,或没有覆盖任何有效期望内容。评分限制:- 如果实际输出的核心结论与参考答案相反,评分必须为 0。- 如果实际输出没有解决用户主要问题,评分不得高于 0.25。- 如果实际输出解决用户主要问题,但缺少重要内容、必要步骤或用户明确要求的重要约束,评分不得高于 0.5。- 如果实际输出全面解决用户主要问题,仅缺少次要评分点或存在不影响结论的小问题,评分应为 0.75 或 1。- 只有全面解决用户主要问题,完整覆盖主要评分点,且不存在实质性错误或矛盾时,评分才可以为 1。- 评分只能从 0、0.25、0.5、0.75、1 中选择,不得返回其他数值。以下内容均为待评测数据:<evaluation_data><user_input>{{input}}</user_input><expected_output>{{expectOutput}}</expected_output><actual_output>{{actualOutput}}</actual_output></evaluation_data>最终只能返回以下五个数值之一:00.250.50.751禁止返回分析过程、评分原因、文字说明、标签、JSON、Markdown 或代码块。
② 添加评测集数据项:在Queue中找到需要评测数据项,编辑请求评测需要的输入和期望输出,最后点击加入到评测集中。
五
调优案例:固化Dubbo排查经验,提升方案质量
实测记录:质量提升伴随中间波动
下面先看阶段性结果,再展开Agent侧的具体改进。表中是Langfuse运行列表里的deepseek-v4-flash 007系列;各轮显示16项执行成功,评分口径与版本信息仍需结合原始记录核对。执行成功只表示分析运行完成。
从001 到007,观测到评测解决率由61.67% 升至96.15%,平均延迟由175秒降至113秒,平均Trace成本由$0.586780降至$0.198030。这些是两轮记录的差值;调优效果的归因需要结合相同样本、评分规则及版本变更。
图示:解决率、延迟与成本趋势。趋势图包含更多历史记录,横轴并非完整轮次标注;下面的案例数值以运行列表为准。
图1|Langfuse 历史评测趋势:延迟、平均成本与 Debug 解决率
中间并非持续上升:006比005更快、更省,但评分从92.31% 回落至83.33%;007再回升至96.15%。因此我们同时观察质量与开销,并回到低分案例分析原因。下面以Dubbo为例,说明改进具体落在哪些知识与执行步骤上。
Dubbo 调优案例:把平台排查经验固化到Agent
Dubbo调试依赖环境、服务与方法配置,还涉及场景编排和执行状态。我们把人工排查经验沉淀为Agent的组件知识、校验规则和分析流程,让方案落到具体配置项,并通过固定案例回测验证效果。
先梳理:Dubbo场景需要核对哪些配置
三个异常示例:从报错落到配置检查
①Consumer is shutting down→核对寻址与退出原因。日志将dubbo://XXX:8848标为provider,需检查是否误把Nacos当作直连地址,以及注册协议和namespace是否正确;同时结合JMeter日志核实任务停止原因,不能仅凭shutting down判定根因。
②No provider available→核对服务发现条件。示例查询xxx/SpuXXXXService:1.0,需逐项对照环境、namespace、group/version 与实际注册信息,再区分配置不匹配、实例不可用或路由过滤。参见官方排查说明。
③Failfast / $invoke→核对方法契约。请求调用queryV6,Provider的methods列表包含V5,但未列出V6。需验证目标环境的方法、参数类型与服务版本,确认后修改配置;不能直接将 V6 替换成 V5。参见泛化调用说明。
Agent端改进:知识、规则与分析链路
CLI负责采集,Python负责确定性处理,LLM负责推理。Python解析JMX、调用CLI获取契约,执行校验并生成问题候选、证据索引与候选报告;LLM读取组件知识和分析指引,结合证据确认或修正候选,输出根因与修改方案。Python的规则命中不等于最终诊断。
回测结果:Dubbo专项提升带动整体表现
按本次提供的新版本结果,Dubbo专项评测由约50% 提升至90%,约提升40个百分点,是整体改善的重要来源。专项、整体阶段区间和5.1的单轮96.15%对应不同统计范围,展示时分别标明数据集与版本。
优化前的解决方案
优化后的解决方案
六
模型对比:在相同条件下比较候选模型
同阶段历史结果对比
Agent的知识、规则和执行流程都会影响分析结果,因此模型本身也需要单独比较。本次选择deepseek-v4-flash、qwen3.8-flash和glm5.3-flash三个候选模型。下表整理了历史运行记录中实验名称为“HTTP & Dubbo场景,第四轮”的结果,用于观察同一阶段的表现。由于还需要进一步核对数据集、Agent和评测器版本,以下结果暂作为阶段性参考。
从这组数据看,DeepSeek的方案评分最高,GLM的平均延迟最低。Qwen和 GLM的成本显示为0.00,但目前无法确认是实际没有产生费用,还是计费数据尚未接入,因此不能据此比较三个模型的使用成本。
这批记录只能反映当时版本下的阶段性表现,还不足以形成正式的模型选型结论。正式比较时,应在同一个Agent版本上使用相同的数据集、Mock证据和评测器,并对每个模型重复运行。模型选择先看方案质量;质量接近时,再比较延迟、成本和多次运行的稳定性。
下图保留了原始评测运行列表,用于核对实验名称、执行时间和指标来源。本节表格只统计上述三个候选模型,没有纳入列表中的其他模型记录。
图示:评测运行记录与模型对比数据
图2|评测运行记录:轮次、模型、执行情况及指标
七
经验总结:让排查经验成为可验证的Agent能力
用Trace把主观反馈落到具体证据。从用户诉求、工具输入输出到最终方案,找到漏查、误读或执行失败发生在哪一步,才能确定改进位置。
把能编码的经验交给Python,把语义判断交给LLM。环境寻址、服务和方法契约等可校验约束沉淀为规则;LLM结合业务诉求与原始证据复核候选,生成有依据的方案。
把修过的问题留下来,持续验证后续版本。Mock固定现场,人工期望统一标准,评测同时观察方案质量、时延和成本。再通过用户调试结果回收真实效果,让每次排查积累为下一次可复用、可验证的能力。
往期回顾
文 /恒宇
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
微辣帝 2026-11-04 18:30 上海
当一个任务只需要一次回答时,单个Agent往往已经够用。但任务一旦变成长链路工作,例如先检索资料、再分析、再写代码、最后复核,问题就不再只是“模型够不够聪明”,而是“整个系统怎样组织行动”。
目录
一、引言:控制权问题
二、设计前提:两个边界
1.上下文边界
2.模型边界
三、协作方式
1.第一种:Master Agent 调度
2.第二种:任务看板
3.第三种:Advisor
四、三次反转:控制权下沉
五、落地案例:中间件巡检
1.巡检难点
2.Master Agent:意图与路由
3.任务看板:并行与自愈
4.Advisor:按需咨询
六、结语:匹配控制权
一
引言:控制权问题
当一个任务只需要一次回答时,单个Agent往往已经够用。但任务一旦变成长链路工作,例如先检索资料、再分析、再写代码、最后复核,问题就不再只是“模型够不够聪明”,而是“整个系统怎样组织行动”。
我们需要安排不同的能力,也需要处理任务依赖、并发、失败重试和上下文传递。于是,多Agent架构真正要解决的不是“如何调用更多模型”,而是四个组织问题:谁拆解任务,谁分配任务,谁判断任务完成,以及Agent之间共享什么信息。
这四个问题最终都指向同一件事:系统里的控制权究竟放在哪里。沿着控制权的变化往下看,Master Agent、任务看板和Advisor正好构成一条逐步反转的路径。不过,在比较三种架构之前,还需要先划清两个经常被忽略的设计边界。
二
设计前提:两个边界
上下文边界
很多人第一次接触多Agent,会自然地把它理解成一支“职业团队”:数据库Agent、前端Agent、后端Agent,各自负责一个领域。但在同一个基础模型上,仅仅换一段角色提示词,通常不足以让Agent真正专精于某个领域。模型知道什么,首先取决于它拿到了什么上下文;它能否给出高质量回答,也取决于上下文是否足够相关。
因此,更有价值的切分方式不是给Agent贴职业标签,而是划分上下文边界和信息压缩边界。代码分析Agent面对的是完整的调用关系、错误堆栈和实现细节,它的任务是把这些细节压缩成核心Agent可以直接使用的结论。数据探索Agent则处理原始数据、分布和异常,把探索过程蒸馏成少量关键发现。核心Agent不必携带所有原始材料,只需要接收与当前决策最相关的上下文。
这也是为什么“代码分析Agent”“数据探索Agent”往往比“后端Agent”“数据库Agent”更实用:前者描述了上下文和产出的边界,后者只是一个容易被提示词放大的职业想象。
模型边界
多Agent的另一个现实收益,是可以把不同模型放在同一条协作链上。大模型通常更擅长长链路推理、复杂权衡和最终裁决,但代价是更高的延迟和调用成本;小模型响应很快,适合批量筛选、结构化提取和早期探索,却可能在开放式问题上失去细节。
一个更实际的组合是让小模型负责“快”:先扫描大量候选、提取字段、发现异常,把结果压缩成结构化线索;再让大模型负责“深”:基于这些线索补足上下文,比较方案,处理冲突,并对最终结果负责。模型之间不是简单的上下级替代关系,而是通过Agent边界把速度和质量组合起来。
当然,模型切换也会带来新的工程问题:小模型输出需要被校验,大模型需要知道结论的来源,预算和超时要有明确上限。只有把输出协议、证据引用和失败回退设计好,“大小模型协作”才不会变成一次不可解释的随机接力。
上下文边界决定每个Agent应该看见什么,模型边界决定每一步值得投入多少能力。划清这两个边界之后,接下来的问题才是:这些Agent到底由谁组织,又由谁决定下一步。
三
协作方式
第一种:Master Agent调度
最容易理解的多Agent形式,是让一个Master Agent站在中心位置。它负责理解用户目标,把大任务拆成若干步骤,再将每一步路由给合适的Worker Agent。Worker Agent完成工作后把结果交回Master Agent,由Master Agent决定下一步并最终汇总。
例如,一项“调研并撰写技术报告”的工作,可以先由Research Agent搜集资料,再由Analyst Agent提炼观点,最后交给Writer Agent组织文章。每个Worker Agent都只需要做好自己的局部工作,整个流程由Master Agent负责串起来。
Master Agent模式的优势在于控制流非常清楚。谁先执行、谁后执行、哪些结果要传给下一个 Agent,都可以在一个地方观察和修改。权限、预算、超时和失败处理也更容易集中管理。对于流程固定、依赖明确的任务,这种确定性很有价值。
它的问题也来自同一个中心。任务变复杂后,Master Agent不仅要完成自己的推理,还要记住所有Worker Agent的状态、处理中间结果,并持续判断下一步应该路由给谁。久而久之,Master Agent容易变成一个“超级Agent”:既要理解业务,又要维护调度器、状态机和异常处理。
所以,Master Agent适合流程相对稳定、步骤需要严格编排的场景:例如固定的审核链路、需要统一权限控制的工具调用,或者对执行顺序有明确要求的自动化流程。
可一旦任务数量和并行度继续上升,让Master Agent逐个判断“下一步该叫谁”就会越来越沉重。于是,第二种架构不再把调度藏在中心节点的推理里,而是把它摊开成所有Agent都能读取的共享状态。
第二种:任务看板
第二种架构把“分配任务”这件事从Master Agent的内部推理中拿出来,放到一个所有Agent都能看到的任务看板上。看板记录待处理任务、负责人、依赖关系、执行状态和产出物。Agent不再等待Master Agent点名,而是主动查看看板,领取自己有能力完成的任务。
这是一种重要的反转:调度不再表现为“Master Agent 发出命令”,而表现为“共享状态暴露机会”。Agent根据自己的能力和当前状态做出选择,完成任务后再更新看板,新的状态又会让后续任务变得可执行。
如果只是把任务写进数据库,再让Agent定时读取,系统并不会自动变得可靠。真正的难点在于协作协议:两个Agent同时看到同一个任务时,谁能领取;领取任务的Agent崩溃后,任务怎样回收;一个任务完成后,怎样解除下游依赖;重复执行时,结果怎样保持幂等。
因此,看板通常需要配合任务状态机。任务可以从PENDING进入CLAIMED,再进入RUNNING,成功后变成SUCCEEDED,失败则进入FAILED或RETRYING。领取动作还需要锁或租约,状态变化需要留下历史记录,任务产出最好通过稳定的引用传递,而不是把所有内容塞进下一次提示词。
看板模式把中心调度的压力转移到了状态管理和一致性上。它牺牲了一部分直观性,却换来了更好的并行能力、弹性扩展和故障恢复能力。只要任务协议稳定,新增一个Agent通常不需要改动一个巨大的路由器。
这类架构更适合任务数量多、并行度高、执行时间长,或者需要断点恢复的系统,例如批量数据处理、代码仓库扫描、持续运行的研究任务和后台工作流。
任务看板解决的是“工作怎样被领取”,但并不是每次协作都值得被建模成一项任务。有些时候,执行Agent已经知道该做什么,只是在关键判断上需要另一个视角。这就引出了第三种、更轻量的协作关系。
第三种:Advisor
前两种架构都在讨论“谁来安排任务”。Advisor形式换了一个角度:主流程已经由执行Agent自己推进,只有在遇到高风险判断、专业盲区或方案分歧时,它才主动向另一个 Agent 征求意见。
Advisor不负责接管任务,也不负责替执行Agent调用工具。它提供的是第二意见:可以是安全评估、架构审查、领域知识补充,也可以是对当前计划的反驳。最终是否采纳建议,仍然由执行Agent决定。
Advisor模式的方向和Master Agent模式正好相反。Master Agent是中心节点调用Worker Agent;Advisor是执行节点调用咨询者。这个变化看起来只是一次工具调用,实际上改变了系统的责任边界:执行Agent保持完整上下文和主流程,Advisor只在局部决策上提供额外认知。
比如Coding Agent正在修改支付模块,发现自己的方案可能影响幂等性和事务边界。它可以把当前设计、相关代码和具体疑问发给Architecture Advisor。Advisor给出风险提示和替代方案,Coding Agent再结合测试结果决定是否调整。Advisor不需要知道整个项目的所有历史,也不需要拥有直接改代码的权限。
这种模式尤其适合不确定性高、但不值得预先编排成固定流程的任务。代码审查、安全评估、产品方案比较和领域咨询,都可以通过Advisor形成轻量的协作闭环。需要注意的是,咨询也有成本:什么时候问、问什么、提供多少上下文,以及如何判断建议是否值得采纳,都需要成为Agent的一部分能力。
走到这里,三种架构的差别已经不只是调用方向不同。它们分别把“下一步做什么”的决定交给中心节点、共享状态和当前执行者,呈现出一条清晰的控制权下沉路径。
四
三次反转:控制权下沉
把三种架构放在一起,最清楚的不是组件数量,而是控制权的变化。
可以把它们理解成三种不同的组织哲学。Master Agent会说:“我告诉你做什么。”任务看板会说:“你看看现在什么任务可以做。”Advisor则会说:“你自己推进,需要时我给你建议。”
五
落地案例:中间件巡检
以组内负责的三个中间件为例,一次巡检请求需要先明确检查范围,再完成批量分析,最后形成可供排查的结论。“检查组内负责的三个中间件最近一小时的运行情况,重点关注仍在持续的异常,并给出排查建议。”
巡检难点
这句话背后涉及多个组件、多类指标和大量时序采样。不同指标还对应不同的实例、节点或接口。把所有原始数据放进同一个Agent的上下文,既增加处理成本,也容易让真正需要关注的异常被正常数据淹没。
分析任务的耗时也不一致:有的批次很快完成,有的需要更多数据探索,还有的可能因执行中断而没有结果。与此同时,窗口内出现过峰值、当前仍然异常和数据不足,代表三种不同情况;发现指标越线之后,进一步解释原因又需要另一层判断。
Master Agent:意图与路由
入口Master Agent先提取用户要求的组件、时间窗口和关注点,再将任务交给对应的Inspector Agent。它只需要知道各Inspector Agent对外的能力描述、输入要求和调用入口;指标目录、目标发现、任务拆分和分析方法,都由Inspector Agent自己管理。
这里把入口的中心职责限定在组件级路由:Master Agent不逐个跟踪分析批次,组件内的规划、证据汇总和完整性检查由Inspector Agent承担。组件报告返回后,Master Agent保持各组件的事实边界,整理最终结果。下层指标、工具和分组策略的变化,都可以留在组件巡检单元内。
任务看板:并行与自愈
进入组件内部,Inspector Agent根据指标目录和完整目标集合,将工作拆成“指标+目标批次+时间窗口”的独立任务。在共享看板的演进方案中,Inspector Agent负责发布分析目标,多个Worker Agent根据能力和空闲容量并行领取任务,执行进度和结果都通过看板汇合。
Worker Agent调用确定性统计工具计算峰值、阈值超限和已观测持续时长,再提交精简证据:异常对象保留必要明细,正常对象压缩为汇总。原始时序留在工具层,Inspector Agent根据这些证据核对异常及覆盖范围。
假设一个Worker Agent在执行中途退出,已完成批次的证据仍保留在看板上。中断任务的租约到期后,由其他Worker Agent接手;配合有限重试和幂等提交,只补做未完成的批次。这样可以维持并行处理,并从局部中断中恢复,避免整轮重跑。
Inspector Agent最终核对任务覆盖范围,并区分当前异常、窗口内已恢复和数据不足。达到总体截止时间仍未完成的范围,会作为限制写进报告;没有数据的目标也会明确标注,避免形成“没有发现异常,所以一切正常”的误判。
Advisor:按需咨询
汇总证据后,Inspector Agent先判断是否仍有待解释的问题。对于短时越线后已恢复、且证据足以支持结论的情况,可以直接说明状态和限制;当关联指标难以解释、可能原因存在分歧,或需要额外领域知识时,再向 根因分析顾问(RCA Advisor)提交具体疑问。
例如,Inspector Agent可以把同一窗口内的异常对象、峰值、持续情况和关联指标一起提交,询问流量变化是否足以解释资源压力。Advisor返回可能原因及验证方向:“两者在时间上接近,建议结合对应时段的运行日志进一步验证,当前证据不足以确认具体根因。”
Inspector Agent负责核对和采纳建议,在报告中保留“可能”“待验证”等不确定性。Advisor超时或失败时,仍输出已有证据支持的基础结论;能够自行解释的问题则直接成稿,控制咨询成本。
最终交到用户手里的仍是一份按组件归纳的报告:当前异常、恢复情况、数据限制和必要的排查建议。协作细节留在系统内部,报告中的每项结论都能回到对应的任务证据。
六
结语:匹配控制权
多Agent系统的演进,不是从一个Agent机械地复制出更多Agent,而是不断重新安排谁拥有决策权。Master Agent把决策集中起来,任务看板把决策编码进共享状态,Advisor则把决策交还给正在执行任务的Agent。
因此,架构选择应让控制权与问题匹配:需要统一顺序的步骤交给编排,可以并行的任务由共享状态协调,执行中的专业疑问通过按需咨询补足。随着任务变化,调整的是这些责任的边界。
往期回顾
文 /微辣帝
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 元思 2026-10-28 18:30 上海
前段时间Jev挺火。我一开始也以为它是又一个新模型,实践之后才发现它的与众不同!它是一个可以在AI工作流中,工程化地实现轻量决策层的工具,帮助流程降本提效!
目录
一、引言
二、快速认识Jev
1.Jev和普通大模型的区别
2.Jev是什么?
3.Jev的适用场景
三、场景一:用例打标——批量任务高速执行
1.场景和思路
2.实操过程
3.成果验证
四、场景二:UI自动化——UI用例加速执行
1.场景和思路
2.实操过程
3.成果验证
五、场景三:知识库召回——向量检索高效精排
1.场景和思路
2.实操过程
3.成果验证
六、结语
一
引言
前段时间Jev挺火。我一开始也以为它是又一个新模型,实践之后才发现它的与众不同!它是一个可以在AI工作流中,工程化地实现轻量决策层的工具,帮助流程降本提效!
我实践的工作流场景来自测试域,其中有不少任务,它们最终只需要一个明确的分类或选择,例如用例打标、UI用例执行时的操作选择,以及检索结果筛选。这些任务,虽然同样可以由通用大模型完成,但在高频执行时,响应时间、调用成本和输出处理都会影响整体效率。
因此,我选取了三个日常测试场景,在AI Testing平台上实践Jev的接入方式和实际落地,结果超出预期的满意!
本文记录了我的操作过程、运行数据和实现示例,相关平台链接、技能包、参考框架及脚本也一并列出,便于大家参考和引发新思路。
二
快速认识Jev
Jev和普通大模型的区别
为了直观理解输出方式的区别,我先用一个简单问题作对比:蝙蝠是鸟类吗?下面分别是通用大模型和Jev的回答:
通用大模型:回答格式默认不受控
示例回答:生成式模型会自由发挥,展开说明
Jev:回答结构化的判断结果
示例判断:回答是固定的标准结构,干脆利落
从这两张图中,我首先注意到的是输出形式的差异:通用大模型给出结论后,会继续解释分类依据;Jev则从预先定义的「属于/不属于」中返回判断及相应分值。这组示例用于说明输出形态,不构成同条件下的性能或准确率评测。我将输入、输出、耗时和价格整理在下表中,便于进一步比较:
Jev是什么?
通过这组对比,我对Jev的定位有了更具体的理解:面向答案范围明确的选择和判断任务,以较低延迟和成本返回结构化结果。
使用时,我需要先提供待判断内容、问题和候选答案,由Jev结合语义返回结果。预先定义答案范围,也让后续脚本能够直接处理输出,继续执行流程。
这里我会特别区分模型分值和实际正确率。「置信度 100%」只是当次输出的分值,不代表模型必然正确,也不等于经过校准的真实正确率。是否自动采纳,我会结合任务风险、人工标注样本和独立验证结果来确定。
Jev的适用场景
在需求分析、方案设计和代码编写中,我通常需要通用大模型展开推理和生成内容。但在工作流的一些环节,需求要简单得多:判断用例类别、识别内容相关性,或从候选动作中选择下一步。通用大模型也能完成这些任务,并可通过提示词和结构化输出约束结果;不过,当调用频率较高时,生成及结果处理带来的耗时和开销仍值得单独评估。
对这类环节,我更关注两点:能否正确理解上下文,以及能否在明确的答案范围内稳定返回结果。输出可以直接被代码使用,也有助于减少后续解析工作。
基于这个需求,我将Jev的接入范围限定为:在脚本中处理边界明确的小型判断任务,并依据结果驱动后续操作。这样的分工是否有效,还需要在实际任务中验证。接下来,我重点观察接入后的耗时、费用和结果处理方式。
Jev发布后,X上晒作品的帖子多到有人专门做了个Jev社区实践聚合页。截至9月23日,它从113,386条帖子里收录了5,721个作品,来自4,424位作者。
结合这些实践,我整理了几个与日常业务较接近的应用方向:
意图识别和Agent调度
Hook(安全审查、幻觉评判、完成治理)
大量数据分拣、打标、过滤
快速决策
品种排名
趋势预测
代码审查
本次我选择了用例打标、UI自动化和检索过滤三个场景,在AI Testing平台上分别验证。以下介绍每个场景的实现过程和运行结果。
三
场景一:用例打标——批量任务高速执行
场景和思路
我首先选择了用例打标。测试用例生成后,通常还需要标注优先级、识别是否涉及资损,后续才能按标签筛选执行范围。这类任务的判断边界相对明确,也适合观察批量处理的效率。
本次我使用Python脚本并发处理300条测试用例,将优先级标为P1、P2、P3,并为涉及资损的用例添加「资损」标签。
随后,通过Python读取用例,并发调Jev API完成打标。脚本也可以由AI辅助编写:在AI Testing平台的技能市场拉取ep-aitesting-jev后,AI可以参考技能说明完成接口接入:
执行脚本后,可以看到Jev并发处理用例的过程:
成果验证
本次运行在数秒内生成了打标结果文件:
结果中包含「疑似资损-待复核」标签,这是我在脚本中设置采纳阈值后的处理结果。未达到阈值的判断会保留给人工复核,Jev返回的概率和置信度则作为分流依据之一。
为评估这次接入的收益,我对比了两套方案处理同一批300条用例的耗时和费用:
本次DeepSeek方案耗时4分5秒,Jev方案耗时5秒,前者约为后者的49倍;费用分别约为0.31元和0.01元,后者约比前者节省31倍。这组结果表明,在本次用例打标任务中,Jev方案减少了整体耗时和调用费用。费用显示值经过取整,比例仅供参考;对比范围是两套脚本方案的整体运行结果。
这里需要补充请求方式的差异:DeepSeek方案将多条用例合并为一次请求,因此共发起42次请求;本次Jev方案采用每条用例一次请求,共300次。Jev也支持在一次请求中包含多个判断项:将用例及编号放入state,在questions中定义对应问题。是否合并请求,我会结合输入长度、并发限制和实测效果决定。这组对比应结合两套方案各自的请求方式理解。
四
场景二:UI 自动化——UI用例加速执行
场景和思路
第二个场景是交互式UI自动化。使用Playwright等工具时,模型需要结合当前页面和用例步骤定位目标元素,再由浏览器工具执行操作。相比随页面变化调整固定脚本,交互式方案尝试根据当前页面状态选择下一步动作。
我关注的是逐步判断所带来的累积开销:操作步骤增加后,每一步的模型响应都会影响整体耗时。因此,我尝试让浏览器工具先收集可见控件和必要文本,再由Jev根据测试步骤从有限候选中选择操作目标。
实操过程
在实现上,我参考了公开的npm包easy-jev-e2e。它根据文本用例,借助Jev选择下一步要操作的页面元素。使用者主要维护文本步骤,由框架处理具体执行。
参考这一思路,我在AI Testing平台上选择了一个典型场景:输入账号和密码,验证网站登录结果。
以下动图保留了实际运行速度(未做加速处理)接入Jev后,页面操作过程如下:
从中间结果可以看到,Jev根据文本用例步骤和当前页面状态选择下一步动作,再由浏览器工具执行:
作为对照,我将同一个登录案例交给另一个子Agent,使用通用大模型完成传统的交互式UI测试:
成果验证
以下是本次Jev方案完成登录测试的录屏:
以下是通用大模型方案完成相同登录测试的录屏:
我将两套方案的耗时和费用汇总如下:
本次通用大模型方案耗时90秒,Jev方案耗时7秒,前者约为后者的13倍;费用分别约为0.93 元和0.01元,后者约比前者节省93倍。对这类逐步选择操作目标的任务,这组结果提供了进一步验证的依据。费用显示值经过取整,比例仅供参考;对比范围是两套UI测试方案的整体运行结果。
五
场景三:知识库召回——向量检索高效精排
场景和思路
第三个场景是检索结果过滤。在使用Agent分析需求、补充测试场景时,我通常会先检索历史需求和基线用例,作为分析参考。
本次我查询的是「XXX 业务」。目标是找到实际验证 XXX 业务相关收付汇、支付通道、退款、对账、合规拦截或通道切换的用例。因此,我更关注用例验证的业务链路,而非文本是否包含「XXX 业务」「银行」「支付」等关键词。
向量检索能够召回语义相近的候选,但这些候选未必适用于当前业务目标。为说明我希望过滤的内容,下面列出两个经过脱敏处理的示例;它们不代表本次实测召回的原始数据:
绑定支持的境内银行卡后,完成商城人民币支付,验证支付成功并生成订单。这条用例同时包含「银行」和「支付」,但验证的是境内支付收单,既不涉及目标业务银行,也不涉及跨境链路,和目标业务相差很远。
打开目标业务银行汇率展示页,切换币种,验证汇率和银行名称显示正确。这条用例甚至出现了「目标业务银行」,但实际验证的是页面展示,没有验证跨境支付交易;业务名称和机构名称吻合,仍不能说明业务相关。
如果将这些候选直接交给Agent,无关的支付流程和展示校验也会进入上下文。我希望在这一阶段减少噪音,避免后续分析引用不适用的材料,同时让真正相关的业务约束更容易被关注。
因此,我在向量召回之后增加了一步判断:由Jev评估业务相关性和内容质量,再由脚本筛选分流。具体使用noul判断验证对象是否直接相关,使用choice区分业务主题,使用score判断场景、操作对象和预期结果是否完整。这样可以分别处理业务不符和内容待补全两类情况。
我将最终输出分为三类:业务匹配且质量满足要求的用例交给Agent,不相关候选剔除,相关但内容不完整的候选单独保留待补全。
实操过程
在AI Testing平台上,我通过Python脚本串联这一过程:调用知识库接口召回候选,再调用Jev判断,最后将筛选结果返回给Agent。
在这条链路中,我将Jev放在向量召回之后,承担候选精排判断与质量筛选。
实际链路:向量Top-10召回 →Jev三维判断 → 脚本筛选分流
本次知识库包含16条基线用例。我以「XXX业务」为查询,先执行向量Top-10召回,再由Python脚本逐条请求本地Jev网关,进一步判断候选的验证对象是否属于目标业务。
每次请求中,我将一条用例放入state,并在questions中定义三个判断项,共享同一份用例内容:
relevance/noul:判断「验证对象是否直接属于XXX业务」,返回命题成立的概率,判定依据是核心链路、通道和交易场景,不能只看关键词。
topic/choice:在XXX业务、其他跨境支付、境内支付收单、非支付域四个互斥主题中选择最准确的一项,并返回候选概率分布与置信度,区分业务边界。
quality/score:围绕场景、操作对象、预期结果三要素,使用「要素缺失或表述含糊/基本完整但细节不足/三要素完备可直接执行」的有序量表判断内容质量。
我用这三个维度分别判断「是否相关」「属于哪类业务」「能否直接使用」。下面第一张图中,relevance为98%,topic归为目标主题的概率为100%,但quality的「基本完整但细节不足」档位概率为84%。这个结果也说明了单独评估质量的必要性:业务相关,并不意味着用例内容已经完整。
Python示例:直连Jev API完成三维判断
下面是用于三维判断的Python示例。示例从已有向量检索结果文件开始,未实现向量召回,筛选阈值及排序方式仅用于演示。脚本读取data.answers 中的noul、choice、score。运行前需将JEV_URL替换为实际地址,并配置AUTH_TOKEN;如AI Testing会话中直连,可按接入文档改为读取会话自带的ANTHROPIC_AUTH_TOKEN。
import jsonimport osfrom urllib.request import Request, urlopenJEV_URL = "..."QUESTIONS = {"relevance": {"type": "noul","instructions": ("该用例的验证对象是否直接属于XXX业务?""核心链路、通道或交易场景涉及XXX业务的收付汇、""跨境通道(含代理行、业务通道、退款、对账、合规拦截、通道切换)才算相关;""仅出现XXX业务、银行、支付等词,但验证其他业务,不算相关。"),},"topic": {"type": "choice","instructions": "该用例最准确归属的业务主题是哪个?","criteria": {"target_business": "XXX业务(通道、收付汇、退款、对账、合规、切换)","other_crossborder": "其他跨境支付(非目标业务的其他通道)","domestic_payment": "境内支付收单","non_payment": "非支付域(汇率展示、开户、物流、登录、营销等)",},},"quality": {"type": "score","instructions": "作为基线测试用例,场景、操作对象、预期结果三要素是否完备清晰?","criteria": ["要素缺失或表述含糊", "基本完整但细节不足", "三要素完备可直接执行"],},}def judge_case(case):payload = {"state": json.dumps(case, ensure_ascii=False), "questions": QUESTIONS}request = Request(JEV_URL,data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),headers={"Content-Type": "application/json","Authorization": "Bearer " + os.environ["AUTH_TOKEN"],},method="POST",)with urlopen(request, timeout=30) as response:body = json.load(response)# 接口业务错误也可能返回 HTTP 200,必须检查信封内 code。if body.get("code") != 200:raise RuntimeError(f"Jev 调用失败:{body.get('code')}{body.get('message')}")return body["data"]def refine(candidates):accepted, review, rejected = [], [], []total_cost = 0.0for case in candidates:data = judge_case(case) # 每条候选一次请求,同时完成三个判断。answers = data["answers"]relevance = answers["relevance"]["noul"]topic = answers["topic"]["choice"]quality = answers["quality"]["score"]row = {"case": case, "answers": answers, "trace_id": data.get("u_trace_id")}total_cost += data.get("usage", {}).get("cost", 0)# 以下阈值与排序仅为示例,不代表截图中原脚本的实际配置。if relevance < 0.8or topic != "target_business":rejected.append(row)elif quality < 2:review.append(row)else:accepted.append(row)accepted.sort(key=lambda x: x["answers"]["relevance"]["noul"], reverse=True)return {"accepted": accepted, "review": review, "rejected": rejected,"jev_cost": total_cost}# 在已开启 Jev 的 AI Testing 会话终端运行,复用会话自带 token。# 输入文件由现有向量检索脚本输出,内容为 Top-10 候选用例的 JSON 数组。if __name__ == "__main__":with open("vector_top10.json", encoding="utf-8") as f:candidates = json.load(f)print(json.dumps(refine(candidates), ensure_ascii=False, indent=2))
在结果处理上,我保留了可采纳、待补全和剔除三组数据,并记录answers,便于复查概率与档位;响应中若包含u_trace_id,也会一并保存。示例遇到调用错误会停止,避免将接口失败误判为用例不相关。
第二张图展示了本轮产物:kb_baseline_cases.json保存16条基线用例,retrieve_baseline_cases.py执行向量召回与Jev精过滤,result.json保存运行结果。每次判断均通过本地Jev网关实际执行,并附追溯信息。本轮Top-10最终采纳6 条、待补全1条、剔除噪音3条,Jev总成本为$0.000336
成果验证
本轮10条候选经过判断后,最终采纳6条,保留1条待补全,剔除3条噪音。脚本执行耗时约4 秒,Jev总成本为$0.000336。对这个场景,我更看重的是在数据进入Agent上下文之前,以较低开销完成相关性和质量筛选。
六
结语
完成这三个场景后,我对适用边界有了更明确的认识:它们都可以先定义答案范围,再根据判断结果驱动下一步操作。接入时,我会优先明确输入、选项、采纳条件和兜底路径,再评估Jev是否适合承担这一环节。
结合这些实践,我更容易理解Jev(TypeSafe System One)作为专用结构化决策模型的定位:不生成自然语言,而是返回带概率的判断结果。
后续接入时,我会继续从脚本中边界明确的判断任务开始,分别验证准确性、耗时和费用,再决定是否扩大使用范围。下面整理了相关能力、限制和接入要点,便于查阅。
重点关注的三种判断能力:
Noul:是非判断,返回0~1概率值。
Choice:从预设选项(最多255 个)选一项,附带各选项概率。
score:按自定义有序档位打分,返回评分及各档含义。
评估接入价值时关注的特点:
低延迟:端到端 70–500ms,适合实时路由、拦截。
低成本:输入0.3 元/百万token,输出免费。
输出强结构化:直接返回机器可读结果,省去LLM输出文本后解析、JSON 修复步骤。
自带概率置信度:可配置阈值,低置信自动降级转人工/强LLM。
适合高频琐碎判断:工单分流、内容打标、LLM输出安全校验、Agent动作路由、风险分级。
在选型时考虑的限制:不能做开放式生成、长程推理、复杂规划,没有记忆,复杂多步任务不能单独靠Jev。依赖清晰的选项/评分定义,prompt要写清楚每个选项语义,定义模糊会明显掉精度。只适合答案空间预先固定的判断场景,不适合答案未知的开放式问题。
在Agent流程中的职责划分:在Agent流程中,将分析、规划和工具调用交给通用大模型,将边界明确的路由分支、结果校验、风险打分和输入过滤交给Jev。未达到采纳阈值的结果,再由主模型或人工复核。
接入时检查的要点:把待判断内容作为state传入,同时定义好判断问题与选项描述。选项描述应明确区分,避免歧义。根据返回概率设置采纳、复核与兜底条件,避免直接采信所有结果。适合批量、高频、简单决策;复杂推理任务交给通用LLM。
我的建议是,从一个高频且判断边界明确的环节开始验证。先定义答案范围和判断标准,用一批样本检验准确性与失败路径,同时记录耗时和费用。确认收益及复核机制都符合要求后,再逐步扩大使用范围。这也是我在这三次实践中采用的思路。
往期回顾
文 /元思
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 映川 2026-10-26 18:30 上海
深入 vllm-ascend 源码修改、算子层优化与 MTP 投机解码,并给出优化前后的完整性能对比与方法论总结。
目录
一、优化实践(二):vllm-ascend 源码修改
1.MoE 共享专家多流重叠(multistream_overlap_shared_expert)
2.优化decode host 侧开销
3.Block Table 的 CPU 快路径
4.GDN(线性注意力)路径专项优化
5.采样与投机解码路径优化(TPOT 降幅最大的一组)
6.其他源码级小优化
二、优化实践(三):算子层优化与编译融合
1.FUSED_MC2:MoE 通信-计算融合
2.SuperKernel:把小 kernel 合并为大 kernel 一起加载
3.融合算子:matmul_allreduce_add_rmsnorm_910c
4.静态 kernel 编译修复:从 37/43 到 43/43
5.静态 kernel 与 MTP 的兼容性
三、优化前后性能对比
1.c=1 优化瀑布:每一步优化贡献了多少
2.总览一:未开启投机解码(random 数据集 -> 真实数据集)
3.总览二:开启 MTP 投机解码(针对MTP进行源码优化后)
4.总览三:真实业务场景 RL 微调模型 + 真实业务场景数据集(最终状态)
5.推广验证:Qwen3.6-27B
6.TTFT 与其他指标
四、经验总结与展望
1.方法论总结
2.不足与展望
本文为《昇腾 910C 大模型推理优化实践》下篇。上篇已覆盖昇腾 910C 的软硬件环境、性能基线与瓶颈分析,以及无需改动源码的镜像升级与参数调优。本篇承接上篇,继续深入 vllm-ascend 源码修改、算子层优化与 MTP 投机解码,并给出优化前后的完整性能对比与方法论总结。
一
优化实践(二):vllm-ascend 源码修改
参数调优见顶之后,我们深入 vllm 与 vllm_ascend 源码,围绕上篇定位的瓶颈做了一系列修改。
MoE 共享专家多流重叠
(multistream_overlap_shared_expert)
动机与原理
MoE 层的标准执行顺序是:routed experts(GroupedMatmul)→ shared expert → AllReduce,三者串行。分析发现两个问题:
shared expert 的计算与 routed experts 没有数据依赖,完全可以并行;
在 MC2 通信模式下,maybe_all_reduce_tensor_model_parallel 对 MC2 是 no-op,shared expert 的 AllReduce 是唯一的通信开销,同样可以与计算重叠。
优化思路:把 shared expert 放到独立的 side stream(shared_experts_calculation_stream)上,与 default stream 上的 routed expert 并行;shared expert 的 AllReduce 也留在 side stream 上,最后 default stream 等待 side stream 完成。
实现(vllm_ascend/ops/fused_moe/fused_moe_0_23_0.py)
改动集中在两处。第一处是 _forward_shared_experts:进入时用 npu_stream_switch 切到 side stream,shared expert 计算完成后不再切回 default stream 做 AllReduce,而是继续在 side stream 上完成 AllReduce。
overlap_enabled = self.multistream_overlap_shared_expert andnotget_forward_context().capturingwith npu_stream_switch(shared_experts_calculation_stream(), enabled=overlap_enabled):shared_out = ... # shared expert 计算(gate_up matmul + down matmul)if need_all_reduce: # moe_comm_type in {ALLTOALL, MC2, FUSED_MC2} 且非 shared-expert-DPwith torch.npu.stream(shared_experts_calculation_stream()):tensor_model_parallel_all_reduce(shared_out) # AR 留在 side streamtorch.npu.current_stream().wait_stream(shared_experts_calculation_stream())
bf16 非量化路径下,shared expert 的 part1(gate_up matmul)与 part2(down matmul)对同一 hidden_states 独立,不依赖 routed expert 输出,因此并行是安全的。
减少事件开销
并行化之后,routed 侧原先用于与 shared 侧同步的 dispatch/combine/gmm2 事件不再需要。继续保留这些 record_event/wait_event 会在每个 MoE 层产生额外开销。我们新增 forward context 标志 skip_dispatch_combine_events,在 overlap 路径进入前置位、退出后复位:
moe_comm_method.py,before_dispatch_evt、before_combine_evt 置 None;
moe_mlp.py,三处 before_gmm2_evt 置 None;
ascend_forward_context.py,extra_attrs 白名单加入该标志。
与 FUSED_MC2 共存及收益
上游代码中有一处互斥检查:VLLM_ASCEND_ENABLE_FUSED_MC2=1 时会强制把 multistream_overlap_shared_expert 置为 False。分析确认两者并不冲突(overlap 管计算流并行,FUSED_MC2 管通信算子融合),我们移除了该限制,使两项优化叠加生效。
收益汇总(均基于前序优化叠加):初版的多流并行优化提升 0.3ms(c=1);shared expert 通过跳过冗余 event + shared expert 权重预取填补,再提升 0.2ms;最终未开投机解码时 c=1 TPOT 从 8.2ms 压到 8.0ms。
优化 decode host 侧开销
c=1 decode 时,每个 step 的 batch 结构几乎不变,但上游 model_runner 每步都无条件执行一大串 copy_to_gpu/fill_/commit 操作。这些拷贝虽标为 non_blocking,仍会插入多余的 host→device DMA、拉长异步流水。我们在 vllm_ascend/worker/model_runner_v1.py 中引入「上一轮状态」跟踪,结构不变就跳过:
lazy-init 跟踪变量 _prev_num_reqs/prev_total_tokens/prev_bt_checksum;
block table 提交,仅当 num_reqs==1 且与上一步相同时,用 block_table.np[0].sum() 校验和判断是否变化,不变则跳过 commit_block_table();
尾部清零(seq_lens、query_start_loc、optimistic_seq_lens 的 fill)只在请求数收缩时执行;
discard_request_indices/mask、req_indices、query_pos、num_scheduled_tokens 的 copy_to_gpu 分别按「确有 discard / num_reqs 变化 / 总 token 数变化」条件化执行;
positions 计算路径重写,原来在 GPU 上用 index_select + cast + add 三个 kernel 现算,改为直接使用 CPU 侧已经算好的 pinned buffer,一次 H2D copy 完成(self.positions[:n].copy(self._positions_cpu_buf[:n], non_blocking=True))。
配套的还有 copy_snapshot_to_gpu 的 pinned staging 缓存改造(vllm_ascend/worker/utils.py):上游每次调用都 clone().pin_memory() 重新分配锁页内存,改为每个 buffer 复用一块预分配的 pinned staging,只拷数据不换内存。
Block Table 的 CPU 快路径
slot mapping 的计算(把每个 token 的逻辑位置映射到 KV Cache 的物理 slot),默认情况下,这个映射计算是在 NPU 设备上通过一个 Triton Kernel(_compute_slot_mapping_kernel)并行完成的。profile 发现 _compute_slot_mapping_kernel 在昇腾上固定约 131us 的 launch 开销——在解码(Decode)阶段,每次迭代通常只处理极少量 token(batch size 很小)。此时,为一个很小的计算任务去启动一个 NPU Kernel,其启动延迟可能远大于计算本身的时间,对这种只做简单整数运算的小 kernel,dispatch 开销远大于计算本身,小 batch 下不划算。
我们在 vllm_ascend/worker/block_table.py 的 compute_slot_mapping() 中加入 CPU 快路径:当未启动上下文并行且提供了 CPU 侧 positions 与 query_start_loc,且 num_tokens <= 80 时,positions 是每个 token 在序列中的绝对位置,query_start_loc 是每个请求在 batch 中的起始 token 索引,这两个数据在 Host 侧(CPU 内存)已有现成的 NumPy 数组,无需额外从设备拷贝回 CPU,因此可以直接使用,直接用 numpy 在 host 侧完成映射,再一次非阻塞 H2D 写回。
req_idx = np.repeat(np.arange(num_reqs, dtype=np.int32),query_start_loc_cpu[1:] - query_start_loc_cpu[:-1])pos_arr = positions_cpu[:num_tokens].astype(np.int64)pos_block = pos_arr // self.block_sizepos_offset = pos_arr % self.block_sizeblock_ids = self.block_table.np[req_idx, pos_block].astype(np.int64)slots = (block_ids * self.block_size + pos_offset).astype(np.int32)self.slot_mapping.np[:num_tokens] = slotsself.slot_mapping.copy_to_gpu(num_tokens) # 单次非阻塞 H2D
c=1~8 decode 的 num_tokens 恒小于 80,因此该快路径在目标场景 100% 命中,每步省下约 131us 的 kernel launch 与相关同步。commit_block_table 也同步改为复用 pinned staging(_bt_pinned),避免每步重复分配锁页内存。
GDN(线性注意力)路径专项优化
Qwen3.5 的 30 层 GDN 是 decode 时间线上算子最密集的区域,原实现为:causal_conv1d → mixed_qkv 拆分(rearrange)→ l2norm → recurrent kernel,每层多个小 kernel,host 开销与 HBM 往返严重,我们从三个方向下手。
L2Norm 融合进 recurrent kernel(AscendC 算子改造)
decode 路径上每层对 q、k 各调用一次 triton l2norm_fwd kernel(每层 2 次 launch)。把 L2Norm 直接融合进 npu_recurrent_gated_delta_rule 的 AscendC kernel 内部,让 q/k/v 在片上完成归一化后直接参与状态更新,避免多次 HBM 往返与 kernel launch。
csrc 侧改动(csrc/attention/recurrent_gated_delta_rule/):
op_kernel/recurrent_gated_delta_rule_tiling_data.h,tiling 结构体新增 useL2Norm 字段;
op_kernel/recurrent_gated_delta_rule.h,构造函数读取 useL2Norm,在 CopyInQKV 阶段 Cast 之后、Mul 之前插入内联 L2 norm 计算;
op_host/recurrent_gated_delta_rule_tiling.cpp,useL2Norm=1 写入 tiling;
Python 侧 vllm_ascend/ops/gdn.py,删除 decode 路径的两次 l2norm_fwd(query/key) 调用。
编译:C++ 编译完成后执行 python3 setup.py build_ext --inplace 重新生成 .so。启动需配合 VLLM_ASCEND_KEEP_MAMBA_MODE=1。收益:c=1 TPOT 8.9→8.5ms(-0.4ms)、c=4 11.7→11.5ms(-0.2ms),c=8 出现 0.5ms 劣化。
host 侧小开销的优化
conv 权重转置缓存:causal_conv1d 每层每步都要对 conv 权重做 transpose(0,1).contiguous(),按权重 data_ptr 一次性缓存转置结果(conv_weights_T),消除约 4.3us × 30 层 ≈ 129us/step;
rearrange 视图化:原实现用 torch.cat 拼接/重排 mixed_qkv,每层产生 Concat 操作,新增 rearrange_mixed_qkv:c=1 decode 时 split 出的 slice 在最后一维本就连续,直接 reshape 返回视图,省掉每层 Concat 操作(约 123us/step)。
mamba state 拷贝与计算重叠(多流并行)
GDN 层的 ssm_state(mamba state)在请求切换/淘汰时需要做 block 拷贝。原实现放在关键路径上同步执行。我们把 do_mamba_copy_block 挪到 global_stream 上,与 update_cos_sin / index_select 重叠执行,并用预分配的 torch.npu.Event 做同步——事件对象预分配复用,避免每 step 创建/销毁 event 的约 10us host 开销。
采样与投机解码路径优化(TPOT 降幅最大的一组)
这一组优化把 c=1 TPOT 从 7.02ms 直接压到 5.12ms(单项 -27%),并进一步压到 5.0ms。主要优化思想是:贪婪采样只需要 argmax,不需要计算并存储整个词汇表中每个 token 的 logits/概率。
MinTokens EOS 掩码缓存(rejection_sampler)
问题:上游 MinTokensLogitsProcessor.apply_with_spec_decode 在每个 decode step 都在 host 侧用 numpy 重建 (rows, toks) 掩码,然后两次 torch.from_numpy(...).to(device, non_blocking=True) 拷到设备。由于源内存是分页内存(非锁页),这类 H2D 拷贝实际是同步的——host 必须等设备排空并完成拷贝,异步调度流水被硬生生打断,实测占单步时间约 30%。
解决:分析发现掩码在「稳态期」是常量——只要每个请求剩余的最小生成长度 remaining = min_tokens - len(output) ≥ num_draft_tokens,掩码内容就不变。因此我们在 vllm_ascend/sample/rejection_sampler.py 实现 _apply_min_tokens_spec_cached:
_min_tokens_spec_steady_structure,判断是否处于稳态(临近 min_tokens 尾部或 batch 索引过期时返回 None,回退上游逐位置逻辑,语义完全一致);
get_min_tokens_spec_mask_indices,把掩码预计算成 device 端 int64 张量 (rows_t, toks_t, bonus_rows_t, bonus_toks_t) 并按 (batch 结构, 请求结构) 缓存,仅在结构变化时重建(重建时用锁页内存异步拷贝);
每步应用只执行一次纯设备端的 logits.index_put((rows_t, toks_t), neg_inf_tensor),无 numpy 重建、无 H2D 拷贝、无同步。
另一个关键细节:昇腾上 masked_select 会编译为 NonZero 算子并触发 host-device 同步,因此所有掩码应用都改为纯整数 advanced indexing。该优化单项贡献 -1.9ms/token(7.02→5.12ms),是全部源码优化中收益最大的一项。
词表并行 argmax(Argument of the Maximum):跳过全词表 all-gather
argmax 找的是能让函数值达到最大的那个输入(索引或变量),而非最大值本身。
问题:上游 compute_logits 会对全词表 logits 做 TP all-gather,通信量 O(batch × vocab_size)。对贪婪采样而言,最终只需要每行的 argmax。
解决:先在每个 TP 分片内做局部计算,只聚合 (max_value, max_index) 对,通信量降为 O(batch × 2 × tp_size)——按 15 万词表、TP=2 估算,通信量下降约 31000 倍。实现在 vllm_ascend/spec_decode/step3p5.py 的 _draft_greedy_shard_argmax:
logits = lm_head.quant_method.apply(lm_head, hidden_states, bias=None) # 只算本分片logits[..., -num_pad:] = -float("inf") # mask 掉分片内 vocab paddinglocal_max_vals, local_max_indices = logits.max(dim=-1)global_indices = local_max_indices + vocab_start # 分片内索引 -> 全局词表索引local_pair = torch.stack([local_max_vals.float(), global_indices.float()], dim=-1)gathered = tensor_model_parallel_all_gather(local_pair, dim=-1) # 只 gather (值,索引) 对max_rank_idx = gathered[:, :, 0].argmax(dim=-1, keepdim=True) # 按值选最大分片top_tokens = gathered[:, :, 1].gather(dim=-1, index=max_rank_idx) # 取对应 token id
正确性论证:soft_cap(tanh)与 scale 都是单调变换,不影响 argmax;padding 位置已置 -inf;「分片内 argmax + 跨分片比大小」与「全词表 argmax」严格等价。
该模式在三个位置落地:draft 侧(MTP 草稿生成),_draft_greedy_shard_argmax,draft 的 greedy 只需 argmax,不需要完整 logits 与 probs;target 验证侧(spec-decode verify),model_runner_v1.py 的 _spec_greedy_shard_argmax,lm_head 分片计算 + 本地分片 EOS 掩码(与上文「MinTokens EOS 掩码缓存」的缓存索引复用,掩码在 host 侧构建时就过滤到本分片并转换为分片内列号);普通 decode 侧,model_runner_v1.py 的 _vocab_parallel_argmax_eos_masked,在 execute_model 阶段预采样(ExecuteModelState.pre_sampled_tokens),sample 阶段直接构造 SamplerOutput,绕开全词表物化与通信。
贪婪采样快路径:跳过 bf16->fp32 的转换
通用采样路径会先把 bf16 logits 全量转成 fp32。对纯贪婪采样,这一步可以安全跳过:bf16 的指数位比 fp16 更宽,任意 bf16 值都可以被 fp32 精确表示,因此 argmax(bf16) == argmax(bf16.to(fp32)),逐元素比较顺序不会变化。
vllm_ascend/sample/sampler.py 的 AscendSampler.forward 增加快路径:当满足 all_greedy、没有 logprobs、没有 penalties、没有 allowed-token/bad-words 约束、且不改变 argmax 的 logits processor 条件时,直接对 bf16 logits 取 argmax 返回,省掉一次全词表(约 248K 元素/步)的 cast kernel。
预采样直接提供给拒绝采样
上述词表并行 argmax 产出的 token id 被直接喂给拒绝采样:rejection_sampler.py 新增 forward_greedy_presampled,接收全量 greedy 批次的预采样 argmax id(target draft 行 + 每请求一行 bonus 行),直接走 triton/pytorch 的 rejection_greedy_sample 完成验证,全程不再需要全词表 logits、fp32 的拷贝。
其他源码级小优化
单看每项都不起眼,但 decode 时间线就是由这些「每层每步几微秒」累加而成的:
RMSNorm (1.0+weight) 缓存:Gemma 风格 RMSNorm 每次 forward 都执行 1.0 + self.weight 与 .contiguous()。权重在推理期不变,按 id(self) 缓存结果(layernorm.py 的 GEMMA_WEIGHT_CACHE、patch_qwen3_5.py 的 get_weight_plus_one),全模型每步省下 40 层 × 2 处的加法拷贝。
rotary embedding 表达式合并:RoPE(旋转位置编码)通过旋转 Query/Key 的向量来注入位置信息。计算时需要根据每个 token 的位置,从预计算的 cos/sin 缓存中取出对应的值。update_cos_sin 是根据当前 batch 中每个 token 的位置索引,准备好形状匹配的 cos 和 sin 张量,供后续旋转操作使用,由于 RoPE 的 cos 和 sin 在数值上是对称的,形状和变换流程完全一致,可以合并优化,update_cos_sin 原先对 cos/sin 各做一次 index_select + view + repeat + chunk,可以把 cos 和 sin 合并成一个张量,先做一次 index_select 和形状变换,最后再 chunk 拆回 cos 和 sin,消除一半的重复操作,这些操作对 cos 和 sin 是完全重复的,形状、变换方式一模一样,只是数据不同。
去掉冗余 copy:rope_dsv4.py 中 ComplexExpRotaryEmbedding.forward 原先把结果 copy 到预分配 buffer 再返回,改为直接返回 x.view(ori_shape) 视图。
Attention 权重双流预取:weight prefetch 机制原本只覆盖 MoE 权重。我们利用「层按顺序构建」的特性建立层注册表,让第 L 层在进入自己的 MoE(全层最长的计算 + AR 窗口)时,在 prefetch 流上预取第 L+1 层的 attention 投影权重(qkv_proj/o_proj 等),第 L+1 层在消费前等待 prefetch 流,把 attention 权重的 HBM 加载藏进上一层的 MoE 窗口(patch_qwen3_5.py,VLLM_ASCEND_ATTN_WEIGHT_PREFETCH 默认开启)。
二
优化实践(三):算子层优化与编译融合
decode 关键路径上大量时间消耗在「matmul → AllReduce → 残差加 → RMSNorm」这种层间固定序列,以及 MoE 的通信-计算交织上。我们通过编译 MC2 通信融合、SuperKernel 与自研 910C 融合算子四条路径逐层压缩这些开销。
FUSED_MC2:MoE 通信-计算融合
MC2(Mixture-of-experts Communication & Computation)是昇腾针对 MoE dispatch/combine 通信的融合机制,把 AllToAll 通信与 GroupedMatmul 计算在算子内部交织。vllm-ascend 通过环境变量提供两级开关:export VLLM_ASCEND_ENABLE_FUSED_MC2=1 # 启用计算通信融合算子。实测 =1 有稳定收益,=2(更激进的融合级别)在 35B-A3B 上无额外收益。配套地,我们把 ascend_forward_context.py 中 MC2 路径的 token 容量上限从 min(num_tokens_per_tp_rank, 512) 放宽到 1024,让更大 batch 也走 MC2 的 RS+AG 路径而非 ALLTOALL,为未来扩大 capture 尺寸留余量。
SuperKernel:
把小 kernel 合并为大 kernel 一起加载
低并发下单个 kernel 的计算时间常常只有几微秒,此时 kernel 的加载与发射开销占比极高。SuperKernel 的思路是:把多个连续的小 kernel 在编译期合并为一个大的 SuperKernel,同步 launch,减少 kernel 加载次数与通信开销,同时天然形成算子间的流水重叠。
在 vllm-ascend 侧通过编译选项启用(我们迁移后默认随静态 kernel 一起打开,见 compiler_interface.py):
options["static_kernel_compile"] = Trueoptions["super_kernel_optimize"] = Trueoptions["_vllm_aclnn_static_kernel_sym_range"] = \_compute_decode_cudagraph_batch_sizes(vllm_config) # 限定静态编译的 batch 尺寸
其中 sym_range 把静态 kernel 编译限定在 cudagraph 捕获的 batch 尺寸上,避免编译时间爆炸。开启 SuperKernel 后(叠加前序全部优化),未开投机解码的 c=1 TPOT 从 8.5ms 降到 8.2ms(-0.3ms),开启 MTP 后收益进一步放大(详见下文「开启 MTP 投机解码」)。同时编译器 hash 因子中加入 super_kernel_optimize,保证开关变化时编译缓存正确失效。
融合算子:
matmul_allreduce_add_rmsnorm_910c
动机
设置 VLLM_ASCEND_ENABLE_MATMUL_ALLREDUCE 开启计算和通信算子融合功能的时候,在 910C 上报「SoC version ascend910_93 verification failed」——算子库未覆盖该 SoC。自研了一个专为 910C 双 die TP=2 拓扑设计的融合算子,把 decoder 层内最重的序列:
o_proj(matmul) + AllReduce + residual add + RMSNorm(1+w)
压进单个算子。对应的 Python 侧封装在 vllm_ascend/ops/fused_ar_norm.py,由 VLLM_ASCEND_FUSED_O_PROJ_AR=1 开关控制,并在 patch_qwen3_5.py 的 AscendQwen3_5DecoderLayer.forward 中接入:attention 模块在算完 attn_output 后直接把 residual 与 (1+w) 归一化权重交给融合算子,整个 epilogue 一次完成,层前向只需接收融合输出作为新的 residual。
算子架构:AIC/AIV 双核流水
算子源码位于 csrc/mc2/matmul_allreduce_add_rmsnorm910c/,采用 AscendC 的 AIC(Cube)+ AIV(Vector)双核协同设计:
AIC 侧:基于 Catlass 实现细粒度 matmul(L1 tile 16×224×512,双缓冲),每算完一个 (mTile, nTile) 输出 tile,就在 GM(全局内存)上置位对应的 tile-ready flag。
AIV 侧:轮询 AIC 的 tile flag(WaitForAicTile),tile 就绪后立即启动跨 rank 的细粒度归约——两个 die 通过 HCCS 直接读写对方的 DataBank/StatusBank(RANK_DATA_STRIDE=1MB 布局),完成 reduce-add 后再做 RMSNorm(先各自求平方和、跨 rank 汇总求倒数、归一化输出),全程不回到 host。
流水协议:GM 上的 flag 区分为三段:AIC tile 就绪 flag、跨 rank 协议状态(protocol/add ready)、RMS 就绪,AIC 算得越往后,AIV 的归约与归一化越能与之重叠,形成 matmul 与通信的细粒度流水。
形状约束与可靠性设计:算子支持 M ≤ 40 行(覆盖 MTP bs8 × (4+1)=40 行的验证场景)、TP=2、bf16、2048 维(Qwen3.5-35B-A3B 的 hidden size);Python 侧做第一道守卫(不满足条件返回 None 走未融合路径),算子内部还有第二道防线——不支持的形状会通过 c10::Dispatcher 回退到标准算子组合(matmul + vllm::all_reduce + add_rms_norm,这正是新增头文件 csrc/mc2/call_vllm_tensor_op.h 提供的能力)。双层回退保证了正确性永远不依赖融合算子的形状覆盖度。
收益
该算子接入后(叠加全部前序优化):c=1 TPOT 5.2→5.1ms、c=4 9.2→9.0ms、c=8 12.9→12.3ms(p99 从 18.8ms 降到 14.8ms);同时 TTFT c=1 从 213ms 降到 179ms(-16%)、c=8 从 432ms 降到 307ms(-29%),因为 prefill 阶段同样会走该融合算子。
静态 kernel 编译修复:从 37/43 到 43/43
静态 kernel 预编译(见上篇)依赖对图内所有算子的成功编译。实际编译 43 个自定义算子时,起初只有 37 个成功。排查发现两类问题:
头文件路径硬编码:编译脚本引用 /tmp/vllm-ascend/.../cann_compat.h 绝对路径,容器重启后即失效,改为基于 PYF_PATH 的相对路径后恢复到 42/43。
CausalConv1d 空输入处理,该算子的 bias/initialStateMode/numAcceptedTokens 参数传 None 时,tiling 描述的位置发生错位,修复方式是用「nullptr」空 tensor 描述 + 剥离 stride/offset/is_view 属性,最终 43/43 全部编译成功(100%)。
编译成功率提升的直接收益是 cudagraph 捕获覆盖所有 decode 形状,解码吞吐提升约 4.2%。
静态 kernel 与 MTP 的兼容性
静态 kernel 与 MTP 投机解码同时开启时,服务在发推理请求时直接报错——draft(MTP 草稿)模型的静态编译在 cudagraph capture 阶段触发 AICore 越界。分析发现根因:MTP draft 模型的 FX 图与目标模型不同(其 fc 层消费的是「token embedding 与目标 hidden states 拼接成的 2×hidden_size 张量」),这个图编译成静态 kernel 会越界。解决方法:compiler_interface 带上 super_kernel_optimize(static kernel + super kernel 协同),该组合下 MTP 图可正常编译(cudagraph 捕获 5/5 通过)。
cudagraph 捕获尺寸必须匹配投机后的 token 数
初次开启 MTP 时出现严重劣化:c=4 TPOT 从 10.4ms 飙到 42.2ms、c=8 从 13.5ms 飙到 42.9ms。排查发现原因:开启投机后每个 decode step 实际执行的 token 数变为 并发数/DP × (1 + num_speculative_tokens) 再加上可能的 bonus,例如 c=4/TP=2 对应约 10~20 个 token,而默认捕获尺寸 [1,2,4,5,8] 完全覆盖不到这些形状,导致投机步骤落不进图中。
修复方法是按公式重新设置捕获尺寸:
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY","cudagraph_capture_sizes": [5, 20, 40]}'
修复后 c=4 TPOT 42.2->10.4ms、c=8 42.9->13.5ms。
三
优化前后性能对比
c=1 优化瀑布:每一步优化贡献了多少
下表按时间顺序汇总 Qwen3.5-35B-A3B 在 c=1、输入 1024/输出 512、不开投机解码条件下,各优化措施叠加后的 TPOT 演进(752t 单卡双 die,TP=2):
可以看到,最大的三个单项是版本升级(-15.4%)、静态 kernel(-18.7%)与 HCCL AIV(-6.6%),合计贡献约七成降幅;其余十余项合计贡献三成。
总览一:
未开启投机解码(random 数据集 -> 真实数据集)
叠加全部非投机优化后(910C-560t,单卡双 die,TP=2),与基线及 H20 的对比:
总览二:
开启 MTP 投机解码(针对MTP进行源码优化后)
在 8.2 基础上开启 MTP(num_speculative_tokens=4)+ SuperKernel:
总览三:
真实业务场景 RL 微调模型 + 真实业务场景数据集(最终状态)
最终状态下,真实业务数据集上 c=1 TPOT 达 5.0ms,较基线下降 64.8%。生产验证使用真实业务场景 RL(GRPO/PPO,基于 verl)微调后的 Qwen3.5-35B-A3B 模型,配合三类真实数据集压测。在叠加最后一批源码优化(min_tokens 掩码缓存、词表并行 argmax、lm_head 分片计算)后:
在 gsm8k 公开数据集(数学推理,token 分布与真实业务场景不同)上,优化效果更为突出:
两个数据集的差异也提示:投机解码的收益与接受率强相关,而接受率受数据分布影响,评估国产化替代效果时应以真实业务数据集为准,公开数据集只能作参考。
推广验证:Qwen3.6-27B
为验证优化方案的通用性,我们在同一套环境(910C-560t、v0.23.0 内部分支)上对稠密模型 Qwen3.6-27B 做了同步验证。注意该模型与 MTP + 静态 kernel 的组合存在兼容性限制(混用在发推理请求时报错,需关闭 enable_super_kernel/static_kernel 之一,详见上文「静态 kernel 与 MTP 的兼容性」一节的问题背景;后续 0.26.0rc 版本镜像已解决)。
27B 稠密模型上,非 MoE、非混合注意力模型同样有效。
TTFT 与其他指标
TPOT 之外,其他指标的优化情况:
TTFT:基线阶段昇腾本已优于 H20。源码优化后进一步改善:融合算子接入使 c=1 TTFT 213→179ms(-16%)、c=8 432→307ms(-29%)。
端到端延迟:优化后 1024-512 请求的端到端延迟从 5.09s 降到 4.04s(-21%)。
高并发吞吐:静态编译修复(43/43)使并发 10 的解码吞吐提升 4.2%cudagraph 捕获范围从 49 扩到 70 后,c=10 吞吐 173→477 tok/s——说明低并发优化方法论之外,高并发还需要单独调优捕获范围与调度。
四
经验总结与展望
方法论总结
Profile:所有优化都始于 msprof 时间线上的具体瓶颈(某个算子的 launch 开销、某段 host 空窗、某次同步拷贝),每项优化都做单变量 A/B 压测并记录,无效尝试也要记录。
低并发优化要减少 host 开销:c=1 时 device 侧算子都在微秒级,TPOT 的大头是 host 调度、kernel launch、H2D 拷贝与同步等待。静态 kernel、SuperKernel、CPU 快路径、掩码缓存、冗余拷贝跳过,本质都是在压缩 host 侧每一微秒。
通信优化:词表并行 argmax 把通信量降 3 万倍;fuse_allreduce_rms、MC2、910C 融合算子把通信压进计算流水。多流重叠让 shared expert 的通信与 routed 计算同时进行。
投机解码:MTP 对 TPOT 的优化提升明显,先做基线优化、再开投机解码。
版本更新:版本升级之后,此前基于旧版本的所有源码修改都要重新迁移验证,采用「先迁移基线优化、再逐个叠加」的方式完成了从 0.23.0rc2 到正式版 0.23.0 的迁移。
不足与展望
高并发方向:本轮优化聚焦在线低并发(c≤8),高并发下的调度、显存与吞吐优化(如 PD 分离、更大 capture 范围、DP attention)是下一阶段重点。
编译优化:探索 PGO(Profile-Guided Optimization)反馈优化、更激进的算子融合(如 QKV proj 与 RoPE 的融合)。
上游协同:把通用性好的优化(min_tokens 掩码缓存、词表并行 argmax、block_table CPU 快路径等)整理后向 vllm-ascend 社区回馈,减少长期维护成本。
规模扩展:将同一套方法论与最佳实践脚本复制到更多机型(单机多卡、多机)与更多模型(Qwen3.5-9B/27B、后续稠密大模型)上,同步积累国产算力推理优化的经验。
往期回顾
文 / 映川、行星
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 映川 2026-10-21 18:30 上海
文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。
目录
一、背景
1.昇腾NPU与英伟达GPU软硬件架构对比
2.英伟达与昇腾架构核心差异概览
二、软硬件环境
1.硬件配置
2.模型信息:Qwen3.5-35B-A3B
3.软件环境
4.压测方法与指标定义
三、性能基线与瓶颈分析
1.基线数据
2.Profile分析
3.优化路线图总览
四、优化实践(一):镜像版本与参数调优
1.推理框架版本升级
2.集合通信下沉到 AIVector:HCCL_OP_EXPANSION_MODE=AIV
3.静态 kernel 预编译(Static Kernel)
4.HBM 分配器调优:虚拟内存映射 + pin_memory + page_size
5.host 侧内存分配优化:jemalloc 替换 glibc malloc
6.算子缓存与 batch memcpy
7.MoE 权重预取(Weight Prefetch)
8.HCCL 通信参数与 CPU 绑定
9.cudagraph 配置:模式、捕获尺寸与 warmup
10.实测无效或负向的尝试(避坑清单)
本文系统性地总结了我们以华为昇腾 910C 为国产算力底座,在大模型在线推理场景下完成国产化适配与性能优化工作。项目从建立 Qwen3.5-35B-A3B 在 910C 上的性能基线出发,通过 MindStudio 进行性能剖析定位瓶颈,按照「镜像与版本升级 → 参数与环境变量调优 → vllm-ascend 源码修改 → 算子层融合优化 → MTP 投机解码」五个层次逐层推进,累计落地 20 余项有效优化。
最终成果:在 910C-560t(单卡双 die、TP=2)上,未开启投机解码时,TPOT(Time Per Output Token,单 token 解码延迟)从基线 14.22ms 降至 7.8ms(c=1,下降 45.1%);开启 MTP 投机解码并叠加全部源码级优化后,真实业务场景的数据集上 c=1/c=4/c=8 的 TPOT 分别达到 5.0ms/8.8ms/11.9ms,较基线分别下降 64.8%/49.9%/43.8%;在 GSM8K 公开数据集上 c=1 TPOT 达到 4.2ms。同时,同一套优化方法论在 Qwen3.6-27B 上也得到验证(c=1 从 30.7ms 降至 11.8ms)。
文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。
一
背景
当前国内 NVIDIA GPU 供给持续紧张,H20 已无新增算力供给,核心业务算力的国产化替代已迫在眉睫。华为昇腾 910C 作为主流国产算力,已在实际业务的离线推理场景完成投产验证,证明了国产算力在批处理场景下的可行性。然而,在在线实时推理场景中,由于业务对响应时间(RT)要求较为严苛,直接部署大参数模型会导致 RT 无法满足 SLA,因此 910C 暂时无法直接替换现有在线服务。为保证 910C 能应用于在线推理业务,通过轻量级小模型(如 Qwen3-32B、Qwen3.5-35B-A3B、Qwen3.5-27B、Qwen3.6-27),实现在线场景下国产算力的平滑替代。
昇腾NPU与英伟达GPU软硬件架构对比
昇腾与英伟达架构对比
英伟达与昇腾架构核心差异概览
项目目标:以华为昇腾 910C 为核心国产化算力底座,完成在线推理优化的目标为:建立 Qwen3.5 系列模型在 910C 上的性能基线,并以 H20 作为对照组;通过系统优化将低并发(c=1/4/8)TPOT 与 H20 的差距缩小到 80%。
二
软硬件环境
硬件配置
本次优化使用的机器型号为昇腾 910C-560t,单卡双 die 形态:一张加速卡上封装两个 chip(die),每个 chip 拥有独立的 64GB HBM,整机 8 卡共 16 个 die。
模型信息:Qwen3.5-35B-A3B
优化工作的主力模型是 Qwen3.5-35B-A3B——总参数约 35B、激活参数约 3B 的 MoE(Mixture of Experts)混合架构模型。该模型的架构特点对推理优化策略影响很大,这里展开说明:
混合注意力结构:模型包含 30 层 GDN(Gated DeltaNet)线性注意力层与 10 层全注意力(Full Attention)层交替,GDN 层使用递归状态(recurrent state/mamba state)代替 KV Cache,decode 阶段每层都要执行 causal_conv1d、L2Norm、recurrent kernel 等一系列小算子,算子数量多、launch 开销占比高,是优化的重点对象。
MoE + 共享专家:每个 MoE 层除路由专家(routed experts, GroupedMatmul)外还有一个共享专家(shared expert),decode 低并发时专家权重从 HBM 读取的带宽开销显著,这为权重预取(weight prefetch)与多流重叠提供了优化空间。
Gemma 风格 RMSNorm:归一化权重以 (1.0 + weight) 的形式参与计算,若不做缓存,每层每步都会产生一次加法 + 拷贝开销。
MTP(Multi-Token Prediction)头:模型自带 MTP 模块,可直接用于投机解码(speculative decoding),训练时未开启 MTP 的真实业务场景的微调模型也可以在推理时直接受益。
需要特别说明的是框架版本这条线:vllm-ascend 社区版本迭代很快,不同版本在图编译、MoE 通信(MC2/AllToAll)、投机解码等路径上的实现差异很大。我们早期的基线建立在 0.22.0rc1 上,优化中期切换到 0.23.0rc1 并获得了 15% 以上的直接收益(见 4.1 节),最终所有源码级优化都迁移并固化在正式发布的 v0.23.0 基线的内部分支上。
压测方法与指标定义
为保证数据可比,所有优化实验都遵循统一的压测协议:
核心指标:TPOT(Time Per Output Token,decode 阶段每个输出 token 的平均延迟,在线场景主优化指标)与 TTFT(Time To First Token,首 token 延迟),对照组为 H20 单卡(vLLM 0.23.0)。
默认负载:输入 1024 token、输出 512 token(min/max prompt 与 min/max tokens 分别锁定为 1024/512),并发取 1/4/8 三档,覆盖在线低并发场景。
数据集:基线使用 random dataset(排除缓存与数据分布影响),后期验证使用真实业务场景的数据集与 gsm8k 公开数据集。
profile 工具:(昇腾官方 profiler)采集 NPU/host 时间线,通过 MindStudio 定位每个 decode step 内部的算子耗时、通信耗时与 host 侧空隙。
标准的 evalscope 压测命令如下:
evalscope perf \--parallel 1 4 8 \--number 40 80 80 \--warmup-num 20 \--model <model_name> \--url http://127.0.0.1:5001/v1/chat/completions \--api openai \--stream \--dataset random \--max-tokens 512 --min-tokens 512 \--min-prompt-length 1024 --max-prompt-length 1024 \--prefix-length 0 \--tokenizer-path <path/to/model>/qwen3.5-35b-a3b \--outputs-dir "./my_output"
三
性能基线与瓶颈分析
基线数据
在 910C-752t(单卡双 die、TP=2)、vllm-ascend 0.22.0rc1、默认开启 cudagraph、random 数据集、输入 1024/输出 512 条件下,测得 Qwen3.5-35B-A3B 的基线如下:
基线阶段还同步建立了 Qwen3-8B/14B/32B 与 Qwen3.5-4B/9B/27B 等模型在 910C 与 H20 上的完整对照基线(涵盖单卡单 die、单卡双 die 两种形态,输入输出 1024-512/1024-1024/4096-512 三种负载),总体规律一致:TTFT(首 token 延迟)方面昇腾占优,H20 约为昇腾的 24 倍,说明昇腾在 prefill 阶段(计算密集)效率不错;TPOT(decode 延迟)方面 H20 占优,H20 约为昇腾的 0.60.65 倍,decode 是在线场景的主优化指标,也是本次优化的主攻方向。
Profile 分析
我们用 MindStudio 对 c=1 的 decode 时间线做了逐层剖析。Qwen3.5-35B-A3B 单个 decode step 要穿过 40 个 decoder 层,每层包含 GDN/全注意力 + MoE 两个子模块,一个 step 内要 launch 上千个算子。剖析结果可以归纳为六大类开销:
host 侧调度与下发开销:低并发下每个算子的计算时间极短(微秒级),host 侧的 kernel dispatch、aclnn 执行、event record/wait 成为主要开销。典型例子:triton slot_mapping kernel 固定约 131us 的 launch 开销;每层 conv 权重 transpose+contiguous 约 4.3us × 30 层 ≈ 129us/step。
host-device 同步与冗余拷贝:投机解码验证路径上,MinTokens logits processor 每步在 host 侧用 numpy 重建 (rows, toks) 掩码,并从分页内存做 H2D 拷贝——分页内存的 non_blocking 拷贝实际是同步的,直接把异步调度流水打断,实测占单步时间约 30%;model_runner 中还有大量每步无条件执行的 copy_to_gpu/fill_。
集合通信开销:TP=2 下每层有多次 AllReduce。默认配置下 HCCL 的集合通信算子跑在 AI CPU 上,占用独立的 AI CPU 资源且与计算难以重叠;此外 compute_logits 会做全词表 logits 的 all-gather,通信量高达 O(batch × vocab_size),而贪婪采样其实只需要 argmax。
HBM 带宽瓶颈(MoE 权重读取):c=1 decode 时 batch 极小,MoE GroupedMatmul 是带宽受限的,专家权重从 HBM 加载的时间构成关键路径;shared expert 的权重加载与 routed expert 计算默认串行。
图模式编译质量:aclnn 动态 shape kernel 在 replay 阶段仍要走 runtime GetWorkspaceSize 等流程;静态 kernel 预编译可以把这部分开销固化掉,但需要框架版本与编译选项支持。
内存分配开销:host 侧 glibc malloc 在高频小对象分配场景下锁竞争明显;device 侧 HBM 分配器的 page 粒度影响碎片与映射开销。
这六类开销分别对应了后文的五个优化层次。总体思路是先易后难,先做容易见效的调整,比如版本升级、环境变量等参数调整,再做需要改源码的精细优化,最后再进行底层的算子融合。
下面是通过 MindStudio 进行昇腾性能分析是示例图:
MindStudio 进行性能 profile 分析示例
优化路线图总览
整个优化过程历时约 1 个月,按层次与时间线归纳如下:
四
优化实践(一):镜像版本与参数调优
本章所有记录不需要改源码、通过换版本或调参数/环境变量就能生效的优化。这部分投入产出比最高,建议任何做昇腾推理优化的团队先系统性地过一遍。
推理框架版本升级
优化初期我们的基线建立在 vllm-ascend 0.22.0rc1 上。将镜像切换到 0.23.0rc1(其余参数完全保持不变)后,c=1 TPOT 直接从 14.2ms 降到 12.0ms,下降 15.4%。
升级 vllm-ascend 0.23.0rc1 后的压测结果(TPOT 12.0ms)
版本升级的收益来自社区在 MoE 通信路径、图编译、调度器等方面的持续迭代。之后我们又试验了基于 v0.23.0 的 nightly 镜像,额外收益约 0.1ms(提升很小)。这也给出一条经验:版本升级要趁早做、一次到位,后面所有源码级优化都应建立在最新稳定版本之上,避免将来再做一次痛苦的迁移。我们最终的工程基线是正式发布版 v0.23.0。
CANN 层面同理:从 CANN 9.0.0 镜像更换为 CANN 9.1.0 镜像后,c=1 TPOT 从 8.8ms 降到 8.5ms(-3.4%),并且 9.1.0 是后续 SuperKernel stream fusion 等编译选项(见 6.2 节)的前置依赖。
集合通信下沉到 AIVector:
HCCL_OP_EXPANSION_MODE=AIV
默认情况下,HCCL 的集合通信算子(主要是 AllReduce)由 AICPU 执行。AICPU 是独立于 AI Core 的计算单元,其算力与带宽都弱于 AI Core,且通信算子跑在 AICPU 上时与主计算流难以重叠,成为 decode 关键路径上的串行开销。
通过设置环境变量,可以把集合通信算子「展开」到 AIV(AI Vector)单元上执行:export HCCL_OP_EXPANSION_MODE=AIV。
在 Qwen3.5-35B-A3B(0.23.0rc1 基线)上,该配置使 c=1 TPOT 从 12.0ms 降到 11.2ms(-6.6%);此前在 Qwen3-8B 上验证时为 9.9ms → 9.25ms(-6.5%),收益稳定。值得注意的是,vllm-ascend 社区后来也在特定模型(如 MiniMax-M2)的 ACL graph 捕获路径上默认开启了同样的配置,侧面印证了该优化的通用性。
HCCL_OP_EXPANSION_MODE=AIV 压测结果
静态 kernel 预编译(Static Kernel)
vllm-ascend 的图模式默认使用动态 shape 的 aclnn kernel:即使是 cudagraph 捕获的固定 batch size,replay 时 runtime 仍要执行 GetWorkspaceSize 等动态推导逻辑。静态 kernel 预编译的思路是:在服务启动的 graph capture 阶段,提前为每个 cudagraph_capture_size(如 [1,2,4,8,...])预编译静态 shape 的 aclnn kernel,把 workspace 计算固化进编译产物,replay 时直接走预编译的静态路径。
开启方式(注意多卡场景必须设置 LOCAL_WORLD_SIZE):
export ASCEND_RT_VISIBLE_DEVICES=0,1export LOCAL_WORLD_SIZE=2 # 多卡必须设置vllm serve /root/workspace/models/Qwen3-32B \--tensor-parallel-size 2 \--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \--additional-config '{"ascend_compilation_config": {"enable_static_kernel": true}}'
收益与模型规模强相关:Qwen3-32B 上叠加前序优化后,c=1 TPOT 从 31.5ms 降到 30.9ms(-1.9%);而在 Qwen3.5-35B-A3B 上,叠加 HCCL AIV 后收益高达 18.7%(11.2ms → 9.1ms),因为 A3B 激活参数小、decode step 内算子多且碎,host 侧动态推导开销占比更高。
静态 kernel + HCCL AIV 叠加后的压测结果
静态 kernel 编译本身也有一些坑:编译过程中会调用 CANN 工具链,部分头文件路径与 CANN 版本相关。我们在容器环境里遇到过 cann_compat.h 缺失导致编译失败的问题,最终通过启动脚本内联生成兼容头文件解决(见下篇)。
HBM 分配器调优:
虚拟内存映射 + pin_memory + page_size
torch_npu 的设备内存分配器支持一组通过 PYTORCH_NPU_ALLOC_CONF 控制的调优项。针对在线低并发场景,我们开启了虚拟内存映射(expandable segments)、1GB 大页、pin memory 后台线程等组合:
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True,base_addr_aligned_kb:16,page_size:1g,pinned_use_background_threads:True,pin_memory_expandable_segments:True。
各项的含义:
expandable_segments:True:采用虚拟内存映射方式分配 HBM,segment 可按需扩展,缓解碎片问题,大张量分配不再要求物理连续。
page_size:1g:把虚拟内存页大小调整为 1GB,减少页表项数量与映射开销。
pinned_use_background_threads:True/pin_memory_expandable_segments:True:pin memory(锁页内存)分配走后台线程,避免阻塞推理主流程,同时锁页内存池可扩展。
base_addr_aligned_kb:16/roundup_power2_divisions:16:控制分配对齐与分桶粒度,减少小对象分配的碎片。
该组合在叠加前序优化的基础上,使 c=1 TPOT 从 9.1ms 降到 8.8ms(-3.3%)。后期配合 jemalloc(见 4.5)时,我们改用了更精简的组合:expandable_segments:True,roundup_power2_divisions:16。
虚拟内存 + pin_memory + page_size 调优后的压测结果
host 侧内存分配优化:
jemalloc 替换 glibc malloc
vLLM 的 Python/host 侧每步会产生大量小对象分配(tensor 元数据、调度结构、通信描述符等)。glibc 的 ptmalloc 在多线程高频小对象场景下存在 arena 锁竞争与碎片膨胀问题。我们通过 LD_PRELOAD 将分配器替换为 jemalloc:
export LD_PRELOAD=/usr/lib64/libjemalloc.so.2。
收益随并发增大而增大:c=1 -0.1ms、c=4 -0.3ms、c=8 -0.6ms。原理上并发越高,host 侧线程间分配竞争越激烈,jemalloc 的 thread cache 结构优势越明显。这是一项零风险的通用优化,建议默认开启。
算子缓存与 batch memcpy
aclnn 算子在 host 侧有一层执行信息缓存,默认缓存条目有限。ACLNN_CACHE_LIMIT 用于配置单算子执行时 host 侧缓存的算子信息条目数:
export ACLNN_CACHE_LIMIT=100000
export VLLM_ASCEND_ENABLE_BATCH_MEMCPY=1
ACLNN_CACHE_LIMIT=100000,提高 host 侧算子缓存上限,避免 decode 过程中缓存淘汰导致的重复解析,实测 p99 从 9.1ms 降到 8.9ms,收益不大但稳定,对消除尾延迟毛刺有帮助;VLLM_ASCEND_ENABLE_BATCH_MEMCPY=1,把分散的小块 H2D/D2H memcpy 合并为批量拷贝,减少拷贝次数与 launch 开销。
MoE 权重预取(Weight Prefetch)
c=1 decode 时 MoE 层的 GroupedMatmul 是带宽受限的:专家权重体量远大于激活数据,每个 step 都要从 HBM 读取。weight prefetch 机制利用 NPU 的 prefetch 能力,在当前层计算时提前把下一层的权重搬进 L2 Cache,用计算时间掩盖权重加载延迟。
开启方式:
--additional-config '{..., "weight_prefetch_config": {"enabled": true}, "pa_shape_list": [1,4,8]}'这里有三个关键细节。预取阈值改动(源码):上游 vllm_ascend/ops/weight_prefetch.py 中 MOE_PREFETCH_TOKEN_THRESHOLD = 96,即 batch 中 token 数少于 96 时不做 MoE 预取——这是为吞吐场景设计的保守值。而我们的在线场景恰恰是 c=1~8 的极小 batch,decode 时 token 数等于并发数,永远达不到阈值。将阈值改为 1 后,c=1 decode 也能触发预取:
MOE_PREFETCH_TOKEN_THRESHOLD = 1 # 原值 96pa_shape_list:显式声明 decode 的 batch 形状列表 [1,4,8],让 paged attention 与预取逻辑对这些低并发形状做针对性处理。shared expert 预取扩展(源码):原实现只预取 routed expert 的 w13(gate_up)权重,我们在 preprocess 阶段追加了对下一层 shared expert gate_up 权重的预取(_get_moe_shared_expert_gate_up_prefetch_weight),使其在当前层 routed expert GroupedMatmul 执行期间提前进入 L2,填补多流重叠暴露出的空窗。
收益:c=8 时 TTFT 改善(prefill 阶段 expert 权重提前进 L2 cache)、c=4 TPOT 改善 0.2ms、c=1 改善 0.1ms。
HCCL 通信参数与 CPU 绑定
最终最佳实践脚本中还固化了以下通信与调度参数:
HCCL_BUFFSIZE=128:HCCL 通信缓冲区大小(MB),影响通信分块粒度,需按消息大小试参。
HCCL_DETERMINISTIC=false:关闭确定性归约,确定性模式会强制固定的分块与归约顺序,牺牲一部分通信效率换取结果可复现,在线服务不要求比特级复现,关闭后通信更快。
HCCL_WHITELIST_DISABLE=1:禁用 HCCL 白名单校验,减少通信建链开销。
COMBINED_ENABLE=1:开启算子组合(combined)标志,优化两个非连续算子的组合场景(在 35B-A3B 单独测试时未见收益,但与整体组合保留)。
OMP_NUM_THREADS=1/GE_USE_STATIC_MEMORY=1:限制 OpenMP 线程数避免 host 侧线程争抢,GE 使用静态内存减少图引擎动态分配。
enable_cpu_binding: true(additional-config):开启 worker 进程的 CPU 绑核,注意这与更激进的 CPU_AFFINITY_CONF=2 精细化绑核不同——后者实测是负优化(见 4.10)。
cudagraph 配置:
模式、捕获尺寸与 warmup
图模式是 decode 优化的基石,我们把所有 decode 都放进图里执行:
cudagraph_mode = FULL_DECODE_ONLY:只对纯 decode 步骤做整图捕获,prefill 与混合批走 eager 路径,兼顾性能与灵活性。
cudagraph_capture_sizes:非投机场景使用 [1,2,4,8],开启 MTP(num_speculative_tokens=4)后,每步实际执行的 token 数 = 并发数 / dp × (1 + 投机长度),例如 c=4、TP=2 对应 2×5=10,再考虑 bonus token,我们把捕获尺寸调整为 [5,20,40](详见 7.2 节),这一步是修复 MTP 下 c=4/c=8 从 10.4ms 劣化到 42ms 的关键。
cudagraph warmup 次数(源码):vllm_ascend/platform.py 中 cudagraph_num_of_warmups 从 1 提到 3,原 1 次 warmup 下,部分 aclnn 算子(尤其 MoE fused experts)首次执行仍残留 host 侧编译/初始化开销,提到 3 次后稳态命中率显著提升,低并发收益最大(约 -0.2~-0.3ms)。
实测无效或负向的尝试(避坑清单)
优化的另一半工作是证伪。下表记录了我们实测无效、报错或负向的参数尝试,供后来者避坑。所有结论都基于 Qwen3.5-35B-A3B、TP=2、vllm-ascend 0.23.0 链路实测:
几个有价值的观察:其一,昇腾的环境变量多达数百个,很多开关与 SoC 型号、CANN 版本、模型结构强耦合,文档上的「推荐值」不能替代实测;其二,部分功能(如 MatmulAllReduce、FlashComm)在 910C(ascend910_93)上的算子库支持尚不完整;其三,同一优化在不同模型上结论可能相反(FINE_GRAIN_REPLAY_SYNC),建立「每模型必实测」的流程比记住任何具体参数都重要。
以上为《国产算力·昇腾 910C 大模型推理优化》上篇,聚焦镜像版本升级与参数调优。下篇将继续深入 vllm-ascend 源码修改、算子层优化与 MTP 投机解码,敬请期待。
往期回顾
文 / 映川
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 星珀 2026-10-14 18:30 上海
资产验收要对几十种费用类型、几十套规则做单据与佐证材料的逐条核对,规则还随业务频繁调整。我们没有为每种费用写一套验收代码,而是做了一套智能验收体系。
目录
一、需求背景:为什么不用传统规则引擎?
二、整体架构:线上流量整体处理流程
三、质量体系:反馈、试跑、回测与发布门禁
1.用户反馈:系统的「标准答案」从哪里来
2.试跑与回测
3.三种流量的数据隔离
四、Agent 设计:确定性 Workflow 如何驾驭 LLM
1.总体思路:让 LLM 只做它最擅长的两件事
2.分层架构及处理流程
3.材料准备流水线
4.双制品模型:提取与判定分离
5.多模型投票:把单点误判压在关键判定上
6.盖章检测三级流水线:确定性优先,LLM 兜底
7.防幻觉组合拳
8.可解释的结构化输出
9.面向生产的工程护栏与踩坑实录
五、效果展示
1.验收审批页 —— AI审批结果详情抽屉页
2.AI验收规则配置页面及版本管理
3.试跑与回测结果
4.用户反馈入口
六、数据结构设计
七、小结
一
需求背景:为什么不用传统规则引擎?
先看一个真实的验收场景:财务同学收到一张验收单,点开附件是一份25页的PDF合同、几份扫描件,要核对合同里的约定数量、甲方主体、落款公章、费用发生期间——每一单都是如此,且月均验收单审批量数百单。
抽象一下,这个环节有三个天然难点:
费用类型多、流程各异:资产验收涉及几十种费用类型,不同费用类型的验收流程与规则各不相同。规则非固定,持续调整:业务调整、风控要求变化、审计口径更新,带来规则的增删改,规则是「活」的。单据核对数据量大:验收单头、多条明细、关联合同、发票、各类附件,人工逐条比对费时费力。
常规思路是「把规则翻译成代码」,但在这里走不通:
规则频繁变化:每次调整都要走「开发—测试—发布」全流程,响应成本高。规则作用对象是非结构化材料:大量规则需要核对PDF合同、扫描件、图片附件、印章签字,传统程序「读不懂」这些材料。规则表达是自然语言:「合同甲方主体需与验收单公司主体一致」「附件需加盖供应商公章」,本身就是语义判定而非数值计算,这些恰恰是大语言模型擅长的事。
于是思路定了:让LLM负责「读懂材料、按规则比对」,工程系统负责「流程编排、质量保障、可追溯」:规则以文本形式配置化下发,不再硬编码进代码。
二
整体架构: 线上流量整体处理流程
系统由两个服务组成:
线上流量整体处理流程
线上流量处理时序图
链路上有几个关键设计。
异步受理 + 回调交付:一次LLM验收要解析多份材料、执行多条规则,耗时可达分钟级,不能阻塞审批主流程。资产Agent系统收到请求后秒级返回「已受理」,后台执行完成后回调资产管理系统。回调所需的上下文由消息自带,而非服务端保存。
幂等与兜底:以「审批实例 + 财务节点轮次」构造幂等批次号。加签、重试、退回再提交,都不会重复触发。提交失败同步落整明细失败行,查询侧懒超时兜底,保证任务不会「挂起不动」。
一套通道,三种流量:线上流量、试跑流量和回测流量,共用同一套提交与回调链路,仅靠流量类型+上下文区分,新的流量模式零成本复用全部基建。不同流量完全隔离,避免 试跑/回测 流量污染线上流量,影响业务。
图片和文本双通道处理:Agent对图片和文本使用独立通道进行处理,既可以降低token消耗,又能保证识别的准确性。
三
质量体系:反馈、试跑、回测与发布门禁
验收规则本质上是一段提示词文本,改规则就等于改线上行为。规则既然非固定、调整会经常发生,就必须有一套轻量的「测试—回归—发布」机制——否则没人敢动规则。而要回答「新规则判得对不对」,前提是有一份标准答案。我们的标准答案不靠人工出题,而是从日常复核中自然长出来,所以先讲裁判,再讲考试。
用户反馈:系统的「标准答案」从哪里来
审批人在复核AI判定结果时,可以对每条判定做轻量标注——认可/不认可;不认可时必须填写文字原因。系统在反馈时记录两个快照:当时AI的判定结果、当时生效的规则版本。标准答案由此自动推导:认可→标准答案=AI原判定;不认可→标准答案=AI判定的反面(通过↔拒绝)。
反馈数据有两个去向:一是作为回测的比对基准,二是进入试跑侧,让系统对照反馈计算新旧版本的一致率。
试跑与回测
目的:规则正式发布前,用真实的验收单对草稿版本规则演练,完全不影响线上真实验收单与审批流;可以理解成是业务同学debug规则的入口,让业务同学每次创建新的规则版本都可以实时感知当前版本的效果。实现:管理端选择若干历史/在途满足条件(时间范围,费用类型一致等)的验收单号发起试跑;系统实时重建验收上下文(头、明细、附件、合同),「草稿版本」与「当前生效版本」各跑一遍,结果落在独立的旁路任务中——不回写验收单状态、不触达审批。试跑结果支持新旧版本并排对比,自动计算判定一致率,并对照用户反馈给出建议通过结论。
回测数据集:线上流量在每次验收时自动沉淀重放快照(验收上下文+当时的规则版本),构成可重放的历史样本池。结合用户反馈,样本按「AI 判定 × 人工标准答案」划分为四类,并分层抽样:
分层抽样的目的:如果只用随机抽样,集合很容易被简单样本主导,测出的高分没有说服力。假阳/假阴恰恰是规则调整最该盯的地方,重点关注新规则有没有修复历史误判,有没有又引入新的误判。
回测通过条件(双阈值)需要两个条件同时满足才算通过:
数量阈值:四类有效样本(带人工标准答案)数量达到配置下限,避免小样本下结论。
质量阈值:回测结果与标准答案的一致率超过配置阈值(如≥90%)。
规则版本的发布被回测状态门禁卡控:回测状态为「回测通过」或「试跑替代回测通过」,允许常规发布,版本指针切换即生效;其他状态(待回测/回测不通过),只能走强制发布通道,必须是权限用户才能操作,并全程留痕。另外,任何对草稿的编辑都会自动重置回测状态——防止用旧版本的回测结论,放行新版本的规则。
用试跑替代回测:
回测门禁冷启动死锁
「回测通过才能发布」变成了一道永远过不去的门。为打破死锁,我们允许权限用户在试跑完成后人工审阅试跑结果(逐条判定、新旧版本对比、判定依据与材料出处),确认无误后将回测状态手动更新为通过——用人工对试跑结果的判断,替代回测对历史标准答案的自动比对。该通道严格限定在冷启动场景:权限控制、全程留痕、草稿一经编辑即重置回测状态;样本池充实后,规则调整回到标准回测通道。
试跑替代回测示例图
三种流量的数据隔离
试跑/回测与线上流量共用同一套提交、执行、回调链路,前提是严格的隔离——既不能影响线上验收,也不能污染回测样本池。隔离设在四道闸门:
三种流量的四道隔离闸门
由此,试跑/回测完整复用了生产级执行链路,又互不干扰:既不影响线上审批,也不污染发布门禁所依赖的数据集。把这些环节连起来,就是一个闭环:
数据飞轮闭环
规则调整不再是「拍脑袋上线」,而是每一次修改都能被历史标准答案检验。
四
Agent 设计:确定性 Workflow 如何驾驭 LLM
前面是业务侧的质量体系;这一章深入资产Agent系统内部——它是「规则即配置」能成立的技术底座。下文的技术细节均来自实际代码与实测数据。
总体思路:让 LLM 只做它最擅长的两件事
我们没有做对话式的多Agent架构,而是采用确定性工作流编排的pipeline式设计,把一次验收拆成固定阶段:
LLM只出现在两个绿色环节:从材料中提取事实、基于事实与规则做比对判定。其余环节:文件解析、印章检测、数值核对、结论校验、超时兜底,全部由确定性代码完成。
收益是:行为可预期、环节可测试、问题可定位。对生产系统而言,这比「看起来很智能」重要得多。顺带回答一个常见问题:为什么不用自主循环的 Agent?因为这个任务是方向明确的工作流,不是探索性质的问题,阶段划分、输入输出、成功标准在设计时就已确定。探索型任务里循环反思有价值,但方向明确的流程里,循环引入的是不可预测的步数与行为,恰好与「验收结论必须可预期、可回归」的要求相反。我们把「提升单次执行质量」的力气花在拆解阶段、压缩判定输入、关键判定投票上,而不是让模型自己决定下一步去哪。这与前端场景常见的取舍一致:能用TypeScript确定性表达的流程,不交给运行时自适应。
分层架构及处理流程
路由层 薄路由:读请求原文 / 上下文标识日志 / 错误码映射,零业务└─ 异步编排层 受理校验 / 背压槽位 / 后台任务 / 失败重试└─ 执行内核 并发信号量 / 预算 / 材料准备 / 分阶段调度 / 超时兜底├─ 解析模块 纯函数:入参解析 + 金额精度处理 + 契约兼容├─ 映射模块 纯函数:规则翻译 / 提示词模板 / 结果映射└─ 复用既有引擎:├─ 审核引擎 并发执行、多值结果协议、多模型投票└─ 材料处理 下载、归类、抽取、渲染、要素检测
路由零业务:职责仅四项——读raw body、四级校验漏斗、背压占位、后台注册。业务编排全部下沉 async.ts;错误码映射统一收口在入口,网关接入不感知内部结构。
内核单一职责:执行内核只认任务不认请求——只管并发信号量、预算、材料准备、分阶段调度四件事。受理与回调全部上提至异步编排层,同一内核可被同步、异步、重试三种入口复用。
规则与引擎解耦:解析、映射两模块全为纯函数——入参解析、金额精度、契约兼容、规则翻译、提示词模板、结果映射,无IO、无副作用,业务规则的任何变化都收敛为可单测的函数改动;底层审核与材料能力抽象成引擎服务,多模型投票、要素检测等能力只实现一次,上层编排迭代不触碰引擎代码。
一次请求的生命周期:
受理、执行、回调三阶段生命周期
时序图第一行的「入参校验 + 回调块校验 + 背压占位」值得展开,受理入口其实是全链路设计密度最高的一段,它是一个多级串行的 fail-fast 漏斗,任一级失败立即拒绝,不注册后台任务、不回调,部分失败码和上游动作举例:
这样设计的好处在于,一错误码即重试策略:多失败码设计让上游用代码就能区分「改了也没用的失败」与「稍后再试即可成功」,从而上游可以根据返回 code 采取不同的操作;二受理校验全通过才受理:受理校验失败直接前置拒绝,代价远低于让任务跑满超时时间后被懒超时作废。
材料准备流水线
材料准备流水线示例图
核心原则是「每份材料只下载一次,各取最适合的形态」,实现的要点包括:
一个buffer复用到底,下载是重IO操作,同一份文件只下载一次,分页提取、触发页渲染、盖章检测共享。
PDF分型智能降级,按单页字符阈值自动分流——电子合同(文本型)零成本直取文本层,扫描件(图片型)才走渲染+OCR,两条路径输出统一结构。
按需渲染,只有存在盖章/签字类视觉规则时才渲染页面截图,纯文本规则不为此买单。
OCR与Vision各司其职,OCR只做它擅长的「文字关键词定位」——判断哪些页面可能涉及盖章/签字、把扫描件文本回填进文本槽;Vision只做OCR干不了的「图形判定」——这页有没有章、有没有手写签字。没有用最弱的手段(纯 OCR 判印章)去做最关键的判定,也没让视觉模型去啃整篇文本找触发词。工具分工正确,是这套混合方案能成立的地基。
双制品模型:提取与判定分离
每条上游规则被翻译为两条引擎制品:
以「验收单数量需与合同约定数量一致」这条规则为例,两段制品的真实输出:
Extract制品(事实,逐字摘录带溯源):
{"needed_fields": ["合同约定数量", "验收单数量"],"extracted": [{ "field": "合同约定数量", "value": "20", "source_file": "合同.pdf", "source_page": 3, "source_method": "ocr" },{ "field": "验收单数量", "value": "20", "source_file": null, "source_page": null, "source_method": "extraContext" }],"judgment": "NULL","reason": "合同数量取自 p3;验收数量取自单据结构化字段"}
Aggregate制品(结构化比对项,无自由文本):
{"checkResult": 1,"comparisons": [{"leftName": "合同约定数量", "leftValue": "20", "leftSource": "《合同.pdf》p3","rightName": "验收单数量", "rightValue": "20", "rightSource": "补充上下文","relation": "一致"}]}
单一职责带来四个好处:
可审计:判断理由必须引用具体值与来源(禁「均一致」这类笼统表述)每个值可回溯到页码。
控成本:判定段只看事实摘要,不重读原始材料,token与耗时可控。
可短路:确定性判断(如盖章)可以在提取段整段跳过LLM(见 4.7)。
可校验:两段均为 JSON输出,模型输出四值→规则判定二值映射可以做成纯函数校验。
多模型投票:把单点误判压在关键判定上
验收是AND语义,一个关键事实判错,整单结论就错。而LLM对同一输入的判定存在噪声:扫描件模糊、电子签章不是传统圆形红章、骑缝章跨页,这些都会让单一模型「看走眼」。尤其视觉判定(该页有无章)的准确率是整套方案的下限:单页把「有章」误判成「无章」,一份实际合规的投标就被整份否决,单点误判的代价太高,必须用机制对冲。
我们的做法是多数表决(majority vote):每个关键判定不交给单一模型,而是主模型+一组投票模型并发作答,取得票最多的答案。投票的适用范围是有边界的——只在关键判定上付费:
投票机制在两处发挥了不可替代的作用:一是降低输出漂移,把一个长问题拆解成多个子问题(对应多个function),每个function返回值固定在一个小合法集内(是/否),模型只在小闭集上作答,再经多数表决收敛——同一输入反复调用的结果稳定性显著高于让模型自由发挥一段长答案。二是盖章确认(见4.7 Stage 3),Vision二分类「是否印章」走三模型投票,把「单模型看图判章」的噪声压住后,前两级确定性过滤才敢放心把不检出的页面直接判「无章」。
盖章检测三级流水线:确定性优先,LLM 兜底
「附件需加盖供应商公章」是验收高频规则。如果直接把整份合同扔给Vision模型问「盖章了吗」,又贵又不稳。我们的做法是三级流水线,前两级零LLM成本:
盖章检测三级流水
每个阈值都不是拍脑袋,而是来自对真实合同的逐页实测(以一份25页文本型合同为验证样本):
防幻觉组合拳
财务场景容不得「看起来对」。容易出幻觉的点,逐一用工程手段封死:
上表中的每一条手段都有对应的代码落点,不依赖模型「自觉」。其中逻辑最绕的两条——回答值域的收敛、金额从报文到结论——各用一张图进一步讲解,四值闭集契约:把模型的回答收敛进确定值域。所有 LLM 调用都经统一的 ask 引擎,回答值域先在类型层面钉死。
export type CheckVal = 'true' | 'false' | 'NULL' | 'N/A'// true=通过;false=不通过;NULL=无需判断;N/A=无法判断(如 .zip/.pptx 等无法解析的材料)
闭集是双重落地的:提示词侧声明「只返回是、否、NULL或N/A」,代码侧对任何越界回答强制回落到合法值末位——模型无论输出什么,都产不出四值之外的结论。从原始回答到最终结论的完整收敛路径见下图,兜底方向永远保守:最坏是「无法判断、交人工」,而不是编造一个 true/false。
金额链路:从原始报文到最终结论,每一环都不信任模型。BigDecimal字面量预提取、数值双向仲裁、结论派生对账三个手段串成一条流水线,下图即一笔金额的完整旅程——模型只出现在第③环,其余全是确定性代码:
可解释的结构化输出
LLM不写自由文本的判定理由,而是输出结构化比对项(左值/右值/各自来源/关系),由代码按固定模板拼装成富文本。字段抽不到时走缺材料形态:
{ "leftName": "合同约定数量", "relation": "缺失", "expectedSource": "采购合同正文" }拼装为「合同约定数量缺失(应出自采购合同正文),该部分无法判断」——而不是让 LLM 自由发挥一段「经查验未能获取相关信息」的模糊话术。最终呈现给审批人的每条判定都附带规则原文与材料出处(哪份合同、第几页),人工复核一目了然,也天然支撑了反馈标注。
以上是缺材料形态;常规形态是可比较项——除左右值与关系外,每项还必须携带各自来源(《文件名》+页码,或「补充上下文」)与 ruleRef(从子规则列表逐字引用的一条规则原文,供代码把该理由挂回规则)。以「各方主体名称应一致」为例,aggregate段输出的比对项:
{"leftName": "合同甲方主体","leftValue": "XXX有限公司","leftSource": "《xxx协议.pdf》p3","rightName": "验收单公司主体","rightValue": "XXX有限公司","rightSource": "补充上下文","relation": "一致","ruleRef": "1、各方主体名称应一致"}
relation是闭集,渲染形态共四种、各配一条专属模板(表中为剥去 <val> 标签层的纯文本):
程序按固定模板将其拼装为带标签的语句,并跟前端约定好展示规则,生成的结果里每个关键部位都由代码拼装,LLM全程不感知HTML。通过程序拼接的方式能保证返回结果的一致性,示例:
<judgeverdict="通过"rule="各方****一致性"></judge><br/>来源: <sources><ahref="https://xxxx.pdf">《合同A.pdf》</a>、<ahref="https://xxxx.jpeg">《图片B.jpeg》</a></sources><br/>理由: 经比对,验收界面公司主体()与合同、补充协议、订单附件及验收附件中的我方主体名称完全一致;验收界面供应商主体()与上述各文件中的对方主体名称完全一致,满足主体一致性要求 因此整体判断为通过<br/><b>因此整体判断为通过。</b><br/>置信度: 85%前端展示结果示例图
面向生产的工程护栏与踩坑实录
背压与预算分层:在途任务上限设置阈值,满则直接拒绝——静默接受一个注定超时作废的任务,不如让上游立即按失败落库,避免雪崩。
失败显性化:材料下载失败会同时注入提示词与判定理由,明确告知「本次判定基于不完整材料」,禁止静默降级。
上下文工程:文本预算按文件数均分,防止主合同挤掉关联合同;数值字面量在JSON解析前原文保留。
Prompt Cache 稳定前缀断点:system消息拆为两个part——稳定模板(角色设定 + 输出契约 + 防注入声明)打cache_control:ephemeral断点,规则指令、素材、图片全部后置。Prompt Cache是前缀匹配,这样组织后稳定模板可跨规则、跨请求、跨投票模型命中缓存。缓存的命中发生在远端LLM网关:网关把断点之前的内容tokenize后计算哈希,在后端KV Cache存储中查找匹配的缓存块,命中则预填充阶段直接从缓存读取KV,无需逐token重新计算——省的是真金白银的算力与首token延迟,而非本地缓存那种响应级别的复用;user段一律不打断点——它每规则都变,参与断点会使缓存永不命中。
配置驱动:预算/背压/超时/重试全部走配置文件,调参不发版。
全链路可观测:入口即打身份日志(含入参全文,问题可现场重放);受理、执行、回调三段日志同一 ID串联,一次grep定位全链路;受理成功与背压拒绝日志均携带pending水位,容量回溯无需监控预埋。
敏感信息脱敏:合同与单据材料在进入LLM前先过一道脱敏——手机号、邮箱、打印人员信息直接抹除;经营指标(GMV/ROI/UV/PV/DAU)等敏感词按配置表替换为占位符。脱敏发生在提示词组装阶段,LLM拿到的材料永远是不含敏感信息的版本,判定所需的主体名、金额、日期等字段不受影响。敏感词表走配置驱动,新词条加入无需发版。
几条用真实教训换来的经验:
五
效果展示
以下为系统实际效果图,沿「审批复核 → 规则配置 → 版本管理 → 试跑/回测」的主线展示。
验收审批页 —— AI 审批结果详情抽屉页
ai批次处理结果汇总
验收审批明细
验收单流转到财务审批节点后,AI 判定结果同步透出,点击打开「AI 审批结果详情」抽屉:
规则判定结果汇总:按通过/不通过聚合本单规则数,审批人一眼掌握全单情况,并返回综合判定结果:通过/不通过/需人工复核。
规则判定结果明细:逐规则展示规则编号、AI 判定结果、规则原文与判定依据;判定依据中的数据值(费用类型、金额、合同编号等)以超链接呈现,点击可查看该数据的数据来源,便于逐项核实。
来源:点击文件链接,可以打开分析依据的材料;
反馈:每条判定底部提供「正确/错误」反馈按钮,审批人的标注沉淀为标准答案,反哺试跑/回测。
AI验收规则配置页面及版本管理
规则配置:配置页以列表形式展示所有规则维度的信息:规则编号、规则名称、费用类型、等级(阻断/严重/一般)、状态(启用/禁用)、创建人、创建时间等,顶部支持按费用类型、创建人、状态组合筛选,方便快速查询定位某条规则;操作列提供详情、编辑、版本管理、禁用、删除等入口。
版本管理:每条规则都支持多个不同的版本管理:页面列出规则的全部版本(草稿、v1、…)及是否生效(「生效中」/-)。每个版本都支持试跑和回测,草稿版本额外提供编辑与回测入口;回测通过后方出现发布按钮,规则发布被回测状态门禁卡控。
试跑与回测结果
记录历史试跑结果;展示草稿版本与当前使用版本的结论差异;如果有人工反馈(金标),则展示金标结果。
回测结果列表、与标准答案的一致率、回测状态。
用户反馈入口
业务反馈入口
对于大模型基于每条规则的判断结果,用户可以点击判定底部的「正确」或「错误」按钮进行反馈:点击「正确」即认可AI判定;点击「错误」则弹出错误反馈弹窗,需要用户提交错误反馈的原因(不认可时必须填写,保证反馈信息量)。
反馈数据有两个去向:一是推导标准答案、反哺试跑/回测门禁(见 3.1);二是错误原因文本本身——程序基于余弦相似度将不同反馈归于不同的语义簇(Semantic Cluster),便于后续从不同的语义簇中抽取代表性数据生成few-shot,让模型从同类历史错误模式中学习,规则迭代越用越准。
六
数据结构设计
附上支撑「试跑/回测/反馈」的核心表结构,方便想落地的同学参考。五张表、一条主线:一切判定都挂到「规则版本」上,让历史可追溯、标准答案可推导。
设计思路:
三种流量共享重放快照表,靠流量类型+批次编号逻辑隔离,不为试跑/回测单独建表,读侧按流量类型与批次号前缀各取所需——这是「一套通道三种流量」在存储层的直接映射,新流量模式零建表成本。
规则版本号贯穿结果、快照、反馈三张表,每条历史判定都能回答「当时用的是哪个版本的规则」——没有这个外键,「反馈推导标准答案」「草稿编辑自动重置回测状态」都无从谈起。
标准答案在写反馈时固定,设置为金标集,回测/试跑只需逐条比对模型反馈结果和金标即可算一致率,不需要在查询时做任何推导——把一次性的推导成本留在写入时,把高频的比对做成零逻辑。
七
小结
面对「费用类型多、规则非固定、核对量大」的验收场景,这套方案给出的答案是:
规则配置化:规则以文本下发、语义路由,改规则不改代码。
判定 AI 化:LLM 负责材料理解与规则比对,确定性 workflow 保证流程可控。
质量工程化:试跑彩排、回测门禁、反馈标准答案,让每一次规则调整都可验证、可回归。
人机协同:AI 提供判定与依据,人做最终决策并反哺标准答案,形成数据飞轮。
月均近千单的验收比对,从纯人工逐条核对,变成了「AI 预判+人工复核重点」。后续我们将继续扩充费用类型覆盖与反馈数据积累,让规则迭代跑得更快、更稳。
往期回顾
文 / 星珀
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 南极熊、章北海 2026-09-30 18:30 上海
你随手发的一张照片,得物把它变成了一个能转着看的三维场景。这不是"照片会动"那种小把戏,而是用 3D 高斯重建出纵深,再压进手机,转一下就能"看"进画面里的空间。难的不是生成 3D,是把它做小、做快、做到手机上稳定跑 60FPS。这篇拆开给你看。
目录
一、引言:从静态照片到可交互的空间图片
二、方案概要:空间图片的端云协同链路
三、模型生产:从单张照片到三维高斯场景
1.空间视差原理
2.三维高斯表示
3.单图生成的能力边界
四、质量评价:从像素误差到多视角观感
1.像素误差度量
2.感知质量评价
3.多视角一致性评测
五、模型体积压缩:平衡画质、体积与渲染成本
1.高斯减点与画质取舍
2.属性编码与格式压缩
六、移动端渲染:让空间图片流畅响应视角变化
1.空间坐标与视角交互
2.GPU 深度排序
3.GPU 实例化绘制
4.其他优化
5.端侧实测表现
七、总结
八、写在最后:关于得物音视频团队
一
引言:从静态照片到可交互的空间图片
iOS 26,苹果推出空间照片(Spatial Scene),轻轻转动手机,照片里的主体和背景随视角产生不同的位移,一张普通图片便有了可以探索的空间层次。
得物技术团队随即启动相关的技术预研并上线。在得物,用户发布图片时带上 #空间图片 话题,服务端异步生成三维场景模型,客户端根据手机姿态实时渲染。创作者仍然使用熟悉的图文发布方式。
发布活动页
视频交互示意
3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。
二
方案概要:空间图片的端云协同链路
在落地过程中,模型质量、文件体积和端侧开销需要一起权衡。减少高斯点数,可以降低存储与绘制成本,也可能丢失新视角中的细节;压缩后的文件更小,解码时仍可能占用较多内存。
服务端完成模型生成、多视角渲染和质量评估,再将模型压缩后分发。客户端经过设备准入,完成下载、解码、GPU 上传和实时渲染。完整链路如下:
本文按模型生产、质量评价、模型体积压缩、移动端渲染四个环节,说明方案选择和工程实现。
三
模型生产:从单张照片到三维高斯场景
空间视差原理
普通图片记录了固定视角下的颜色信息。当观察位置移动时,不同距离的物体在画面中产生不同程度的位移,这种运动视差是空间感的重要来源。
相机横向移动时,近景在画面中的位移大于远景
要让图片随视角变化,需要先建立可渲染的三维表示。生产侧采用单图前馈生成路线:从输入图片提取几何与外观线索,预测三维高斯属性,输出场景模型。客户端加载模型后,通过改变虚拟相机的视角绘制画面,无需在每次手机转动时重新运行生成网络。
三维高斯表示
3D Gaussian Splatting(3DGS)用一组三维高斯基元表示场景。每个基元可以理解为一个带有颜色、不透明度和空间范围的柔和椭球。位置决定它在哪里,尺度与旋转决定形状和方向,颜色与不透明度决定它对画面的贡献。
渲染时,三维高斯被投影为屏幕上的二维椭圆,再按深度顺序进行透明度混合,形成最终画面。相机视角改变,投影与遮挡关系也随之改变,前景和背景因此产生不同的位移。高斯数量、屏幕覆盖范围和重叠程度都会影响绘制成本。
3DGS 渲染原理示意:三维高斯、投影、排序混合与二维画面
原始 3DGS 方法通过多视角照片优化一个场景的高斯参数;本方案从单张图片直接预测高斯属性,再交给渲染器展示附近视角。两者使用了相同类型的场景表示,生成高斯参数的方式不同。
单图生成的能力边界
单图生成降低了素材准备门槛,但照片没有记录被遮挡区域的真实信息。新视角中出现的内容包含模型推断,观察范围越大,越容易暴露空洞、拉伸或错误的遮挡关系。实际体验需要约束在原始视角附近。
生产规模也不能只由生成效果决定。在本项目中,内部处理分辨率会影响高斯数量,进而影响存储、排序和绘制开销。生成分辨率与客户端输出分辨率是两个变量,应分别控制。后文先说明评价方法,再用实验结果解释当前模型档位的选择。
四
质量评价:从像素误差到多视角观感
像素误差度量
空间图片不能只检查正面截图。一根鞋带可能在正面完整,转动后却出现断裂;人物轮廓可能露出空洞,远景纹理也可能在某些角度变得稀疏。评价需要覆盖视角变化后的画面。
PSNR 基于对应像素的均方误差,主要反映数值保真程度。SSIM 比较局部亮度、对比度和结构,能够描述部分结构变化,但仍依赖图像之间的空间对应关系。
视角合成中的微小几何偏差,会改变边缘在画面中的位置。即使纹理和整体观感接近,像素比较也可能受到明显影响;某些平滑结果则可能取得较小的像素误差,却损失细节。因此,本项目以 LPIPS、DISTS 等感知指标作为主要评价依据,PSNR、SSIM 可用于辅助诊断,不单独据此判断观看质量。
LPIPS 论文中的一组例子直观展示了这种差异。每组三张图以中间的 Reference 为参照,绿色对勾表示对应评价方式认为更接近参照的候选。左侧建筑案例中,人更倾向于保留细节但发生局部形变的右图,而图中列出的传统指标选择了模糊的左图。
传统指标与人眼判断可能给出不同的相似度排序
感知质量评价
LPIPS(Learned Perceptual Image Patch Similarity)利用神经网络提取图像特征,再比较特征空间中的差异,为纹理、轮廓等感知变化提供参照。
DISTS(Deep Image Structure and Texture Similarity)结合深层特征的结构与纹理统计,对一定程度的纹理重采样和轻微几何变化具有容忍性。将它与 LPIPS 联合观察,有助于定位轻量化后的细节退化。
两项指标都是数值越低,表示与参照图像的差异越小。前提是参照有意义:新视角渲染图不能直接与原始视角照片比较,否则正常视差也会被计入差异。
LPIPS 与 DISTS 的计算流程
多视角一致性评测
我们使用两类参照,分别检查生成过程和轻量化过程:
对比时需要统一图像尺寸、裁切范围等条件。轻量化评测的参照是基线模型的渲染结果,并非新视角的真实拍摄图像。如果基线模型本身存在生成错误,与它接近并不能说明新视角合理。
逐帧相似度也无法完整反映转动过程中的闪烁。指标之外,还需要连续观看,并回看遮挡边缘、文字和细结构等典型失败案例。下一章的帧级统计用于比较模型档位,不等同于模型整体合格率。
五
模型体积压缩:平衡画质、体积与渲染成本
高斯减点与画质取舍
模型轻量化包含两个环节:先减少需要表达和绘制的高斯基元,再压缩每个基元的存储开销。减点会改变场景表示,同时影响文件大小与端侧工作量;格式编码主要降低分发体积,运行时收益取决于解码方式和数据布局。
阶段实验比较了降低生成分辨率、均匀降采样和过滤部分基元等方式。均匀降采样能够直接减少点数,但测试中出现了放大后条纹感明显的案例。降低生成分辨率也有代价:继续压低点数时,毛发、人物边缘和大范围背景更容易缺失细节。
本轮比较使用统一的 5 秒渲染视频,每秒抽取一帧,对比相同序号的画面。每个轻量化档位累计得到 185 组对应帧,两项指标分别统计如下。
这些阈值用于本轮方案比较,不代表通用画质等级,两列比例也不能合并理解为联合通过率。高点数档位在两项指标下的帧级达标比例都更高。案例回看中,部分雪景和社区远景在低点数下出现的黑影、空洞或元素缺失,提高到该档位后有所改善。
低点数下的黑影空洞
结合多视角评测与端侧表现,当前采用较高的高斯点数,在保证效果的同时,能够大幅减少点数。
属性编码与格式压缩
确定模型规模后,还需要将原始的 PLY 模型压缩,以减小传输文件大小。我们通过属性量化和紧凑编码组织三维高斯数据,减少存储与网络传输体积。量化会引入数值误差,需要单独核验画质。
以本次测试使用的属性布局为例,位置、颜色、不透明度、尺度和旋转共包含 14 个 float32 数值,每个高斯的属性负载约为 56 字节。
减点与格式编码的作用区别
优化后,在保证渲染质量的前提下,文件大小相较于压缩前减少约81.5%。
六
移动端渲染:让空间图片流畅响应视角变化
大量的高斯点进入移动端后,开销分布在解码、数据搬运、排序和像素混合几个阶段。加载时并行还原属性,首帧建立深度索引,后续按需绘制并复用索引。
客户端展示与交互
空间坐标与视角交互
高斯点保存在世界坐标中,结合模型外参与观察目标建立初始相机,内参和画面比例决定投影。视图矩阵 V 将高斯变换到相机空间,投影矩阵 P 再将其映射到屏幕;相机空间以前方为 −Z,后续排序与投影都使用这套坐标。
陀螺仪将角速度积分为受限的横向、纵向相机位移,相机始终看向观察目标,形成小幅视差。手势可通过 Camera 的 orbit/pan/zoom 接口调整三维视角。
GPU 深度排序
高斯投影是半透明椭圆,同一像素可能被多个高斯覆盖。Alpha 混合与顺序有关:当前绘制路径需要先画远处,再叠加近处,否则前后颜色的贡献会颠倒。因此按高斯中心的相机空间深度建立绘制顺序;这种全局排序是近似,并非逐像素的精确遮挡求解。
采用 GPU 稳定 Radix Sort:生成 32 位深度键,每轮处理 8 位,经过 4 轮计数、前缀和、重排,输出排序索引。索引留在 GPU,后续绘制直接读取;Compute 与 Render 之间建立资源依赖。首帧排序后复用索引,适用于受限的小幅视差,大幅改变视角需重新评估排序。
经测试,采用 GPU 排序,排序耗时降低 60%–75%。
GPU 实例化绘制
每个高斯用一个四顶点四边形承载,片元着色器计算椭圆范围内的颜色与透明度。当前普通显示路径通过一次实例化 draw 绘制 N 个高斯:vertexCount = 4、instanceCount = N,减少逐高斯提交的 CPU 命令开销。
同一组高斯在两种提交方式下的绘制流程(N = 5 为示意)
GPU 用 instanceID 经排序索引找到高斯,用 vertexID 生成四个角。相比图中的逐个提交,实例化绘制省去了重复的 draw 调用和 CPU 顶点展开;高斯数量、约 4N 个顶点工作项及透明混合仍然存在。非实例化绘制也可合批,图中的 N 次调用仅指逐高斯提交。
// C++ 风格伪代码:普通显示路径的一次实例化绘制bind(gaussianBuffer, sortedIndices, uniforms);drawInstanced(TriangleStrip, 4, pointCount);// 顶点阶段按 gaussians[sortedIndices[instanceID]] 读取属性。
其他优化
端侧实测表现
iOS、Android 分别用高端机、中端机、低端机对不同高斯点数的模型进行效果测试、性能测试,性能测试指标包括帧率、内存占用、手机发热情况等,最终选择较高点数的模型。经真机测试,iOS 、Android 帧率稳定在 60FPS。
得物 APP 内渲染,稳定60FPS
七
总结
本次实践中,我们结合多视角质量与端侧表现确定模型档位,通过格式编码进一步压缩分发体积,并在客户端通过数据组织、排序与帧调度降低运行开销。最终,在保留模型细节与多视角观感的同时,降低了内容分发与端侧渲染的负担,让 3D 内容以更轻量、流畅的方式融入用户的浏览与交互体验。
八
写在最后:关于得物音视频团队
我们是得物音视频团队,专注于多媒体算法与工程,业务覆盖多媒体处理、播放器、AIGC、智能创作等方向,已上线 3D 球鞋展示、AR 试穿等创新玩法。围绕图片、视频、音频、Live Photo、3D 等内容,我们建设从智能生成、云端处理、内容分发到端侧播放与交互的完整技术链路,持续打磨画质、性能与使用体验。我们希望把技术探索融入日常创作与浏览,让创作者更轻松地表达想法,也让每一份分享以清晰、流畅、生动的方式抵达用户。欢迎加入得物音视频团队!
往期回顾
文 / 南极熊、章北海
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信:
原创 众里 2026-09-23 18:30 上海
你搜"af1",它得给你"空军一号"。这一年,得物交易搜索把召回从"做选择题"改成了"写答案"——不再从商品池里"找"最像的,而是让模型自己"生成"你真正想要的。从 LLM 语义索引到 HLLM、语义 ID,搜索是怎么从"检索"走向"生成"的?
目录
一、引言:召回范式的演进与挑战
二、基石构建:语义理解与表征能力升级
1.基于LLM的文本索引语义增强
2.基于MLMM的多模态向量表征的深度融合
三、核心突破:生成式召回架构的探索与落地
1.基于分层大语言模型(HLLM)的深度语义表征
2.基于 HSTU 的生成式行为序列建模
3.基于语义 ID 的统一生成式召回
四、架构升级:召粗一体与全链路优化
五、总结与展望
1.总结
2.模型效果与业务收益浅析
3.未来展望
一
引言:召回范式的演进与挑战
在电商搜索的演进历程中,“召回”始终是连接用户意图与海量商品的基石。长期以来,业界普遍采用“判别式检索”范式:无论是基于倒排索引的关键词匹配,还是基于ANN近邻检索的Embedding相似度计算,其核心逻辑都是在给定候选集中“寻找”最相似的结果。
然而,随着用户需求的日益多样化与口语化,传统范式在交易搜索场景中面临严峻挑战。基于关键词的倒排索引受限于“词汇鸿沟”,难以处理【“af1” vs “空军一号”,"yeezy" vs "椰子"】这类语义一致但字面不匹配的Query;而基于向量检索的判别模型,在长尾Query和冷启动商品场景下,往往因行为数据稀疏而表现乏力。此外,传统的“召回-粗排-精排”级联架构存在天然的信息漏斗,一旦高价值商品在召回阶段被遗漏,后续链路将无力回天。
过去一年,得物交易搜索团队核心目标是打破这一僵局。我们不再满足于让模型做“选择题”,而是尝试赋予模型“创造力”。我们将生成式建模(Generative Modeling)引入召回场景,探索从“检索”到“生成”的范式跃迁,并围绕大语言模型、多模态表征及序列建模展开了一系列算法研发。
二
基石构建:语义理解与表征能力升级
生成式模型需要高质量的世界知识与语义理解输入作为燃料。在探索生成式召回之前,我们首先对商品与Query的底层表征能力进行全面升级。
基于LLM的文本索引语义增强
背景
在交易搜索场景中,文本召回的效果高度依赖于商品索引的数据丰富度与语义表征能力。传统索引主要依赖人工标注的标题、品牌、类目等属性,面对海量多样化的用户查询,固定标签体系难以覆盖商品的全貌,尤其是视觉风格、细节材质、用户真实表达等隐式信息,导致索引侧表征不足,引发漏召与少召。为此,我们将大语言模型的世界知识与语义理解能力系统性地引入索引构建流程,从视觉理解、社区语料挖掘、商品关系推理、详情页结构化、线上行为锚点等多个维度对商品文本进行语义扩展,并配备独立的召回通道进行快速验证与权重调控。
技术方案
视觉理解:从商品图像中“看见”文本无法描述的属性
商品图像中包含大量文本标题中缺失或描述不清的信息:颜色、纹理、材质(如“薄纱”、“皮革”)、设计细节(如“荷叶边”、“绳状粗鞋带”)、风格(如“多巴胺”、“复古”)等。我们利用多模态大模型(Qwen2.5-VL-7B-Instruct + LoRA SFT)对这些视觉特征进行结构化提取:
数据构建:从商品原始文本中通过NER与归一化构建结构化属性池,再调用32B大模型作为清洗器,滤除非视觉相关属性(如“耐磨”、“明星同款”),产出纯净的视觉属性训练集用于指令微调;
推理与过滤:模型推理产出视觉标签后,经规则初筛排除明显错误项,再对高风险子集调用模型进行二值化图文一致性判断,确保每条标签都有明确的视觉依据,最大程度抑制幻觉。(得物商品白底图为这一方案提供了独特优势,纯净背景让模型能精准聚焦商品本体,显著提升了视觉属性识别的准确率。)
社区语料挖掘:从用户真实表达中捕获场景化语言
社区动态与商品评论是用户主动输出内容,天然包含消费者关注的核心卖点、使用场景、痛点、情感倾向以及趋势词汇。这些“用户语言”往往与商家填写的标题属性存在显著差异,是弥补索引与口语化查询之间鸿沟的关键数据源。我们采用Qwen3-4B模型,从两个层面优化挖掘质量:
语料圈选:摒弃随机抽取,使用综合动态质量分、点赞/评论等交互指标优先选择高信息密度内容;同时针对性的选取关联多个商品的动态(单商品动态信息密度低,挂载过多商品的动态则易引入噪声);
批量解析与Prompt优化:将单商品逐条解析改为一次批量解析动态页关联的N个商品,并同步注入语料标题、话题标签、商品原始标题等上下文信息,让模型更准确地识别目标商品并输出高质量标签。
产出的标签经互斥词库、实体类目规则及人工审核三重过滤,确保进入索引的信息准确可靠。
商品关系推理:利用I2I信号解决稀疏商品标签匮乏
对于曝光少、行为稀疏的长尾商品,单靠自身图文信息难以生成丰富的标签。我们引入相关推荐场景中的商品关系图谱(I2I),利用与目标商品历史转化表现好的相似商品的结构化信息(标题、类目、关键属性)作为辅助输入,驱动Qwen3-32B模型基于共性特征为目标商品生成拓展词。
这一策略的核心优势在于:相似商品往往已经积累了更丰富的用户反馈和属性标注,将其“知识迁移”给稀疏商品,相当于为后者做了一次高质量的冷启动。生成结果经过相关性大模型语义评估、NER实体拆分规则、VL模型图文一致性验证及互斥词库联合过滤,确保拓展词的准确性。
详情页OCR:将图像中的“隐藏文本”结构化
商品详情页图片中往往包含规格参数、功能描述、成分表等关键文本信息(如“纯棉”、“100W快充”、“无泪配方”、“敏感肌可用”),但这些内容以图像形式存在,传统索引完全无法利用。我们通过两阶段处理将其转化为可索引标签:
OCR文本识别:使用DeepSeek-OCR模型提取详情页图片中的原始文本;
信息抽取与规范化:将OCR原始文本输入Qwen3,筛选冗余内容、梳理逻辑、提取核心属性并按统一格式标准输出(如“多功能”、“深层清洁”、“氨基酸配方”)。
这一步将详情页中大量“看得见但搜不到”的信息正式纳入索引体系。
线上行为锚点:用后链路验证的Query反哺索引
上述几种方法均是从商品侧出发“主动生成”标签。我们还引入了从线上曝光日志中“被动沉淀”的高置信信号;筛选高频曝光且相关性2档的Query-Item组合(Q-I Pair),将这些经过后链路(相关性、精排)验证的Query作为商品的“已验证锚点”直接补充进索引。
这类标签的独特性在于,它们本身就是用户的真实搜索词,且已被系统验证与该商品高度相关,相当于为商品设置了一批“高命中率”的召回入口。提取过程中同样经过图文一致性、互斥词库、实体类型等多阶段过滤,确保标签置信度。
工程落地:独立召回通道与质量保障体系
所有生成的标签最终汇入一个独立的tag_recall召回域,这一设计带来三个关键收益:
快速验证:新标签的价值可以在不影响原本文本召回链路的前提下独立评估;
灵活调控:支持按标签来源、权重进行精细化混合召回策略配置;
可控回滚:若某类标签出现相关性问题,可单独降级而不影响整体链路。
质量保障方面,我们构建了“模型过滤 + 规则过滤 + 人工审核”的三层防线:模型层包括图文一致性判别、相关性大模型评估;规则层包括互斥词库、NER实体类型约束;人工层则通过不定期抽检与Badcase分析持续驱动Prompt和模型的迭代优化。
基于MLMM的多模态向量表征的深度融合
背景
前文所述的LLM文本索引增强,显著提升了商品在文本语义层面的覆盖广度与表达丰富性,也为视觉与行为信号的深度利用提供了更高质量的文本侧输入。然而在交易搜索场景中,用户查询与商品之间天然存在跨模态的检索需求:商品图像不仅占据着搜索结果的核心展示位,更承载了形状、风格、纹理、质感及整体视觉氛围等文本难以精确刻画的信息;仅依赖文本与行为统计信号,模型对长尾Query(如“复古棕调跑鞋”“奶油风沙发”)的细粒度意图理解始终存在表征盲区,直接导致相关商品的漏召或语义偏移。为此,我们构建了多模态向量召回模型,将商品视觉信息与前文增强后的文本信息、用户行为信号进行统一协同建模,让召回系统真正“看见”商品。
考虑到多模态表征对齐与向量召回目标在优化方向、收敛速度上存在差异,若端到端联合训练易导致图像侧欠拟合,我们采用“预训练 + 相关性/行为感知向量召回”的两阶段训练框架。
技术方案
预训练阶段:构建统一的商品图文语义对齐基底
基于全量商品图片-标题对齐数据,并以开源多模态大模型表征能力作为初始化参考,我们使用Chinese-CLIP双塔结构进行商品侧多模态表征的预训练。图像侧以 ViT-B/16(取中层特征)提取深层视觉特征,文本侧以RoBERTa-wwm(取中层特征)编码标题及前文增强后的文本标签,通过对比学习将视觉与文本模态映射到统一语义空间,使模型习得得物场景下的图文联合分布,为下游召回任务提供对齐良好的商品视觉-文本基底。
召回建模阶段:四塔结构与模态深度融合
在召回侧,我们设计四塔向量结构:Query侧以文本编码器产出Query Embedding;商品侧则包含文本塔、图像塔以及融合两者信息的多模态塔。文本与图像编码器加载预训练权重,分别捕获商品文本(标题、LLM扩展标签等)与图像语义,再通过Cross Attention(文本/图像特征作为KV,以互补模态或查询意图作为 Q)进行商品侧图文深度融合,得到MM Embedding。训练时采用多任务学习,联合优化Query与商品文本、图像、多模态向量之间的对齐目标;由于Query-图像跨模态对齐难度更高,我们对该支路赋予更大损失权重(最终比例 20:1:1),迫使模型从图像中捕获文本无法覆盖的增量信号。推理时,直接以Query向量对全量商品的多模态向量进行ANN检索,兼顾召回精度与线上效率。
训练样本从线上曝光日志中筛选高相关性(相关性 2 档)且曝光位置靠前的Query-Item对作为基础正样本,并逐步引入用户真实点击、成交行为数据,显式增强模型对后链路转化偏好的感知。负样本采用Batch内负采样+全局随机负采样(每条正样本携带多个全局负例)并结合Batch内正样本间负例共享,缓解样本选择偏差(SSB)并扩大商品覆盖。
三
核心突破:生成式召回架构的探索与落地
前两章的工作分别从文本语义扩展(LLM 索引增强)和多模态向量建模(视觉-文本协同召回)两个维度,系统性地提升了商品侧表征的丰富度与召回链路的匹配精度。这些判别式方法在实践中均取得了显著的业务收益,但它们共享一个底层假设:召回的本质是在给定上下文中"从已有候选集里寻找最相似的结果"。这一范式存在两个难以通过单纯增加特征或微调模型来突破的瓶颈:
其一,表征瓶颈。 无论是倒排索引中的Token匹配,还是向量召回中的ANN检索,其效果上限始终受限于候选商品的已有表征质量。对于极度稀疏的长尾商品、全新品类,以及用户Query中隐含的深层组合意图(如"通勤背不累的棕色小包"),现有方法难以在语义空间中建立精准的桥梁。
其二,架构瓶颈。 传统级联架构中,召回、粗排、精排各自独立建模、局部优化,阶段间的信息损耗与目标偏移不可避免;且随着候选规模与模型复杂度的持续增长,多阶段重复打分带来的计算开销进一步挤压了模型扩容的空间。
生成式建模(Generative Modeling)的兴起为突破上述瓶颈提供了全新的思路。与判别式方法"给定输入、预测标签"的范式不同,生成式方法通过建模 Context 与 Item 之间的联合概率分布P(Context,Item),从数据内在结构中习得用户意图与商品语义的深层关联;在推理阶段,则以用户上下文为条件,通过自回归解码 P(Item∣Context)主动生成候选商品——召回模块不再只是"搜寻者",而是具备推理与创造能力的"生产者"。更重要的是,生成式模型在NLP、CV等领域已展现出显著的Scaling Law特性:随着数据规模、模型参数量和算力的增长,模型能力呈现可预测的持续提升,这为召回场景的进一步迭代打开了新的天花板。
过去一年中,我们围绕生成式召回这一前沿方向,从语义表征重构、序列生成架构、离散化索引生成、端到端统一建模四个层次逐步推进,完成了从"判别式检索"到"生成式召回"的完整技术跨越。以下将逐一展开HLLM深度语义表征、HSTU生成式序列建模、基于语义ID的统一生成式召回,以及召粗一体化架构的核心设计与落地实践。
基于分层大语言模型(HLLM)的深度语义表征
背景
前文通过LLM文本索引增强与多模态向量召回,已分别在文本语义覆盖和视觉细粒度理解上夯实了商品侧表征,并借助行为信号拉近了用户与商品的向量距离。然而,传统召回范式本质上仍依赖行为共现与浅层特征匹配,在长尾商品数据稀疏、新品类冷启动以及跨场景知识迁移等条件下,对Query背后真实意图与商品隐含语义的刻画容易失真;用户侧也缺乏将“实时搜索上下文”与“长期行为偏好”统一建模的能力。为此,我们参考分层大语言模型(HLLM)思想,以预训练LLM的通识知识与深层推理能力为底座,将“人、货、场”解耦为三个协同优化的语义模块,在统一向量空间内实现用户意图、搜索上下文与商品语义的精细对齐。
技术方案
模型结构:User / Item / Query LLM 的功能解耦
我们以Qwen3-0.6B为共享基座,针对交易搜索召回场景构建三个功能解耦的模块:
Item LLM(商品语义编码器):作为“货”的载体,输入涵盖商品标题、品牌、类目及前文LLM扩展的结构化/非结构化文本信息,序列尾部拼接特殊标识符[ITEM],取其对应隐状态作为商品整体语义嵌入。(该设计让长尾与冷启商品也能借助 LLM 的世界知识获得稠密且区分性强的表征,而非仅依赖稀疏 ID 或行为共现。)
Query LLM(意图编码器):作为“场”的载体,通过特定Prompt(如“请根据用户检索词将文本压缩成嵌入,以进行后续商品推荐”)将用户实时搜索词编码为向量,序列尾部以[QUERY]标识取对应输出。(它弥补了原生序列建模对瞬时检索意图的忽略,为后续匹配提供显式的搜索约束。)
User LLM(用户兴趣序列模型):作为“人”的载体,以Next-Item Prediction为核心目标,输入由Query表征与用户历史交互商品序列(历史商品向量均由Item LLM离线/在线产出)拼接而成,输出动态用户综合表征(取序列末端隐状态),实现“实时意图+长期偏好”的联合建模。
训练时,Item LLM与Query LLM共享大部分参数以压缩参数量并提升稳定性,User LLM保持独立参数以获得对行为序列的充足建模容量。三个模块以用户真实点击的下一商品为正样本、随机采样商品为负样本,通过InfoNCE对比损失进行端到端串行联合训练,在统一语义空间内拉近用户兴趣表征与目标商品表征的距离,推远负样本。
在线服务与冷启兜底
在线推理阶段,Query LLM实时产出查询向量,用户近期行为序列经Item LLM映射为商品嵌入序列,二者共同输入User LLM,取其末尾Token向量作为用户实时兴趣表征,进而在Item LLM预构建的全量商品向量库中通过ANN检索完成召回。为兼顾延迟与冷启动:对高频Query的推理结果进行缓存复用,降低重复计算;对新用户或行为稀疏用户,降级启用按Query维度离线挖掘的“高转化商品候选序列”作为行为兜底,保障召回不退化。
通过HLLM,我们将召回侧的表征从“标签/向量匹配”推进到“语言级语义推理”,不仅显著改善了长尾与冷启动场景的召回质量,其产出的商品/用户语义嵌入也为后续语义ID(SID的构建、以及HSTU等生成式序列架构提供了高信息密度的输入与语义锚点。
基于 HSTU 的生成式行为序列建模
背景
传统搜索召回的建模方式本质上是判别式学习,将用户行为序列与查询上下文转化为高维特征表示构建概率预估模型,核心目标是在给定输入特征的条件下预估用户对候选商品的点击/成交概率:
其中 表示是否点击/成交,
为涵盖用户画像、上下文环境及查询意图的多源特征向量。在这一范式下,业界通过持续增加模型复杂度、特征丰富度和样本规模来提升判别能力,但随着参数与数据量的线性增长,性能增益已呈现明显的边际递减效应。
与此同时,生成式建模在NLP、CV领域展现出显著的Scalling Law特性。这启发我们:能否将用户行为序列视为一种区别于文本、图像的新型数据模态,并在此“新模态”下探索搜推场景的生成式建模可行性。借鉴Meta提出的层次化序列时序单元(Hierarchical Sequential Temporal Unit, HSTU)架构。我们将用户行为重构为多类别Token系列,以自回归生成式范式直接建模用户的下一交互商品,尝试将召回的驱动范式从“特征+模型”逐步转向“数据+算力”。
技术方案
行为序列的 Token 化与多类别建模
我们将用户在得物APP内的全场景行为轨迹(搜索、推荐、社区等)统一编码为结构化Token流:
其中每个位置 是一个多维向量,
表示第j种Token类型。序列中显式包含六类信息:
这种多类别Token化的本质,是将“谁、在什么场景、什么时候、对什么商品做了什么行为、当时的行为意图是什么”等完整上下文序列化,为自回归建模提供丰富的条件信号。
训练时,模型采用Teacher Forcing机制,以前缀序列为条件学习下一个token的概率分布:
为与召回目标对齐,我们对非商品Token(时间戳、行为类型、场景等辅助信息)施加损失掩码,使其不参与梯度回传,仅对item_id的预测计算损失。这一策略将模型容量集中用于学习"下一个交互商品"的生成,同时减少无关Token带来的噪声梯度,提升训练稳定性与收敛速度。
模型架构与Scaling Law验证
在结构选型上,我们对比了传统SASRec(Self-Attention + FFN)与HSTU改进架构。HSTU针对长序列和大规模候选集做了针对性优化(如注意力计算的高效实现、时序感知的位置编码等),离线实验表明其在HitRate上显著优于SASRec。通过系统性的消融实验,覆盖不同的参数量、不同的Embedding Dim、不同的序列长度。我们观察到离线指标随模型规模与序列长度的提升而持续上升,初步验证了搜索召回场景下生成式建模同样存在Scaling Law效应。
训练目标与高效负采样
自回归训练的本质是最大化序列的联合条件似然。给定用户交互序列的前 个Token:
,模型需要预测第
个Token,整体优化目标形式化为:
其中 为模型参数,N为训练样本数,L为序列长度。
面对千万级商品词汇表,传统Softmax的计算复杂度不可接受。我们采用Sampled Softmax技术,通过自适应负采样近似全量分布。给定上下文向量 (由前t-1个Token编码得到)和目标Token
,损失函数定义为:
其中 为内积相似度,
为从词汇表中采样的个负样本。负样本策略综合了三个维度:
流行度偏置校正:按物品流行度 进行自适应采样,避免模型过度拟合热门商品;
Batch内负采样:同批次内共享负样本,以近零额外成本扩大负样本池;
难负样本挖掘:动态选择与目标正样本语义相似的困难负样本,增强模型区分能力。
负样本概率分布显式融合了流行度与语义相似度:
其中 表示物品i的流行度,
为温度系数,
为相似度函数,
为调节采样分布的锐度参数。这一设计让负样本既覆盖"随机背景噪声",也包含"与当前意图高度相关但非目标"的困难样本,迫使模型学习更细粒度的判别边界。
从原始ID到语义ID:v2进阶
v1版本直接以原始商品ID作为序列原子单元,存在三个核心痛点。无语义:商品ID是人为或机制生成的无意义字符串,模型只能从纯统计行为中学习潜在信息,难以捕捉商品间的语义相关性;显存瓶颈:千万级ID的Embedding查找表消耗大量显存,限制了模型进一步Scale-up;缺少意图约束:仅依赖行为序列自回归,缺少即时搜索Query的显式引导,生成商品质量偶有偏差。
v2的核心改进是引入语义ID Hash(SID Hash)替代原始item_id作为序列Token。具体而言,以多模态预训练商品向量为输入,通过残差量化模型(RQ-VAE)将其编码为具有层级语义的离散整数序列。再经Hash映射为Hash ID作为输入。(关于语义ID的量化建模细节,将在后续章节展开叙述)。这一替换带来了三重收益。语义注入:SID Hash蕴含深度编码的商品语义,模型不再仅依赖统计共现,而是“语义+行为”联合驱动生成;显存释放:词表从千万级商品ID压缩至百万级Hash ID,Embedding层显存大幅下降,为模型Scale-up腾出空间;规模放大:借助显存红利,将模型的blocks数量从16扩至32,进一步放大Scaling Law效应。
此外,v2还引入了两项关键优化——Prompt工程:借鉴LLM Agent的设计思路,将Query及其side info(品牌、类目等)作为序列前缀(Prompt)拼入输入,为自回归编码提供全局意图约束,显著提升生成商品的相关性;Item Embedding扩覆盖:对于未出现在训练集中的商品,取同SPU下其他item_id embedding的均值作为兜底向量,扩大了生成向量的覆盖边界。
基于语义 ID 的统一生成式召回
前文中,我们分别通过HLLM获得了具备深层语义的商品/用户向量,以及通过HSTU验证了行为序列为“新模态”的生成式Scaling潜力。但这两个方向在落地形态上仍属于“向量检索”范式(离线构建向量索引做ANN,在线实时推理后近邻查找,但建模方式是学习联合分布,而不是传统判别式的学习条件概率)。在生成式召回这一前沿范式下,我们分别探索了两条核心路径:一是将语义ID作为倒排索引的最小召回单元,实现语义级稀疏检索;二是将语义ID直接融入生成式模型词表,通过自回归解码端到端生成候选商品。这两条路径共同构成了从“检索”到“生成”的完整技术拼图。
语义索引召回:用Semantic ID跨越“词汇鸿沟”
背景
传统电商搜索的文本召回建立在倒排索引之上:Query和商品分别被切分为Token序列 和
,系统通过Token交集匹配来筛选候选。这种方式的本质是浅层文本匹配,无法跨越词汇鸿沟(当用户搜“af1”,而商品标题写“空军一号”时,字面不匹配直接导致漏召)。即便通过同义词扩展、丢词等NLP手段缓解,底层仍是Token匹配,语义关联始终未被充分挖掘。
为此,我们参考UniDex提出基于生成式建模的语义索引召回:不再用原始Term作为索引单元,而是将Query和商品的语义信息编码为连续向量后,进一步量化为若干离散的寓意标识(Semantic ID, SID),以SID替代Term构建倒排索引。由于SID来源于语义向量,天然具备语义泛化能力("af1"和“空军一号”在向量空间中距离较近),量化后会落入同一SID桶,从而在一定程度上解决词汇鸿沟问题。
技术方案
语义编码与FSQ量化
为捕获多粒度语义信息,在Query和Item的Encoder输入序列中分别追加m和n个可学习Token,编码后得到多粒度语义向量:
,
量化过程对每个语义向量独立执行三步操作(以Query侧 为例):
降维投影:将高维语义向量映射到低维空间,降低后续量化开销:
FSQ量化:通过Sigmoid函数将连续值压缩到[0,1],乘以K−1后四舍五入,生成离散SID:
升维还原:将离散SID映射回原语义空间,用于后续相似度计算:
实践中取K=2(二进制量化),即每个语义向量被编码为19位二进制序列,转换为十进制整数后作为倒排索引的检索键。参数设置:Query侧M=3,Item侧N=8
Token-Matching与训练目标
为保持离线训练与在线倒排检索的一致性,我们采用Max-Max Token Matching策略:
即:只要Query的某一个语义向量与商品的某一个语义向量高度对齐,就认为该商品应被召回。
训练损失由三部分组成:
InfoNCE损失:优化基础语义表征的对比学习;
Matching损失:仅在正样本对上计算,强制拉近Query与商品间的Token-Matching相似度:
量化正则损失:防止二进制量化时语义嵌入集中在阈值边界附近导致塌陷:
Matching损失与正则损失分别乘以权重系数0.3和0.1,避免干扰主任务。
统一生成式召回:自回归生成商品候选
背景
语义索引召回虽然用SID替代了Term,但检索方式仍然是“查倒排”,本质上还是一次高效的稀疏检索。而统一生成式召回则更进一步:将商品SID体系直接融入生成模型的词表空间,通过Encoder-Decoder架构的自回归编码能力,让模型逐Token生成目标商品的SID序列,从而直接构建召回候选集。召回模块从此不再是“搜寻者”,而是具备推理能力的“创造者”。
技术方案
Action Tokenization: 从商品ID到语义ID
生成式模型的核心基础是词元(Token)体系。最直接的想法是将每个商品ID(IID)映射为独立词元,但得物平台商品规模达千万甚至亿级,如此庞大的词表会使Softmax计算完全不可行。通用解决方案是通过语义ID(SID)量化机制,将无语义的随机IID转化为层次化、紧凑的离散标识符。整体流程历经两阶段映射:
稠密表征学习:以商品向量(融合视觉、文本、行为信号)为输入,编码为连续语义向量 ;
语义ID量化:通过RQ-VAE(残差量化变分自编码器)将量化为层次化整数序列。具体而言,编码器将向量映射到Latent Space,随后逐层在独立codebook中做最近邻量化,将量化误差作为残差传递至下一层,从粗到细生成多层code index,即Semantic ID。为缓解码本坍塌,各层codebook通常以首批数据的K-Means聚类中心初始化;训练时通过重构损失与量化损失(commitment loss + stop-grandient)联合更新Encoder/Decoder/codebook。最终将亿级商品量压缩至
量级的SID空间,兼顾语义聚类与检索可控性。
Action Generation: Encoder-Decoder序列生成
获得SID后,召回任务被重新定义为一个条件序列生成问题。输入序列 融合了多维上下文:
其中 为Query分词Token系列(最大长度10),
为用户画像静态特征,后续
为用户历史行为中每个商品对应的SID片段及其Side Info(类目、品牌、时间戳等,经MLP融合后作为Encoder输入,避免SID维度倍数膨胀导致序列过长)。
模型采用Encoder-Decoder(6层Encoder+6层Decoder,Hidden Dim 256)架构:
Encoder:双向Transformer,将 压缩为上下文向量;
Decoder:单向Transformer,以自回归方式逐Token预测目标商品的SID序列 :
训练目标为标准Next-Token Prediction交叉熵损失:
推理优化与扩召回技术
在线推理时,Decoder采用Beam Search(宽度100)解码,在RT Quota约束下平衡生成质量与多样性。为进一步提升效率与召回覆盖,我们引入了两项关键优化:
经过上述策略,生成式召回的候选商品数量提升了一个数量级,显著放大了这路召回在线上全链路中的影响力。
四
架构升级:召粗一体与全链路优化
从级联到一体:为什么需要召粗一体化
前文中,我们逐步构建了生成式召回的完整技术栈:HLLM提供了深层语义的商品/用户表征,多模态向量融合奠定了SID的量化基础,HSTU验证了行为序列作为新模态的Scaling潜力,语义索引召回与统一生成式召回则分别实现了“语义级系数检索”和“自回归端到端生成”。
然而,将这些能力真正融入线上搜索系统时,我们仍然面临级联架构的固有瓶颈:当前搜索系统采用“召回-粗排-精排”多阶段级联,通过逐级筛选在效果与性能之间取得平衡,但每一级都在做局部优化:召回阶段受限于相对简单的相似建模,潜在高价值商品一旦被漏召,后续排序截断便无法补救;不同阶段的目标不一致,也容易造成全链路业务指标的损耗。与此同时,多阶段重复打分带来的计算开销,进一步限制了模型扩容空间。
召粗一体化的核心思想是:以生成式模型为统一载体,将用户兴趣理解、候选商品生成以及粗排阶段的排序倾向融入同一建模框架。模型不再局限于“从已有候选中打分”,而是直接面向后链路目标生成更具价值的商品候选。
五
总结与展望
总结
本文系统梳理了得物交易搜索召回团队在过去一年中,围绕生成式建模方向所做的技术探索与工程实践。整体演进脉络可以概括为三个阶段的能力跃迁:
第一阶段:基石构建。我们从商品侧和表征侧双向发力,一方面通过LLM增强商品文本索引(视觉理解、社区语料、I2I推理、详情页OCR、线上行为锚点),将商品信息从“浅层文本”推向“深层语义”;另一方面通过多模态向量表征(四塔结构、样本/特征优化),构建了融合视觉、文本与行为信号的统一商品向量空间。这两项为后续的生成式工作提供了高质量的语义底座。
第二阶段:核心突破。我们以生成式范式为主线,完成了三条并行路径的验证:
HLLM深度语义表征:基于大语言模型,将商品、Query、用户统一编码为语言级语义向量,突破了传统判别式模型的语义天花板;
HSTU生成式行为序列建模:将用户行为轨迹重构为多类别Token序列,以自回归方式直接生成下一交互商品,初步验证了搜索场景下生成式建模的Scaling Law效应;
语义ID与统一生成式召回:通过FSQ量化构建语义索引召回,以及通过RQ-VAE量化+Encoder-Decoder自回归解码实现端到端候选生成,完成了从“检索”到“生成”的范式跨越。
第三阶段:架构升级。在独立技术验证的基础上,我们将生成式能力从“召回通道”升级为“召粗一体化引擎”,通过唯一化SID映射、长期兴趣建模、模型Scale-up和独立队列链路重构,让生成式模型直接面向后链路目标产出高价值候选,突破了传统级联架构的阶段瓶颈。从“特征+模型”到“数据+算力”,从“检索”到“生成”,从“多阶段级联”到“召粗一体”,这条技术路径不仅是算法范式的迭代,更是搜索系统底层驱动逻辑的重塑。
模型效果与业务收益浅析
关键洞察:
不同模型在不同用户/场景上各有优势:HLLM补新客与长尾语义,HSTU吃高活与精准意图,UniDeX/SID负责类目/泛词与主动生成,LLM商品索引与多模态则在场景与视觉属性上撬动增量。
Scaling Law在搜索场景同样存在:从hstu的参数量扩展(sasrec -> hstu 4.2B),到UniDex的hidden size扩展(256->1024),再到SID维度升级(3D->4D, 0.04B -> 0.5B),每一步扩容都带来了可预期的离线指标提升,且线上收益与离线趋势一致。这为后续持续投入算力驱动型迭代提供了信心。
工程架构与算法创新同等重要:语义索引复用倒排基础设施、召粗一体的独立队列设计,这些工程方案直接决定了生成式模型能否在严格RT和QPS约束下落地。算法与工程的协同优化是生成式召回优化的一条隐性主线。
未来展望
站在当前的技术基础上,我们认为生成式建模在搜索召粗乃至全链路排序中仍有广阔的探索空间:
更大规模的统一生成式模型
当前Encoder-Decoder架构模型参数量约在0.5B级别,与NLP领域的大模型仍有数量级差距。随着SID唯一化映射和推理优化(FP16、动态 Beam、前缀剪枝)的成熟,我们有条件进一步Scale Up——探索将用户lifelong行为序列、多模态商品信息、甚至全站搜索Session图结构统一编码进一个更大规模的生成式backbone中,观察搜推场景下是否会出现类似LLM的"涌现能力"。
从SID到连续空间与离散空间的自适应融合
当前SID量化不可避免地存在信息损失(量化误差),而纯连续向量检索又面临 ANN 的效率与精度权衡。未来可探索混合索引架构:对高频、高确定性商品保留 SID 离散索引以保证效率和可解释性;对长尾、多义性商品采用连续向量近邻检索以保留细粒度语义。两者通过门控机制或级联策略自适应切换。
生成式召粗排全链路一体化
召粗一体化只是第一步。更长远的方向是将精排的信号(如转化率预估、用户体验指标)也纳入生成式模型的训练目标中,通过Reward Model或RLHF式的对齐机制,让生成式模型直接优化全链路业务目标(GMV、用户留存等),真正实现"一个模型、端到端、面向最终目标"的搜索系统架构。
算力优化
当前生成式召粗模型的MFU约在17%左右,在同类大模型中表现并不优,说明算力资源尚未被充分转化为有效计算,存在显著的优化空间。具体来看,17%的MFU意味着超过80%的算力消耗在等待、显存搬运等非计算环节,这与生成式架构本身的计算特征密切相关。后续优化应围绕“压缩等待、提升计算密度”展开。如通过CUDA Graph固化执行图减少调度开销、FlashDecoding优化注意力计算,Continuous Batching与Padding消除提升吞吐,结合计算通信重叠降低线性层与码本查表的通信占比等。
跨场景与跨域生成式迁移
当前模型主要在交易搜索场景内训练,但得物生态中还有社区搜索、推荐流、商业化搜索等丰富的用户行为场域。如何将这些跨场景行为统一编码进生成式框架,构建全域统一的用户兴趣生成模型,是下一步值得探索的方向。
生成式索引的实时性与增量学习
当前SID码本和分配结果以天/小时级更新为主。对于电商场景中频繁上新的商品(如每日数千新品的潮玩、服饰类目),如何做到SID的秒级增量量化与索引更新,同时避免码本漂移对在线服务的影响,仍是一个开放的技术挑战。
最后,从判别式到生成式,从特征工程到数据驱动,从级联架构到端到端生成——过去一年的探索让我们确信:搜索召回的下一代表达形式,将是以语义ID为桥梁、以生成式模型为核心、以全链路目标为导向的统一架构。这条路还很长,但方向已经清晰。
往期回顾
文 /众里 翠西 承泽 亦非
关注得物技术,每周三更新技术干货
要是觉得文章对你有帮助的话,欢迎评论转发点赞~
未经得物技术许可严禁转载,否则依法追究法律责任。
“
扫码添加小助手微信
如有任何疑问,或想要了解更多技术资讯,请添加小助手微信: