铃阅
❌

普通视图

Qwen4-Max首发上线千问AI平台,API服务、Token Plan同步开放

2026年11月16日 11:24

阿里云 2026-11-16 11:24 浙江

欢迎体验!

今日,阿里巴巴全新一代基座大模型Qwen4正式发布,千问AI平台首发上线Qwen4-Max,API服务与Token Plan同步支持新模型调用,面向开发者与企业全面开放。

Qwen4-Max采用基于Qwen稀疏注意力(QSA)的全新MoE架构,总参数2.4T,具备原生视觉和长程任务稳定交付能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max以更少的Token消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在 Terminal-Bench 4.0 专业编程评测中,同为 Xhigh 思考档位,Qwen4-Max 较上一代 Qwen3.8-Max 的每次尝试平均 Token 用量从 289K 降至 151K,减少近50%,评测得分则从 37.9 分提升至 48.5 分,提升近28%。同时,基于缓存命中价格的大幅下降,评测结果显示,Qwen4-Max相比Qwen3.8-Max完成单个任务的平均费用(Cost per Task)降低了 58%。

Qwen4面向全领域的真实任务深度优化,可更好地调用专业工具处理长周期任务,并能根据用户反馈分阶段交付成果,推进AI在汽车制造、游戏开发、金融投研及科学研究等专业领域的深入落地。

在三丰智能、泛海统联的实际生产场景中,Qwen4-Max将图纸理解、参数化建模与专业工具调用融入工程流程,支持汽车制造中的产线规划、零件设计与加工验证。在产线层面,模型根据二维布局图与工艺参数,调用既有设备库构建三维产线,并开展节拍仿真与PLC虚拟调试。

在零件层面,Qwen4-Max完成车门总成、摩擦轮等部件的建模与设计,辅助开展加工工艺规划、刀路生成与仿真核验,并根据仿真反馈迭代加工方案,在上机前发现过切、少切等问题。在所展示的加工案例中,单个工件加工编程所需的人工投入由约475分钟降至26分钟,减少约95%。

面向人类知识的前沿探索,Qwen4已真实融入到材料发现和药物发现等AI4S的具体领域中。在材料发现领域,Qwen4参与了深度原理的新型冷却液分子设计与筛选。面向下一代高功率芯片带来的数据中心散热挑战,Qwen4依托深度原理Mira提供的一体化干湿实验环境,自主开展新型冷却液研发。在连续48小时的智能体运行中,模型完成路线调研,构建包含270万个分子的候选空间,并依次开展结构筛选、MPA性质预测、第一性原理计算、逆合成设计与实验规划。

随后,Qwen4调度自动化湿实验室,完成真实物料的配制、合成、分离纯化与测试。经过4轮“分子设计—合成测试—主动学习”的闭环迭代,模型最终获得经过实验验证的新型冷却液分子及实体样品,为数据中心散热探索新的材料路径,展现了跨越数字世界与物理世界的长程科学发现能力。

在药物发现领域,Qwen4-Max围绕阿尔茨海默病相关的NLRP3炎症小体靶点,在深势科技PharmMaster平台上自主开展文献与专利检索、分子设计和计算评估,并根据反馈持续优化。整个流程累计调用工具454次,完成3,239项计算指标评估,设计优化24个候选分子,将证据检索、工具执行与反馈验证串成完整科研链路。

最终优选分子在多项核心计算指标上较专利起点均实现改善。相对结合自由能(RBFE)计算估计显示,其与目标靶点的名义结合亲和力达到专利起点的约3.6倍。深势科技专家认为,该分子具有较高研究价值,值得进一步开展湿实验验证,体现了Qwen4-Max自主推进长程科研任务、持续优化候选分子的能力。

更稳定、更长周期的任务执行能力,也让Qwen4能够参与优化支撑自身运行的系统,驱动AI自主迭代再进一步。基于阿里云AI基础设施,Qwen4-Max围绕自身应用、推理和训练所需的调度方案开展自主迭代,形成模型参与优化自身运行系统的闭环。例如在相应场景中,数据标注中的模型调用调度费用较参考基线平均降低9.00%,GPU在线分配的整机空闲容量时长较基线增加4.62%,CPU离线重调度中达到最优目标的求解速度提升超过14.61倍。这些成本与资源效率的改善,也将为后续模型迭代提供算力支撑。

目前,开发者与企业可通过千问AI平台的API服务、Token Plan调用Qwen4-Max新模型,国内每百万Tokens输入10元,输出30元,隐式缓存命中仅0.5元,国际站每百万Tokens输入1.5美元、输出4.5美元,隐式缓存命中0.075美元。此外,用户也可通过千问办公、Qoder、千问APP、QwenStudio等应用体验Qwen4-Max。

Qwen4-Max模型体验地址:

千问AI平台:

API:

https://www.qianwenai.com/models/qwen4-max

Token Plan:

https://platform.qianwenai.com/pricing/token-plan

QwenCloud:

API:

https://www.qwencloud.com/models/qwen4-max

Token Plan:

https://www.qwencloud.com/pricing/token-plan

千问AI平台-为Agent而生,驱动AI生产力
扫描下方二维码,直达千问AI平台体验

点击阅读原文即可体验!

阅读原文

跳转微信打开

智能体 Skill 调优“焚诀”——业务逻辑之外的胜负手

2026年11月13日 15:47

原创 岳元 2026-11-13 15:47 浙江

阿里妹导读

文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

引子:37 个技能的"能跑"与"能用"

今年5月底,我们在某AI投研平台做了一件事:借助 Coding Agent,4 天完成了 37 个投研技能的创建与集成(一次性新增 36 个技能目录)。股票研究、行业分析、宏观策略、研报摘要……每个技能一个目录、一份 SKILL.md,演示效果惊艳,传统人工预估要 1~2 周的活,4 天收工。

然而从试运行开始,三类问题接踵而至:

  1. 路由不准。投研人员的问题是口语化的——"这票怎么看""它跟同行比贵不贵",经常分不到正确的技能上。
  2. 上下文爆炸。每个 AI 生成的技能都"大而全",单技能提示词高达 ~6000 token,成本高、响应慢,更麻烦的是规则之间互相干扰。
  3. 输出不可信。溯源标注乱标、多来源分歧被悄悄掩盖、用户指定的时间范围被静默放宽——在投研这种对数据严谨性零容忍的场景,任何一条都足以让用户弃用。

回头看,这三类问题没有一个出在业务逻辑上——估值怎么算、研报怎么读、行业怎么比,AI 初稿写得有模有样;翻车的全在业务逻辑之外:路由、结构、规则与边界约束。从"能跑"到"能用",我们花了随后数周持续打磨,直至上线后仍在根据现场 bad case 迭代。这段经历浓缩成一句话:AI 一天能帮你生成 37 个 skill,但"能生成"距离"能生产",隔着一整套工程体系——路由分得准、结构拆得省、规则写得狠、案例配得真、评测兜得住。

1 运行时视角:skill 到底是什么

在讲怎么优化之前,先建立一个贯穿全文的运行时视角。skill 不只是一份静态文档,而是 Agent 主循环(感知 → 决策 → 行动 → 反馈)里的运行时组件:description 每轮请求都常驻上下文、参与路由决策;正文则在命中后经 read_file 按需注入。展开来说,它由三种成分构成,各自服从不同的"物理规律":

成分

运行时行为

物理规律

优化方向

常驻索引(description / 聚合索引)

每轮请求都进上下文,参与路由决策

注意力稀释、缓存前缀

必须短、必须是路由条件、必须稳定

按需知识(templates 正文)

命中后经 read_file 注入

只在被选中时占上下文

可以厚,但要单一职责

外部确定性约束

(代码护栏)

完全不进上下文,由系统强制

100% 可执行

prompt 管语义,代码管边界

明白了这一点,"生成快、打磨慢"的原因就清楚了:**"生成快"是因为 skill 只是文本;"打磨难"是因为它是参与每轮路由与注意力分配的运行时组件。** 后文每一处"怎么改",都会回到这张表来解释"为什么"。

2 什么叫"生产级 skill"

我们给出五条判定标准,也是全文的总纲:

  1. 可路由——用户的口语化问题能被准确分派到正确的技能;
  2. 可治理——规则结构分层、有唯一权威源,改一条规则不用动几十个文件;
  3. 可溯源——每个数据与判断都能追溯到知识库来源,缺口显式披露;
  4. 可评测——每一层都有可回归的评测集,改动前后效果可量化;
  5. 可迭代——现场 bad case 出现后,有明确的归因路径和修复落点。

下面按"意图层 → 套件整合 → 细节调优 → 评测闭环"的顺序展开,每一处优化都遵循同一个论证结构:AI 初稿的问题 → 生产级要求 → 怎么改 → 为什么(运行原理)。

一、意图层:

skill 的路由器,先于 skill 本身

核心观点:skill 写得再好,意图分错全白搭。意图层是技能套件的第一道质量闸门,值得先于技能本身投入。

1.1 意图树:按"分析范式"切分,不按"话题"切分

AI 初稿的问题:批量生成技能时,最自然的做法是"一个话题一个技能"——公告解读一个、商业模式一个、可比估值一个……37 个技能对应 37 个平铺意图。结果是意图之间边界模糊,分类器在几十个近义选项里挣扎。

第一次收敛失败:我们先把平铺意图收敛成 9 个"话题式"二级意图——公司基本面、比较分析、事件驱动、行情异动、研究观点……看起来清爽了很多,但离线评测(370 样本)暴露出结构性混淆:无论加例句还是加判别规则,"历史比较"类问题的准确率始终在 10%~40% 之间打转,"风险提示"类最好也只到 40%;更棘手的是,"公司基本面"成了黑洞意图——估值分位、盈利预测、投资逻辑的问题统统被它吸走。病根很直白:"茅台估值在历史什么位置"到底算比较、基本面还是行情?——按话题切分的意图,边界在语义上天然重叠。这是结构问题,提示工程救不了。

"黑洞"长什么样,把混淆矩阵摆出来最直观(v2 评测集 · 基线配置;已将行列重排为同序——绿框对角线 = 分类正确,红色虚线框即黑洞列,红字为被其吸入的错误样本数):

"公司基本面"意图除自身 50 个正确样本外,另有 5 个意图共 28 个样本被错误吸入——比较分析、事件驱动、行情异动、研究观点、投资策略各漏 4~9 个,该列 precision 仅 0.641。这不是某个意图写得差,而是"公司基本面"这个话题与半数邻居天然共享语义空间。

怎么改:深入分析现有 9 个意图之间的范式差异重新切树,根意图类型 RESEARCH_QA 下收敛为 6 个"范式式"二级意图:宏观策略、行业跟踪、个股研究、研究活动、研究纪要、投顾服务。个股研究下的 11 种子能力(业绩快评、可比估值、公告解读……)共用同一个二级意图——它们的问句特征相似、真正的差异在分析方法,这种细粒度分流交给技能层内部的路由表去做(见 2.3 节),不让意图分类器承担超出其分辨率的任务。

效果:新意图树回归评测(v4 集,400 样本)准确率 **92.50%**、兜底率 1.00%,实体替换类达 98.50%;旧树的系统性混淆基本消失,残留错误高度集中在"个股研究"这一个意图上,量级小得多且可定位。同一视角再看新树的混淆矩阵,与上图对照,"黑洞消失"一目了然:

残留错误高度集中在"个股研究"一行:全部 30 个错判中 25 个由它外漏——11 个流向投顾服务(多为"写深度报告"类问法)、6 个流向研究纪要("整理研报观点/提炼管理层表态"类)、4 个流向研究活动。注意方向与旧树正好相反:旧树的"公司基本面"是往里吸的黑洞(precision 0.641),新树的"个股研究"是往外漏(precision 1.000、recall 0.889)——错误单向、边界清晰,后续针对这一个意图补例句、加判别规则即可收敛,与旧树"半数意图彼此纠缠"的结构性混淆有本质区别。

为什么:分类是在候选集里做判别,候选越多、语义越近,错误率越高;"话题"天然共享语义空间(同一问句常同时命中两个话题),"范式"才是互斥的。两级路由把"几十选一"拆成"六选一 + 技能内表格路由",每一级都在自己分辨率能力内工作。意图树结构决定分类准确率的天花板,例句和规则只能帮你逼近天花板。

1.2 意图映射:让路由条件结构化、可热更

意图识别出来之后,怎么映射到技能?我们的映射配置(intent_skill_mapping.json,v5.0.0)长这样:

    {
      "intent_type": "RESEARCH_QA.STOCK_RESEARCH",
      "intent_name": "个股研究综合",
      "description": "覆盖个股基本面问答、业绩快评、研报摘要、可比估值……",
      "skills": ["research_baseline", "stock_research"],
      "strategy_priority": {
        "core": ["stock_research"],
        "secondary": ["research_baseline"],
        "supplementary": []
      },
      "typical_questions": ["这家公司基本面怎么样", "对比一下A和B的估值", "..."]
    }

    三个设计点:

    • [规则基座, 聚合索引] 二元组:每个意图固定映射为"全局合规基座 + 一个业务聚合索引",技能加载的最小单元不是单个技能而是"基座+业务"组合(基座是什么,第二章展开)。
    • typical_questions 作为 Few-shot 注入分类 prompt:每个意图带一组真实业务风格的典型问句。这是一个"活例句库"——业务同学看得懂、改得动,同时它也是后续评测集的种子(第四章会回收这条线)。
    • Redis Pub/Sub 热更新:映射配置支持不发版调整。现场跟客户对齐意图边界是高频操作,热更能力让"改一条映射"从发版级操作降为配置级操作。

    这套设计的效果,我们在 v2 评测集(370 条真实业务风格问句,classifier-only 模式)上做过一组消融实验:

    两个超出直觉的结论:

    • 例句 few-shot 买的主要是"确定性",不是准确率。+2.4pp 的准确率提升并不惊艳,但兜底率从 4.59% 降到 1.08%、P95 延迟从 9552ms 降到 3743ms——例句给了模型可对照的判别锚点,它不再犹豫到走 fallback;对短句带指代的高难度扰动问句提升最明显(81.08%→86.49%)。
    • 准确率的主力是行内旧系统沉淀的判别经验(在例句基础上再 +10.27pp)。我们把旧系统意图分类提示词里的边界裁决规则(比如"业绩预告类问题归事件驱动还是基本面"这类判例)提炼合入了分类 prompt。对所有做新旧智能体迁移/替换的团队,这条经验值得记住:旧系统最值钱的资产往往不是代码,是它积累的判别规则。

    例句为什么有效:分类器需要的是判别边界,不是语义概括——"覆盖宏观经济数据解读、政策影响……"这类抽象描述划不出相邻意图之间的界线,而一条落在两个意图边界上的例句,胜过一段笼统的定义。

    1.3 改写管道:分类前先把问题治理干净

    投研人员的原始问句充满口语、错别字和指代——"它去年赚了多少"。直接送分类器,再好的意图树也救不了。

    我们在分类前置了一条四阶段改写管道(RewriterPipeline):

    值得强调的设计决策:改写是公共前置,不是分类器的私有逻辑。改写后的规范问题同时服务于意图分类和知识库检索——一次改写,两处受益。

    1.4 工程可用性:回退、缓存与短路

    意图层在生产上还要解决三个工程问题:

    • 失败回退:LLM 分类调用失败时回退到规则匹配,保证意图层永远给出答案而不是抛异常;
    • 缓存:意图结果进 Redis 缓存,应对用户连续追问同一主题;
    • FAQ 向量化短路:高频标准问句启动时预先做 embedding 向量化,查询时算余弦相似度,超过阈值直接命中固定答案,跳过整个意图引擎与 Agent 推理。

    为什么:这三条共享同一个原理——确定性逻辑外置。能用相似度检索、规则判定解决的,就不要进 LLM——模型负责推理,外部系统负责状态和边界。FAQ 短路省下的不只是钱,更是高频问题上稳定一致的响应。

    还有一个工程决策值得用数据说话:意图分类该用多大的模型。我们在 v1 评测集上对比过同一套配置下的两档模型——25B:准确率 89.19%、兜底率 1.89%;235B:准确率 88.11%、兜底率 4.59%,P95 延迟还更差。单次运行、370 样本,1pp 的差异不具统计显著性,但至少说明大模型在这个任务上没有优势:意图分类是窄判别任务,判别边界由例句和规则给出,模型规模不是瓶颈。更贵的模型带来的提升,很多时候没有想象中那么大;也正是平台按任务角色独立配置模型(对话、意图、改写等角色各自选型)这一架构的价值兑现:意图角色放心用小模型,把大模型留给真正需要它的 ReAct 智能体。

    1.5 意图层优化 checklist

    检查项

    Demo 级

    生产级

    意图粒度

    一个话题一个意图,几十个平铺

    按分析范式切分,两级路由

    路由条件

    只有意图名称和描述

    typical_questions 例句 + 反例

    失败处理

    LLM 挂了整条链路挂

    规则回退,永远有答案

    变更成本

    改意图要发版

    配置化 + 热更新

    高频问题

    每次都走全链路

    FAQ 短路

    二、套件整合:

    从 37 个平铺目录到三层专家套件

    核心观点:AI 批量生成的技能天然是"每个都大而全"的平铺结构;生产级的解法是把"合规规则、业务路由、分析范式"拆成三层,按需加载。

    2.1 平铺结构的三宗罪

    37 个技能各自为政地运行了两天后,问题看得很清楚:

    1. 规则重复:溯源规范、数据缺口处置、可视化规范……这些跨业务通用规则在 37 个文件里各写一遍,且随着单点修改开始版本漂移——A 技能里溯源规则是新版,B 技能里还是旧版,模型行为随路由结果摇摆。
    2. Token 浪费:单技能 ~6000 token 全量注入,其中大半是与当前问题无关的"其他子场景"规则。
    3. 维护失控:改一条通用规则要动 37 个文件,漏改一个就埋一个雷。

    为什么这是必然的:这不是 AI 生成质量差,而是撞上了上下文工程的基本规律——Context Rot。Transformer 注意力复杂度是 O(n²),上下文越长,关键信号越容易被噪声稀释;问题通常不是窗口不够长,而是信息密度不对。

    2.2 三层架构:合规、路由、范式各归其位

    对此,我们做了一次彻底的分层重构,把 37 个平铺技能整合为 1 + 6 + 19 的三层套件:

    三层各自回答一个问题:

    • L1 基座(research-baseline)——"怎么做合规"。唯一数据源、溯源标注、范围约束、缺口处置、可视化骨架,任何意图必读;
    • L2 聚合索引(6 个)——"这个业务怎么路由"。核心是一张子能力路由表加执行步骤,外加少量业务专属约束;
    • L3 模板(19 个)——"这类分析怎么做"。单一分析范式的工作流与输出结构,例如公告解读模板就只管公告解读的六步工作流。

    层与层之间的关系被明确写进规则:基座声明"业务 SKILL 中不重复列出本基座已规定的内容",聚合索引开头声明"基座中已规定的铁律、通用陷阱、通用清单不在此重复",模板开头声明"本模板执行前提:已遵循 research-baseline 全部铁律与通用规范,以下仅列出本业务增量约束"。每一层只写自己这一层的增量。

    为什么是三层:对照通用的上下文分层模型——常驻层(短、硬、可执行)/ 按需加载层 / 运行时注入层 / 系统层(代码规则,不进上下文)——基座+聚合索引对应常驻层,模板对应按需加载层,时间范围提示等对应运行时注入层,代码护栏(第三章)对应系统层。三层技能架构本质上是这个通用模型在投研垂直领域的实例化。

    2.3 description 只写 when to / not to use

    这是套件整合里最值得单独拿出来讲的一个细节,因为它最反直觉、也最普遍地被做错。

    AI 初稿的问题:让 AI 生成技能,description 十有八九是功能简介——"本技能提供公告解读能力,覆盖定增、回购、重组、股权激励等公告类型的解读与影响评估……"。看起来专业完整,实际对路由几乎没有帮助。

    生产级写法:description 是路由条件,只回答三件事——什么时候该用我、什么时候不该用我、产出物是什么。"何时该用"远比"我能做什么"重要。

    为什么(按需加载的两阶段分工):Skills 模式的本质是系统提示只保留索引、完整知识按需加载。description 常驻每轮请求,它在运行时的唯一职责是让模型判断"当前问题要不要加载我";而一旦命中,SKILL.md 正文会整体注入上下文——这个技能能做什么、怎么做,模型在加载后自然全部知道。所以把功能简介写进 description 是双重浪费:对路由判别没有增量(判别需要的是使用边界,不是能力罗列),又为"加载后才会用到的信息"提前支付了每轮常驻的 token 成本。

    数据对照也很直接:45 token 的功能简介与 9 token 的"Use when deploying to production or rolling back",路由准确率相当,常驻成本却差了 5 倍,每个启用的 Skill 描述符都常驻上下文,Skill 一多,长描述的累积成本很可观;但反过来,描述过短过泛("help with backend")会让任何后端问题都触发它,路由混乱。短和准是两个独立要求,缺一不可。

    我们的落地形态是把这条原则贯彻到路由发生的每一层:

    • 意图层:映射配置的 description 界定范围 + typical_questions 承担判别样本(等价于 Use when 例句集);

    • 聚合索引层:子能力路由表设计了"触发场景 / 不适用场景"双列——这是表格化的 Use when / Don't use when。摘一行真实的:

      子能力

      触发场景(用户问题特征)

      不适用场景

      模板路径

      业绩快评

      业绩公告/快报/预告、超预期判断、单季度趋势分析

      完整财务质量诊断、深度报告

      templates/earnings_flash.md
    • 模板层:每个 L3 模板开头都有"适用场景 / 不适用于"双向声明,例如公告解读模板:"当用户需要解读上市公司公告及评估影响时使用。不适用于业绩分析或研报摘要。"

    注意"不适用场景"这一列:它不是可有可无的补充。近义技能之间的路由错误,绝大多数发生在边界上,而负样本恰恰是划边界最直接的方式。描述不带反例时,路由准确率从基准 73% 掉到 53%;补上反例后升到 85%,响应时间还降了 18.1%。反例不是可选项,是描述能不能起路由作用的关键。

    这条原则同样适用于工具描述。调试 Agent 时应优先检查工具/技能定义,大多数选择错误的原因出在描述不准确,不在模型能力。路由 bad case 十有八九改的是描述和路由表,不是分类器。

    2.4 按需加载:token 省 80% 背后的机制

    三层架构的运行时机制:Agent 框架只识别各技能根部的 SKILL.md;L3 模板不随技能加载,而是由 Agent 在 ReAct 循环中根据路由表判定后,用 read_file 动态加载。

    两条关键约束直接写进聚合索引的执行步骤:

      判定子模式:根据用户问题与路由表"触发场景"列匹配,选定 1-2 个最相关子能力(大多数非符合问题情况仅 1 个)

      按需加载模板:调用 read_file 仅读所选子能力对应的 templates/*.md,严禁一次性读取全部 11 个 templates

      第二条看起来多余,实际非常必要——没有这条禁令,模型偶尔会"图省事"把模板全读一遍,按需加载瞬间退化回全量注入。

      收益:单技能上下文从 ~6000 token 降到 ~1200 token,**节省约 80%**。

      连带成本:按需加载意味着 ReAct 循环里多了"读模板"这类迭代步骤,叠加多轮检索后容易触顶迭代上限导致提前终止。为此我们把推理迭代上限 AGENT_MAX_ITERS 提升到了 20。

      不止省钱(Prompt Caching):LLM 推理的 KV 缓存按精确前缀匹配命中——系统提示与常驻索引若保持稳定,这部分的计算在多轮请求间可复用(读取折扣可达 90%)。三层架构恰好是缓存友好的:基座+聚合索引常驻且极少变动(稳定前缀),模板按需追加在稳定前缀之后(不破坏缓存)。所以"常驻层短而稳定"是双重收益:省 token,且保缓存命中。稳定的大基座比频繁变动的小提示实际成本更低——这也解释了为什么我们敢让基座长到 364 行:它稳定,所以便宜。

      2.5 一条规则只写一遍:一处定义、处处引用

      分层解决了"规则住哪一层",Skill 套件还有一个更隐蔽的问题:同一条规则出现在两个地方。我们的答案是——一处定义、处处引用:

      • 主提示词只做"场景规则路由"声明,不展开任何投研专属规则——主提示词要同时服务多个通用场景,不能只为投研这一个场景写规则;
      • 基座是唯一权威定义源,并在文末显式声明:"业务 SKILL 与各 templates 仅以语义化引用(如『参见基座铁律 X』)复用本基座,禁止复刻或改写本基座条款";
      • 复杂规范(如来源文档展示格式)在基座内也标注"以上规则为本基座的唯一权威定义源;任何业务 SKILL 或 template 不得重复或改写"。

      为什么:这对应一个经典反模式——把系统提示当知识库:系统提示越长,关键规则越容易被忽略;约定留在常驻层,领域知识移到按需层。那些"禁止复刻"的声明防的则是双写风险:同一条规则两处版本各自漂移,模型面对互相矛盾的指令,行为不可预测。这就是软件工程 DRY 原则(Don't Repeat Yourself)在 prompt 体系中的直接应用,而且**"规则落点唯一"是第三章 bad case 修复能收敛的前提**——落点不唯一,修了 A 处漏了 B 处,bad case 永远修不干净。

      落地补记:规则住进"该在的地方",前提是模型接得住。 上面这套规矩在我们项目里不是一步到位的。溯源标注等核心规则最初写在 Agent 主提示词中,而非 research-baseline——这是当时有意的选择:早期使用的主模型在知识库问答的长输入场景中对 skill 指令的遵循能力差,同一条规则,即使技能已被命中加载,写在 SKILL.md 里的执行效果也明显差于写在主提示词里。要让规则"管用",就只能放主提示词,治理方向也随之向主提示词倾斜,baseline 反而精简成指向主提示词的引用声明。后期更换了更强的主模型:新模型对已加载 skill 正文的遵循度过关之后,我们做了反方向的重构,将投研专属规则放回它本来该在的地方(skill 体系内)。

      这段弯路给出一个容易被忽略的判断:规则落点不只是架构问题,还受模型能力约束。弱模型时代的妥协可以接受,但要记账:模型升级后及时清偿,否则临时妥协会沉淀为永久债务。这与前文 1.4 节"意图分类放心用小模型"恰是一体两面:窄判别任务可以省,承接 skill 正文的主对话模型不能省——合起来,才是"按任务角色配模型"的完整图景。

      三、bad case 驱动的细节调优:

      规则是在现场打磨出来的

      核心观点:基座里每一条带 ✗/✓ 对例的规则,背后都是一个真实 bad case。本章拆解六个典型案例,然后归纳出一套可复用的修复方法论。

      3.1 六个典型案例

      以下案例全部来自客户现场真实反馈,按"现象 → 归因 → 落点 → 写法"拆解。

      案例一:溯源标注被模型"美化"

      现象:我们要求模型在引用数据的句末标注来源编号<1>,前端据此渲染引用气泡。上线后发现模型经常"好心"地美化标注——<sup><1></sup>、[<1>]、【1】、^1……前端解析全部失败。

      归因:模板层规则太"理想"。只说了"标注 <X>",没有限制变体——而 LLM 会有排版美化倾向,规则没封死的自由度,模型有用掉的风险。

      落点与写法(基座铁律 4):防御性枚举,把所有见过的变体逐一列为禁止项:

      溯源编号必须以纯文本 angle-bracket 形式直接输出,严禁使用任何 HTML 标签或其他符号包裹——禁止 <sup><1></sup>、<sub><1></sub>、[<1>]、【1】、^1、(1) 等任何变体,仅允许形如 <1>、<3><5> 的纯文本写法。

      案例二:分歧数据伪装成区间

      现象:知识库里研究员 A 预测某公司净利润 1.6 亿、研究员 B 预测 2.0 亿,模型输出"预测净利润为 1.6-2.0 亿元"。看起来通顺,实际是重大错误——两个独立观点被伪装成一个数值区间,分歧被掩盖,用户完全无法察觉这是两个人的不同判断。

      归因:这是 LLM"追求流畅"的天性与投研"分歧必须显性"的业务铁律的正面冲突。不显式禁止,模型永远选流畅。

      落点与写法(基座铁律 7):规则 + 正误双格式对例:

      严禁以连字符区间(如 "1.6-2.0")呈现分歧数据——连字符会被误读为数值范围而非两个独立判断。

      ✗ 错误:"预测净利润为 1.6-2.0 亿元"(连字符伪装为区间,掩盖了分歧来源)。

      ✓ 正确:"研究员 A(6 月 12 日)预测净利润 1.6 亿 <1>,研究员 B(6 月 9 日)预测 2.0 亿 <3>"。

      表格场景另配格式:单元格内以 / 分隔,表格下方以 > 引用块逐条附注来源。

      现场效果:这条规则的增益不止于"不再伪装区间"。部分测试问题会同时命中知识库里多位研究员的观点,且分歧散布在多个维度——盈利预测、估值判断、风险提示各说各话。优化后的 skill 会主动以对比表格呈现:分歧维度为行、研究员为列,单元格内是各自观点并附来源标注,谁在哪个维度持什么判断一目了然。规则本身只规定了"分歧必须显性、表格内如何标注",多维多人的结构化对比是模型在这套约束下自发组织出来的——狠规则不只堵住坏行为,也给好行为立了模板。

      案例三:伪文档名与重复来源

      现象:回答末尾的参考来源列表里出现"15-1-20260226-光伏设备调研反馈"这样的条目——模型把检索切片编号拼接进了文档标题,构造出知识库里根本不存在的"伪文档名";同一文档还因多个切片命中被重复列出。

      归因:检索工具返回结构里有多个"看起来像标题"的字段——顶层 title(真正的文档名)、正文里的 <title>标签、切片编号。模型分不清哪个是权威来源,就自己拼一个。

      落点与写法(基座"来源文档展示格式规范"节):这一节是全套件里防御密度最高的规则,三招并用——

      1. 把工具返回结构原样贴进规则当教材,让模型"见过"真实数据长什么样,明确指出唯一合法来源是文档名称(metadata.title);
      2. 枚举四种踩过坑的错误形态(从正文提取标题 / 拼接编号前缀 / 拼接组合 / 重复列出)逐一给 ✗ 例;

      3. 在交付前"最终确认"清单里再问一遍:"是否确认参考来源中的文档名未被拼接任何切片编号前缀/后缀?"

      案例四:时间范围被静默放宽

      现象:用户问"2018 年的数据",库里没有 2018 年,模型默默用 2019 年的数据作答且不做任何说明。用户以为拿到的是 2018 年数据——这在投研场景是致命的。

      归因:模型的"乐于助人"倾向:宁可放宽约束也要给出答案。而业务要求恰恰相反:宁可范围内为空,也不得混入范围外数据。

      落点与写法:这个案例的修复横跨 prompt 和代码两层,很有代表性:

      • prompt 层(基座铁律 6 + 数据缺口新增"范围过滤为空"类型):范围内无匹配时必须披露三层信息——① 指定范围内未检索到;② 库中实际可用的时段;③ 建议用户调整范围或确认是否接受范围外参考。并为流式输出场景设计了"同轮披露 + 分隔线 + 『以下为范围外参考(仅供对照,非正式结论)』"的降级方案——流式响应无法中途等用户确认,规则必须适配交付形态。
      • 代码层(research-baseline v1.3.0 配套,上线后迭代):前端显式指定时间范围时置 dateFromUser=True,此时代码直接忽略 LLM 生成的时间参数,强制使用前端值。时间约束从"提示模型遵守"升级为"系统保证遵守"。

      案例五:检索 query 碎片化与重复检索

      现象:两个方向的翻车。一是模型把"XX蓝筹精选近一年收益率是多少"拆成 query="基金 净值 涨幅"去检索,召回质量骤降——现代检索服务对完整自然语句的理解远好于关键词碎片;二是首轮没检索到理想结果时,模型无目的地反复检索,token 燃烧、循环触顶。

      落点与写法(基座铁律 8、9):一收一放

      铁律 8(首轮不拆分):首次检索必须直接使用用户原始问句作为 query,严禁拆分成多个短语或关键词,严禁改写、翻译或抽象。

      铁律 9(多轮递进,充分即止):仅两类场景允许补充检索(首轮不足以支撑回答 / 发现需展开的关联主题);单轮对话最多检索 5 次,达到上限必须基于已收集切片作答。

      同时上线代码护栏 RAG_MAX_RETRIEVE_PER_TURN:超限后检索工具只返回简短提示文本,不再把完整结果重复注入上下文——即使模型不听话,系统也兜得住。

      案例六:Mermaid 节点文字溢出

      现象:我们要求趋势类回答输出 Mermaid 时间轴图,现场反馈图表"破相"——节点文字太长,渲染后溢出方块边界。

      归因:这是一类容易被忽略的 bad case:问题不在内容而在交付形态。模型不知道前端渲染器的物理约束。

      落点与写法(基座可视化规范第 8 节):把渲染约束翻译成模型可执行的文字规则——每节点总字数 ≤15 字、单行 ≤8 字、超长在语义合理处插 <br/> 换行、最多 2 行,配 ✗/✓ 对例(A[🟢光伏装机量持续超预期增长] → A[🟢光伏装机<br/>持续超预期])。

      3.2 一个"正向增强"案例:前置量化归因

      上面六个案例都是"纠错型"调优——守下限。现场反馈还有另一类:"抬上限"的范式增强。

      现场意见:客户投研总监反馈,个股分析的输出"定性有余、定量不足,缺一个全文的定量锚点"。

      怎么改:我们在 stock-research 聚合索引里增设「前置量化归因」模块:公司层面的基本面判断,报告正文第一段必须先输出「核心驱动因子量化摘要」,按固定五步生成——因子识别(1-2 个公司特异性经营变量,拒绝"营收增长"这类泛化指标)→ 历史 3 年 CAGR → 未来 2-3 年前瞻预测 → 沿"收入→毛利→净利"的利润表传导测算 → 每个关键数字标注假设来源。

      **这个案例的方法论价值在"适用性分级"**:规则没有一刀切地套给全部 11 个子能力,而是三级划分——

      • 强制适用(7 个模板):thesis_qa、earnings_flash、deep_report 等公司层面基本面判断;
      • 条件适用(announcement):仅业绩公告、重大合同等可传导至经营因子的事件才量化,普通减持、诉讼不强制;
      • 不默认适用(3 个模板):research_digest 以观点聚合为主、comparable_valuation 以相对估值为主、portfolio_attribution 以组合归因为主,各有自己的定量范式。

      纠错型规则要"狠"(枚举封死),增强型规则要"准"(给足适用边界)——两类调优的写法是不同的。

      3.3 方法论提炼:bad case 修复五步法

      六个案例走下来,修复动作可以固化为五步:

      ① 归因分层。先判断问题出在哪一层:意图分错(意图层)、规则冲突(架构层)、规则缺失(模板层)、还是根本不是 prompt 问题(工程层,如 citation 下发时机)。别条件反射地改 prompt。

      ② 落点选择:prompt 还是代码。判别标准就一句话:约束编码化而非文档化——写在提示里的规范,模型可能选择性遵守;做成代码护栏才具备强制力。我们的分工线:确定性约束(时间范围、检索次数上限、引用编号分配、迭代上限)优先下沉为代码——dateFromUser、RAG_MAX_RETRIEVE_PER_TURN、引用全局编号由请求级累加器统一分配、AGENT_MAX_ITERS,全都是先在 prompt 里约束、复发后升级为工程护栏的实例;语义性约束(分歧怎么呈现、溯源怎么标、分析深度)才留在 prompt。经验法则:同一 bad case prompt 修两次仍复发,就该考虑代码化。

      ③ 落点唯一。跨业务共性入基座,业务特性入模板,绝不双写。

      ④ 配 ✗/✓ 对例。每条新规则必须带真实的错误示例与正确示例。

      ⑤ 登记自检 + 回填评测。规则进基座"交付前自检清单"让模型输出前自查;case 进评测集,防止修 A 坏 B。

      3.4 规则写作范式小结

      回顾 364 行的基座规则,能提炼出五个反复出现的写作模式:

      1. 术语先行:KB、<X>、template 等核心术语先定义再使用,杜绝规则内部的指代歧义;
      2. 铁律分级:"违反即失败"的最高优先级铁律与建议项分开,让模型清楚哪些不可协商;
      3. 防御性枚举:把模型可能的"自由发挥"逐一列为禁止项(案例一、三);
      4. 降级预案:Mermaid 渲染失败给文本降级、流式无法中断确认给同轮披露——规则要适配真实交付形态;
      5. ✗/✓ 对例:每条硬规则配真实的正误示例。

      为什么对例是必选项而不是加分项:抽象规则只能表达"是什么",示例才能表达"怎么做"。LLM 对可模仿样本的遵循度,高于对抽象约束的遵循度——✗/✓ 对例就是把规则转译成模型最容易学的形式。

      另一条值得记住的底层原则是标识符稳定:上下文加工(压缩、改写、汇总)中,编号、UUID、hash 这类标识符必须原样保留,改错一位下游即失效。我们的引用体系与之同源——多轮检索的切片编号由请求级累加器统一分配、跨轮次稳定、重复命中保留首次节点,<X> 标注才能与最终来源列表一一对应。

      四、评测闭环:

      没有评测集的 skill 调优是玄学

      前三章的每一次"改",都依赖同一个前提:改完之后,你得知道有没有变好、有没有把别的改坏。 没有评测集,skill 调优就是玄学——改了 prompt 不知道是否变好,换了模型不知道是否退化。

      我们的评测体系分三层,对应技能套件的三层制品:

      ① 意图层:离线评测集 + 契约测试。 意图分类评测集从 v1 演进到 v4,并支持L0 级用例过滤——20 条真实业务用例单独标记,每次变更必须全对才能发布(新意图树回归时 L0 全绿)。另配契约测试锁定意图体系的结构约定。意图层单独可回归,不与技能层耦合评测。

      评测集本身也在被调优。v1 的问句偏短偏模板化,v2 全面换成真实业务风格的专业长句——同一套基线配置,分数从 84.59% 掉到 77.57%。分数变难看了,但信号更真实:同一套优化手段(例句 + 判别经验),在 v1 上只测出 +4.6pp 收益,在 v2 上测出 +12.7pp。太简单的评测集不只虚高分数,还会让你低估优化手段的价值,过早得出"没什么可改了"的结论。

      ② 技能输出层:自检清单 + bad case 回归。 基座的"交付前自检清单"和"最终确认"本质是让模型在输出前做一轮自评测;每个现场 bad case 修复后回填评测集,成为永久回归项。

      ③ 端到端:独立评测 CLI。 上线后我们编写了 eval_rag_performance.py(约 1200 行独立脚本),对多轮检索场景做端到端评测:三通道采集数据——SSE 流式客户端(用户视角)、服务端日志解析(系统视角)、LLM 判分(质量视角)——零依赖后端源码,产出结构化 JSON 与 Markdown 报告。

      三条经验对我们帮助很大,可直接套用:

      • 第一个失败就建评测。不必等体系完备,20~50 个真实失败案例就够启动。我们的评测集 v1 正是从首批 bad case 起步、随现场反馈滚动到 v4 的。判断用例质量有个简单标准:两个领域专家对同一案例独立判断结论不一致,说明验收标准还没定义清楚——先解决定义,再收集数据。
      • Pass@k 与 Pass^k 不能混用。探索能力上限用 Pass@k(k 次至少一次对),上线回归用 Pass^k(k 次全对)。我们的 L0 用例过滤对应的正是 Pass^k 思路:核心用例每次变更必须全对。
      • 先修评测,再改 Agent。评分器 bug、用例与生产脱节、环境噪声,在结果数字上与模型退化一模一样。看到指标下降,先查评测系统本身,再动技能——基于失真信号改 prompt,方向从一开始就是错的。

      最后一个实践技巧:评测集与 typical_questions、FAQ 库同源共建。三者都需要"真实业务风格的问句 + 期望行为",一份业务语料整理一次,三处复用。

      完整的调优节奏串起来是:改规则 → 跑 L0 冒烟 → 全量回归 → 上线观察 bad case → 回填评测集,循环往复。

      五、总结:

      从 AI 初稿到生产级技能的 checklist

      回到开篇的五条标准,每条给出可直接套用的验收项和它背后的原理:

      几个关键数字放在一起,正好是这篇文章存在的理由:37 个技能 4 天生成,但打磨用了数周并持续到上线后;三层重构让单技能上下文从 6000 token 降到 1200(-80%);基座里 10 条铁律、5 类数据缺口处置、每条硬规则的 ✗/✓ 对例,背后都是真实 bad case。生成快、打磨慢——而打磨,才是 skill 工程的主体。

      最后用两句话收束全文:

      skill 的本质,是把领域专家的隐性经验编译为 LLM 可执行的显性规则。AI 能极大加速"编译",但"链接与调试"——路由、整合、调优、评测——仍然是人的工程活,也正是业务逻辑之外的胜负手。

      而从运行时视角看,全部优化动作可以归结为一条分工线的持续校准:模型负责推理,外部系统负责状态和边界——skill 优化,就是不断把该外置的外置、该常驻的写短、该按需的拆开、该枚举的封死。

      千问AI平台-为Agent而生,驱动AI生产力
      扫描下方二维码,直达千问AI平台体验

      点击阅读原文即可体验!

      阅读原文

      跳转微信打开

      Qwen4-Max 预览版首发上线千问AI平台Token Plan

      2026年11月11日 10:44

      阿里云 2026-11-11 10:44 浙江

      欢迎大家抢先体验!

      刚刚,阿里全新一代大模型Qwen4-Max预览版发布,首发千问AI平台Token Plan。

      图片

      Qwen4模型拥有更强的世界知识和感知能力,并且在编程和Agentic这两项最关键的能力上再度升级,能更好地完成复杂编程、专业办公、前端设计、专业软件操作等真实任务。开发者提前内测的成果显示,Qwen4在3D建模、网页设计、交互等方面展现出亮眼表现。

      此次开放的是旗舰模型Qwen4-Max的预览版,Token Plan用户可限时2折、新用户再享折上5折,最低1折即可抢先体验Qwen4模型。同时,千问办公、Qoder、千问APP、QwenStudio等也可第一时间体验。

      千问AI平台:

      https://platform.qianwenai.com/pricing/token-plan

      QwenCloud:

      https://qwencloud.com/pricing/token-plan

      千问AI平台-为Agent而生,驱动AI生产力
      扫描下方二维码,直达千问AI平台体验

      点击阅读原文即可体验!

      阅读原文

      跳转微信打开

      今天起,千问AI平台Token Plan额度上调70%以上

      2026年11月9日 20:41

      千问AI平台 2026-11-09 20:41 浙江

      今日,千问AI平台上调Token Plan个人版订阅额度,Lite、Essential、Standard三档套餐月费不变,月度额度提升约74%至78%。

      图片

      具体来看,Lite套餐额度由1.15万Credits提升至2万Credits,月费39元;Essential套餐额度由2.55万提升至4.5万Credits,月费79元;Standard套餐额度由4.5万提升至8万Credits,月费139元。

      最高一档的Pro套餐同时调整了额度和价格:额度由18万提升至20万Credits,月费由499元降至312元,降幅约37.5%。按月费除以月度额度测算,Lite、Essential、Standard、Pro四档的单位额度成本分别下降约42.5%、43.3%、43.8%和43.7%,降幅均超过四成。

      Token Plan是千问AI平台推出的大模型订阅服务,可接入千问办公、千问APP、Qoder、Qwen Code、Claude Code等AI编程和智能体工具,以Credits统一抵扣不同模型调用及Agent Harness工具的费用,支持文本及多模态模型。用户在这些工具中写代码、搭建页面或调试个人Agent,可以用新增额度做更多轮交互与修改。

      本次调整同样覆盖存量订阅用户。11月9日起,四档套餐新额度陆续生效,当前订阅周期内的总额度按新标准补齐;Pro存量用户当前周期价格不变,新价格自下一订阅周期起生效,升级和续费按新价格执行。

      千问AI平台-为Agent而生,驱动AI生产力
      扫描下方二维码,直达千问AI平台体验

      点击阅读原文即可体验!

      阅读原文

      跳转微信打开

      从LLM到Ontology:本体驱动的AI数据研发原理与最佳实践

      2026年11月6日 09:48

      左文雯、张哲旸 2026-11-06 09:48 浙江

      阿里妹导读

      当前大模型已能稳定生成语法正确的SQL,但在真实业务场景中,选表错误、字段误用与指标口径偏差仍普遍存在。其根因不在模型能力,而在于业务知识碎片化,指标口径与判定规则大量沉淀于历史生产代码和资深研发的经验判断中,缺乏结构化表达,模型无从获取。本文介绍将本体(Ontology)应用于数据研发领域的实践,把隐性业务知识转化为AI可读、可验证、可迭代的结构化资产,并给出自动抽取链路、召回与迭代机制的设计,以及技术评测与业务落地两层的验证结果。(文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。)

      01 AI 生成 SQL 的三类典型错误

      当大模型作为辅助开发工具进入数据开发场景,矛盾变得突出:模型的代码生成速度远超人类,但做出正确判断所需的业务知识,它无从获取。

      1.1 一个看似简单的需求

      以一个常见需求为例:业务方说「帮我查一下上月各品类的 top 品牌成交额及同比数据。」

      需求只有一句话,看上去也不复杂。通用大模型几秒就能生成一段语法完整的 SQL,SELECT、FROM、WHERE、GROUP BY 结构齐全,逻辑通顺。但对照需求细看,问题就会暴露:品类下的品牌数据该从哪张表取?成交额对应哪个字段、是否包含退款?同比的口径又是什么?

      这些判断在 SQL 里没有标准答案。研发凭经验秒懂,模型只能猜。

      1.2 三类高频错误

      真实开发中上述问题很常见,我们把通用 AI 的生成错误归纳为三类:

      ① 选错表。同一数据域下常有明细表、汇总表、快照表等十余张相似表,粒度各不相同。AI分不清这些表之间的区别,容易选一张看着对实则不满足需求的表。

      ② 用错字段。同名字段在不同表中含义不同,同一含义在不同表中对应的字段名也不同。AI直接按关键词匹配字段名,很可能选中与需求不符的字段。

      ③ 口径对不上。指标计算往往有一套约定俗成的口径:分子分母各取什么、是否剔除特殊数据、时间窗口怎么定义。成交额是实付金额还是剔退款金额?这些约定通常不在需求文档里,而在历史代码和个人经验中。

      1.3 共同特征:SQL能跑,数据不对

      这三类错误有一个共同特征:SQL能正常执行、能返回结果、不报任何错,但数据就是不对。

      这也意味着它们无法被常规测试拦截:没有异常、没有报错,只有错误的数据流进看板。

      本质:AI缺的不是语法能力,是做出正确判断所需的业务知识。

      下一章拆解这个「业务知识」具体缺在哪。

      02 根因分析:AI 的知识缺口

      在谈解法之前,先要看清AI生成SQL时,缺的业务知识到底是什么?拿两个需求拆开看。

      第一个:"店铺类型"。听着是一个语义明确的业务概念,但在不同场景下对应完全不同的计算逻辑:决策域、服饰行业、国际行业分别依据不同的分类字段做判定。同一个业务概念对应多套判定逻辑,模型无法判断当前需求应走哪一套。

      第二个:全网品牌归一。目标是把多源品牌名称自动对齐到唯一品牌实体,包含多项难点:

      难点

      举例

      表达高度碎片化与非标准化

      同一品牌在不同渠道呈现为 Apple / 苹果 / APPLE Inc. / 苹果公司等多种形态

      跨语言/跨形态的共指识别

      Nike与耐克、Samsung与三星在数据中无显式关联,需要从共现、分布等隐式信号中挖掘

      母子品牌嵌套

      母公司品牌下常有多个子品牌(如宝洁↔佳洁士、海飞丝、潘婷)

      保证归一化ID的权威性、稳定性与可追溯性

      ——

      模型看到的只是字面字符串,它不知道"Apple"和"苹果"指向同一实体,不知道 Nike 和耐克是跨语言同指,更不知道宝洁和佳洁士是母子关系。这些隐藏映射关系的处理依赖不同算法,模型不知道。

      两个案例指向同一个根因:语义理解(表和字段的业务含义)、规则理解(指标口径与实体关系处理),这两层业务知识 AI 都获取不到。

      由此可见,AI 生成 SQL 的准确性问题并非源于模型能力。实测中,同一需求换用更强的模型后,选表与语法的稳定性确有提升,但指标口径仍然存在偏差。原因在于:无论模型能力多强,都无法获取从未出现在上下文中的业务约定。

      如果想让 AI 写准 SQL,就必须先让这些业务知识变得可读、可召回、可验证。这正是本体(Ontology)要解决的问题。

      03 本体:将隐性业务理解结构化

      既然瓶颈在业务理解,解法就要回答一个问题:如何让 AI 真正读到业务?

      我们的答案是本体(Ontology):把指标口径、字段语义、业务规则、历史代码经验等隐性知识,沉淀为一份可复用的结构化业务资产。有了它,AI才有稳定的业务上下文,把 SQL 写对。

      3.1 本体是什么:数据研发的「业务说明书」

      一名有经验的数据研发接到需求时,脑海里的知识大致包括:这个业务域有哪些核心表、每个字段代表什么、关键指标怎么算、历史上有哪些坑、同类需求以前怎么写。本体要做的,就是把这套个人经验变成团队共享、AI可读的资产。

      本体的价值体现在三个层面:

      • 消除歧义:把「店铺类型」这种多义词,绑定到具体业务域、具体字段、具体枚举;

      • 补全规则:把散落在历史代码里的 CASE WHEN、映射表、兜底逻辑显式化;

      • 可迭代:每一次人工修正、每一次 bad case,都可以回流本体,让系统越用越准。

      3.2 本体与相邻概念的区别

      在展开技术方案之前,先把「本体」和几个常见概念做下区分:

      简单区分:数据库管「数据在哪」,语义层管「口径统一」,知识图谱管「关系推理」,本体管的是「让 AI 具备写对这类 SQL 所需的完整业务理解」。

      3.3 本体的三层架构

      我们参考 Palantir 的三层本体框架,并重新界定了每一层在数据研发中的边界:

      本体三层架构

      3.4 本体包含的五类知识

      具体而言,本体承载五类知识:

      知识类型

      内容

      表本体

      核心表的职能定义与粒度区分

      字段语义

      同一字段在不同平台下的真实含义与计算规则

      指标口径

      分子分母定义、特殊数据剔除规则、时间窗口定义

      业务规则

      跨平台类目映射、兜底逻辑、时间版本切换

      生产证据

      血缘关系、值域分布、历史 SQL 惯用写法

      上述知识全部结构化存储,每条规则可追溯到线上代码的具体位置。

      基于此,我们构建了基于本体的 AI 数据研发工具:OntSQL Agent = 本体资产 + 按需召回 + 飞轮迭代。

      OntSQL Agent 架构

      04 从生产代码中自动抽取本体

      本体是什么讲清楚了,下一个问题:本体从哪来?

      这是工程落地中最核心的挑战。我们的答案是:不靠人工逐条整理口径,而是让模型从生产资料里自动抽,再让机器反过来验证。

      4.1 四种方案对比

      对上述方案进行逐项分析:

      ① 只给 DDL 无法解决语义问题。DDL里只有字段名和类型。以上述品牌归一需求为例,给出 DDL 后 AI 知道有某个品牌 ID 字段,但不知道它什么时候该用、和另一个字段什么关系、映射不上该怎么兜底。DDL给的是「表长什么样」,我们缺的是「这张表该怎么用」。

      ② 人工整理知识库方向对,效果好,但维护不动。以我们的真实业务场景为例,线上表逻辑和数据口径一直在变。靠人读SQL、写文档、再持续更新,写的时候慢,写完很快过期。

      ③ 让 AI 把文档编译成知识库是最近流行的做法,也是一些 LLM-Wiki 的建设思路:先把零散文档编译成结构化知识页,查询时优先查知识库。这个思路我们认可,本质上和我们一样,都是「先编译再查询」。但落到数据研发场景有两点不同:

      • 知识来源不同。知识库依赖人写的文档,而实际生产中大量需求是语音会议形成共识、协作平台上给一句简短描述、数据同学就直接开发。更关键的是,许多口径并无文档或文档不完整,补齐文档本身的成本最高,因此我们选择直接读取生产代码。

      • 产物不一样。知识库方案编译出的是自然语言知识页,例如「按层级逐级匹配」这类表述,机器无法判断其与当前线上代码是否仍然一致。需要说明的是,文档编译方案可整合多种格式的资料,覆盖面更广、建设周期更短。我们则更专注于 SQL 生成:输入为业务知识资料包,产出为SQL。

      4.2 本体构建入口:核心表 + 血缘

      我们不是拿到一份 SQL 就分析构建规则,然后等待下一份输入,而是从核心表进去,顺着它的上下游把该带的表和知识一起带出来。

      先说入口。从业务交付表、看板展示表自动识别出这个场景真正在用的表,也就是核心表,再由数据研发同学手动补充、核实。这批表是起点,不是边界。顺着核心表的上下游又带出一批,最终本体里有四成的表,是靠血缘分析找出来、确认有价值后才建的。

      以某品牌核心表为例,通过 DataWorks SKILL 读它的生产SQL,血缘信息自动解析出上游表,且每张都能自动分析它在这条链路里干什么,这就是为什么最终本体中的表资产比核心表清单多。核心表决定从哪儿进去,上下游决定能捞回多少东西。

      4.3 抽取形态:结构化三元组

      我们不让模型写自然语言描述规则,而要求它输出三元组。

      我们的做法是从生产环境中自动抽取运行中的SQL与元数据,让模型把每条 SQL 中的业务 CASE WHEN 抽取为结构化三元组。以“店铺类型”判断为例,抽取结果如下:

        case_group:        shop_type                    # CASE组
        branch_order:      1                            # 分支序号
        condition_sql:     shop_name IN (条件A,条件B) # 判断条件
        action_sql:        结论A                        # 结果动作
        source_sql_hash:   bbbd38537a7ba41e             # 源码指纹
        evidence_sql_node: 308513553                    # 生产节点ID

        使用结构化保存,不是因为模型看不懂自然语言,而是一句话没法校验:说不出它对应 SQL 哪一段,也说不出有没有过期。写成条件和动作,规则就能和 SQL 分支逐条对上,脚本自动对齐写法差异,算出指纹逐条落库,并绑定生产节点。

        我们要的不是给人看的文档,是机器自己能查的资产。

        4.4 三道关校验:专防模型幻觉

        大模型幻觉在真实生产中难以避免,哪怕是旗舰模型也会抽错、也会编出 SQL 里根本没有的规则。所以抽完的规则不能直接用。

        第一道:对指纹。每条规则都算一个指纹。算之前先把空格、大小写这些不影响语义的差异抹平,所以只要说的是同一段SQL,人写的和模型抽的指纹就一定一样。实测上述品牌案例中人工写的规则,模型全都抽到了,指纹条条对得上。

        第二道:回溯SQL。把本体里的每条规则拿回生产SQL,看它到底对应哪个分支。要是有哪条在 SQL 里找不到落脚点,那就是模型编的,直接删掉。实测某核心表留下关键分支规则,条条都能对上SQL,没有一条是多出来的。

        第三道:查格式。检查每条规则该填的字段有没有填全、格式对不对。

        这三道关只解决一件事:抽出的规则和生产代码逐条对得上。

        4.5 人工只在两处介入

        一处是核心表第一次进本体时人工过一遍,验证、复核、补充。另一处是线上发现生成得不对时(校验规则未通过、发现逻辑冲突等),人工看一眼是不是本体的问题,再决定要不要改本体。

        除了这两处,拉元数据、抽规则、对指纹、回溯SQL、表刷新后重新检查,全是机器自己跑。

        把上述品牌需求 case 从头连起来看:一张核心表进去,自动带出上下游、规则、时间切换、数据血缘信息,每条规则都查得到它来自线上哪个节点,人只在最后检查一遍。

        首次接入一张再难的表,只需要一个权限账号加一次人工校验;之后口径变了,机器自己能发现并提示刷新。原来最重的知识库维护工作,从人工整理变成了机器抽取加少量把关。

        05 本体如何进入 AI 生成链路

        上一章节说清了本体怎么建,这一章讲清本体怎么用。

        5.1 本体资产构成

        在真实业务场景中,我们自动化构建了表本体、业务规则、指标定义,外加 SQL 事实、血缘、值域等生产证据和一层召回索引。复杂业务场景的真正难点,不在选哪张表、用哪个字段,而在口径怎么定、逻辑怎么算。因此,业务规则是整套本体资产的核心。

        本体资产

        除了表本体和业务规则,还有几类单张表装不下的知识:

        • 时间切换:某业务的映射表是按业务日期选表的,某个日期之前用旧版映射、之后用新版,生产上是用 UNION ALL 加 label 字段实现的。这条规则不写在任何字段注释里,AI 不知道就会只读一张表,历史数据直接算错。

        • 血缘:记清每张表的上下游和引用位置。

        • 值域画像:记录字段的真实取值分布。

        • SQL 事实:记录这张表惯用的写法,比如逐级降级、去重方式。

        5.2 按需召回:给材料,不给硬规则

        本体里上千条规则,每次写 SQL 不能全给,上下文太长,反而稀释关键信息。

        这不是我们的独有发现。业界把这个问题叫注意力稀释:上下文窗口的「物理容量」和「有效容量」是两回事,一个塞满无关信息的长上下文,有效容量可能还不如一个精心裁剪的短上下文。我们的召回机制对应的正是业界所说的渐进式披露(Progressive Disclosure),只在需要时才加载需要的知识。

        召回模拟的是老研发接到需求时的思维过程。 Agent 判断这是一个 SQL 生成任务后,按规则约定自动调起召回,拿到上下文包之后才开始写 SQL。召回结果包含:

        • 需求相关的表本体与字段语义;

        • 相关的指标口径定义;

        • 触发条件匹配的业务规则;

        • 历史相似 SQL 的写法参考;

        • 值域、枚举、异常处理等生产证据。

        以上述品牌需求为例,一次召回是七路并行的:相似实现、时间切换、血缘、值域画像、表族信息。相关度最高的那张表本体,召回没有全复制,只挑了和本需求最相关的规则,召回的规则恰好就是这个需求最容易踩坑的地方。

        召回结果

        这里有一个刻意的设计,也是我们踩过坑之后换来的:召回给的是材料,不是硬规则。

        我们不改写 AI 的输出,也不强制它必须用哪条规则。早期试过把召回约束得很死,把规则写成必须遵守的指令,结果反而把模型能力限窄了:它从「聪明的 AI 工具」退化成「蠢笨的规则执行器」,遇到规则没覆盖的情况就不会推理了,生成质量不升反降。

        这和 Agent 设计里「从防御到赋能」的思路是同一件事:与其用更多约束去堵错误的出口,不如把该看的资料找全,打开正确的入口。现在本体只负责供给证据,用不用、怎么用交给模型判断。

        另外,召回内部是确定性的程序逻辑,召回什么不由模型临场决定,同一个需求跑多少次结果都一样。

        5.3 迭代飞轮:三条反馈链路

        本体不是一次性调优的产物。静态知识库一定会老化,代码重构了但知识没跟上,口径变了但规则还是旧的。为了解决这个问题,我们设计了三条反馈链路,把真实使用中的修正持续回注本体:

        研发真实修改 diff:对比 AI 初稿与最终上线 SQL,把人工补的字段、过滤、join、CASE WHEN 和口径修正回流;

        评测集驱动:构建客观评测集,将扣分 case 拆解为本体缺口 / 召回不足 / 模型误用 / 需求隐含条件,用来补规则、补证据、调召回;

        线上使用日志:Qoder、千问办公等平台给业务使用后的提问、结果、失败日志和人工修正,补充场景规则与使用约束。

        三条链路的反馈汇入反馈池,经人工确认后写回本体,驱动下一轮本体修正。

        飞轮闭环:三条本体反馈链路

        5.4 技术复用:跨场景、跨平台

        技术复用有两个维度:生成本体的技术可跨业务域复用,沉淀的本体资产可跨平台移植。

        • 跨场景复用:生成本体的技术方案不与具体业务场景绑定。同一套「自动抽取 + 飞轮迭代」能力,可以快速复用到其他业务域。

        • 跨平台复用:本体不绑定 AI 平台。资产标准化为 Turtle / JSON / Markdown + 索引文件,SQL 生成日志、采纳统计、反馈、回归测试等链路均为独立 Python 模块。通用Agent等平台只需保留薄入口,读取同一套资产即可。

        我们已在不同平台跑通真实需求链路,验证了入口、资产、链路均可替换。换工具不换知识,这让业务知识真正沉淀为团队的资产,而不是某个工具的附属品。

        06 效果验证:技术评测

        方案做出来不等于真的有效。我们构建了一套贴合真实业务的评测体系,从评测集构建、规则设计到效果分析,验证「本体+飞轮」是否真正让 AI 从「看不懂、写不准」进化到「读得懂、写得对」。

        6.1 评测集:真实需求,持续扩充

        评测集的 case 全部来自真实业务工单,每条 case 包含需求信息、依赖表、Agent 需求输入等完整上下文,并绑定已上线的生产 SQL 作为 Ground Truth。

        评测集不是一次性维护的静态集合,而是通过定时抓取 + LLM 自动分类实现自动入库,随业务需求增长持续扩充。

        6.2 五层递进检测

        我们设计了五层递进检测,从语法到最终数据结果逐层校验。不通过时自动归因到具体层级和原因,结果回流飞轮,形成「生成 → 评测 → 归因 → 修正」的自动闭环。

        检测项

        检测说明

        语法对不对

        关键字拼写、括号闭合、函数参数完整性

        表找得对不对

        所选表是否正确

        字段找得对不对

        字段有无缺漏、指标口径是否一致、聚合方式是否正确

        业务规则对不对

        提取 GT 的 CASE WHEN / WHERE / JOIN 节点,逐条在生成 SQL 中定位

        跑出的数据对不对

        对比输出表与 GT 运行结果是否一致

        评测链路由「拉取评测集 + 预处理」与「AI 生成 SQL + 五维评测」两个 Skill 串联,实现全流程自动化。

        前者从线上评测集增量拉取 case,预处理后为每条 case 生成三份文件:评测集元数据、需求原文与 Ground Truth(下称 GT)SQL。后者在限定本体条件(有无本体、本体版本)后,由 LLM 生成 SQL 作为待评测代码。

        代码生成过程遵循两条硬规则:① 禁读 GT SQL,同时禁止通过节点 ID 反查代码,防止模型直接复用标准答案;② 仅读取当前版本本体,禁止读取其他版本、共享生产版本或个人工作区版本,以保证版本间可比。

        五维评测对语法、选表、字段、业务规则、数据结果五个维度分别赋权 10、20、20、40、10,合计 100 分。其中业务规则维度权重最高,因为该维度是 AI 当前最薄弱的环节,也是本体价值最集中的地方。每条 case 依据总分划分为「通过」与「不通过」两类。

        引入打分机制,是为了量化对比不同版本本体的优化效果;而最终结论采用 0/1 二分呈现,则可使结果更为清晰直观。

        6.3 有无本体的实测对比

        检测项

        无本体

        有本体

        变化

        语法对不对

        8/8

        8/8

        持平

        表找得对不对

        7/8

        8/8

        ↑ 1

        字段找得对不对

        4/8

        7/8

        ↑ 3

        业务规则对不对

        2/8

        3/8

        ↑ 1

        跑出的数据对不对

        2/8

        2/8

        持平

        语法和选表已稳定通过评测,字段维度提升最为明显,目前模型瓶颈主要集中在复杂业务规则的完整还原上。业务规则维度表面仅提升 1 分,但每个需求包含多条规则,评分按"全部命中"计算;实际拆解来看,无本体时,AI生成的映射规则基本错误,代码不可用;引入本体后,此前完全依赖模型猜测的规则分支,已通过历史代码和值域分布补齐,规则完整度有明显改善。以上述品牌需求为例:

        07 效果验证:业务落地

        引入 OntSQL Agent 后,数据开发的工作方式发生了明显变化:AI承接业务理解并撰写代码初稿,研发从“逐行手写代码”转向“审核与兜底”。

        需求承接统计:从需求交付节奏看,引入 OntSQL Agent 后月均需求处理量提升数倍,单需求交付周期大幅缩短。这说明 AI 不仅提升了单需求开发效率,更实质性放大了整体的需求吞吐量。

        承接需求量

        需求开发效率

        AI行占比统计:月均 AI 代码行占比持续提升,从个位数提升至八成以上。这些数字共同说明,AI已经从辅助工具升级为数据开发的实际生产力。

        AI行占比指标统计

        08 总结:数据研发角色的重新定义

        综合全文,当前通用模型写 SQL 的瓶颈不在模型能力,而在于能否获取足够且准确的业务知识:模型不缺代码生成能力,缺的是用哪张表、取哪个字段、指标口径怎么算这些规则。模型擅长执行已经被定义清楚的规则,而规则本身需要人来定义,数据研发的「重新定义」正是发生在这条边界上。

        所谓重新定义,不是 AI 取代数据研发,而是人与系统重新划分分工:模型承接确定性,人专注不确定性。

        模型负责确定性、可复现、依赖信息检索而非业务判断的环节:逐行编码与语法实现,查阅历史逻辑、追溯血缘与下游影响,对齐字段口径、套用既有计算范式。这些过去占据一个需求大部分工时的重复性劳动,本质是执行既有规则,因此可以被系统稳定承接。

        人负责需要业务知识输入、需要价值判断、无法从既有信息推导出来的环节:定义业务规则、做方案取舍、把关结果质量。AI越强,系统越能把人定义清楚的东西执行好;而定义的精确程度,决定了产出的质量上限。

        这一分工带来的直接变化是效率:一个需求的整体耗时从数个人日缩短至约一个人日。省下的时间并非凭空消失的工作量,而是从「执行」转移到了「定义与判断」。数据研发的角色随之升级,从代码的执行者转向规则的定义者,从逻辑的实现者升级为质量的把关者。

        千问AI平台-为Agent而生,驱动AI生产力
        扫描下方二维码,直达千问AI平台体验

        点击阅读原文即可体验!

        阅读原文

        跳转微信打开

        从风险识别到验证闭环:高德营销AI质量工程实践

        2026年11月5日 10:15

        高德技术 2026-11-05 10:15 浙江

        阿里妹导读

        文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

        一、问题背景

        本文所说的 AI 质量工程,是将 AI 的分析与执行能力纳入软件质量保障过程的一种工程实践:由 AI 辅助识别风险、设计测试和执行验证,通过明确的业务规则、权限边界、人工审阅与运行记录,约束其判断和动作。它关注的是每一条建议如何被验证、每一次修改如何被追踪,以及最终凭什么作出交付决定。

        AI 参与软件交付后,团队需要解决两个相连的问题:研发侧如何识别值得处理的风险,测试侧如何验证这些风险是否已经得到控制。只有把风险依据、测试预期和实际运行结果关联起来,"发现问题"才能进一步转化为可追溯的交付依据。

        在高德营销业务中,我们分别建设了研发侧的 Graph Engineering 决策图和测试侧的 AgentLoop 工作流。前者围绕代码变更组织多角色评审,输出风险、代码位置及验证条件;后者围绕业务规则完成变更分析、用例设计、测试方案设计和自动化实现,产出测试资产与运行记录。本文沿着"研发识别风险—测试验证风险—形成交付证据链"介绍这两侧实践。

        目前,研发风险识别与测试验证能力已分别落地。统一任务协议、跨侧自动交接、结果回流和交付门禁仍在建设。本文分别介绍已落地的能力、案例记录及后续协同设计。

        图 1 研发决策图与测试交付图的协同设计。统一证据协议与跨侧自动回流为后续建设方向。

        二、研发侧风险识别

        决策图如何形成可验证的风险结论

        研发侧以研发平台中的应用为入口,组织仓库、分支、扫描范围和验证命令等上下文。评审由规则与 Agent 配合完成:规则处理边界明确的问题,Agent 结合代码、需求和历史信息识别需要进一步判断的风险。

        我们用 LangGraph StateGraph 显式组织评审过程。Generator 先形成基础 Finding;PM、QA、Developer、SRE、Security 等角色并行审查需求边界、测试条件、稳定性和安全性;Reducer 合并重复结论;Judge 判断有效性、严重度和处理优先级。在策略允许时,Executor / Refiner 再生成修复方案,并根据验证诊断进行有限次数的迭代。

        图 2 多角色评审决策图,包括角色分工、结论合并与诊断回路。

        这张决策图的输出不仅是修改建议,还要说明风险是什么、判断依据位于哪里,以及需要什么结果才能确认风险得到处理。例如,"新增枚举未覆盖兜底分支"需要同时给出变更位置、可能受影响的业务条件和待验证场景,才能成为测试侧可继续使用的输入。

        安全修复权限阶梯

        风险判断与执行权限分开管理。Safe Autofix将修复流程拆分为以下动作,各动作由策略分别控制:

        proposal → dry-run → apply → verification → commit → push → optional MR

        进入修复前,先检查策略白名单、风险等级、置信度和证据锚点;实际修改前执行 dry-run,修改后运行仓库验证。commit、push 和 MR 分别受控,验证通过本身不会自动开启后续交付权限。每次尝试均记录验证结果、失败原因及操作来源。

        验证失败时,命令输出与诊断可以回流给 Refiner。超过迭代或预算上限后,停止自动尝试,按执行状态处理本地改动并转为报告项;已经发生的远端动作需要单独处理。保留这些边界,是为了让风险识别、修复建议和实际交付各自具有可核查的依据。

        当前 Safe Autofix 主要完成了流程和权限机制建设,相关快照中自动修复记录为 0,现阶段仍以风险识别、人工确认和安全边界验证为主,尚未将自动修改数量作为建设目标。

        三、测试侧验证闭环

        Oracle Problem:预期结果从哪里来

        能够生成和编译测试代码,并不意味着测试验证了正确的业务行为。假如 Agent 从实现代码推导出预期值,再用这个值检查同一段实现,代码中的错误可能被一并写进断言。这就是测试中的 Oracle Problem:如何确定正确的预期结果。

        我们的处理方式是标注预期来源。需求文档中的业务规则可以提供独立于实现的依据;提交说明可辅助理解意图,但仍需核对;仅从实现代码推导的预期只能说明代码行为,不能单独证明业务正确。阶段一提取 requirement_expectations[],把规则及其适用条件传递给后续阶段。缺少独立规则时,应明确验证能力受限,而不是把代码行为直接提升为业务标准。

        对关键风险点,我们比较实际响应、需求规则和用例断言是否一致,并设计能够区分目标行为与错误行为的场景。例如,在业务规则确实要求不同输出时,合法与非法输入应有不同断言。正反向检查能提高测试的辨别能力,但有限用例通过不等于证明所有实现路径都正确;需求本身的准确性仍需人工判断。

        四阶段 AgentLoop

        AgentLoop 通过变更分析、测试用例设计、测试方案设计和自动化实现四个核心阶段形成测试资产,再通过执行验证、失败诊断、覆盖率分析和报告汇总完成后续验证。初始化属于运行准备。

        核心阶段

        主要工作与产物

        ① 变更分析

        识别变更范围、风险点和需求预期,形成 change-impact-analysis.md。

        ② 测试用例设计

        确定业务场景、输入条件与断言,形成 test-cases.md;检查可构造性、重复场景、边界真实性、可观测性及环境可行性。

        ③ 测试方案设计

        将业务场景映射到测试框架、数据准备和执行方式,形成 test-plan.md。

        ④ 自动化实现

        生成测试代码与实现摘要;结合执行结果定位失败原因,产出可复查的验证记录。

        图 3 测试工作流。①—④为四个核心阶段,⑤—⑧为执行验证、失败诊断、覆盖率分析和报告汇总。上游设计回溯须经人工确认。

        相邻核心阶段之间设置人工审阅。阶段四可以在本阶段内进行受限修订;如果失败根源在上游业务理解或测试设计,应暂停并请求人工确认,不绕过已经通过的审阅环节。这样可以分别检查"测什么""怎么测"和"代码怎样实现",避免把不同层次的问题混在一次生成中处理。

        图 4 工作流界面脱敏展示,呈现阶段、时间线与产物列表。初始化等准备节点和人工确认环节也在界面中显示;本图用于说明工作流组织方式。

        Kbase 用于补充代码差异中缺少的环境知识,例如缓存规则、Mock 方式和 TestBase 差异。相关知识以结构化条目进入用例设计、方案设计和实现阶段,并随知识库与仓库更新同步。它为环境适配提供上下文,不替代需求规则对测试预期的约束。

        自愈规则与缺陷判定

        用例执行失败后,先区分环境瞬时问题、数据残留、用例自身问题、预期错误和服务实现缺陷。归因应依靠请求、响应、环境状态和独立需求依据;证据不足时保留"待判定",不以让测试通过为目标反向修改判断标准。

        自愈遵守三项约束:预期修订必须有独立依据,不能照抄实际响应;不得通过删除断言或降低精度掩盖失败;所有修订都保留记录。当前工作流将修订达到三次的用例标记为弱验证,作为人工复核的管理提示。修订次数本身不决定断言是否正确,验证结论仍取决于独立预期、执行结果和覆盖范围。涉及上游规则或设计变更时,须回到人工确认。

        四、一次从风险识别到复测的协同案例

        当前研发侧与测试侧主要通过人工确认完成产物衔接,统一协议、自动交接和结果回流仍在建设中。

        以营销业务中一次涉及行业类型与静态券面额的变更为例,研发侧关注新增行业类型是否遗漏兜底处理,测试侧将这一风险转化为可执行的用例。以下依据该任务的案例记录,介绍风险发现、七条用例设计、TC-03 返回差异、开发补充分支和复测的处理过程。应用和仓库名称使用代称。

        图 5 风险、验证与修复记录的逻辑关联。箭头表示处理顺序。

        研发侧识别兜底风险并提出验证要求

        这次变更新增了行业类型枚举。研发侧的 Generator 在审查代码时形成一条 Finding:新增类型未覆盖兜底路径。多角色评审进一步关注到,这段逻辑关联券面额,遗漏处理可能影响资金相关行为,因此 Judge 要求补充验证。

        这条 Finding把后续测试的关注点收敛到一个具体问题:行业参数的变化,会不会让静态券面额偏离业务规则。研发侧负责说明代码中可疑的处理路径,测试侧则需要确定合法、非法输入分别应该得到什么结果,再通过实际执行检查两者是否一致。

        测试侧把风险转化为七条用例

        测试侧按四个核心阶段推进。阶段一结合需求提取行业参数与券面额的预期;阶段二将其展开为七条用例,其中TC-03 检查合法与非法行业输入的差异;阶段三把用例映射到数据准备、接口调用和执行条件;阶段四完成自动化实现并运行测试。这样,研发侧提出的兜底风险被落实到了具体输入和断言上。

        当次测试设计以"合法行业参数返回配置面额、非法行业参数返回兜底值"为断言约定,TC-03围绕这一区别进行验证。这里呈现的是该次测试采用的预期;需求中对规则适用范围的表述存在差异,因此本案例用于说明返回差异及其处理过程,不据此认定全部业务约定已经得到验证。

        TC-03 发现返回差异后进入修复与复测

        首次执行TC-03时,非法行业参数返回了配置面额,与用例设定的兜底值预期不一致。这个失败把前面的代码风险落实为一组具体的输入、预期和实际结果,排查也随之聚焦到非法行业输入对应的处理路径。

        案例记录记载,开发随后定位到缺少兜底分支并补充处理;之后 TC-03 复测通过,Finding被记为"已验证修复"。这一过程把研发识别的风险、用例执行暴露的差异、代码修改和复测结果关联起来。此处报告的验证结果限定于 TC-03的处理记录。

        核对项

        记录中的首次执行

        记录中的后续处理

        兜底处理

        开发定位为缺少兜底分支。

        开发补充相应处理。

        TC-03 执行

        非法行业输入返回配置面额,与用例预期不同。

        案例记录为复测通过。

        Finding状态

        研发提出需要验证的兜底风险。

        案例记录将其标为"已验证修复"。

        本次记录描述了 TC-03 的首次执行与后续处理,未包含其他六条用例的执行结果,也未展示全部请求、响应及断言。它说明一条风险如何得到定位和复测,不用于判断整个业务链路的验证覆盖情况。完整的交付证据还应关联独立业务规则、修复前后版本以及对应的执行结果。

        把风险与验证结果关联为交付依据

        案例中需要对应起来的内容很具体:新增行业类型的变更、兜底路径 Finding、TC-03 的输入与预期、首次执行的返回差异、开发的分支修复,以及复测结果和 Finding 状态。将这些内容放在同一条记录中,读者才能从"发现了什么风险"追踪到"做了什么修改、用什么结果判断修改有效"。

        为逐步统一这种关联,计划采用的证据模型包括少量核心字段:change_id 与 source_revision 标识变更及版本;claim /locator 说明风险或验证结论及其依据;verification_status 区分待验证、人工确认和执行验证状态。通过一致的标识关联需求依据、代码修改与运行结果,可以让交付判断被复查。

        本案例展示的是风险、用例、代码处理与结果记录之间的对应关系。统一协议、跨侧自动交接和自动回流属于建设目标,图中的箭头表示处理顺序。

        这个案例体现的协同方式,是让研发发现的风险进入具体测试场景,再让执行结果进入问题处置记录。每一项交付判断都需要说明其依据、版本和验证范围,才能在出现分歧时追溯到具体输入与结果。

        五、阶段运行快照与适用边界

        从看板记录观察问题处置与流程完成

        研发侧与测试侧的看板分别记录问题处置和测试工作项的流程状态。以下数字来自各自看板的一次截屏,范围限定为画面中展示的记录集合。两套看板并非同一统计队列,本文分别说明其含义,不据此计算端到端交付效果或长期效率变化。

        指标与对象

        看板显示的记录

        解释范围

        业务仓库 A 的问题处置

        94 条问题记录中,50 条被标记为可信修复;50 ÷ 94 = 53.2%。

        范围是该次快照呈现的 94 条记录。看板另有上报修复与 Autofix 分类,不将其合并为自动修复成效。

        测试工作项的流程状态

        46 个工作项中,34 个被标记为全阶段完成;34 ÷ 46 ≈ 74%。其余 12 个未完成。

        范围是该次快照呈现的 46 个工作项。未完成是流程状态,不等于发生缺陷或测试失败。

        图 6 业务仓库 A 问题处置快照。

        看板标记可信修复 50/94,即 53.2%;上报修复 60 项包含 10 项行号漂移误判。Autofix 为 0,两种修复记录口径不同。

        图 7 测试工作项看板。

        图中 6、7、8 月标签下分别列出 13、19、14 个工作项,共 46 个;完成比例描述相应工作项的流程状态。图中的"全链路交付"指该测试工作流,不代表跨研发与测试的自动交付已贯通。

        第一组数据说明单仓库看板中的问题处置状态,其中 Autofix 记录为 0;第二组数据说明所展示工作项的流程完成状态。流程完成与业务验证通过是不同判断,单次快照也不能说明整体质量或效率的变化。

        适用边界与下一步

        这套实践更适用于业务规则明确、环境可控且结果可观测的场景。需求规则不完整、并发时序复杂或结果具有概率性时,仍需要人工判断和其他验证手段。当前两侧能力已分别落地,统一协议、自动交接和交付门禁仍在建设。

        结语

        营销AI质量工程长期目标不是追求"无人参与"——让 AI 扩大认知和执行半径,让工程机制约束不确定性,让人保留关键决策权,最终由可追溯的运行证据决定是否可以交付。当建议能够被验证、阻断、修正和追踪,AI 才真正成为研发质量体系的一部分。

        千问AI平台-为Agent而生,驱动AI生产力
        扫描下方二维码,直达千问AI平台体验

        点击阅读原文即可体验!

        阅读原文

        跳转微信打开

        阿里云发布AI投研工作台Qovest,给专业投资者配一个“AI研究员”

        2026年11月4日 09:50

        阿里云 2026-11-04 09:50 浙江

        近日,阿里云正式发布面向专业机构投资者的AI投研工作台Qovest。

        用户用一句话提出研究需求,Qovest就会自动查数据、收集资料、深度分析、生成报告,并按设定的频率持续跟踪研究对象。与一次性问答不同,Qovest可以把每次的研究结果沉淀到投研空间,让一项研究能接着往下做,不必每次从零开始。近期,Qovest将推出企业版,服务金融机构及企业的投研团队。

        专业投资者对Agent的要求,远比日常聊天要高:数据要实时和准确,输出结果要有明确出处,研究结论必须专业可靠。为此,Qovest团队采购权威金融数据库、将其部署在阿里云上,自研面向金融场景的Agent工程框架(Harness),打通从数据调用到分析输出的完整流程,让交付结果更加准确和专业。在开源金融评测集FinFirst与IRAB的内部横向评测中,Qovest的回答质量、响应速度、成本都领先于参与评测的主流产品。

        “我们希望把投研过程中耗时较多、重复性较强的工作交给AI,把时间还给真正需要专业判断的地方。” Qovest产品负责人表示。

        向左滑动查看投研案例

        Qovest首页提供了多个投研案例范本,用户可以自选标的作为研究对象,设置定时任务,接入自己的操盘笔记,获得可视化的深度研究结果。比如,用户可以让Qovest拆解人形机器人产业链中各环节的单机价值与国产化水平,得到一份可交互的产业链图谱;也可以让Qovest测算数据中心电力设施的投资规模,只要调整任何一个前提假设,Qovest就会自动重新计算。

        深度研究之外,Qovest还能让研究持续跟着市场跑。 有基金经理在Qovest里为“黄金ETF”建立了一项跟踪研究:圈定国际金价、美元指数、全球ETF持仓、央行购金等变量后,Qovest每周自动更新数据,拆解当周金价涨跌中汇率因素与加息预期各自的占比,生成一份动态跟踪看板。此后每次打开这只ETF的研究页面,Qovest都能接着继续分析。

        这种“不用每次从零开始”的体验,来自Qovest的“投研空间”。它与Qovest对话打通,能把研究成果、个人操盘笔记和待验证问题自动归档,让研究可追溯、可对比。未来在企业版中,“投研空间”会成为组织内成员协作、信息共享的研究调度中心。

        目前Qovest官网(https://www.qovest.cn)已经对个人用户开放邀测,新用户注册后即获相应积分可免费试用,后续可选择每月99元或199元的订阅套餐,各套餐包含相应使用额度。

        千问AI平台-为Agent而生,驱动AI生产力
        扫描下方二维码,直达千问AI平台体验

        点击阅读原文即可体验!

        阅读原文

        跳转微信打开

        Skill 路由优化实战:基于真实业务请求的 description 自进化

        2026年11月3日 09:45

        原创 鸣翰 2026-11-03 09:45 浙江

        阿里妹导读

        文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

        Agent选错Skill时,我们最初会把错误请求交给模型,直接修改description,再重跑整批任务。这样能得到新版本,却很难回答:为什么改这里,修改是否针对真正的冲突,下一轮又能从这次尝试中学到什么?完整业务执行还会把查询、操作和通知的耗时一起带进优化,让一句简介的修改也需要长时间等待。

        这次实践把问题拆成两部分:用本地首路由回放缩短反馈周期;用“归因与优化方向→description改写→回归验证→经验沉淀”组织迭代。最终选定候选在34条开发请求上命中31条,准确率为91.18%。这是开发集选优结果,尚不能代表未见请求或线上完整任务的成功率。

        贯穿本文的案例是两种相邻能力的混淆:它们都能查询数据,但一个在会话中交付结果,另一个向外部渠道投递通知。把共同步骤背后的交付目的写清楚,比继续补充查询关键词更能解释这次修改的方向。

        文中案例已转换为通用任务场景,Skill名称和description示例均为概括改写;实验数字沿用原实验统计,不表示在这些示例上重新进行过实验。

        首路由评测只观察选择之前的过程

        首路由指Agent第一次把请求交给哪个Skill或子Agent。它决定接下来由谁承接任务,但不代表后续执行已经成功。

        例如,“先找出符合条件的记录,再批量处理”和“处理这些已经明确的记录”可能调用相似工具,却需要不同入口。前者缺少发现和筛选步骤,后者可以直接操作;“以后每天执行”还要区分新建计划与在已有计划中执行。

        当前任务状态或交付目的

        通用首入口

        需要保护的边界

        对象未确定,需要先发现、筛选,再交接

        发现与编排

        不能承诺自己完成由其他能力执行的操作

        对象已明确,直接操作

        直接执行

        不应接管尚缺必要筛选的请求

        新建或修改周期安排

        计划创建

        在已有计划中执行不等于新建计划

        联合信息进行趋势、风险或原因分析

        综合分析

        与单项数据查询区分

        向外部渠道发送通知

        通知投递

        内部查询步骤不自动构成独立查询入口

        图1职责与首入口分工。按当前步骤、必要输入和交付目的区分入口;并列能力不代表后续步骤。

        本地回放保留“消息历史→模型→前置工具→追加调用与返回→模型”的循环。模型仍被真实调用,受支持的检索、目录列举和简介读取由冻结材料提供;观察到首次Skill或子Agent调用就停止,省去后续业务执行。这比单次分类更接近实际选择过程,但工具返回仍是受控模拟。比较新旧简介时,需要冻结题目、人工预期、身份、模型参数、系统指令、工具及能力目录,只修改授权范围内的description。

        图2本地首路由回放循环。轮次耗尽计为未命中,基础设施异常单列;首路由正确不等于完整任务成功。

        首次路由错误、参数非法、直接回复而没有路由,以及达到轮次上限,都按既定协议计为未命中。接口异常、不支持的前置工具动作等基础设施问题单列,受影响的配对结果不能用于候选晋级。准确率之外还要报告异常数和覆盖率。如果模型使用了模拟器尚不支持的合理检索写法,应先修复模拟器、完成预检,再重新冻结环境和建立基线。不能为了绕开模拟缺口而修改description,压制正常检索;环境改变后也不能拼接旧成绩。

        先提出归因假设和优化方向

        从可观察错误开始

        一类请求希望查询某对象的汇总数据与记录明细,在当前会话中交付两张表。实际首路由却选择了通知投递能力。可以确认的现象是:预期承接方与实际选择不一致,而且用户没有要求向外部渠道发送通知。至于模型为什么选错,只能先提出假设。下面将已有诊断整理为可检验的假设,右列是进一步区分它们的验证设计。

        归因假设

        当前可检查的证据

        区分假设的验证方式

        通知描述把内部查询步骤写成了宽泛适用范围

        简介同时列出查询汇总、读取明细与发送通知,没有清楚限定交付目的

        只收窄通知描述,检查会话查询是否恢复、真实通知是否仍正确

        数据交付能力没有表达组合查询场景

        简介未清楚说明汇总与明细可以联合交付

        只补充该场景,检查相关查询及相邻分析任务

        两侧缺少交付目的的分工

        简介都强调数据步骤,未清楚区分会话展示与外部投递

        分别修改与联合修改,比较相邻边界

        这些证据能够支持假设,却不能读取模型内部的真实决策原因。错例分簇也只是帮助发现共同冲突,不能证明某个根因已经成立。

        归因与修改方向分开记录

        同一个边界问题可以有多种修法:补充正向适用条件、增加排除条件,或者明确复合请求的承接规则。简单提高某个Skill的优先级,也许能修复目标错例,却可能把更多相邻请求错误吸进来。因此,生成description前,需要先写清本轮方向。例如:

        围绕最终交付目的区分入口。会话内交付汇总与明细的请求,由具备该能力的查询入口承接;向外部渠道发送通知的请求,由通知入口承接。保留两者已有能力,不因共享查询步骤而相互接管。

        这个中间产物让审校和后续评测有了明确对象:本轮是在澄清交付边界,还是提高优先级?实际编辑是否改变了同一个分界?

        ProTeGi通过错误样本生成自然语言批评,再据此编辑提示词,并结合BeamSearch与Bandit策略搜索候选。本文借鉴“先形成反馈,再指导修改”的方法;这里的自然语言梯度是待验证的语义反馈,不是数学导数,也不保证归因正确[1]。

        将方向落实为description的具体修改

        description是模型选择能力时看到的职责简介。它需要表达适用条件、必要输入、交付物和相邻分工。简介修改只能澄清已有能力,不能增加工具能力或扩大权限。

        下面用概括后的文本展示这次修改涉及的边界,示例并非实际候选的逐字复现。

        对象

        修改前的表达问题

        修改后的表达重点

        数据交付入口

        未清楚说明汇总与明细的组合交付

        支持联合查询,并在会话中交付汇总表与记录清单;用户无需先提出后续操作

        通知入口

        查询、生成内容、发送通知并列,容易混淆步骤与适用范围

        先限定通知投递目的,再说明查询只是内部步骤,排除单纯会话查询

        数据交付入口可概括为:

        支持针对指定对象联合查询汇总数据与记录明细,在当前会话中交付统计表和记录清单,并在需要时衔接后续处理。仅请求数据交付、尚未要求继续操作时,也属于本能力范围。

        通知入口可概括为:

        当请求的交付目的是向外部渠道发送通知时使用。流程内部可以查询条件、汇总和明细,但这些步骤不构成独立查询入口。仅要求查询、筛选或在当前会话中展示数据时,不使用本能力。

        这里改变的是模型理解分工的方式:将会话数据交付写成正向职责,将通知投递写成适用条件,并解释内部查询与外部服务范围的区别。具体涉及计划创建时,还必须遵守已确认的入口约定,不能从“支持通知”直接推导“负责所有调度”。每句承诺都要有相应依据。业务正文、工具定义和实现回答“能否做到”;人工确认的职责规则回答“应该由谁先承接”;回放轨迹回答“模型实际上选了谁”。三类证据不能相互代替。

        图3三类证据的关系:能力依据约束承诺,职责规则约束预期首入口,回放结果验证实际选择。

        能力证据摘录不全时,应补原文;承诺超出实现时,应收窄。返回分页列表不等于支持总体统计,输出某字段也不等于支持任意组合筛选。反过来,排除项也不能否定真实存在的独立查询或清单交付能力。

        ToolRewrite将工具描述视为影响工具使用的重要接口,并提出Trace-Free+,通过课程学习把轨迹丰富场景中的监督迁移到无需轨迹的描述重写。我们借鉴其接口描述优化与可迁移规律的思路;后文的经验记录与检索属于工程扩展,并未复现其训练方法[2]。

        用回归结果检验修改

        图4旧流程示意(保留原图):候选通过能力审校后,直接进行整批配对回放。图中单Skill修改粒度属于旧流程,不是当前候选只能修改一份简介的限制。

        图5迭代流程。归因与方向、实际改写、审校及回归保持一致;安全互补候选可以保留,入池不等于冠军。

        候选生成后,先做机械校验,再做语义审校,最后进入回放。

        机械校验由程序负责:恢复证据引用、应用替换、生成完整描述、核对实际差异和长度。模型负责判断能力承诺、适用范围及消歧作用。当前生成与审校使用同一模型的独立调用,职责分开不等于消除了同源偏差。

        曾有一次候选在诊断中讨论A与B的竞争,实际修改主要澄清计划创建,审校又按通知入口检查。每句话都可能合理,却没有改中同一个问题。因此,诊断、实际差异和审校必须围绕同一组竞争入口。

        先测目标与保护例

        小批验证同时包含需要修复的错例和原本正确的保护例。对于查询与通知的冲突,至少要覆盖:会话查询、真实通知,以及使用相似词语但交付目的不同的请求。至少修复目标且保护不退化,候选才值得进入整体回归。

        整体回归继续检查误吸、漏接和关键边界。高分不能抵消重要保护失败。复用观测也必须满足同候选、同环境、同请求及对应重复轮次;改过一句话,旧成绩就不能作为新候选成绩。

        保留互补候选后仍需实际测试

        总分较低的安全候选可能修复另一组错例,值得留在研究池。GEPA利用轨迹反思、逐实例表现与互补候选搜索,为这种保留方式提供了方法参考。但两个版本正确请求的并集只是搜索线索,合并后的description必须重新回放[3]。

        当前结果支持什么

        最终选定候选在34条开发请求上命中31条。每题回放3次,按多数首路由计分;三次选择各不相同时计为未命中,不挑正确的一次计分。当前没有独立留出集,已用于诊断和选优的历史题只能继续作为开发与回归数据。

        选定版本中,两道真实通知保护题均被正确承接,查询与通知的分界有所改善。但这次同时修改了两份简介,尚不能分离两侧描述及各句编辑的独立贡献。单侧与联合修改的对照,是进一步验证归因的方向,而非本次已经完成的实验。

        剩余三题分别涉及综合分析与单项查询、组合编排与前置查询、计划创建与业务执行的冲突。轨迹能够定位选择分歧,下一步仍需针对这些分歧提出新假设。

        将验证过程转化为下一轮可用的经验

        保存候选历史,只能保证可追溯。要让下一轮少走弯路,还需要把反馈变成可检索、可限定范围的经验。

        归因经验与修改经验应分别保留。前者描述什么错误模式可能对应什么原因,后者描述什么修法在什么条件下有效。一次候选失败,不能直接推翻所有归因;也可能是方向过宽、具体改写偏离方向,或模型波动造成。

        经验内容

        在查询与通知案例中的记录方式

        错误模式

        会话数据交付被选到通知入口

        因假设与证据

        描述共享查询步骤,交付目的区分不足;引用对应语句

        优化方向

        明确会话交付与外部投递,不改工具能力

        实际编辑

        记录两侧修改及最终差异,不能只保存修改意图

        验证结果

        逐题修复、退化、保护表现、重复回放和环境版本

        适用范围与反例

        适用于交付目的混淆;不能推广为所有查询都优先某入口

        失败反馈也要足够具体。格式错误需要指出字段和允许值,能力误拒需要原句与证据,回放无收益需要逐题差异和反例。“上次被拒绝”无法帮助下一轮调整。

        原实践曾出现新冻结版本未向首次生成传递旧反馈的情况,说明记录与消费之间仍有缺口。下一步应核对:检索到了哪些经验,哪些进入了归因与方向生成,哪些因环境变化不再适用。旧经验可以成为线索,旧分数不能迁移。

        一个值得形成的迭代流程是:

        当前错例与冻结环境→提出归因假设→检索适用经验并复核→明确优化方向→生成并审校description→小批与整体回归→记录成功、失败及适用范围。

        经验复用仍需在当前请求上验证。新记录进入时,应合并重复、区分冲突条件,并保留被反例否定的方向。否则经验库也可能变成另一份错题补丁集。

        控制描述增长和反馈成本

        优先替换和合并

        每遇到一题就新增一句例外,description会越来越长,适用条件反而越来越窄。TextReg将提示词容量成本与规则适用范围收窄联系起来,提出正则化的文本空间优化方法。它提醒我们关注增长背后的过拟合,但其推理任务结果不能直接作为本项目的路由收益[4]。

        当前实现设置了600字符上限,并要求先替换错误边界、合并重复和删除冗余,再考虑新增。硬限制只能防止无限增长,不能证明规则已经泛化。

        进一步可尝试:逐题覆盖、准确率及退化表现相同时,优先短版;从有效父版本生成压缩候选,重新完整回归。不能沿用压缩前成绩,也不能删除权限、真实能力或交接约束来腾位置。这些属于后续策略,不是已有的候选选择能力。

        分清候选阶段与完整验收

        本地首路由即停减少后续执行,小批淘汰减少无效回放,并发缩短等待。这三者影响的成本不同。

        在34题实验中,两次自动候选的生成、审校、小批和整体评测阶段合计约为3分23秒与3分25秒;回放并发为8。计时不含初始基线、收口复测、历史种子重测、报告和人工验收,不能写成完整优化三分钟完成。

        图6当前34题实验的候选核心阶段计时。仅含生成、审校、小批与整体评测,不含完整验收;不与历史不同模型和题量换算提速倍数。

        早期不同题量、不同模型条件下的完整业务耗时估算,不适合与这些数字直接计算提速倍数。当前计时能够说明候选反馈周期,尚不能估算从搜索到上线的总周期。

        下一步验证归因与泛化

        这次实践把路由优化从“改一句话再看总分”推进到了有方向、有差异、有逐题证据的迭代。最明确的收获,是用交付目的解释相邻能力的分工,并通过保护例检查修改有没有越界。

        接下来需要分别验证三个问题:在相近模型与计算预算下,显式归因与定向改写是否优于直接修改;经验检索是否减少失败尝试与迭代成本;开发集选定候选能否通过独立留出和真实环境验收。

        这些验证应固定可比条件,记录不同入口的命中与误吸、关键退化、重复回放和成本。真实环境还要核对身份权限、模型输入与目录,并检查后续执行和交接。只有首路由与完整任务分别得到验证,才有依据决定采用范围。

        参考文献:

        1.Pryzant,R.,etal.2023.AutomaticPromptOptimizationwith“GradientDescent”andBeamSearch.EMNLP2023.借鉴自然语言批评、定向编辑与候选搜索;本文的分簇、证据审校和发布约束是工程设计。

        https://aclanthology.org/2023.emnlp-main.494/

        2.Guo,R.,Dong,K.,Gao,X.,andDas,K.2026.LearningtoRewriteToolDescriptionsforReliableLLM-AgentToolUse.arXiv:2602.20426,v2.借鉴描述接口优化和可迁移规律;经验库检索不等同于Trace-Free+训练。

        https://arxiv.org/abs/2602.20426v2

        3.Agrawal,L.A.,etal.GEPA:ReflectivePromptEvolutionCanOutperformReinforcementLearning.arXiv:2507.19457,首次提交于2025年。借鉴轨迹反思、逐实例表现和互补候选搜索,不直接套用其强化学习对比结论。

        https://arxiv.org/abs/2507.19457

        4.Fu,L.,etal.2026.TextReg:MitigatingPromptDistributionalOverfittingviaRegularizedText-SpaceOptimization.arXiv:2605.21318,v2.作为控制容量增长和适用范围收窄的参考,本文未实现其完整正则化算法。

        https://arxiv.org/abs/2605.21318v2

        千问AI平台-为Agent而生,驱动AI生产力
        扫描下方二维码,直达千问AI平台体验

        点击阅读原文即可体验!

        阅读原文

        跳转微信打开

        让Agent可评、可控、可迭代:业务效果导向的评测体系与场景实践

        2026年10月28日 10:04

        叱干、王菲 2026-10-28 10:04 浙江

        阿里妹导读

        文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

        一、业务背景

        策略效果类 Agent 的真正难题,不是“能不能生成策略”,而是从人工单点判断走向规模化生产后,质量如何持续保证。人工可以凭经验为少数典型场景给出方向,但一旦业务希望把一套已经验证过的策略机制,复制到更多品类的商品,问题就不再只是“某条输出看起来是否合理”,而是这套策略生成能力是否真的可扩、可控、可回归。

        商品营销场景把这个难题放得更突出。输入本身就在持续变化:商品业务效果数据、预算约束、historyBest 策略(帕累托最优策略)、实验桶 / 对照桶的策略及效果数据、人工运营规则每天都在刷新;而输出往往没有唯一标准答案,补贴策略、广告投放策略、素材优化策略等与线上 ROI、GMV、访购率等数据之间不存在稳定的相关性。更关键的是,离线看起来合理的策略,到了线上还会受到环境、货盘、周期、流量影响,线上指标变化不能直接归因为策略质量。

        可以发现,策略效果类 Agent 相比于问答、摘要、代码生成这类任务型 Agent,它的一个重要区别在于:它的输出往往不是可以静态判定的“答案”,而是会进入真实业务执行并影响大盘指标的策略配置。它本身没有确定性标准答案,质量往往只能通过大盘指标进行事后验证。这使得评测一开始就不是简单“判断对错”,而是判断“在多个可接受策略中,谁更值得上线”。

        具体来说,主要有以下难点:

        第一,反馈信号稀缺且延迟。线上 A/B 实验是获取真实偏好的主要途径,但实验资源极其有限。在商品营销场景中,每天运行 3 组对照实验,T+1 收集业务效果数据,半个月积累下来约 100 条偏好对;这个量级不足以直接支撑构建一个稳定的评估体系。

        第二,评估是一个动态的多维权衡问题。同一输入下的两个策略输出,差异往往散布在多个策略参数上:某些策略参数更激进,某些策略参数更保守,某些策略参数更贴近历史最优。没有单一业务指标能直接判断谁优谁劣,评估本质上是一个多维度指标权衡问题;并且“好”的定义会随业务阶段变化,ROI、GMV、访购率、项目损益和预算安全之间的优先级并不是固定的。

        第三,离线评估合理不等于业务线上有效。一条策略可以在规则上合法、在推理上合理、在历史经验上也说得通,但到了线上仍会受环境、周期等影响导致效果不达预期。这意味着评测体系不能只建立在离线 Judge 打分上,还必须把实验、归因和持续回归纳入进来,否则离线分数很容易和真实业务效果脱钩。

        这三个难题共同决定了:策略效果类 Agent 的评测,不能套用传统测试范式,也不能简单沿用“LLM-as-Judge 打个分”的做法。它需要构建一套方法论,用来回答该评什么、怎么评、怎么把离线判断和线上效果建立连接。

        二、评测方法论:五层、四步、三阶段

        1.核心命题

        构建了一条从业务目标出发、经过多层质量判断、最终驱动 Agent 持续优化的闭环链路。

        提出一套由三个部分组成的方法论体系,每个部分回答一个具体问题:

        • 五层评测对象回答“评什么”——既然问题可能散布在链路的任何一层,就需要构建一个从 Prompt 约束到业务效果逐层拆解的评估框架;

        • 四步质量归因回答“评完怎么办”——从分层诊断到根因定位、路由优化、回归验证,确保每一次评测都能转化为具体优化动作;

        • 三阶段上线治理回答“能不能上、上多少、出了问题怎么办”——上线前门禁准入、线上灰度放量以及线上监控与数据回流。

        下面依次展开。

        2.五层评测对象

        回答“评什么”。一个策略类 Agent 出错,根因可能散布在多个层次——Prompt 约束矛盾、经验召回错误、工具参数解析失败、策略推理方向偏差、或线上效果未达预期。每一层的失败模式不同、优化动作不同、责任方也不同:Prompt 问题需要产品与运营对齐目标优先级,知识供给问题需要业务域专家补全运营经验,执行问题需要工程修复链路 bug,业务效果问题需要实验验证,持续回归需要自动化基准集。如果把问题混在一起诊断,就无法给出精准的优化动作。

        为此,我们将策略类 Agent 的评测对象拆解为五层,覆盖从输入约束到持续监控的完整链路:

        层

        核心问题

        关键指标

        评测方式

        L1 Prompt 约束层

        提示词中的目标和规则是否清晰、自洽、完整

        ●Prompt 内在矛盾数

        ●LLMPrompt 静态审查

        L2 知识与经验层

        上下文中的运营经验及决策依据是否被正确召回和使用

        ●上下文召回覆盖率

        ●上下文召回正确率

        ●上下文内容引用率

        ●上下文引用准确度

        ●Rule引用情况统计

        ●Rule经验召回回放

        ●Rule引用内容核验

        ●LLM策略依据一致性评测

        L3 任务执行层

        模型推理和工具使用是否稳定正确

        ●输出字段合法性通过率

        ●工具节点执行准确率

        ●工具参数解析正确率

        ●多轮策略稳定性

        ●硬约束指标通过率

        ●决策优先级遵循率

        ●指令遵循与 CoT 一致性

        ●Rule输出 schema 规则校验

        ●Rule工具调用与参数校验

        ●RulePass@N 与 Pass^N

        ●LLM硬约束规则校验

        ●LLM决策质量校验

        ●LLM格式约束与分析事实性

        L4 业务效果层

        输出的策略是否真正带来可验证的业务增量

        ●ROI 提升

        ●GMV 提升

        ●访购率持平

        ●预算消耗

        ●LLMPointwise/Pairwise 对比

        ●LLM时间序列趋势预测

        ●A/B对照实验

        ●DT后置归因

        ●DT小流量灰度验证

        L5 自动化 Benchmark

        策略版本可持续回归、各版本对比评估和上线准入

        ●各评估指标

        ●版本间退化率

        ●bad case 回归

        ●自动化回归跑批

        ●策略版本对比

        ●bad case 分析

        这五层既独立又逐层递进:

        • L1 → L3:约束定义不清,模型行为就会持续漂移

        • L2 → L4:决策依据错误,策略方向必然出现效果偏差

        • L3 → L4:执行链路出错,输出直接不可用

        L1 不稳定,L2-L5 的评测结果都不可信;L2 上下文错误,L3 即使执行正确也会产出错误策略;L3 全部通过但 L4 不达标,则说明评估器可能没有对齐业务目标。如果只看单层通过率,则会掩盖这些级联风险——这正是五层框架相较于单点评测的核心优势所在。

        a.评测方法

        回答“怎么评”。不同问题的确定性程度不同,一种方法解决不了所有问题。字段是否合法、预算是否越界,有明确的对错边界,规则就能 100% 自动化判定;策略调整方向是否合理、推理是否正确引用了上下文,需要推理判断,只能用校准过的 LLM 评估器;ROI 是否真的提升,只有真实业务指标能回答,任何离线评分都无法替代。

        根据这个问题能否被客观验证,我们将评测方法拆解为三层:

        层级

        方法

        解决的问题

        为什么用这个方法

        规则层

        Rule-based Judge

        字段缺失、补贴率越界、预算超限、Schema 不合规

        有明确对错边界,判定标准清晰、成本低,应 100% 自动化覆盖

        模型层

        LLM-as-a-Judge / Agent-as-a-Judge

        策略调整方向合理性、上下文忠实性、指令遵循、推理质量

        需要推理判断,规则和硬编码无法覆盖

        实验层

        A/B 实验

        ROI 提升、GMV 不跌、项目损益为正

        只有真实业务指标能回答,离线评分替代不了

        三层是递进关系:规则层拦截硬错误,模型层判断策略合理性,实验层验证业务效果。 每一层解决上一层回答不了的问题,也依赖上一层的结果作为前提。

        其中最难处理的是离线评测与线上效果之间的对齐问题。一个策略在离线评分中表现优异,上线后 ROI 却未必提升——可能是评估器没有对齐业务目标,也可能是实验环境引入了噪声(货盘变化、大促环境、冷启品占比波动等)。为此,我们基于 AutoRubrics 探索并沉淀了一套业务效果 Judge 的构建方法论,具体内容可以见「落地实践经验」章节。

        案例:营销策略生成项目中,规则层首先发现某商品补贴率超出阈值,触发 Agent 重新生成策略。字段合规后,LLM Judge介入判断:该商品缺乏历史效果数据,但模型在无依据的情况下仍盲目上调了补贴比例,违反冷启规则,策略被打回。而在顶层 A/B 实验中,LLM Judge 给出高分的策略集整体 ROI 仍未达预期,这才暴露出更深层的问题:评估器本身对一些业务规则存在建模盲区,导致一批方向性错误的策略通过了模型层的筛查。

        b.评测数据集

        除了评测方法,还需要构建评测数据集。若数据集仅覆盖常规场景,边界问题将难以被发现。因此,数据集设计的核心不只在于“数据量”,更在于“失败模式的覆盖广度”。

        我们把数据集的建设分成三批:

        建设阶段

        数据集类型

        覆盖目标

        典型样本来源

        基础能力验证

        常规测试集

        主流程、高频场景

        正常商品、主链路策略生成

        回归测试集

        历史能力、质量红线

        Prompt 变更、模型替换后必须重跑的 Case

        Bad Case集

        已定位问题的沉淀与复现

        低分 Case、业务专家反馈、异常实验桶

        边界与风险探测

        线上回流集

        问题的采集通道:实验桶异常、待归因样本

        线上实验异常、后置归因中发现的问题

        对抗样本集

        边界、噪声、冲突等极端输入

        高价格商品、冷启商品等

        红队样本集

        主动对抗手段:诱导、攻击话术下的行为边界

        诱导忽略补贴上限、绕过预算约束、越权工具调用

        安全样本集

        真实风险场景:资金、合规、业务风险

        超预算投放、错误放量、不可信 HistoryBest

        评估器能力验证

        Judge 验证集

        各个评估器自身的准确性与泛化性

        从测试集中选取一部分作为隐藏测试集,作为 Judge 的验证集

        第一批是基础能力验证,包含三类数据集。常规测试集覆盖主流程和高频场景,是日常水位的保证;回归测试集专门用于 Prompt 变更或模型替换后的能力兜底,确保每次迭代不会引发退化;Bad Case 集则来自线上失败和业务专家反馈,是最直接的问题记录。这三类数据集是上线前的最低门槛,必须优先建设。

        第二批是边界与风险探测,包含四类数据集。线上回流集跟着第一版实验同步建设,持续沉淀真实问题;对抗样本集专门覆盖高价格商品、冷启商品等边界场景;红队样本集模拟攻击者视角,测试 Agent 在被诱导时是否会绕过预算约束或忽略补贴上限;安全样本集则聚焦超预算投放、错误放量等高风险场景。这四类可以在第二轮迭代中逐步补充。

        第三批是评估器能力验证,也就是 Judge 验证集。它可以从测试集选取一部分作为 Judge 验证集——专门用来验证评估器自身的准确性有没有退化。

        数据集建设还需要遵循三条核心原则:

        • 比例由风险决定,而非频率。高频主链路样本保证日常水位,但高风险样本一旦出问题对业务效果影响更大,应在 Bad Case 集和安全集中显著提高权重。

        • 数据集需要持续保鲜。提示词与上下文迭代、业务目标调整,可能会让旧 Case 失效——输入不再真实,结论自然不再可信。因此要及时更新数据集的版本,剔除无效的数据集。

        • 评估器本身也需要做能力验证。项目中有一版 Rubric Judge 的准确率从测试集 86%,到验证集 68%,再到泛化验证集 55%,呈现出清晰的逐级衰减,说明评估器存在过拟合风险——需要持续监控评估器准确性,确保其不随数据分布变化而严重退化。

        3.四步质量归因

        评测的价值不止于发现问题,更在于把问题路由到正确的优化动作。

        为此,我们建立了四步归因闭环:

        第一步:分层诊断。沿五层评测体系的核心维度——格式合规性、事实准确性、推理质量、决策合理性、工具调用、多轮稳定性、业务效果——逐一独立评分,先把“哪一层异常”定位清楚。总分会掩盖结构性问题,分层才能让问题有迹可查。

        第二步:根因定位。在异常层内继续下钻,追问“为什么这一层出了问题”。同样是推理层得分低,根因可能截然不同——可能是 Prompt 约束冲突导致模型行为漂移,可能是经验召回不准导致决策依据缺失,也可能是工具链路异常或评估器本身过拟合。不找到根因,优化动作就无从下手,甚至会越改越偏。

        第三步:路由优化。不同根因进入不同优化通道:

        信号特征

        根因判断

        优化通道

        格式通过率低

        Prompt 约束或 Schema 问题

        优化 Prompt

        事实引用错误

        上下文召回问题或模型幻觉

        优化召回逻辑、优化 Prompt、优化 Agent 结构

        Pass@N 高但 Pass^N 低

        能力有但稳定性不足

        DPO/SFT 训练、增强约束

        Pairwise 训练高验证低

        Rubric 或偏好对过拟合

        重筛 Rubric、扩充样本

        业务效果差但离线分高

        评估器未对齐业务目标

        重校准 Rubric、线上验证

        第四步:回归验证。 任何优化都必须回到评测体系中闭环验证——Prompt 变更跑回归集;数据优化看训练与验证集的 Gap 是否收敛;算法优化看 Pass@N / Pass^N、关键 Judge 结果及线上实验;经验库更新看召回率和业务效果变化。不闭环的优化,不算完成。

        4.三阶段上线治理

        五层评测和四步归因解决的是“怎么发现和定位问题”,三阶段治理解决的是“怎么把这套体系嵌入真实的上线流程”。准入阶段确认策略具备上线资格,灰度阶段用真实流量验证业务效果,线上监控阶段把问题持续回流到归因闭环——三个阶段依次递进,缺一不可。

        阶段

        核心动作

        准入/通过条件

        熔断/降级红线

        第一阶段

        上线前准入

        变更绑定对应回归:

        • Prompt:指令遵循/Badcase回归

        • 模型:Benchmark 效果对比

        • 经验库:召回率/引用率

        • Judge:一致性/位置偏见

        • 工具:Trace端到端回放

        离线指标达标:

        1. 规则硬约束 100% 通过

        2. 关键 LLM Judge 无退化

        一票否决:

        任一指标未达标,直接阻断上线。

        第二阶段

        灰度放量

        梯度放量与多桶比对:

        • 灰度 X% 逐步放量,每阶段观察 N 天

        • 引入对照桶、实验桶、稳定性验证桶

        业务指标连续 N 天达标:

        1. ROI 达标

        2. GMV 不跌

        3. 异常率低于安全阈值

        暂停放量,触发归因:

        任一桶连续 2 天ROI 跌破对照,或异常率超基线 2 倍。

        第三阶段

        线上监控与回流

        四步归因与 case 回流:

        •四步归因:分层诊断、根因定位、路由优化、回归验证

        • 数据飞流:Badcase 自动写回数据集

        全量监控稳定运行:

        线上指标持续处于安全区间。

        触发自动降级/回滚(任一满足):

        1. 硬约束违反率超过基线 3 倍

        2. ROI 连续 3 天跌破对照

        3. 异常商品比例超阈值

        技术细节:

        • 变更绑定回归的边界在哪里。不是所有变更都需要跑全量回归,回归范围应该和变更的影响域对齐。Prompt 局部小调整只需跑受影响的指令遵循子集;模型替换是全局变更,必须跑完整 Benchmark;Judge 变更最容易被忽视,但它会影响所有评测结论的可信度,反而需要优先验证。变更范围估计过窄,会让风险加大;估计过宽,会让回归成本加大、流程变慢。需要平衡两者。

        • 灰度分桶的设计逻辑。对照桶、实验桶、稳定性验证桶三桶并行,不只是为了比较效果,更是为了区分“策略本身的问题”和“实验环境引入的噪声”。稳定性验证桶跑的是上一版本的策略,如果它的指标也出现异常,说明问题来自外部环境(货盘变化、大促扰动),而非当前策略——这时候触发熔断就是误判,应该先排除环境因素再做决策。

        • 归因分流的一个关键判断。线上异常进入四步归因后,第一个判断不是“Agent 哪里错了”,而是“这是 Agent问题还是结构性问题”。如果同一商品在所有实验桶下都持续劣化,说明问题出在其他方面(外部环境、数据缺失、大盘异常),而不是 Agent 决策本身。把结构性问题误归因为模型能力不足,也会导致优化动作完全打偏。

        5.小结

        这一章的三个核心模块构成一条递进链路:五层评测对象定义了“评什么”——从 Prompt 约束到业务效果逐层拆解,任何一层不稳定都会让下游评测失去意义;四步质量归因解决“评完怎么办”——分层诊断、根因定位、路由优化、回归验证,确保每一次评测都能转化为具体优化行动;三阶段上线治理回答“能不能上、上多少、出了问题怎么办”——把五层评测和四步归因落地到准入、放量、监控的上线流程中。三层评估体系(规则层/推理层/实验层)是贯穿三者的方法论基础,评测数据集的设计是整个体系的可信度保障。

        回到本章开头提出的三个难题:反馈信号稀缺且延迟、评估是一个动态的多维权衡问题、离线评估合理不等于业务线上有效。这套方法论可以在一定程度上缓解这些问题:(1)三层评估体系按确定性分工,规则层判对错、推理层判合理性、实验层判业务效果,确保策略不突破效果下限。(2)数据集按失败模式分层覆盖、三阶段治理渐进放量,能降低多维风险,但没法让离线评分自动对齐多目标权衡。(3)五层评测把问题评估前置,四步归因减少对线上信号的依赖,两者结合能把“需要线上验证才能发现”的问题数量压到最低。

        虽然有缓解,但是无法彻底解决。其中最难解决的问题是:离线评测合理,不等于线上业务有效。下一章将聚焦这一对齐问题的技术细节(从数百条候选 Rubrics 中选择出真正对业务效果有判别力的 Rubric 子集,逐一解决位置偏差、选择过拟合、评估一致性等核心问题,并最终建立一套准确可信的策略效果类 LLM Judge 体系)。

        三、落地实践经验:

        策略效果类 Agent 如何做评测

        1.核心难题:离线合理 ≠ 业务有效

        一条策略可以在规则上合法、在推理上合理、在 LLM Judge 评估中拿到高分,但到了线上仍然会受环境、周期等因素干扰——离线评估与线上效果之间的对齐,是这套体系最难解决的问题。

        一个自然的解决思路是训练神经网络 Reward Model,让它学会“打分”。但黑盒 RM 的局限很明显:冷启动依赖大量标注数据,无法解释“为什么这个策略不好”,换业务场景需要重新训练,运营规则变化后也难以快速响应。

        我们选择了一条不同的路线:用结构化的评估标准(Rubrics)替代黑盒 RM,通过 LLM-as-Judge 实现自动偏好判断。Rubric 是人类可读的自然语言规则,描述“一个好的策略应该满足什么条件”——例如“输出的策略参数必须落在预设的合法区间内,不能突破配置上限”。它天然具备可解释性:Judge 给出低分时,能直接追溯到是哪条规则未被满足,而不是一个无从解读的分数。规则变化时,也只需定向更新对应条目,不需要重新训练整个评估器。

        更关键的是,Rubric 的产出本身可以自动化。 通过 AutoRubrics 方法,由 LLM 从历史策略、专家经验、Bad Case 中自动挖掘和生成候选规则,无需人工逐条编写——这大幅降低了评估体系的冷启成本,也让规则库能随业务迭代持续生长。

        但这条路线引出了新的问题:Rubric 如何自动化产出并保证质量?数百条候选 Rubric 中哪些真正对业务效果有判别力?基于 Rubric 的 LLM 评估结果是否可信?这三个问题,构成了项目的核心技术挑战。

        2.LLM-as-Judge 的三个系统性陷阱

        在构建评测体系中,我们踩了三个坑。这些不是偶然失误,而是 LLM-as-Judge 范式下的系统性陷阱——理解它们,是理解后续每个设计决策的前提。

        a.位置偏差:虚假的 96% 准确率

        在早期的实验中,我们遍历每一条 Rubric,让 LLM 对比业务效果好(good case)与业务效果差(bad  case)的策略输出,判断哪条在当前 Rubric 上违反得更严重,以此筛选出真正对业务效果有判别力的 Rubrics。结果看似令人兴奋:训练集准确率高达 96%。但当我们按 50/50 比例做 train-val 分割验证时,验证集准确率仅有 50%——与随机猜测无异。 第一次尝试,就此失败。

        问题出在实验设计上:chosen(即 good case)总是被放在 A 位置,rejected(即 bad case)总是放在 B 位置。 LLM 存在显著的位置偏差(Position Bias),倾向于判定后出现的 response 违反更严重。模型学到的不是“哪个策略更好”,而是“A 总是更好”。

        我们在后续实验中引入了 A/B 位置随机化——每次评估随机决定 chosen 和 rejected 的呈现顺序。随机化之后,训练准确率从 96% 回落到 69.3%。数字更低了,但这才是真实的信号。

        教训:任何基于 LLM 对比判断(Pairwise 对比)的评测方案,必须消除位置偏差。A/B 随机化是最低要求,更严格的做法可以是双向评估(正序 + 逆序各跑三次,取一致结果)。

        b.选择过拟合:换一批样本就选出完全不同的 Rubric

        消除位置偏差后,我们尝试用贪心算法从总体 330 条候选 Rubric 中筛选出有效的 Rubrics 子集:按照区分度排序,每步选加入后投票准确率提升最大的 Rubric。最终选出 9 条,训练准确率 69.3%。看起来合理,但这个数字可信吗?

        我们用 Stability Selection(稳定性选择) 做了诊断:执行 200 次 Bootstrap 子采样(每次随机抽取 70% 的偏好对),在每个子样本上独立跑贪心算法,统计每条 Rubric 被选中的频率。

        结果:330 条 Rubric 中,没有任何一条的选择频率超过 80%。 最高频的 Rubric 也只有约 30-40%。这意味着贪心选出的每一条 Rubric 都严重依赖具体的样本组成——换一批偏好对,就会选出完全不同的组合。69.3% 的训练准确率包含了大量乐观偏估。

        进一步通过 5-Fold 交叉验证(将数据分成5份轮流做训练与验证)确认了这一点:基于区分度加权贪心筛选的方法,训练集与交叉验证集之间的准确率差距高达22%(训练集78%,验证集56%)。这说明  RubricJudge 在训练数据上表现优异,但换一批数据就失效——训练准确率高,不代表泛化能力强。选择过拟合(即筛选出的 Rubric 只对训练集有效,对新数据无效),正是 Rubric 筛选中最核心的陷阱。

        教训:Rubric 筛选必须有无偏的泛化估计。训练集准确率什么都不说明;交叉验证是最低要求,稳定性筛选是更强的保障。

        c.一致性 ≠ 正确性:稳定地判错比不稳定更危险

        即使选出了泛化能力不错的 Rubric 子集,评测结果就可信了吗?我们用三个模型做了 3 轮独立验证(每轮使用不同的 random seed 和 A/B 随机化),结果揭示了第三个陷阱:

        模型

        3轮一致率

        3轮投票准确率

         3轮一致时的准确率

        model A

        16.7%

        50%

        0%

        model B

        80.0%

        55%

        50%

        model C

        67.5%

        70%

        100%

        model A 的一致率仅 16.7%——同一条 Rubric 评估同一个偏好对,换一次 A/B 顺序和 random seed,结论就反转了。其三轮多数投票准确率也恰好是 50%,等同于随机猜测。

        model B 更有趣:一致率 80%(很高),但 3 轮投票准确率仅 55%、3 轮一致时的准确率仅50%。它在稳定地判错。如果只看一致性而不看正确性,会得出“这个模型很可靠”的错误结论。

        model C 则展现了一个关键模式:3轮一致时 100% 都判断正确。这暗示了一个重要规律——多轮一致性可以作为天然的置信度过滤器。

        教训:评测结果的可信度需要同时看一致性和正确性。单次评估不可靠,多轮独立验证 + 一致性过滤是建立信任的关键机制。

        3.Auto Rubrics 基础理论

        Auto Rubrics 的核心思路是把 Rubric 的设计过程从“人工静态编写”转变为“模型动态演化”——构建一个“生成—评估—迭代”的自动化闭环,从偏好对(chosen/rejected)或好坏集合(goodcase/badcase)数据中自动提取、验证并沉淀一套可解释的评估标准。

        Pipeline 全流程

        Auto Rubrics 的端到端 Pipeline 包含 7 个步骤:

        1. Step 0,数据模式分析:在让 LLM 生成 Rubric 之前,先从偏好对数据中提取客观统计规律——chosen 与 rejected 在各商品上的参数差异分布、分位数范围、显著差异模式等。这一步的动机是:LLM 直接解读容易忽略数值层面的细微差异,将客观的数据规律注入生成 Prompt,使 Rubric 生成有据可依而非依赖模型随意猜测。

        2. Step 1,Rubric 生成:对每组偏好对进行多轮采样(如 8 轮,temperature=0.9),引导模型生成互补维度,产出大量候选 Rubric(1500+ 条)。

        3. Step 2,语义去重:利用 LLM 语义理解能力,将大量候选 Rubric 做语义去重(1500+ 条压缩至约 44 条),合并表述不同但含义相同的规则。

        4. Step 3,交叉验证:对每条 Rubric 在全部偏好对上做交叉判断——每条 Rubric × 每组偏好对 = 一次 Judge 调用。仅保留通过率超过阈值的 Rubric,确保每条保留的 Rubric 具备跨样本的泛化能力。

        5. Step 5,端到端验证:全部保留的 Rubric 组合使用,检验整体准确率。

        6. Step 6,Memory 增量更新:Rubric 池并非一次性生成的静态集合,而是随数据积累持续演化的动态知识库——新通过的 Rubric 加入(active)、已有但未通过的要降级(degraded)、连续多次未通过的移除(remove)、降级后重新通过的恢复(recover)。每次运行生成版本快照,支持回溯任意历史版本。

        7. Step 7,运行报告:自动生成全流程报告。

        4.让离线评测可信:

        基于 Rubrics 挖掘与稳定性筛选的实践

        前文介绍了 Auto Rubrics 如何从偏好对数据中自动生成和演化评估标准。但 Rubric 本身只是工具,真正要回答的问题更根本:

        基于这些 Rubric 得出的评测结论,我们有多大信心认为它反映了真实的业务效果?

        a.如何衡量业务效果的变化

        大模型在业务决策场景的落地,带来了一个核心问题:模型输出的策略到底好不好,如何量化,由谁来判断?我们的任务是用大模型辅助人工运营,为不同场景下的商品自动输出差异化的策略配置,以 GMV、ROI 等业务指标作为效果锚点。我们需要知道:当前策略下,结果是变好了还是变坏了?以 GMV 提升为目标举例:大促期间 GMV 天然会上涨,但这与模型策略无关。如果直接用业务指标结果为模型策略“定性”或“定量”,结论是不可靠的。

        我们采用 A/B 实验的方式,通过对比“模型策略”与“人工策略”带来的业务效果差异,来判断策略优劣——关注的不是绝对值,而是相对提升幅度。

        对照组

        实验A

        实验B

        人工/模型决策变量

        人工策略

        模型策略1

        模型策略2

        业务指标

        Baseline

        +Δ₁

        +Δ₂

        评估结论

        基准

        与对照组对比

        与对照组对比

        关键设计原则:评测的目标不是衡量指标绝对值,而是衡量策略相对于基准的增量贡献。

        b.数据集的构建

        为什么不直接用评分?

        一个直觉上的解法是:让业务同学对策略效果打分,用策略和得分作为数据集训练评估模型。我们最初也走了这条路——业务同学根据指标的提升幅度与下降梯度,定义了如下评分标准:

        指标变化

        得分

        <-3pt

        0

        -3pt - -2pt

        1

        -2pt - -1pt

        2

        -1pt - 0

        3

        0 - 0.5pt

        4

        0.5pt - 1pt

        5

        但这套方案在实践中暴露出三个根本性问题:

        1. 问题一:分数存在天花板。评测分数是有上限的,不可能无止境地上升。当策略效果持续高于或低于边界时,得分稳定不变,无法反映策略之间的真实差异。

        2. 问题二:业务目标变化导致体系失效。一旦优化目标调整(如从 GMV 转向 ROI),整套评分标准需要重新定义,难以复用。

        3. 问题三:Judge 与分数无法对齐。评分的计算依赖线上业务指标结果,而我们需要的 Judge 要在策略上线前就能工作。很难构建一个 Judge 能在上线前精确还原这套人工定义的分数。

        转化思路:从“打分”到“比较”

        既然分数对齐的问题难以解决,我们换了一个更简单的问题:相比另一条策略,这条策略的效果是变好了还是变坏了?将分数回归问题转化为二元偏好判断,通过比较两条策略的业务结果好坏,构建包含 <chosen, rejected> 对的 DPO 偏好数据集,用于后续评估器的构建与模型训练。

          #偏好对构建逻辑
          输入:实验结果(策略 A vs 策略 B 的业务指标对比)
          输出:(chosen = 业务效果更好的策略输出,
                rejected = 业务效果更差的策略输出)

          这份 <chosen, rejected> 数据集将作为整个评测体系的基础数据资产。但新的问题随之而来——有了偏好数据,我们如何让模型自动学会“什么是好策略”?仅凭偏好对数据本身,模型只知道 A 比 B 好,却不知道好在哪里、为什么好。这正是下面评测方案要解决的问题。

          c.业务效果 Rubric Judge 构建方案设计:三层架构

          为了让评测体系真正理解“好策略的判断依据”,我们设计了一套基于 Auto Rubrics 的三层 Rubric Judge 构建方案——从规则挖掘、规则筛选到数据验证,三层依次递进。

          1. Layer 1 供给层:从偏好对数据中自动挖掘候选评测规则,构建数百条规模的候选池

          2. Layer 2 筛选层:通过违反率验证、比较评估、稳定性筛选等方式,筛出真正有区分力的强规则

          3. Layer 3 验证层:用筛选出的 Rubrics 对偏好对进行置信度验证,输出高质量 DPO 训练数据

          第一层:Rubric 供给层

          Rubric 的质量是整个评测体系的上限。在进入筛选之前,我们需要先回答一个问题:候选 Rubric 从哪里来?我们选择从数据中自动挖掘规则,而非依赖人工定义。具体来说,我们探索了两条互补的自动化路线,分别从不同角度构建候选 Rubric 池。

          路线一:对比挖掘隐性规则

          偏好对 <chosen, rejected> 本身就是天然的“对比实验”——两条策略在相同输入下产出不同结果,业务效果有优劣之分。如果我们让 LLM 去分析“为什么 chosen 比 rejected 好”,它实际上是在做一件人类专家才能做的事:从具体案例中归纳评判标准。这条路线的核心假设是:好策略和差策略之间的系统性差异,就是隐藏的评测规则。通过大量偏好对的对比分析,这些隐性规则可以被逐步浮现出来。

          因此,我们构建了一套 Rule Miner 系统,从偏好对数据中自动挖掘这类隐性规则:

          Step1,规则挖掘:对每一对偏好数据,让 LLM 扮演“评估专家”,从两个方向挖掘规则——好的输出有哪些优点(good_violation),差的输出有哪些缺陷(bad_violation)。每对产出 5-15 条规则。

          Step2,语义去重:将数百条原始规则送入 LLM 做语义去重,合并表述不同但含义相同的规则。

          这条路线的价值在于能系统性地挖掘业务专家的隐性知识——那些“心知肚明但从未写下来”的评判标准。每一对偏好数据都是一次规则挖掘的机会,偏好对积累越多,规则池的覆盖面越广。

          路线二:数据模式分析+多轮采样

          路线一的规则挖掘完全依赖 LLM 的推理能力,存在一个潜在风险:LLM 可能会“编造”听起来合理但实际上没有数据支撑的规则。尤其是在业务逻辑复杂、参数众多的场景下,LLM 很容易基于常识生成“看起来正确”但与实际业务数据规律不符的规则。

          路线二的设计动机是:在让 LLM 生成规则之前,先让数据自己“说话”。通过提前提取数据中的客观统计规律,为 LLM 的规则生成提供事实锚点,确保产出的规则有数据证据支撑。

          数据模式分析先行:在让 LLM 生成 Rubric 之前,先从数据本身提取客观的统计规律:chosen 与 rejected 在各商品上的参数差异分布、分位数范围、显著差异模式等。

          多轮采样:对每组偏好对进行 3 轮采样(temperature=0.9),保证候选多样性。在双路模式下,A 路(偏好对差异提取)+ B路(数据统计分析提取)+ 并行生成,合并产出候选池。

          两条路线并非相互替代,而是从不同维度覆盖规则空间:

          路线一(对比挖掘)

          路线二(数据统计驱动)

          优势

          挖掘 prompt 未提及的隐性规则

          从数据的定量统计中提取规则

          规则风格

          约束型,偏向于细粒度业务约束

          模式型,偏向宏观决策模式

          风险

          可能过拟合特定偏好对的局部特征

          可能遗漏未覆盖的细粒度约束

          两条路线的产出汇入统一的候选 Rubric 池(数百条规模),共同为下一层的筛选提供充足且多样的候选集。候选池的规模和多样性,直接决定了筛选层能找到多少真正有区分力的强规则。

          第二层:Rubric筛选层

          有了充足的Rubric候选池后,核心问题变成了:如何从几百条候选中选出真正有区分力的子集?这个问题比看起来要难。候选池中存在大量“看起来合理但实际无效”的规则:

            噪声规则的三种典型形态:


            形态一:过于宽泛
              “策略调整的步长应与SKU当前状态的偏差程度正相关:偏离合理区间时允许大步调整,接近合理区间时应小步微调”
                → “正相关”无具体阈值,任何步长都能自圆其说
            形态二:过拟合局部特征
              “当两个核心业务指标出现反向变化时,应以其中某一个指标的变化方向为准”
                → 只在特定偏好对上成立,换一批数据就失效
            形态三:方向反转
              看起来是好规则,但在数据上验证后发现:
              good case 违反率反而高于 bad case
              → 说明这条规则描述的实际上是“坏策略的特征”

            方案一:双侧验证方案

            最直接的筛选思路是:一条好的评测规则,应该在 bad case 中被频繁违反,同时在 good case 中很少被违反。如果一条规则对好坏策略的违反率差不多,说明它根本无法区分好坏;如果违反率方向反转,说明这条规则在描述错误的方向。

            具体实现

            基于这个直觉,我们设计了双侧违反率验证方案。对每条规则,同时统计其在 good case 和 bad case 中的违反率。

            核心指标计算:

            违反率_bad = bad case 中违反该规则的样本数 / bad case 总数

            违反率_good = good case 中违反该规则的样本数 / good case 总数

            对每条候选 Rubric,独立统计其在好坏两侧的违反情况:

            类型

            条件

            含义

            强规则(top)

            bad 违反率 ≥ 70%,good 违反率 ≤ 20%

            真正有区分度

            假规则(fake)

            good 违反率 > bad 违反率

            方向反了,应废弃

            低区分度

            两侧违反率差异 < 20%

            无法区分好坏

            通过上述方案,从 170+ 条原始规则中最终筛出约 10 条强规则。

            方案二:比较评估 + 位置交换一致性

            上述的方案存在一个局限,在good case和bad case差异不是足够大的情况下,模型只能通过对rubrics的内部理解来判断是否违反该规则,结论容易“漂移”。一个自然的改进思路是:既然我们手头有 <chosen, rejected> 数据集,为什么不直接把它作为参照物,让模型做对比判断而非绝对判断?这个改进的本质是将问题从“这个输出好不好”转化为“这两个输出哪个更好”——后者对人类和模型来说都更容易、更稳定。

            具体实现

            1)问题重构

            旧问题:“这个输出是否违反规则 X?”

                        → 模型无参照,结论不稳定

            新问题:“A 和 B 两个输出,哪个在规则 X 上违反得更严重?”

                        → 强制三步推理:分析 A → 分析 B → 对比结论

            调整后,模型自我判断的一致率从 46% 提升至 84%

            2)消除位置偏差

            对比判断存在一个已知问题:模型倾向于偏好先出现的选项(位置偏差)。如果每次都把 chosen 放在 A 位置,模型可能仅仅因为位置偏好而给出正确答案,而非真正理解规则。

            因此,我们随机化策略A和策略B的位置,对每个 (偏好对,rubric) 做多次调用,最终,通过位置一致率和正确率的判断,筛选出不受位置偏好影响、正确率高的强规则。

            方案三:稳定性筛选 + 交叉验证贪心选择

            方案二显著提升了判断稳定性,但在特定场景下仍然面临挑战:当策略输入分布多变时,筛出的规则泛化性差。在模型输入为随机商品组合的场景中,偏好对的分布高度变化,我们发现在某些偏好对上筛出的强规则,换一批数据后表现大幅下降。难以判断一条规则到底是真正的强规则,还是恰好在当前数据上表现好。因此,方案三围绕两个核心目标设计:

            1)稳定性验证:确保筛出的规则在不同数据子集上都有效,而非过拟合。

            2)消除数据泄漏:规则的评估必须要在它从未见过的数据上进行。

            具体实现

            1)稳定性筛选:

            设计原理:

            如果一条规则是真正有区分力的强规则,那么无论从数据集中随机抽取哪个子集,它都应该被稳定选中。反之,如果一条规则只在特定子集上被选中,说明它在拟合该子集的噪声,而非捕捉真实规律。

            执行流程:

            重复 200 次 Bootstrap 采样。每次随机抽取 70% 的偏好对,在该子样本上独立运行贪心算法,记录哪些 Rubric 被选入。200 次结束后,统计每条 Rubric 的选中频率。

            选中频率的含义:

            • 频率高 → 无论数据如何变化,这条 Rubric 都稳定被选中 → 区分力不依赖特定样本 → 稳健

            • 频率低 → 只在某些特定数据上被选中 → 在拟合噪声 → 不稳健

            按选中频率排序,取 Top-K 条作为候选池,排除纯噪声 Rubric。

            2)交叉验证贪心选择:

            设计原理:

            如果在同一批数据上既选择规则又评估规则,评估结果必然偏乐观。因此,我们通过5-Fold 交叉验证的方式,确保规则一定在从未参与过的数据评估。

            执行流程:

            在候选池上运行贪心算法。从空集开始,每一步尝试将每条剩余 Rubric 加入当前已选集合,用 5-Fold 交叉验证的验证集准确率评估效果。选入使验证集准确率提升最大的那条 Rubric。若没有任何 Rubric 能提升得分,则停止。

            总结

            三个方案的演进逻辑是递进的,每个方案针对不同场景下的不同问题。

            方案一:双侧验证,适用于偏好数据差异较明显的场景。核心解决的是方向问题——规则有没有区分力、方向有没有反转,从候选中快速过滤掉假规则和低区分度规则。

            方案二:比较评估 + 位置交换一致性,适用于规则本身复杂度高、模型对绝对判断不稳定的场景。核心解决的是稳定性问题——同一条规则,不同调用之间的判断结论不一致。通过将绝对判断改为对比判断,并随机化位置消除位置偏差,最终得到位置一致率高且正确率高的规则集。

            方案三:稳定性筛选 + 交叉验证贪心选择,适用于输入数据分布多变、规则需要在不同数据子集上都有效的场景。核心解决的是泛化性问题——规则在当前数据上表现好,换一批数据就失效。通过稳定性筛选排除过拟合噪声的规则,交叉验证贪心选择消除数据泄漏,确保最终筛出的规则在不同数据分布下都稳定有效。

            三个方案依次解决了三个独立问题:规则方向是否正确、判断是否稳定、结论是否可泛化。

            第三层:可信数据集验证

            通过前两层架构,我们成功获取了一个有效的Rubrics集合,并且在大部分的偏好对上能够区分是否是好的回答。但新的问题随之而来:有了 Rubrics,如何确定哪些偏好对值得用于 DPO 训练?

            我们将所有偏好对,用上面获取到的完整Rubrics集合独立判断3次,并且随机化策略A/B的位置,只有3次结论一致且方向正确的偏好对认为是高置信数据,纳入Golden Set。不一致/判断错误的偏好对被排除:方向不一致说明信号不可靠,方向一致但错误说明模型判断与标注冲突。

            通过这一方式,我们最终能够获取到覆盖率低(经过golden set筛选)但精确度更高的偏好对,用于最终DPO训练。

            d.与传统 Reward Model 对比

            维度

            传统神经网络 RM

            Rubric-based 评测体系

            可解释性

            黑盒打分

            自然语言规则,可审查可修改

            数据需求

            大量标注数据训练

            少量偏好对即可提取 Rubric

            迭代速度

            重新训练模型

            重跑 Pipeline 即可

            领域迁移

            重新训练

            替换业务 prompt 和数据

            调试能力

            难以定位问题

            逐条 Rubric 定位哪条判断失误

            增量更新

            全量重训

            Memory 机制增量演化

            e.同一方法论的延伸:最优策略收敛判断

            什么是策略收敛?

            模型持续为大量商品产出营销策略,每隔一段时间迭代一次。“策略收敛”是指某个商品的策略已经稳定地跑出了可信的正向结果,不需要继续迭代,可以固定下来。

            判断一个策略是否收敛,本质上是在回答一个问题:这个结论是真实的,还是数据噪声造成的假象?

            为什么这个判断很难?

            直觉上,判断一个策略好不好应该很简单——看指标有没有涨就行了。但实际操作中,这件事比想象中难得多。

            1. 问题一:单日数据不可信。 同一个商品,同一个策略不变,今天指标可能涨 20%,明天可能跌 15%。这不是策略在变,是数据本身的随机波动。如果只看单日表现就下结论,大概率是在追噪声。

            2. 问题二:样本量差异极大。 所有商品中,头部商品日均成交量极大,长尾商品可能一周只有 2 单。对于长尾商品,少了 1 单就是 50% 的跌幅——这个数字在统计上毫无意义,但如果不加处理,它会严重干扰整体结论。

            这两个问题的本质是一样的:数据量不足以支撑一个可信的结论。因此整个收敛判断流程只做一件事——层层过滤掉不可信的数据,直到剩下的结论足够硬。

            四层漏斗:逐层过滤噪声

              全量商品
                │
                ▼ Layer 1: 量级过滤
               有效商品(过滤约九成低成交量、零销、数据缺失样本)
                │
                ▼ Layer 2: 时间一致性过滤
              稳定商品(再过滤约八成,要求连续多天方向一致)
                │
                ▼ Layer 3: 稳定性评分排序
              高分商品(取头部少量样本)──── 贝叶斯收缩 CV + 趋势检测 + 综合评分
                │
                ▼ Layer 4: 组合口径验证
              clean_set(最终收敛集合)──── 贪心选择 + 组合约束逐日验证

              Layer 1:量级过滤——没有足够的数据,什么结论都不可信

              第一层最直接:数据量不够的商品直接排除。成交量、数据天数、对照组基准低于最低门槛的样本全部过滤掉。这不是说这些商品的策略不好,而是数据太少,说什么都是噪声。

              这一步过滤掉了约九成的商品。

              Layer 2:时间一致性——今天涨不算,连续涨才算

              过滤后的商品里,很多仍然是“今天涨明天跌”的状态。我们要求结论在时间维度上保持稳定:至少连续多天达标,且绝大多数天数方向一致。

              这一步的直觉很简单:一个真正有效的策略,效果应该是持续的,而不是随机出现的。这一步再过滤掉约八成。

              Layer 3:稳定性评分——达标天数短和达标天数长不是一回事

              通过时间一致性的商品都达标了,但可信程度仍然不同。达标天数短和达标天数长,直觉上就知道后者更可信。

              我们用贝叶斯收缩来量化这个差异。直觉上就是:数据天数越少,评分越保守,越向“行业平均水平”靠拢;数据越多,越相信实际数据本身。这样做的好处是,不会因为某个商品恰好有少数几天表现很好就给它打高分,也不会因为数据天数少就完全忽视它。

              综合达标天数占比、波动程度、趋势方向三个维度打分,取头部少量样本进入下一层。

              Layer 4:贪心组合验证——单个商品不可信,组合才可信

              即使通过了前三层,单个商品的日均成交量仍然有限,单日波动依然存在。解决思路是把多个商品合并来看——就像投资组合分散风险一样,个体的随机噪声在组合层面会相互抵消。

              具体做法是从贡献最高的商品开始,逐个尝试加入其他商品,每加入一个就验证组合后每一天的指标是否仍然全部达标,不达标则跳过,直到无法继续加入为止。最终输出的 Clean Set 就是已收敛的策略集合。

              f.与 Rubric 评测体系的方法论关联

              这套流程和前面的 Rubric 筛选体系,表面上解决的是完全不同的问题——一个在问“哪些规则能可靠地区分好坏回答”,一个在问“哪些商品的策略已经稳定收敛”。但我们发现,两者复用了同一套核心思路。

              第一步都是稳定性筛选:先过滤掉不可信的候选,Rubric 体系过滤不稳定的规则,收敛判断过滤不稳定的商品,方法一致。

              第二步都是贪心组合验证:单个候选不够可信,就把多个候选组合起来验证。每加入一个就检查组合整体是否仍然达标,不达标就跳过。

              背后是同一个原则:高精度优于高覆盖。Rubric 体系允许部分偏好对无法判断,收敛判断允许大量商品不进入 Clean Set。宁可覆盖率低,也不让不可信的数据混进来影响最终结论。

              四、结语

              Agent 评测不是上线前的一次性验收,而是驱动系统持续进化的基础设施。回顾整篇分享,核心有三件事:可评——有分层的指标、可信的数据集和校准过的评估器,知道系统哪里好、哪里差;可控——有准入、有护栏、有灰度、有回滚,出了问题能兜住;可迭代——每一次评测结果都能回流到 Prompt、数据、模型或业务规则的改进中,而不是停留在一个通过率数字上。

              这三件事能跑起来,靠的不只是算法能力或工程能力,更靠质量能力把问题发现、评估可信度、质量准入和持续回归组织成一个不停转的飞轮。最后再强调一次我们踩过最深的坑:评估器本身也需要被评估。 一个未经校准的 Judge 带来的虚假信心,比没有 Judge 更危险。因此,每个关键评估器都需要验证其与人工或业务专家判断的一致性,检查位置偏见、稳定性、泛化能力和 bad case 覆盖情况,确保它可以被用于模型选型、训练数据筛选、Prompt 回归和质量准入。

              千问AI平台-为Agent而生,驱动AI生产力
              扫描下方二维码,直达千问AI平台体验

              点击阅读原文即可体验!

              阅读原文

              跳转微信打开

              深度解析 Codex Harness 架构及其全新上下文压缩记忆体系的设计思路

              2026年10月27日 13:21

              飞樰 2026-10-27 13:21 浙江

              阿里妹导读

              文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

              背景

              近期 Codex 的开源项目也频繁更新了许多新特性,其中比较重要、也是我们本次会重点去讲的,就是关于 Memory 和上下文压缩的一个新机制。

              相比前段时间发布的DeepSeek Harness,Codex Harness 其实已经演化了很长一段时间了。虽然 Codex 的桌面端是闭源的,但它的核心 Harness,也就是 Codex CLI 一直都是开源的,所以我们完全可以从 GitHub 上 Codex CLI 的项目源码中,得知这个 Harness 的具体实现细节。

              前段时间,我一直想抽时间对 Codex 做个深度解析,但因为当时它整体的设计跟 Claude Code、OpenClaw 的核心逻辑比较接近,就没有重点去讲。不过最近它的变化越来越大,所以在现在这个阶段,我们很有必要对 Codex 进行一次深度解析,来看看它的 Harness 架构,以及近期那个关于 Memory 和上下文压缩的重大更新,到底有什么不一样的地方。

              Codex 的核心 Harness 架构

              首先我们先来看一个整体架构设计,与Claude Code、DeepSeek Harness 有哪些区别呢?

              整体架构:模块化解耦设计

              在 Codex 的源码里,大概有 118 个Crate 成员。Crate 是 Rust 中子项目的意思,大家可以理解为它是一个“模块”。也就是说,这么大的一个 Harness,是分成了这么多子模块来实现的。那为什么要分成这么多子模块呢?就是为了隔离每一个核心逻辑,避免这些逻辑之间产生复杂的交叉或者耦合。

              尤其是 codex-core 这个最核心的代码模块,它在 AGENTS.md 里有一段明确的要求:“Resist adding code to codex-core”(禁止往 codex-core 里面写代码)。因为 codex-core 是最核心、也最容易变臃肿的一个 Crate,所以每当要新加一个概念或者功能的时候,就得先想想是不是应该放在别的 Crate 里,而不是塞进 Core 里面。这种强制的解耦带来的好处其实很实在:首先,改一个小 Crate 只需要编译这一块区域,不需要重新编译整个项目;其次,把每个逻辑封装在自己的模块里,职责清晰,符合软件工程“高内聚、低耦合”的设计理念,而且有些模块也是可复用的,这是一种比较好的设计实践。

              相比 DeepSeek Harness 将所有组件都彻底抽象成插件的形式,Codex 其实还没到那种程度,它只是在代码层面把每一块都分成了一个独立的 Crate。这里面有几个比较关键的 Crate 可以介绍一下:

              • codex-core:这是最核心的部分,包含了 Agent 运行最主要的几个环节,比如 Session、主 Loop、工具执行、上下文管理与压缩等等,都在这个 Core 里面运行。

              • codex-protocol:指的是数据定义层。比如用户的动作被称为 Op(操作),模型 Agent 的操作被称为 Event,还有 Response Item 等模型回复内容,它维护了整个系统底层的一套协议。

              • codex-api:也就是模型的 API 层,封装了 OpenAI 的 Response API,包括 HTTP 和 WebSocket 这两种传输协议。

              • codex-app-server:可以叫协议服务层。整个 Codex Harness 把最核心的逻辑都封装到了这个 App Server 里面,对外暴露出一个 JSON-RPC 接口。这样一来,不管你是 TUI 命令行形式,还是 Desktop 桌面端,都是对接到这个 Codex App Server 上。相当于顶层协议可以有很多种,但底层的实现都是统一提供的。

              除此之外,还有codex-tui,也就是终端界面;codex-exec,是无头的执行前端,给脚本或者 CLI 使用;以及 codex-rollout,这是会话持久层,这个东西其实就是 Agent Trace,只不过在 Codex 里面定义为 Rollout。它会把历史对话的所有 Agent Trace 存成文件或者放到 SQLite 数据库里。

              还有一个 codex-arg0。arg0 一般来讲是一个 Shell 程序或者二进制程序的入口参数,Codex 通过传入不同的 arg0 值来实现不同的作用,这个点其实挺有意思的,我们后面再详细聊。

              事件驱动:Op 与 Event 的双向通信

              整个 Codex 也是事件驱动的,这一点和 DeepSeek Harness 很类似,但实际实现起来其实很不一样。DeepSeek 的事件驱动是整个插件体系都由事件来驱动,通过广播和监听的方式通知对应的实现方去运行;而 Codex 的事件驱动模型主要体现在下面两个方面。

              第一个是从客户端到 Agent 的方向。用户在操作时会发送一些 Op(Operation),这些 Op 会被包在一个 Submission 信封里传输给 Agent。常见的 Op 主要有 TurnInput(打开新轮对话)、Interrupt(打断当前工作)、Compact(上下文压缩)或者 Shutdown(关闭某个会话)等等。

              第二个是从 Agent 到客户端的方向。Agent 在返回给客户端时,会发送包含 Event Message的 Event。举个例子,Op 是用户对 AI 助手下达的指令,Event 就是 AI 助手最终结果的汇报。常见的 Event 比如 TurnStarted(一轮开始)、TurnComplete(一轮结束)、AgentMessage(模型输出)、AgentReasoning(模型思考)、ExecCommandBegin 或 OutputDelta(命令开始执行及输出流)、TokenCount(Token 用量更新)等等。

              也就是说,Codex 里每一个 Agent 的反应和返回,都会用一个事件来记载、来驱动整个流程。

              三层循环:Task、Turn 与 Sampling

              然后就是 Agent 真正运行起来的时候,它其实是有三层 Loop 的。

              第一层叫 Task Loop。Codex 里面的每一个任务都叫一个 Task,这个 Task 是用来处理用户具体需求的,比如用户的直接提问,或者在 Agent 运行过程中又发了新消息等等,都是在这个 Task Loop 里面处理的,包括把用户消息进行 Pending 等待之类的操作。

              在 Task Loop 里面,嵌套着第二层叫 Turn Loop(Run Turn),也就是轮次循环。这个轮次循环指的就是单轮的对话,对标了 DeepSeek Harness 里面的 Turn,同样表示它是一个轮次对话,另外上下文压缩也算是一个 Turn。

              第三层叫Sampling Loop,相当于 DeepSeek Harness 里面的 Step。它本质上就是一次模型请求、一次工具调用或者一次文字输出等等。不过有一点区别:在 DeepSeek Harness 里,一次工具调用到下一次模型请求整体算一个 Step;但在 Codex 里,每一个操作、每一个小步骤都被称为一个 Sampling。

              所以整个结构其实是一环套一环的,从外到内依次是 Task Loop、Turn Loop,再到最内层的 Sampling Loop。

              工具并发:并行执行与有序拼装

              来说说工具调用。一般来讲,模型在一次响应时可能会包含多个工具调用,所以 Codex 用了一个叫 FuturesOrdered 的队列来进行并发执行和结果收集。也就是说,工具在运行时其实是并发去跑的,这样速度会更快。

              但在给模型写回调用结果的时候,它会严格保持跟模型调用工具时的顺序一致。比如模型调了 A、B、C 三个工具,返回结果时也会按照 A、B、C 的顺序拼装起来。这么做主要是为了保证模型上下文的确定性:调用时是 ABC 的顺序,返回时也是这个顺序,模型会更好理解。避免出现模型调的是 AB,返回却是 BA 的情况,那样容易让模型产生混乱或搞错,影响效果的准确性。

              所以从工程实现上来说,它其实是并行执行的,但在拼装结果时用了一种有序的方式。对模型来讲,它可能以为工具是串行运行的,但实际上底层是并行跑起来的,这是一个很巧妙的工程设计。

              World State:通过 Diff 优化上下文

              再讲一个概念叫 World State,这是 Codex 里面比较有意思的一个设计。它解决的问题是:很多环境信息,比如 Shell 权限、AGENTS.md 模式等等,都有可能在每轮发生变化。但如果每次变化都要把所有信息重新读进来,又会非常浪费 Context Window。

              那怎么办呢?Codex 把当前的“世界”拆成了一组带类型的 Section,每个 Section 都有稳定的 ID、快照类型,还有和上一次相比变了哪些地方,也就是 Diff 的部分。也就是说,初始的时候,它会读取环境里所有重要的全量信息;但在后续如果你修改了 AGENTS.md,或者 Shell 环境发生了变化,它不会把上下文全部重读一遍,比如不会把 AGENTS.md全文再塞进来,而是只注入一条语句,说明 AGENTS.md 里修改了哪些地方。这样模型就可以结合这几个补丁和前面的全文来理解到底发生了哪些变化。

              这个好处是对 Prefix KV Cache 非常友好,因为它不会打破 KV Cache 的前缀,避免导致模型推理速度变慢,同时也降低了 Context Window 的消耗。所以这个叫 World State 的设计还蛮有意思的。

              SubAgent 与 Mailbox:精细化的协同

              再讲一个关于 SubAgent 的设计。在 Codex 里,主 Agent 可以Spawn(派生) 另一个子 Agent,而且这个子 Agent 还可以再去 Spawn 另一个子 Agent,形成嵌套结构。它 Spawn 的方式主要有几种:

              第一种叫 Fork Turns,就是去 Fork 一个自己的“影分身”。这个分身可以选择三种模式,而且这三种模式体现了对上下文的精细化控制:

              • 全部继承:完全继承父对话的上下文和历史记录,相当于纯 Fork 出来一个自己的分身。这主要是用来做并行的,比如要处理好几个没有串联关系的任务时,就可以搞几个“影分身”来快速处理,起到加速作用。

              • 继承最近三轮:只继承最近的三轮对话来 Fork 一个自己出来。这样上下文有一定隔离,但又保留了近期信息,适合在完成某些任务时清理一下上下文。

              • 无上下文(None):完全不附带任何上下文,Fork 出一个全新的、干净的子 Agent,用来完成需要彻底上下文隔离的任务。

              另外还有一个机制叫 Mailbox,是一种异步通信的语义化机制,Agent 之间通过这个 Mailbox 来通信。它有两种通知方式:

              • Send Message:只把消息入信箱,不触发目标 Agent 的新轮次。消息会在目标 Agent 下一次有轮次时被自动投递进上下文,并非依赖它“主动去读”。好处是不打断目标当前状态;代价是如果目标一直不再开启新轮次,消息会滞留在信箱中不被消费。

              • Follow-up Task:发到信箱的同时,若目标空闲则触发一轮把它唤醒(相当于像用户一样又提了一轮);若目标正在运行,则在消息边界或当前工具调用完成后投递,而不是硬打断正在进行的推理。好处是能让对方实时感知变化。

              所以这两种通知机制各有优劣,Codex 都保留了。整体来看,它的中间通信还是通过 Mailbox 这样一个类似 Shared Context 的中间态来实现的。这套 Multi-Agent 或者说 Agent 协同的设计,确实非常有意思。

              arg0 参数:身份识别与下文预告

              然后就是 arg0 这个参数,这也是一个有点意思的设计。简单来说,就是一个程序被启动的时候,它能够知道自己是被什么名字调用的。比如在 arg0 里,如果你传入的值是 codex,那它就知道自己是通过主 CLI Agent来运行的;如果你叫它 codex-linux-sandbox,它就知道自己其实是一个 Linux 沙箱助手;如果你叫它 apply-patch,它就知道自己是一个打补丁的工具。所以在调用 Codex 这个程序时,通过 arg0 传入不同的值,就会让模型知道自己是什么样的身份。

              以上就是关于 Codex 架构方面的一些内容,大概就介绍这么多。接下来我想非常重点地去介绍一下 Codex 的记忆和上下文压缩能力。我们会先讲一下它之前的版本是如何实现的,再讲一下 8 月份它做了一个比较大的更新后有哪些区别,以及跟 DeepSeek Harness 等类似方案的对比。

              Codex 的 Memory 和上下文压缩设计

              上下文压缩:“交接文档”式的策略

              首先我们来看一下上下文压缩。在之前的传统设计中,Codex 的上下文压缩跟 Claude Code、OpenHands 很类似,它有一个 Token 的 Compact Limit 阈值。基本上就是当上下文达到窗口 80% 的比例时就会启动压缩;另外还有一种软压缩,配置的压缩阈值会比 80% 低一些,当需要继续对话并且触发了这个上限的时候,就会启动压缩。

              除此之外,还有两种情况会触发压缩。一种是模型做了切换,比如换了模型之后,因为不同模型的提示词是不一样的,所以要重新构建上下文,这时候也会触发一轮压缩。你可以理解为前一个模型把上下文压缩好之后交给新模型,同时把旧的上下文清空掉。再一种情况是,当你的模型切换到了一个上下文窗口更小的模型时,也会进行压缩,避免切换完之后上下文直接超出那个更小模型的窗口限制。这就是它的压缩触发机制。

              然后就是压缩策略,这里面有个比较有意思的设计:通常我们认为的上下文压缩就是做一层 Summary,让压缩模型把对话的前 N 轮总结成一段摘要。但这样做效果不一定特别好,因为模型可能不清楚到底哪些才是关键信息。

              那 Codex 是怎么实现的呢?它不是告诉模型你要做一个总结或者删除无关信息,而是在提示词里告诉压缩模型:你现在要产出一份“交接文档”。也就是说,你当前的工作要交给另外一个模型了,哪怕是它自己(可能压缩后处理任务的还是它自己),或者是交给另外一个模型,那么你就需要把交接文档尽量写清楚、写重点。这样一来,模型会认为自己是在做交接,就会尽可能地把内容写得完整、结构化、清晰,而不是只总结出一段干瘪的 Summary。所以这种压缩方式的效果,比纯 Summary 的方式可能会更好。

              另外,Codex 在压缩的时候,是从最早的消息开始去压缩的。这样做的好处是,虽然压缩之后 Prefix KV Cache 的前缀会丢掉,但它也就丢那一次。到了下一轮的时候,就会基于压缩之后的那个轮次重新开始,因为它又变得稳定了,就会产生新的 KV Cache 来保障后面的推理速度变快。这也是它一个比较有意思的状态处理。

              Memory 机制:两阶段记忆与可遗忘机制

              然后讲一下它的 Memory 系统,这个是用来做跨会话长期记忆的。整体架构分下面两个阶段。

              第一个阶段叫逐会话提取(Rollout Extraction)。它会从旧的会话 Rollout 里面去提取它认为比较重要的信息,然后喂给模型,让模型产出一份它认为需要记录的内容,脱敏之后再存到数据库里面去。

              第二个阶段叫全局巩固(Global Consolidation)。它会把第一阶段从 Rollout 里提取出来的这些关键信息做一个 Top-N 的筛选,选出最重要的 N 条存到磁盘里。那怎么判断哪些是重要的呢?这其实是根据长期运行过程中的数据积累来看的。比如某些 Rollout 经常会被用户问到,系统就会记录下来,相当于一个 Citation(引用)次数。这个引用次数越高,它在 Top-N 里的排名就越靠前,下次被召回的概率也就越大。这是它非常重要的一个逻辑。

              这样一来,经常被用到的信息就会频繁地被召回;而不经常被用到的,就会慢慢被遗忘掉。这相当于一种可遗忘的记忆衰减机制,同时也是为了让整个系统能够更好地实现自进化。

              全新方案 Token Budget:跨窗口短期记忆

              接下来我们来讨论一下 8 月份 Codex 关于上下文压缩、记忆体系的最新更新,叫 Token Budget,它可以做到跨窗口的短期记忆。它本质上还是来解决压缩问题的,但这个设计已经有点像一个 Memory 机制了,不再是一个简单的压缩机制,所以我单独拿出来讲。

              传统的 Compaction 压缩有一个比较大的问题:系统在压缩时通常需要去猜哪些信息是重要的、以后要用。也就是说,做 Summary 的时候,它要尽可能让后面的模型或 Agent 能读到有用的信息,否则就可能把一些重要信息压没了,导致记忆遗忘。

              那 Token Budget 的核心思想是什么呢?就是让模型自己去管理这个记忆,不让 Summary 或 Compaction 的模型去猜了,而是让主 Agent 模型自己来决定。它同样是在触发上下文窗口阈值的时候启动,但不像之前那样直接做压缩,而是 New 了一个新的 Context Window。相当于我在一个窗口里做了一些事情,窗口满了之后,就另起一个新的窗口。这个窗口是有 ID 的,新起窗口时 ID 会增加序号。

              新起的窗口内容是完全清干净的,目的就是为了让上下文变得清爽。那它怎么跟上一个窗口衔接呢?这里有个概念叫 Thread Hint,是用来衔接窗口之间的“便签”。新窗口启动时,系统会从后端获取大概 4000 多字节的上下文提示词,注入到新窗口的 Developer Message 里,主要写上一个窗口做到了哪儿,给模型一个简单的背景,比如之前的任务做到什么程度了。但详细信息不会写在 Context Window 里,那怎么办呢?就要靠另外两个工具:Notes 和 History。

              Notes 是模型的私人笔记本,是一个服务端托管的虚拟文件系统,路径是虚拟的,并不是真正的文件系统。这个工具提供了很多操作,比如列出笔记文件、读取笔记内容、按字面搜索笔记、追加笔记内容、创建或覆盖笔记等等。两个窗口之间的通信就是靠这个笔记:上一个窗口在运行过程中会不断记录自己做的事情,比如改了多少个文件、改到什么地方了、哪里卡住了、哪里失败了、哪些测试用例有问题等等。下一个窗口运行时,可以先 List 笔记,然后按需读取自己需要的部分。比如我要继续完成某个任务,关注点在哪里,就可以先去读对应的 Note 回忆起来,再继续往后走;如果认为不需要读,就不去读。这样一来,既不用把上下文压缩掉导致丢失信息,也不用把全部上下文都导进来,而是整理成文件后按需读取。这就是 Notes 的作用。

              History 则是完整的历史对话信息,主要指的就是完整的 Agent Trace,全部存下来。它也提供了工具,比如 List 所有上下文窗口的信息、列出所有历史条目、读取指定条目的完整内容、搜索历史等等。这样模型在读 Note 时发现某些细节想进一步了解,就可以渐进式地去搜索 History 里的内容,找到当时发生的确切信息。

              所以 Codex 就是通过 Thread Hint、Notes 和 History 这三个机制,实现了跨 Window 的上下文通信。你会发现,它其实没有再做传统意义上的压缩了,已经不是上下文压缩了。它的形式非常像 Memory,但又不是长期 Memory,只是为了解决当前任务跨 Context Window 的状态衔接问题。也就是说,它实现的还是压缩这件事的作用,但是通过一种类似 Memory 的方式去实现的,同时又不同于长期 Memory 机制。

              我们刚刚讲过,长期 Memory 是存到数据库和磁盘里的,作为跨 Session 的积累;而 Token Budget 其实是单 Session 内的机制,主要管的是当前任务做到哪个地方、哪个步骤解决了。所以这两者其实是正交的:Memory 管的是长期不能遗忘的记忆,Token Budget 管的是当前窗口内的任务状态衔接。

              总结

              关于 Codex 的设计,其他部分其实跟绝大部分 Harness 都很类似,我就不去深究了。这次主要是想重点讲一下它整体架构中不太一样的地方,以及它在记忆和压缩这块的新设计“Token Budget”,希望能给大家提供一些参考。

              如果你在业务过程中设计 Agent,或者想要调优自己的 Agent,都可以尝试参考这些设计方案,看看能不能解决你的问题。比如上下文压缩能力的升级、记忆机制的更新,还有 SubAgent 协同的实现,都可以从 Codex 里找到一些借鉴思路。

              也是因为最近 Codex 更新比较频繁,用户增长量越来越高,再加上 GPT-6 的发布,我觉得这是一个很好的时机,来重点讲讲 Codex 的实现和它比较有创新的点,希望给大家带来更多业务上的参考。

              还是那句话,Agent 的发展速度非常快,每个月都有较大的更新和新的东西出现。我们也要持续关注这些新技术和架构的演化,擦亮眼睛,去理解它们的设计思路和意图,分辨出哪些是值得借鉴学习的,哪些是需要观望等待其更成熟的。只有这样,才能有利于我们更好地使用和优化自己的 Agent。同时,如果你在用 Codex 做 Coding 或办公,理解了它的机制,也会对你使用这些 AI 工具产生较大的帮助。

              以上是本次分享的所有内容。行文仓促,个人水平有限,还请各位多交流。有任何问题可以在评论区留言,我们互相交流、互相探讨、互相学习。

              千问AI平台-为Agent而生,驱动AI生产力
              扫描下方二维码,直达千问AI平台体验

              点击阅读原文即可体验!

              阅读原文

              跳转微信打开

              千问 AI Arena × 沙利文|联合发布二期任务,聚焦“消费决策助手 Agent”

              2026年10月16日 11:35

              沙利文 2026-10-16 11:35 浙江

              以下文章来源于:弗若斯特沙利文

              弗若斯特沙利文

              全球增长咨询公司,弗若斯特沙利文(Frost & Sullivan,简称“沙利文”)融合全球65年的咨询经验,28年来竭诚服务蓬勃发展的中国市场,以全球化的视野,帮助客户加速企业成长步伐,助力客户在行业内取得增长、科创、领先的标杆地位。

              千问 AI Arena 第二期正式上线:打造你的智能选购顾问

              千问 AI Arena 是由千问 AI 平台推出的一个围绕真实行业需求,面向行业专家和开发者提供 Agent 开发、评测与展示机会的平台,致力于推动 AI Agent 在真实场景中的探索与应用。

              现在,由弗若斯特沙利文(以下简称“沙利文”)、 阿里云高校合作团队与千问 AI 平台联合推出的第二期题目「消费决策好帮手:智能选购顾问」已正式上线,欢迎开发者参与体验和开发。

              https://www.qianwenai.com/arena/competitions/shopping-decision-agent

              信息越多,消费决策反而越难

              如今,消费者在购买商品前,可以从货架电商、社交媒体、用户评价及专业测评等渠道获取大量信息。丰富的信息为消费决策提供了更多参考,但不同来源的内容较为分散,评价标准和观点也不尽相同。面对众多商品和复杂信息,许多消费者仍然难以判断哪些信息值得参考、哪些产品真正适合自己。

              基于这一现实需求,本期邀请参与者打造一款智能选购顾问 Agent。它需要理解用户以自然语言描述的预算、使用场景、偏好与限制条件,并从题目提供的商品信息、用户评价和媒体评价中提取有价值的信息,对候选产品进行统一整理与比较。

              Agent 将通过三个环节完成任务:

              1.理解用户需求:从用户描述中提炼核心诉求,形成清晰的用户画像。

              2.梳理商品信息:整合不同来源的信息,形成结构统一、便于比较的产品列表。

              3.生成推荐建议:将用户需求与商品特点进行匹配,选出三款更适合用户的产品,并说明推荐顺序及依据。

              最终,Agent 需要输出一份完整的消费决策建议,不仅回答“推荐什么”,还要解释商品与用户需求之间的匹配关系,帮助用户在复杂信息中缩小选择范围,让消费决策更加清晰、有据可依。

              开发有支持,参与有收获

              在本期任务中,千问 AI Arena 将提供开发代金券补贴,降低模型调用与调试成本;优秀作品还将获得专属奖品奖励,让每一份认真投入都能获得认可。

              通过参与这一真实任务,你将亲手完成从用户需求理解、商品信息整理,到产品匹配与推荐建议生成的完整 Agent 开发链路。在实践中学习 Agent 工作流设计、大模型调用、多来源信息处理、提示词优化,并根据评测结果持续调试和改进,进一步提升 Agent 开发能力、AI 应用思维和解决实际问题的能力。

              高校大学生专属优惠与能力评测

              本任务是沙利文与阿里云高校团队共同发起的大学生AI人才灯塔计划中的实践能力测评任务,大学生参与可领取高校专属优惠券,降低开发成本:

              完整能力测评包含:

              1)AI认知测评:大学生生成式 AI 认知与应用基准调查问卷;

              2)AI实践能力测评:AI实践能力测评智能体,欢迎广大同学参与:

              加入千问 AI Arena,开启 Agent 实践

              千问 AI Arena 第二期「消费决策好帮手:智能选购顾问」现已正式上线。欢迎加入本期任务,将你对 AI Agent 的理解转化为能够解决真实消费难题的作品,在开发与迭代中探索更多 AI 应用的可能。

              现在报名并开始开发,打造真正懂需求、辨信息、做推荐的智能选购顾问,让每一次消费决策都有据可依。

              立即报名,开启你的 Agent 实践:

              扫码进入千问 AI Arena

              千问AI平台-为Agent而生,驱动AI生产力
              扫描下方二维码,直达千问AI平台体验

              点击阅读原文即可体验!

              阅读原文

              跳转微信打开

              ❌