铃阅时讯
❌

阅读视图

火山引擎开源 Agent 驱动的搜索自迭代技术

原创 Viking AI 搜索 2026-07-24 17:30 北京

会调用搜索,只是Agent搜索能力的第一步。更难的是:当结果不好时,它能不能找到改进方向,并通过一轮轮实验把搜索变好?

假设你刚上线一个商品搜索应用:搜品牌、品类和型号基本正常,但用户输入“适合通勤的轻便双肩包”,结果就开始跑偏。

你提高语义召回权重,长句理解变好了,精确型号词却可能变差;提高关键词匹配门槛,前几条结果更准了,零结果又开始增加;放大候选集,召回更多了,噪声和延迟也可能随之上升。

很多搜索项目都会遇到类似的调优困境。问题不是没有参数可调,而是这些参数彼此影响:一次看似简单的修改,往往同时改变召回、排序、零结果率和延迟。要判断一组策略是否真的更好,还需要准备 Query、批量搜索、相关性标注、离线评测和 Bad Case 分析。

过去,这套工作依赖搜索专家反复试验。每一轮都能做,但很难低成本、可复现地持续做。

于是我们开始思考:既然 Agent 已经能够理解目标和调用搜索,它能不能再向前一步——根据当前数据和 Query 分布,自动提出候选策略,用实验验证收益,并告诉开发者“为什么这组配置更好”?

围绕这个问题,火山引擎在开源项目 SearchCLI 中开放了 vs search tune。开发者提供应用、数据集和 Query Set 后,Agent 可以调用它完成 Query 校验、实验规划、候选策略生成、批量搜索、相关性标注、指标计算、结果对比和候选 Scene 创建。

在服饰商品、综合商品和图片内容等三个业务数据集的阶段性离线评测中,自动调优策略相较默认策略,NDCG@20 提升 11.66%~13.50%,Precision@10 最高提升 21.17%。

这组结果首先说明了一件事:底层模型和数据不变时,仅仅围绕具体业务的 Query 分布重新组织召回模式、关键词与语义权重、匹配门槛和候选规模,也能释放出可观的效果空间。以上为阶段性离线结果,实际收益仍取决于 Query 代表性、标签质量和业务数据分布。

我们把这套能力称为:Agent驱动的搜索自迭代。

“自迭代”不是让 Agent 绕过控制、直接修改线上策略,而是把“发现问题—提出假设—分配评测预算—筛选候选—验证收益—输出候选配置”变成一套可以重复运行、结果可以审阅的闭环。

接下来,我们将拆解这套闭环如何运转,以及背后的 SPA 策略优化框架,如何在有限搜索和标注预算下,把更多实验机会留给真正有希望的策略。

一、从“会搜索”到“会把搜索变好”

一个 AI 搜索系统通常包含召回模式、关键词与语义权重、关键词匹配门槛、候选集规模等配置。参数越多,适配不同场景的能力越强,但人工调优的门槛也越高。

真正困难的不是修改某一个参数,而是持续回答:当前策略在哪些 Query 上不好?应该加强关键词还是语义召回?平均指标提升是否掩盖了某类 Query 的退化?新策略是否会增加零结果和延迟?

搜索自迭代把这套专家工作流转化为一个反馈闭环:

Query 与业务数据
  → 评测当前效果
  → 生成候选策略
  → 执行搜索与标注
  → 比较指标和 Bad Case
  → 输出候选配置
  → 人工确认后进入验证

这里的“自”指流程可以由 Agent 持续驱动;“迭代”指每一轮都有 Query、标签和指标作为证据。生产变更仍保留明确的人为边界。

二、为什么是 Agent + Skills + CLI?

搜索调优既包含上下文判断,也包含领域知识和大量确定性执行。我们将三类工作拆给不同层次:

组成

职责

Agent

理解目标、选择评测路径、解释结果并决定下一步

Skills

提供参数语义、调优边界、安全规则和标准工作流

SearchCLI

执行批量搜索、标注、缓存、指标计算、恢复和报告生成

例如,Agent 会先判断用户是否有真实 Query;没有时,才生成合成 Query 并交由用户审阅。昂贵评测前必须先执行 Plan,确认策略数、Query 数和最大标注量。最终应用策略时,也必须先 dry-run,再由用户确认是否创建候选 Scene。

一次完整调优可能包含数千次搜索请求和大量 Query-item 相关性判断。如果让 Agent 临时拼脚本,网络抖动、限流或进程中断都可能让结果丢失。CLI 的价值,是把这些长任务变成稳定命令和机器可读的运行产物,让 Agent 决定“做什么”,让执行层保证“可复现地做完”。

一次自迭代如何发生

第一步是准备 Query Set。真实搜索日志、客服问题和人工整理的典型 Query 最有价值;如果暂时没有,也可以从数据集样本生成合成 Query,但必须先展示样例和类型分布,由用户判断它们是否代表真实意图。

第二步是校验和规划。validate 会检查格式、重复 Query、类型倾斜和 sourceItemIds 覆盖率;plan 则在不调用搜索和 LLM 的情况下,提前计算策略数量、搜索请求数与最大标签量。用户可以在真正花费预算前缩小 Query Set、减少候选或先选择低成本标签。

第三步是运行和复核。CLI 对每个候选执行批量搜索,先用 Source-item 银标快速筛选,或直接使用 LLM Judge 进行语义相关性判断,再计算 NDCG、MRR、Precision、零结果率和延迟。报告不仅给出推荐策略,也保留每条 Query 的明细,方便 Agent 解释收益来自哪里、是否存在退化。

最后,Agent 可以比较不同 Run,并把确认后的推荐配置转成候选 Scene。整个过程对应 query-generate → validate → plan → run → report → compare → apply,每一步都有结构化输入、输出和检查点。

三、SPA:把预算花在更值得评测的策略上

搜索调优看起来像参数优化,实质上却是一个评测成本高、反馈有噪声、参数存在约束、结果还必须可解释和可落地的实验设计问题。

候选策略、Query 数量和 TopK 增加后,最坏情况下的标注量近似为:

strategy_count × query_count × topK

因此,算法的核心任务不是生成尽可能多的组合,而是决定:哪些策略值得先测,哪些应尽早淘汰,下一轮沿什么方向探索,以及何时已经有足够证据停止。

SPA(Strategy Population Annealing)把搜索策略编码为带领域语义的 Genome,以专家先验构造初始种群,通过多保真评测、多视角 Elite、语义化进化和退火机制分配预算,再用鲁棒统计选出稳定、可解释的候选策略。

1. Genome:搜索参数不是普通数值向量

{
"user_defined_recall_mode": "KeywordSemantic",
"dense_weight": 0.25,
"text_weight": 0.75,
"query_keyword_match_percent": 0.3,
"max_retrieved_num": 100
}

这组参数既有枚举值,也有近似连续值和请求侧参数;同时还存在约束,例如 dense_weight 与 text_weight 需要归一,不同召回模式下参数含义也不同。SPA 的交叉、变异和移动都必须先理解这些语义,生成后还要经过裁剪、归一化、合法性校验和去重,才能转化为可执行配置。

第一阶段聚焦 similarity-only:只优化召回模式、关键词/语义权重、关键词匹配比例和最大候选数,不同时调整 Rerank、个性化、热度或运营规则。这样才能把效果变化归因到文本相关性策略本身。

2. 初始种群:覆盖搜索行为,而不是平均撒点

Matrix Optimizer 会在若干固定档位上组合参数,优点是简单、稳定;缺点是不同参数不一定产生不同搜索行为,有限预算可能被大量相近或低价值组合占用。

SPA 的初始种群由当前策略、默认 Baseline、KeywordOnly / SemanticOnly 等边界策略、粗粒度 Matrix 和行业 Prior 组成。商品搜索可以多保留关键词主导的混合策略,知识库问答则保留更多语义增强分支。算法从有意义的行为区域出发,而不是从随机点开始。

当前开源首版已实现这一层:基于多个代表性中心,建立粗、细两种搜索半径,生成边界、中心和邻域候选,再执行合法化与去重。粗粒度邻域用于判断方向,细粒度邻域用于比较局部差异。

3. 多保真评测:先排除错误方向,再提高置信度

完整设计将评测分为三层:

阶段

评测方式

目的

Fast Pass

小 Query Set + Source-item 银标

淘汰明显无效策略

Middle Pass

按 Query 类型扩大评测

识别只在局部场景有效的策略

Confirm Pass

完整 Query Set + LLM Judge / 人工标签

高置信确认最终候选

如果一个策略连生成 Query 的源 Item 都召不回来,就没必要继续为它的 Top20 结果支付 LLM 标注成本。反过来,Fast Pass 高分也不能直接胜出:它还要证明收益不是只集中在标题改写等少数 Query 类型上。

4. 多视角 Elite:保留一条策略前沿

只按平均 NDCG 选 TopN 很危险。某个策略可能在短词 Query 上很强,却让自然语言 Query 明显退化;另一个策略平均分略低,但零结果率、延迟和分类型表现更稳定。

因此,SPA 同时保留 Global Best、Query-Type Best、Stable Best、Low-Latency Best、Low-Zero-Result Best、Baseline-Improver 和差异足够大的 Diverse Candidate。每个 Elite 都回答一个问题:它为什么值得继续消耗预算?这比单一排名更能防止种群过早塌缩。

5. 语义化进化与种群退火

下一代候选来自三类动作。交叉会组合两个 Elite 中已被验证的有效结构,例如采用策略 A 的关键词/语义权重和策略 B 的关键词门槛;局部变异会在优秀策略附近调整权重、候选规模或匹配比例;方向移动则让候选向全局最优或某类 Query 的局部最优靠近。

这些动作都不是随机拼 JSON。例如,高关键词门槛导致零结果上升时,下一代会降低门槛;候选数从 100 增加到 200 没有提升却增加延迟时,搜索会向较小规模收敛。

退火温度控制探索幅度:早期温度高,允许接受少量当前略差但差异较大的策略;中期围绕 Elite 交叉和变异,同时保留边界探针;后期温度降低,只在高价值区域细调。与单点模拟退火不同,SPA 同时保留多个策略分支,因此既能跳出局部最优,也不容易被一次随机移动带偏。

6. 鲁棒目标:不被一次高分欺骗

RobustScore =
  NDCG@20
  + α × MRR@10
  - β × zero_result_rate
  - γ × latency_penalty
  - δ × query_type_variance
  - ε × confidence_interval_width

NDCG 衡量整体排序,MRR 强调首个高相关结果的位置;零结果率和延迟是落地约束;Query 类型方差用于惩罚“只在少数类型上好”的策略。置信区间可通过 Bootstrap 得到:对 Query Set 多次重采样,如果一个策略均值高但区间很宽,说明它可能只是碰巧在这批 Query 上表现好。

因此,完整 SPA 要找的不是一次实验中的最高分,而是在 Query 分布和 Judge 噪声下仍然稳定的策略。

四、实验结果

实验比较自动调优策略与默认策略。在三个不同业务数据集上,

  • NDCG@20 提升 11.66%~13.50%

  • NDCG@10 提升 9.56%~15.08%

  • MRR@10 提升 7.74%~14.95%

  • Precision@10 提升 7.36%~21.17%。

五、让算法真正可用的 CLI 工程层

算法决定评估什么,工程层决定实验能否稳定完成。SearchCLI 重点沉淀了四类能力。

Plan:先把实验成本编译出来。vs search tune plan 不实际调用搜索或 LLM,而是提前给出 Query 数、候选策略数、预计搜索请求和最大标注量,让 Agent 在昂贵任务开始前缩小范围或调整标签来源。

受控并发:把长任务拆成小任务。  当前开源实现将评测拆为 strategy × query 任务,并采用有界批次调度;每批通过 Promise.allSettled 汇总结果,单个失败不会丢掉同批已完成的数据,也不会无限放大请求。任务队列与 Worker Pool 是后续可继续演进的方向。

标签缓存:让 LLM 判断成为可复用资产。  不同策略经常召回相同 Item。SearchCLI 的缓存 Key 同时包含数据集、Query、Item 内容和 Judge 配置;只有这些信息一致时才复用,内容或评测标准变化后旧标签会自然失效,从而在节省成本的同时避免误用历史结果。

Checkpoint / Resume:中断后接着跑。  CLI 会持续保存运行状态、搜索结果、已用标签、失败记录、中间指标和性能摘要。任务中断后,Agent 可以使用原 Run ID 继续未完成部分,不必重新支付已经完成的搜索与标注成本。

最终的 apply 也保留安全边界:先 dry-run 展示配置,获得确认后只创建新的候选 Scene,不会自动切换默认入口。自动化减少的是重复劳动,不是取消人的业务判断。

六、快速开始

SearchCLI 要求 Node.js 20 或更高版本,并采用 Apache-2.0 License 开源。安装 CLI 与 Viking Skills:

git clone git@github.com:volcengine/SearchCLI.git vs
cd vs
bash ./scripts/install.sh
npx skills add "git@github.com:volcengine/SearchCLI.git" -y -g
vs auth login
vs doctor --json

Agent可以通过以下指令进行调优:

vs search tune validate --queries ./queries.jsonl --json
vs search tune plan \
  --application-id <application-id> \
  --dataset-id <dataset-id> \
  --queries ./queries.jsonl \
  --profile similarity-only \
  --optimizer spa \
  --json
vs search tune run \
  --application-id <application-id> \
  --dataset-id <dataset-id> \
  --queries ./queries.jsonl \
  --profile similarity-only \
  --optimizer spa \
  --label-source llm \
  --json
vs search tune report --run-id <run-id> --json

项目地址:https://github.com/volcengine/SearchCLI

结语

Agent 时代,搜索系统面对的问题正在从“能不能提供足够多的策略参数”,转向“能不能根据当前数据和 Query,持续找到更适合的策略”。

SearchCLI 给出的答案,是用 Skills 沉淀搜索专家知识,用 CLI 承担确定性实验,用 SPA 提高评测预算的有效性,再由 Agent 把它们组织成一个可审阅的闭环。

从“可调用”到“可评测”,从“可配置”到“可迭代”。

这正是我们开源 Agent 驱动搜索自迭代技术的初衷。

未来,Viking AI搜将推出更多能力,和我们一起,让搜索变得更简单、让自迭代这件事持续向前!

点击「阅读原文」,立即体验

阅读原文

跳转微信打开

  •  

CVPR 2026 Highlight 丨 用“几何感知”把扩散 Transformer 采样做成免训练加速器

原创 AI 2026-07-24 12:00 上海

扩散采样不是在平直空间里走直线,而是在模型学到的弯曲特征流形上前进。

前言

扩散模型已经成为图像生成和视频生成中最重要的一类基础模型。从 DiT 到 FLUX,再到 HunyuanVideo,越来越多的高质量生成系统都依赖扩散 Transformer 来逐步完成从噪声到图像、从噪声到视频的生成过程。

但一个非常现实的问题是:扩散模型很慢。

这种慢并不是因为单次前向传播特别复杂,而是因为生成过程通常需要很多轮连续去噪。每一步都要调用一次大模型,几十步甚至上百步串行执行下来,推理延迟和计算成本都会变得很高。对于交互式图像生成、视频生成、移动端部署或大规模内容生产来说,这种成本很难忽视。

一个很自然的问题于是出现了:

既然扩散模型慢在采样步数多,那能不能直接少采几步?

直觉上,这似乎是最直接的加速方式。但在实际系统中,粗暴减少采样步数往往会带来明显的质量下降:图像结构变形、语义不稳、细节丢失,视频中还可能出现闪烁和运动不连续。

也就是说,扩散模型加速并不是简单地“少算几步”。真正困难的是:

如何在大步采样时,仍然让生成轨迹沿着模型学到的正确方向演化?

我们的论文 GeoRK2: Geometry-Guided Runge-Kutta Integration for Diffusion Transformer Acceleration 正是围绕这个问题展开。目前文章已被CVPR2026收录为HIGHLIGHT。GeoRK2 是一个免训练、可插拔的扩散 Transformer 加速框架。它把数值积分中的二阶 Runge-Kutta 方法和深度特征空间中的几何结构结合起来,使扩散采样在更少计算下仍然保持稳定的生成质量。

简单来说,GeoRK2 的核心思想是:

扩散采样不是在平直空间里走直线,而是在模型学到的弯曲特征流形上前进。加速采样时,必须尊重这个几何结构。

图片 1 - 多种方法在多个提示词下生成图像的可视化结果。在高加速比下,FORA 和 TaylorSeer 等方法会出现不同程度的图像质量下降,而 GeoRK2 仍能保持更优的性能。

动机:为什么扩散模型一加速就容易“跑偏”?

传统扩散采样器通常把去噪过程看成一个普通的数值积分问题。给定当前噪声状态,模型预测下一步应该往哪里走,然后采样器沿着这个方向推进。

在 DDIM、DPM-Solver 以及很多后续加速方法中,一个隐含假设是:

扩散状态的演化发生在一个近似平直的欧氏空间中。

如果这个假设成立,那么大步采样就可以被理解为在平直空间中做更大的跳跃。只要数值积分公式足够高阶,采样轨迹就应该能够保持稳定。

但扩散 Transformer 的内部特征并不是这样工作的。

我们在 DiT-XL/2 和 FLUX.1-dev 的中间激活上观察到一个非常明显的现象:模型的特征变化高度集中在少数主方向上。换句话说,虽然特征向量位于一个高维空间中,但真正承载主要变化的方向其实很少。

论文中的激活谱分析显示,前 64 个主方向已经能够解释超过 99% 的特征方差。这说明扩散 Transformer 的去噪过程更像是在一个低维、弯曲的特征流形上运动,而不是在整个高维欧氏空间中自由移动。

图片 2 - 主导方向解释的方差。针对 (a) DiT-XL/2 和 (b) FLUX.1-dev 的热力图显示,前 64 个主成分方向解释了超过 99% 的方差。

这带来一个关键问题:

当采样步长变大时,如果仍然使用普通欧氏空间中的直线外推,轨迹就可能逐渐偏离模型真正学到的特征流形。我们把这种现象称为:

manifold drift,流形漂移。

直观来说,模型知道一张图像应该如何从噪声中逐步成形,但这个过程发生在它内部学到的特征几何结构上。普通加速方法只看到“往前走”,却没有看到“应该沿着哪条弯曲的路走”。当步子迈得很大时,轨迹就容易切过流形曲率,而不是贴着流形前进。

图片 3 - (a) GeoRK2 遵循内在流形几何结构,相比忽略曲率的欧氏空间预测方法,能够生成更平滑且更忠实的特征轨迹。 (b) 在大步长条件下,GeoRK2 仍保持稳定,而与几何无关的预测器会因误差快速累积而性能受损。

最终表现出来的就是:

  • 图像结构开始扭曲;

  • 语义条件逐渐变弱;

  • 局部纹理和全局布局不一致;

  • 视频生成中出现帧间闪烁和运动不连续。

因此,扩散 Transformer 加速的核心矛盾可以概括为:

我们想减少采样步数,但不能让采样轨迹偏离模型学到的特征流形。

GeoRK2 的出发点,就是把这个被忽略的几何问题显式建模出来。

方法:GeoRK2 = 几何感知预测 + 

流形校正 + 自适应稳定

图片 4 - GeoRK2 通过将黎曼积分嵌入 Transformer 推理流程,实现具有几何感知能力的扩散采样。(左)预测阶段利用缓存的激活值,在较大时间间隔上外推潜在动态;校正阶段则在局部构建的几何流形上细化轨迹。(右)在每个 Transformer 块内,GeoRK2 引入轻量级的预测-校正模块,用曲率感知的二阶积分替代现有采样器(如 DDIM、DPM-Solver)的默认数值更新,从而在无需重新训练的情况下实现稳定且加速的生成。

GeoRK2 的方法设计可以用一句话概括:

在 RK2 二阶积分的基础上,用模型内部激活估计局部特征几何,并用这个几何结构约束大步采样。

从整体上看,GeoRK2 包含三个核心模块:

1.  几何感知的 RK2 预测;

2.  低秩度量预条件校正;

3.  自适应稳定机制。

下面分别来看。

1. 几何感知 RK2:不是直接外推,

而是沿主特征方向外推

Runge-Kutta 方法是经典数值积分中的一类高阶方法。普通的一阶方法只看当前位置的速度,而 RK2 会额外估计一个中点,从而更准确地预测下一步状态。

在扩散采样中,这意味着:

不要只根据当前一步的方向前进,而是先估计中间位置,再用中间位置的方向来决定大步更新。

但 GeoRK2 并不是直接把标准 RK2 套到扩散 Transformer 上。原因在于,高维特征空间中并不是所有方向都同样可靠。很多方向可能只是噪声,或者并不位于模型真正使用的特征流形上。

因此,GeoRK2 在做中点预测时,会先把更新投影到主导特征子空间中:

    h_mid = Projection(h_t + step / 2 * v_t)

    这里的 Projection 不是任意设计的,而是来自模型中间激活的低秩主方向。也就是说,GeoRK2 会先问模型:

    当前这个阶段,哪些特征方向才是真正重要的?

    然后只在这些方向上进行大步预测。

    这样做的直观效果是:

    • 保留模型最有信心的主要变化方向;

    • 抑制偏离流形的噪声方向;

    • 避免大步采样时轨迹漂到不可靠区域。

    可以把它理解成:普通 RK2 是“往前走得更准”,而 GeoRK2 是“沿着模型认为可靠的路往前走”。

    2. 低秩几何校正:用激活协方差

    估计模型内部的局部度量

    只做投影还不够。因为扩散模型的去噪过程并不是一条直线,而是在不同噪声阶段经历不同曲率的轨迹。特别是在高噪声向低噪声过渡时,特征空间的几何结构会发生明显变化。

    为了解决这个问题,GeoRK2 会从模型的中间激活中构造局部协方差矩阵:

      G_t = covariance(H_t) + epsilon * I

      这个矩阵可以理解为当前特征空间的一个局部“几何度量”。大特征值方向表示模型在这些方向上变化强、结构敏感,更新时需要更加谨慎;小特征值方向则表示变化较平坦,可以更放心地加速。

      但直接使用完整协方差矩阵代价很高。对于扩散 Transformer 的中间层来说,完整矩阵求逆会带来明显计算开销。

      GeoRK2 的关键工程设计是:只保留低秩主方向。

      由于论文中观察到 top-64 主方向已经解释超过 99% 的方差,GeoRK2 使用截断 SVD 来近似这个几何度量。这样既保留了最重要的特征几何,又把复杂度控制在可接受范围内。

      在得到低秩几何度量之后,GeoRK2 会对预测结果做一次 metric-preconditioned correction:

        geometry correction = - lambda * G_inverse * prediction_error

        直观来说,这一步是在问:

        当前预测结果和模型真正希望的去噪方向之间还有多少偏差?这个偏差应该按照特征流形的几何结构如何修正?

        这就是 GeoRK2 中的“几何校正”。

        它不是重新训练模型,也不是额外学习一个校正网络,而是直接利用预训练模型内部已有的激活统计来完成校正。

        为了进一步降低开销,GeoRK2 还使用 Woodbury identity 来高效计算低秩矩阵逆,并且每隔若干步更新一次 metric,而不是每一步都完整重算。

        3. 自适应稳定:

        遇到剧烈阶段切换时及时刹车

        扩散采样过程并不是平稳的。

        在早期高噪声阶段,模型主要决定全局布局和大致语义;在后期低噪声阶段,模型开始细化纹理、边缘和局部细节。不同阶段之间的过渡往往会带来速度和加速度的突变。

        如果加速方法在这些位置仍然激进外推,就可能出现不稳定。

        因此,GeoRK2 加入了一个非常简洁的自适应稳定机制。它会监测当前采样轨迹的加速度方差:

          ifVar(a_t) suddenly increases:
              use conservative fallback
          else:
              use geometry-aware RK2 prediction

          当检测到状态变化过于剧烈时,GeoRK2 会暂时退回到更保守的两点外推,避免错误被快速放大。最后还会使用 momentum mixing 对输出进行平滑:

            h_out = rho * corrected_prediction + (1 - rho) * h_t

            这一步的作用不是让方法变复杂,而是让几何积分在真实模型中更加稳健。

            论文中也观察到,这个 rollback 机制主要在高加速设置下的关键时间段触发,例如 FLUX 中从概念布局转向细节 refinement 的阶段。它带来的额外开销很小,但可以显著降低发散风险。

            工程上是否可落地?

            GeoRK2 的一个重要特点是:它不需要重新训练模型,也不需要修改模型结构。

            它更像是一个轻量级 PyTorch wrapper,在推理时拦截中间激活,估计局部几何结构,然后替换或增强原本的采样更新。

            从复杂度上看,GeoRK2 的额外开销主要来自三部分:

            • 主特征方向投影;

            • 低秩 metric correction;

            • 周期性截断 SVD。

            论文中的 profiling 显示,在 DiT-XL/2 上,当截断秩取 64 时:

            • projection step 约 0.014 TFLOPs;

            • metric-preconditioned inversion 约 0.022 TFLOPs;

            • amortized truncated SVD 每步约 0.011 TFLOPs;

            • 总额外 FLOPs 约 5.1%;

            • 实测每步 wall-clock overhead 约 3.8%。

            考虑到 GeoRK2 能够带来 4-5 倍级别的整体采样加速,这个额外开销是很小的。

            更重要的是,它的超参数并不敏感。论文中使用同一组配置:

              lambda = 0.1
              rho = 0.85
              beta = 0.9
              rank = 64

              就可以在 DiT-S/2、DiT-B/2、DiT-XL/2 等模型上稳定工作。这说明 GeoRK2 不是依赖精细调参的特定技巧,而是利用了扩散 Transformer 特征几何中的普遍结构。

              实验结果:

              4-5 倍加速下保持高质量生成

              为了验证 GeoRK2 的效果,论文在三个代表性场景上进行了实验:

              • ImageNet-256 上的 class-conditional image generation,使用 DiT-XL/2;

              • DrawBench 上的 text-to-image generation,使用 FLUX.1-dev;

              • VBench 上的 text-to-video generation,使用 HunyuanVideo。

              对比方法包括传统采样器 DDIM、DPM++,以及多种扩散 Transformer 加速方法,例如 FORA、TaylorSeer、ToCa、SmoothCache、TeaCache、DBCache 等。

              1. ImageNet-256:

              高加速下仍保持较低 FID

              在 ImageNet-256 + DiT-XL/2 上,GeoRK2 在多个加速档位下都取得了较好的速度-质量权衡。

              例如:

              • GeoRK2(N=2) 将延迟从 8.38s 降到 4.42s,达到 1.95x 加速,同时 FID 为 2.41;

              • GeoRK2(N=3) 在 2.70x 加速下取得 FID 2.67;

              • GeoRK2(N=8) 在 4.92x 加速下仍保持 FID 3.32。

              相比之下,很多方法在类似高加速设置下 FID 会明显上升。这说明在 aggressive acceleration 下,几何感知积分能够更好地保持采样轨迹稳定。

              表格 1 - 使用 DiT-XL/2 在 ImageNet-256 上的定量比较。结果为 5 次运行的平均值。Speed表示相对于 DDIM-50 的加速倍数。

              2. FLUX.1-dev:

              复杂文本条件下保持语义一致性

              在 FLUX.1-dev + DrawBench 上,GeoRK2 的优势尤其体现在语义一致性上。

              在 NFE=50 设置下:

              • GeoRK2(N=5) 达到 3.52x latency speedup,ImageReward 为 0.9889,CLIP Score 为 34.963;

              • GeoRK2(N=7) 达到 4.06x latency speedup,仍保持 ImageReward 0.9792;

              • GeoRK2(N=8) 达到 4.39x latency speedup,CLIP Score 仍保持在 33.476。

              这一点很重要。因为文本到图像生成不仅要求图像清晰,还要求模型正确理解 prompt。部分缓存类方法虽然也能加速,但在复杂文本条件下更容易损失语义一致性。

              GeoRK2 通过几何约束保持中间特征轨迹稳定,因此在大步采样时更不容易偏离文本条件所对应的生成方向。

              表格 2 - 在 FLUX.1-dev 上的比较。结果为 5 次运行的平均值。Speed 表示相对于 50 步参考方法的加速倍数。

              3. HunyuanVideo:

              视频生成中的时序稳定性

              视频生成比图像生成更难加速。因为模型不仅要保证单帧质量,还要保证帧与帧之间的运动连续性。

              在 HunyuanVideo + VBench 上,GeoRK2(N=8) 达到:

              • latency 从 323.89s 降到 69.44s;

              • latency speedup 为 4.66x;

              • FLOPs speedup 为 6.77x;

              • VBench Score 为 80.73。

              相比其他加速方法,GeoRK2 在高加速下更好地保持了时间一致性。论文中也指出,一些方法虽然单帧质量尚可,但会出现可见 flickering,而 GeoRK2 的几何度量估计能够更自然地适配时空注意力特征。

              表格 3 - 在 HunyuanVideo 上基于 VBench 的比较。结果为 5 次运行的平均值。Speed 表示相对于 50 步基线方法的加速倍数。

              消融实验:每个组件都在发挥作用

              为了验证 GeoRK2 的设计是否必要,论文还做了系统消融。

              在 DiT-XL/2 上:

              • 完整 GeoRK2 的 FID 为 2.31;

              • 去掉 geometry correction 后,FID 上升到 3.02;

              • 去掉 RK2、改用 Euler 后,FID 上升到 2.87;

              • 去掉欧氏预测相关设计后,FID 上升到 3.41。

              这说明 GeoRK2 的优势不是来自某一个单独 trick,而是来自三个部分的协同:

              二阶预测负责更准确地大步前进,几何校正负责把轨迹拉回流形,自适应稳定负责避免阶段切换时发散。

              DiT-XL/2 上的受控消融实验(N=3)。FID degradation 表示相对于完整 GeoRK2 的 FID 相对增加幅度。

              表格 4 - DiT-XL/2 上的受控消融实验(N=3)。FID degradation 表示相对于完整 GeoRK2 的 FID 相对增加幅度。

              论文还分析了截断秩的影响。结果显示,从较低 rank 增加到 64 时质量明显提升,但继续增加到 128 后收益变小。这与前面的谱分析一致:主导特征方向已经覆盖了大部分有效几何信息。

              图片 5 - 截断秩对特征重建的影响。散点图比较了在 1/64、1/32、1/16、1/8 比例下的原始特征与低秩特征,结果显示较高秩时与恒等线的对齐更紧密,并在 1/64–1/32 处趋于饱和,这与 FID 饱和以及捕获 99\% 谱能量的现象一致。

              总结

              GeoRK2 的核心贡献,并不是简单提出一个新的采样器,而是把扩散 Transformer 加速中的一个关键问题讲清楚:

              高倍采样加速失败的原因,往往不是数值阶数不够,而是采样轨迹偏离了模型内部学到的弯曲特征流形。

              从这个视角出发,GeoRK2 做了三件事情。

              第一,从现象上,它指出了 aggressive acceleration 下的 manifold drift 问题:普通欧氏空间外推会让去噪轨迹逐渐偏离模型真实的特征几何。

              第二,从方法上,它把二阶 Runge-Kutta 积分和 Riemannian feature geometry 结合起来,用激活协方差估计局部度量,并通过低秩投影和 metric correction 保持采样轨迹稳定。

              第三,从工程上,它保持了非常克制的设计:不重新训练、不修改模型结构,只作为 plug-and-play 推理模块接入现有扩散 Transformer,并在 DiT、FLUX、HunyuanVideo 上实现 4-5x 级别加速。

              对于正在做图像生成、视频生成或扩散模型推理优化的团队来说,这项工作的启发是:

              扩散模型加速不只是减少采样步数,而是要让每一次大步更新都沿着模型学到的几何结构前进。

              当我们把特征流形的几何信息纳入采样器设计时,大模型生成就可以在更低成本下保持更稳定的质量。

              -End-

              作者丨五角场打工王、争气尾流

              跳转微信打开

              •  

              【早说】别急着教设计师用AI——先给他们一个敢当新手的地方

              Sheila Kazan 2026-07-24 09:00 日本

              当 AI 浪潮席卷而来,Slack 设计团队没有选择自上而下的培训,而是搭建了一个允许困惑、鼓励探索的学习社群

              前言

              当 AI 浪潮席卷而来,Slack 设计团队没有选择自上而下的培训,而是搭建了一个允许困惑、鼓励探索的学习社群。因为比工具更重要的,是让每个人都敢迈出第一步。

              今日前端早读课文章由 @Sheila Kazan 分享,@飘飘编译。

              用于解决实际工作中的 新技能团队普及 / 跨职能协同创新 问题,最值得借鉴的一点是:不要从工具 Enablement 开始,要从人开始。提供一个容许失败、没有评判的 “集装箱(Container)”,让走得快一步的人带着新手一起跑。

              译文从这开始~~

              不断听到的问题

              "AI 到底怎么用?"

              这个问题是在私信里悄悄打出来的,而不是当众问出口的 —— 这本身就说明了一切。我们的设计团队从不缺好奇心,缺的是一个可以安心当 "新手" 的地方。一个不懂不会被视为短板、反而恰恰是存在意义的空间。于是我们创建了这样一个空间。秉承 Slack 一贯的风格,我们 AI 的起源故事始于一个 Slack 频道和满腔热情。

              2025 年初,整体氛围还是探索性的。AI 感觉像是远方地平线上一件酷炫的新事物,值得上手摸一摸。我们开了一个频道,给有兴趣的人安排了一些工具上手培训,也办了几场分享会。那时候的心态就是 "先玩玩看"—— 压力不大,好奇心很足。非常 Slack Design 的气质。

              然后,2026 年来了。

              AI 一夜之间不再是 "未来的事",而是 "眼前的事"。工程师已经跑起来了,跑得飞快。设计师必须跟上节奏 —— 是 "并肩跑",不是 "跟在后面追"。正是在这个节点上,"Builder Days"(共建日)应运而生:三天时间,设计师、工程师和产品经理放下各自的路线图,用 AI 一起动手造东西。团队的情绪从好奇悄然转变为一种带着紧迫感的共识:我们必须做好准备。

              作为一名设计运营人员,我特别关注学习项目以及变革中的人性化层面,因此我看到了一个帮助的机会。不是要强加任何规定,而是创造一个空间,让充满好奇心的设计师能够真正、切实地做好准备,带着可以贡献的内容参加 Builder Days,而不仅仅是作为旁观者。

              这就是那个故事。我们做了什么,学到了什么,哪些事情让我们感到惊讶,以及我们想告诉任何正在努力寻找自身定位的设计团队 —— 当一切同时开始变化时,该如何应对。

              为设计而生,因设计而创

              问题不在于学习机会太少,恰恰相反 —— 太多了。各种工具培训像潮水一样涌进日程安排,但几乎没有一个是为设计师量身定制的。大多数课程面向工程师,我们不过是顺便旁听而已。还有一个棘手之处:一切变化太快,周一写的操作指南,到周五就过时了。

              于是我们决定搭建自己的 AI 赋能课程体系 —— 为设计师而生,由设计师打造。

              这句话成了我们的北极星。从一位设计师同行口中听到 AI 工具能做什么,和从一位工程师那里听到,感受是截然不同的。这不是布道,而是一种 "许可"—— 对于团队中那些仍在观望、等待被说服的设计师来说,这个区别比我们预想的重要得多。

              我们的课程并不精致。但说实话,这正是重点所在。

              我们开设了一个名为 "会 Vibe 的设计师 & AI" 的周五系列活动,而最令人难忘的瞬间,从来不是精心准备的演示。它们发生在有人突然插嘴提问的时候,发生在有人大方共享屏幕(一堆标签页全暴露在外)的时候,发生在我们一起即兴摸索、实时解决问题的时候。没有脚本,只有大声说出来的好奇心。

              我们学习的这个东西,变化之快远超任何指南的更新速度。所以,与其假装胸有成竹,不如拥抱那个真正管用的方法:提出问题,动手尝试,卡住了 —— 就去问 AI。

              让 AI 教你怎么用 AI。这成了我们的信条之一。

              三天,没有路线图,只管动手造

              Builder Days 的设计初衷就是刻意开放的:来就行,找到你的跨职能搭档,用 AI 造点什么出来。概念上很简单,实践起来却不容易 —— 尤其当技术和协作模式同时都是全新的时候。

              所以我们帮助设计师提前做好了准备。我们分享了其他设计师的思路和方法,让每个人都不必独自摸索。我们编写了一份《设计师 Builder Days 指南》—— 一站式资源手册,涵盖你会遇到什么、对你有什么期待、以及去哪里找灵感。手册里甚至还有一个术语释义板块,专为那些需要一个不讲行话的答案来回应 "等等,终端是什么?" 的人准备。

              我们还重新定义了 "成功" 的标准。Builder Days 的目的不是让 AI 为你所用 —— 而是去了解它什么时候行、什么时候不行。找到边界,才是真正的意义所在。我们甚至专门为 Builder Days 开设了一个临时支持频道:卡住了就问,团队里马上有人来帮忙。没有评判,没有门槛。

              而当一位设计师在令人抓狂的提示词循环里越陷越深,最终坦言自己只想出去 "摸摸草坪透透气" 的时候 —— 我们也把这算作一个发现。说到底,我们终究是人,这一点永远不能忘。

              在 Builder Days 之前,学习是零星发生的。Builder Days 催生了一种不同的东西 —— 我们看到的场面既混乱又充满能量,二者势均力敌。那些一直潜水的设计师终于有了一个 "不得不动" 的推力;那些围绕 AI 整合观望了数月的团队,也再无退路,只能放手一试。有些东西搞砸了,但更多的东西以意想不到的方式给人惊喜。

              然而,真正的学习发生在 Builder Days 之后。我们召集了一群经历各异的设计师,问他们到底学到了什么。答案坦诚而犀利,恰到好处地 "辛辣"。

              • 人的判断力不可妥协:AI 输出的速度越快,就越需要相应提升协调、沟通和人工把关的力度 —— 而不是减少。

              • 前期规划决定一切:表现出色的团队从第一天起就有清晰的计划 —— 明确的分工、共享的协作模式,以及尽早且频繁的进度同步。

              • "缰绳" 和模型同等重要:光有一个好模型远远不够。在 "缰绳" 上下功夫 —— 提示词、claude.md 配置、技能库和文档 —— 才是释放产品级 AI 产出的关键。

              • 协作模式正在发生转变:AI 正在将协作的重心从优化异步工作,转向投入更多时间在真正有价值的事情上:做决策、头脑风暴和共同构想。

              有一位设计师用她的三天时间,试图理解自己与 AI 之间的关系。不是为了做出什么成果展示,不是为了优化某个工作流 —— 只是安静地坐在它面前,向它抛出那些难以回答的问题。她的结论?"这很复杂。"

              你知道吗?这完全没问题。这同样是一个非常有价值的发现。并非每位设计师都带着一个可运行的原型或一个合并的 PR 离开。有些人带走的东西更难衡量,却更为重要:对自己与这项技术之间关系的一份更清晰的认知 —— 什么让他们兴奋,什么让他们不安,以及哪些问题仍需要自己去回答。

              这就是构建学习文化的真谛:价值并不总是体现在产出上。有时候,它体现在那个 "容器" 本身。当人们知道有一个地方可以安放自己的困惑,他们就会带着困惑来。而当困惑被看见,它就变成了整个团队可以共同攻克的课题。

              从社群开始

              我们仍然走在路上。Builder Days 刚刚结束,频道里依然热火朝天。我们的 AI 学习项目会持续迭代,一切以团队的真实需求为导向。但如果只能给其他设计团队传递一句话,那就是:不要从工具开始,从人开始。找到你的初学者们,给他们一个可以毫无顾虑地保持好奇的地方。让他们身边坐着领先一步的人,而不是领先十步的人。然后给整个团队足够的、受保护的时间,一起练习。

              工具会不断更换,但你围绕 "学习" 所建立的文化,才是真正能够复利增长的东西。而作为一个以 "为设计师铺路" 为己任的人,面对 AI 这个时代节点,我用的是自己唯一知道的方式来回应:从人开始。

              关于本文
              译者:@飘飘
              作者:@Sheila Kazan
              原文:https://slack.design/articles/we-didnt-teach-our-designers-ai-we-built-a-place-where-they-could-learn-it-together/

              这期前端早读课
              对你有帮助,帮” 
              赞 “一下,
              期待下一期,帮”
               在看” 一下。

              阅读原文

              跳转微信打开

              •  

              【开源】一个用于 Codex 和 Claude Code 的通用 LLM 代理中间件:opencodex

              原创 木槿 2026-07-24 09:00 日本

              解决 Codex CLI / App 和 Claude Code 默认绑定/限制特定底层模型提供商的问题。

              📌 项目:opencodex

              项目地址:https://github.com/lidge-jun/opencodex

              🧩 核心作用

              一个用于 OpenAI Codex(CLI、App、SDK)和 Claude Code 的通用 LLM 代理中间件(Proxy),允许用户在 Codex 和 Claude Code 环境中自由使用任何大语言模型(如 Anthropic Claude、Google Gemini、xAI Grok、DeepSeek、Ollama 等)。

              ❗ 解决的核心问题

              解决 Codex CLI / App 和 Claude Code 默认绑定 / 限制特定底层模型提供商的问题。原本用户如果想在 Codex 生态或 Claude Code 中尝试其他 LLM,往往受限于接口协议或无法直接切换模型;opencodex 通过在本地构建 Response / Messages 协议适配层,实现了零成本适配 40+ 种 LLM 提供商,同时还解决了多 ChatGPT 账号额度轮换(Pool)与会话保持(Affinity)的痛点。

              👥 适用人群

              • 使用 Codex(CLI / App / SDK)或 Claude Code 进行辅助编程的开发者。

              • 希望在统一的 Codex / Claude Code 终端工作流中自由切换各类公有云 LLM 或本地模型(Ollama /vLLM)的工程师。

              • 拥有多个 ChatGPT / Codex 账号、需要自动轮换与配额管理的高阶用户。

              🔍 关键特性

              • 全协议兼容:支持 Anthropic Messages、Google Gemini、Azure、OpenAI Chat/Responses 等 50+ 种适配器,无缝桥接任何 LLM。

              • ChatGPT 账号池管理:自动识别 5 小时 / 周度 / 月度额度,新会话自动分发至低用量账号,长会话自动保持(Affinity)不中断。

              • 无缝集成与静默启动:自动注入 Codex 配置与模型选择器,支持系统服务(launchd/systemd/Task Scheduler)或按需 Shim 模式启动。

              • 多模型协作(Subagent):支持在 Codex 子代理选择器中同时配置多种不同模型(如复杂任务路由给推理模型、简单任务路由给轻量模型)。

              🚀 快速了解建议

              • 参阅 README 中的 Quick start:https://github.com/lidge-jun/opencodex#quick-start 章节,使用 npm install -g @bitkyc08/opencodex 进行快速安装。

              • 运行 ocx gui 启动本地 Dashboard,在可视化界面中一键添加并配置需要的 LLM Provider。

              阅读原文

              跳转微信打开

              •  

              深入理解 AI Agent:设计原理与工程实践

              原创 强少Qone 2026-07-24 08:30 广东

              Agent = LLM + 上下文 + 工具——本书围绕这个核心公式,用 10 章把 AI Agent 从原理讲到工程实战。全书正文、配图、92 个配套实验全部开源,欢迎亲手把实验跑一遍。

              没什么技术背景、但天天在用 AI 的,很值得看看这个《深入理解 AI Agent》,一周 17k star

              GitHub:https://github.com/bojieli/ai-agent-book

              Agent = LLM + 上下文 + 工具——本书围绕这个核心公式,用 10 章把 AI Agent 从原理讲到工程实战。全书正文、配图、92 个配套实验全部开源,欢迎亲手把实验跑一遍。

              平时我们用 AI 会有很多疑问:比如:

              为什么上下文一长 AI 就变笨,书里拆到了 KV Cache 和上下文压缩,

              为什么有的 Agent 好用有的不行,第一章就告诉你:模型只是三分之一,

              上下文和工具才是另外三分之二,等等等等......

              这本书讲的就是这层底下的东西,而且是从工程应用的角度讲,每章还配着能跑的实验代码

              可以把 Github 链接丢给 Codex 让 AI 带着你学一遍,这个真的很值得学一学!

              https://github.com/bojieli/ai-agent-book

              跳转微信打开

              •  

              TDMQ RocketMQ 轻量主题 Lite Topic 是怎么把百万通道做 “轻” 的 - 下篇

              刘生忠、纪宇鹏 2026-07-23 17:00 陕西

              为企业构建 AI 原生应用提供坚实的技术基石。

              回顾:上篇留下的 3 个谜题

              在上篇《一次 AI 问答,背后是十几个 Agent 在 “传纸条” — RocketMQ Lite Topic 实战》中,我们通过两个真实场景 — AI 编程助手多 Agent 协作 和 大模型记忆服务的"记忆写入" — 看到了 Lite Topic 在 AI 原生应用通信链路里的关键作用。

              但读完之后,相信不少读者心里都打着同一个问号:

              #

              谜题

              看似不可能的点

              1

              单实例百万级 Lite Topic 如何自动创建?

              主题数量 ×100 倍,内存和文件句柄怎么扛?

              2

              海量订阅怎么不拖垮 Broker?

              海量 Lite Topic 带来海量订阅关系,如何有效维护?

              3

              “最新连接胜出” 的排他消费如何实现?

              RocketMQ 不是 Consumer Group 共享消费吗?

              今天这篇,我们一个个揭开。

              TDMQ RocketMQ 与 轻量主题 Lite Topic

              为了拥抱 AI 原生应用架构带来的变革,针对 “多 Agent 协作持续时间长、多轮次上下文依赖” 的特点,Apache RocketMQ 在已有的 LMQ(Light Message Queue)能力基础上进一步推出了 Lite Topic 功能。腾讯云 RocketMQ 立足开源社区的底层能力,结合业务诉求做了进一步的产品化设计和优化,在已有的主题模型下推出了 轻量主题 Lite Topic 功能。

              与传统 Topic 相比,Lite Topic 有三个关键差异:

              • 兼容原有主题模型的前提下,实现了二级数据隔离

              • 实现了 单客户端的排他订阅,订阅关系更加灵活

              • 自动生命周期管理:发送消息即自动创建,过期无消息即自动删除

              基于以上特性,Lite Topic 当前已在腾讯内部业务落地验证,正在逐步对外部客户灰度开放,以实现 大模型会话任务解耦与非阻塞调用,提升 Agent 的吞吐能力和响应速度。

              概念模型:两级主题

              RocketMQ 的轻量主题(Lite Topic)与主题(Topic,或称为 ParentTopic)存在逻辑上的层级关系:

              每个 Lite Topic 都从属于一个 Topic,而一个 Topic 可以关联多个 Lite Topic。

              层级

              角色

              Topic

              路由注册 + 业务隔离 + 聚合指标

              Lite Topic

              实际的消息存储载体

              这种两级模型的好处是:业务侧通过 Topic 获得“全局视图”(如全租户的总速率、堆积情况),通过 Lite Topic 获得“细粒度通道”(如某个用户会话的精确监控),一举两得。

              (图 1:两级主题模型示意图 —— Topic 与 Lite Topic 的从属关系)

              谜题 1 揭秘:百万 Lite Topic 是怎么"轻"起来的

              单实例百万级 Lite Topic 自动创建,核心问题是:怎么让“主题”不那么“重”?

              生命周期:发送即创建,过期即销毁

              Lite Topic 的整个生命周期 无需业务侧关注,支持全自动化管理:

              发送时自动创建

              当客户端发送消息时,Broker 会检查 Lite Topic 是否已创建;如果没有则会自动创建。

              过期后自动删除

              创建 Topic 时可以设置 TTL 属性,所有关联的 Lite Topic 都会根据该 TTL 自动过期。过期判断逻辑:若某个 Lite Topic 中最近一条消息的写入时间距当前时间已超过 TTL,则该 Lite Topic 被视为已过期。过期后进入后台异步清理流程,删除其消费位点、消费索引,以及移除内存中与该 Lite Topic 相关的订阅关系等。

              这是“轻量”的第一层保证:不让没用的主题“阴魂不散”,避免长尾累积。

              存储复用:站在 LMQ 的肩膀上

              那核心问题来了:百万级 Lite Topic 怎么不爆掉 Broker 的内存?

              这里在代码实现上复用了 RocketMQ 开源社区已有的 LMQ(Light Message Queue)能力。此外,发送到 Lite Topic 的所有消息都会追加写入存储层的同一个物理队列,以确保全局有序性。当 Broker 节点在发布重启期间或发生单机故障时,写入流量会自动切换(Failover)到集群内的其他可用节点,从而优先保障服务可用性。

              LMQ 设计之初就是为了支持百万级队列的轻量化存储模型,与 Lite Topic 的应用场景 “主题自动创建 + 百万级规模” 高度契合。因此,Lite Topic 的消费索引构建体系直接复用 LMQ 能力 - 不重造轮子,把成熟能力组合出新价值。

              总的来说,Lite Topic 在写入路径上完全沿用 RocketMQ 既有的存储体系。在内核存储层面,它与传统 Topic 无任何结构性差异。这种一致性保证了实现上的简洁性,并显著降低了维护与运维成本。

              谜题 2 揭秘:海量订阅怎么不拖垮 Broker

              百万级 Lite Topic 不止要 “创建得起”,还要 “订阅得起、分发得起”。我们为 Lite Topic 构建了一套高效的订阅与分发机制,主要包括两部分:

              客户端维度的订阅管理

              与传统基于消费组(Consumer Group)维护订阅关系的模型不同,Lite Topic 将订阅关系下沉到客户端维度(ClientId)进行管理。

              由于不再强依赖 Consumer Group 语义,系统无需维护 Consumer Group 内部的一致性状态。这种弱化 Group 的订阅模型天然更轻量,使得在百万级 Lite Topic 规模下,Broker 仍能保持较低的订阅状态管理开销。

              事件驱动的合并拉取(Ready Event Set)

              百万订阅下另一个挑战是:消费端怎么高效拉取消息,不被海量空查询拖垮?

              这里的解法是引入“就绪事件(Ready Event)”机制:

              • 当新消息写入 Lite Topic 并完成消费索引构建后,Broker 立即分发“就绪事件”给相关订阅者

              • 每个订阅者维护一个独立的 “就绪事件集合(Ready Event Set)”,其中记录了该客户端所订阅的全部 Lite Topic 的就绪事件

              • 当客户端发起 POP 请求时,Broker 直接从就绪事件集合中高效地读取就绪消息

              这种机制有两个好处:

              • 一次请求合并拉取多个 Lite Topic 的消息 - 大幅减少 RPC 数量

              • 避免对存储层产生大量无效查询 - 空 Lite Topic 不会触发任何拉取动作

              (图 2:Ready Event Set 合并拉取机制示意图)

              谜题 3 揭秘:排他消费 + 最新连接胜出

              “最新连接胜出”的排他消费到底是什么机制?

              从 Shared 到 Exclusive 的演进

              传统的 RocketMQ 消费采用 共享模式(Shared):Consumer Group 下的所有客户端均衡地消费 Topic 中的消息。这在常规队列场景下没问题,但在 Lite Topic 的会话保持场景下就出现了问题:

              用户的会话内容流被多个消费者切片消费 — 意味着同一个会话的 token 流被打散到多个 SSE 网关上,前端 根本拼不回完整对话。

              为了适配 Lite Topic 的使用场景(例如会话保持),我们为 RocketMQ 引入了一种全新的 排他消费模式(Exclusive):

              发送给 Lite Topic 的消息只会被 Consumer Group 下的其中一个客户端独占消费。

              “最新连接胜出”机制

              开启排他消费模式后,Broker 默认会选择 最新连接的客户端作为 Lite Topic 的独占消费者,并通知旧的客户端取消订阅。

              这个看似简单的规则,恰恰是上篇场景 2 中 “断线续传” 得以实现的关键:

                用户断线 → 网关 A 仍持有订阅
                用户重连命中网关 B → 网关 B 发起排他订阅
                                  → Broker 触发"最新连接胜出"
                                  → 自动踢出网关 A
                                  → 网关 B 接管该会话的后续 token

                整个过程不需要任何业务侧的协调代码 — 业务侧只需调用 seek(offset) 把位点定位到客户端记录的 lastReceivedOffset+1,剩下的全交给协议。

                (图 3:断线续传 + 最新连接胜出机制示意图)

                与传统 Topic 的关键差异对比

                新增的 TDMQ RocketMQ Lite Topic 功能,对比传统 Topic 有以下优势:

                把上篇的 "魔法" 映射到下篇的 "机制"

                最后,把上篇的 3 个谜题与下篇的技术机制做一次完整闭环:

                Lite Topic 在产品层提供的能力,全部都映射到 RocketMQ 内核可解释、可观测、可演进的机制上——这是我们在做这次能力增强时坚守的设计原则。

                结语:AI 原生应用的基础设施还在演进

                路漫漫其修远兮,吾将上下而求索。

                随着 AI 技术的持续演进,RocketMQ 在 LLM 流式服务、Agent 状态管理、RAG 数据底座、模型推理流水线、多模态数据处理 等场景也将发挥更大价值,为企业构建 AI 原生应用提供坚实的技术基石。

                Lite Topic 能力当前已在腾讯云内部多个 AI 业务灰度运行,后续将面向外部客户商业化,欢迎加入 👇 产品交流群沟通了解更多信息!

                往期推荐


                阅读原文

                跳转微信打开

                •  

                AI专栏 | 别再手动造数据了!LLM 与 CTGAN 组合拳破解测试数据难题

                原创 Flint/Aquawer 2026-07-23 17:00 上海

                合成数据新范式:CTGAN负责“量”,LLM负责“质”

                作者简介

                Flint Liu,携程测试开发总监,对于测试用例生成、基于模型的测试、质量领域体系建设以及AI Test有一定的理论和实践积累。

                Aquawer,携程高级测试开发工程师,专注于软件测试与质量保障领域,持续探索大模型在测试领域的应用。

                团队热招岗位:测试开发工程师

                导读:测试人员44%的时间耗在数据构造上——合成数据本是“解药”,但市面方案总缺一角:CTGAN丰富度高却学不会字段逻辑,LLM语义强但输出不可控且低效。本文提出CTGAN+LLM的工程化方案,让二者各司其职,实验证明字段间关系大幅提升,覆盖率接近100%。如果你正苦于测试数据质量与效率,这篇实战复盘值得一读。

                一、背景

                二、合成数据模型调研

                三、LLM-CTGAN数据生成方案

                四、总结与展望

                一、背景

                在软件测试过程中,构造测试数据是一项基础而关键的工作,其目的在于确保软件产品在多种条件下的功能正确性、性能稳定性和兼容性。随着软件系统发展,业务系统的复杂度大幅提升,测试数据的构造也面临高效性、安全性和充分性的挑战。Capgemini与Sogeti的一项联合研究表明,测试人员通常需要耗费44%的测试时间用于测试数据的生成与管理,这是制约企业将产品快速推向市场以保持竞争力的一个关键因素。

                常见的测试数据构造方式主要有两种方式,即手动创建测试数据或从线上数据库中同步可用数据。但前者通常成本较高,且受限于测试人员对于业务的理解程度;后者将会带来一定的隐私合规风险,且数据形态受限于现有业务场景,可能无法覆盖极端测试用例。

                为了弥补上述两种方式在特定场景下的劣势,一些公司和研究机构提出一种新的概念,合成数据(Synthetic Data)。合成数据是指通过统计、深度学习、大语言模型等方式,将模型拟合到真实数据集,然后使用该模型生成不包含任何敏感信息的高度逼真的模拟数据,使得测试数据管理变得更快、更轻松。这种生成过程是随机的,也就意味着模型每次都会产生不同的合成数据集,从而充分模拟生产环境中不同的数据分布、模式和异常,生成涵盖广泛用例的样本数据。这种方式能够高效地降低测试人员数据构造的成本,验证系统是否稳健,并确保更全面的测试覆盖范围。

                注:合成数据可能是多模态的,比如数据、音频以及视频等,本文只对表格数据(Tabular Data)进行讨论。

                在合成数据构造中,模型的选取非常重要。只有生成的测试数据与真实数据非常相似,且能保持足够的多样性,才能有效地模拟各种测试场景并挖掘潜在问题。但当前的常用数据合成模型通常只能满足上述需求的一部分。本文评估了当前业界常用的几种模型,包括高斯分布、时序变分自编码器(Time-series Variational Autoencoder-based,TVAE)、条件式生成对抗模型(Conditional Tabular Generative Adversaial Network,CTGAN),以及大语言模型(Large Language Model,LLM)。

                通过实践案例,比较了不同方案间的优缺点,并最终提出了一种CTGAN与LLM相结合的数据生成方案。这种方式结合了CTGAN与LLM在生成数据时的优势,能够生成既与真实数据相似,又具有较高丰富度的合成数据。本文通过真实案例论证了方法的有效性,并设计了一套完整的工程方案以实现测试数据的生成、修复、监控与管理,使其能够有效地应用于工程化的测试场景中。

                二、合成数据模型调研

                合成数据通常需要为模型提供一个由真实数据组成的训练集。模型通过对训练集的字段特征进行建模,学习其字段的生成规律,包括字段类型、字段格式、字段取值等,最终使用该模型生成与原始数据相似的合成数据集,因此选择合适的模型决定了最终数据生成的质量和成本。

                在工程化的场景中,我们优先追求合成数据有效性、真实性与丰富度三个维度的质量。前两者保障数据的可用性,后者保障合成数据的丰富性。

                • 数据的有效性:即合成数据中是否生成训练集范围之外的无效的取值。如果生成真实场景之外的无效取值,可能导致测试系统异常崩溃、测试人员消耗大量精力在排查无效的测试数据导致的问题中,产生大量的"脏数据",影响数据的可用性。

                • 数据的真实性:合成数据的真实性指其模拟真实数据关键特性的能力,包括统计分布、字段间关系及数据内在逻辑的一致性。在测试数据生成的场景中,并不要求数据与真实数据保持一致的统计分布,相反,希望数据能够均匀地取值,以保证各类单据测试数据数量。而字段间关系与数据内在逻辑一致性可能会直接影响系统处理数据的结果,错误的字段分布和组合可能引起系统判断错误,导致在测试环境验证成功的场景,在真实环境中暴露错误,同样影响数据的可用性。因此,下文从字段间关系以及数据内在逻辑讨论数据的真实性。

                • 数据的丰富度:数据丰富度可以从数据的取值覆盖率、字段间组合、场景覆盖等多方面评估。高丰富度的测试数据能够避免系统反复处理相同的数据,使测试人员能够小成本地覆盖足够的测试场景。从目前业务的高优诉求、数据生成本身的特性以及实现成本考虑,本文将数据的丰富度简化为数据中枚举字段对真实数据覆盖率的问题,即单据的类型、状态取值是否足够丰富,下文所述的数据丰富度均为此定义。

                生成效率同样也是衡量合成数据模型表现的一个关键指标。但由于实际场景中,我们倾向于在每周以定时任务的形式提前准备数据以供测试人员使用,对于实时性的诉求不高,因此对于生成效率指标可适当放宽,生成速度在10s每条以内即可接受。基于上述目标,对现有的模型调研如下。

                2.1 高斯模型

                基于高斯模型的数据生成使用统计学对原始数据的分布进行建模,能够快速地学习数据的分布特征并生成数据。

                模型假设被学习的数据服从正态分布,利用均值向量和协方差矩阵描述数据分布特征,使得生成的数据能与真实数据保持相似的字段取值分布。其优势在于计算高效、有坚实的数据理论基础且参数可解释性强,尤其适合低维、近似正态分布的场景。但受限于严格的正态性假设,模型存在以下缺点:

                • 复杂关系识别能力差:仅能捕捉变量间的线性相关性,无法建模复杂的非线性关系;

                • 长尾分布建模能力弱:由于模型严格按照原始数据的取值分布进行建模,在原始数据中出现概率较低的取值在数据生成时将会丢失,影响生成数据的丰富度。

                2.2 TVAE模型

                基于TVAE的数据生成利用变分自编码器(Variational Autoencoder,VAE)的生成能力,增加了对时序依赖的建模,将表格的每一行视为一个序列,能够在训练过程中学习字段的时序关系。

                模型首先通过编码器,根据字段的数值、类别、文本等特征,将每一行输入数据压缩为一个固定长度的特征向量,再通过一个解码器将特征向量解码为全新的模拟数据。这种方式能够有效学习连续类型变量的数据特征,在一定程度上捕捉字段间的非线性关系,但其数据生成存在以下局限:

                • 模型规则可解释性差:TVAE模型虽然能够在一定程度上捕捉字段间的非线性关系,但其潜在变量缺少明确的语义解释;

                • 高维混合型数据学习效果差:TVAE对于分类变量的拟合效果较差,当变量列数多、或分类基数大时,甚至可能产生训练集中未出现过的异常取值;

                • 长尾分布建模能力弱:TVAE对于低频类别数据的生成质量下降,会损失较多分类字段的取值,丰富度较差。

                2.3 CTGAN

                基于CTGAN的数据生成是一种针对结构化表格数据设计的生成对抗网络。其核心原理是通过条件生成机制解决混合数据类型(连续型、分类型)的生成难题。

                CTGAN模型由一个生成器和一个判别器组成。模型首先根据表格字段的取值类型,将各行数据归一化编码为机器可识别的特征向量。生成器(Generator)接收随机噪声和条件向量作为输入,生成合成的数据向量;判别器(Discriminator)对Generator的输出与真实数据向量进行真伪判别,通过对抗训练的机制优化判别准确率。Generator在对抗过程中学习生成更逼真的数据以“欺骗”判别器,Discriminator则持续提升其判别能力。

                CTGAN的条件生成模式能够有效地处理类别不平衡问题,使原始数据的取值在合成数据中完整且均匀地出现,生成数据的质量较高。但受限于模型的架构设计和参数量,基于CTGAN的本质是通过深度学习隐式捕捉变量间统计关联性生成数据,无法有效且显式地捕捉数据间多字段的联合约束(如城市code、机场code间的级联关系),且无法学习到字段间的隐含逻辑(如订单人数等于各类人员总和等),模型生成结果的可解释性差、字段间关系捕捉不足。

                2.4 LLM

                随着ChatGPT、DeepSeek等LLM在自然语言处理领域的突破,越来越多的研究者尝试利用LLM的语义理解能力构造某些特定领域的数据集,对真实数据进行扩容,这和我们的测试数据合成场景异曲同工。LLM的语义理解能力和模型推理能力使其能够从数据训练集中获取神经网络学习不到的额外信息——即通过字段名称和建表信息推测字段间的语义联接。因此对于诸如多字段联合约束、字段间隐含的计算逻辑,LLM可以轻易地根据字段名称推断字段间的关联,并在字段中隐式验证规则正确性,进而通过链式推理自动计算字段结果,保证生成数据的逻辑一致性。下表是两个LLM对于关联关系学习的示例:

                关系类型

                场景示例

                LLM生成结果

                语义关联关系识别

                以机票大系统政策为例,出发/到达城市code和出发/到达机场code通常具备关联关系,一个airportcode只对应一个citycode。

                LLM生成的数据能够保持与原数据完全一致的关联关系。但是生成的数据只覆盖了部分取值,丢失了一些取值信息。

                机器学习效果:

                大模型效果:

                逻辑关联关系识别

                以机票订单为例,订单表的人数、成人人数、儿童人数、婴儿人数字段间具备逻辑上的计算关系,即人数=成人人数+儿童人数+婴儿人数。

                LLM在数据生成时能够维持字段间的计算关系,生成的数据符合数学计算的结果。

                机器学习效果

                大模型效果

                从上述示例可得,LLM能够在数据生成时获取字段间存在的隐式关联关系,使得生成的数据更具备可用性。但同时也存在其局限性:

                数据丰富度损失:LLM的注意力机制使其仅能关注到最重要的信息,因此在输入数据token较多的情况下,LLM在数据生成时会损失一定的数据丰富度;

                输出可控性差:与传统的统计模型不同,LLM的内部决策过程复杂,微小的输入区别都会导致其输出的多样性,输出的可控性较差,因此对于prompt的要求较高;

                复杂场景稳定性不足:在输入表格字段多、模式复杂的情况下,LLM无法将注意力集中在存在关联关系的字段间,生成的数据往往会:

                • 缺少部分列

                • 不满足输出格式

                • 产生异常取值

                • 数据生成异常终止

                因此,如何合理地应用LLM,使其稳定可控地生成有效、具有真实关联关系且尽可能丰富的数据是使用LLM生成数据面临的挑战。

                2.5 综合分析

                我们分别在三个库表中,用一个小样本的训练集,简单且直观地验证了各个模型对于字段取值覆盖率、字段间关系以及数据有效性的生成效果。字段取值覆盖率、字段间关系以及数据有效性指标的计算方式如下:

                训练集从真实的库表中获取,共200条,分别使用每个模型生成20条合成数据。其中:

                • 高斯模型、TVAE模型、CTGAN各训练300个Epoch,模型均达到收敛;

                • LLM每轮训练30条数据,生成10条数据,并将生成的数据追加到下一批中,最终生成20条数据。

                各模型生成效果如下:

                由上表可得:

                • 对于数据有效性指标,四种模型均能达到较高的有效性水平(>0.95),确保生成的数据具备基本的可用性;

                • 对于字段间关系指标,LLM凭借强大的语义理解能力,显著优于高斯、TVAE及CTGAN模型,合成数据的字段间关联性最接近真实分布;

                • 对于枚举字段覆盖率,高斯、TVAE以及LLM表现相似,均损失约30%的枚举字段取值,而CTGAN模型凭借条件生成对抗的训练机制,枚举字段覆盖率显著优于其他实验模型,在训练集上达到了100%的字段覆盖率;

                • 对于模型生成速度,高斯、TVAE模型的生成速度较快(<1s/条),CTGAN生成速度有所降低,但在可接受范围内(<10s/条),而LLM的生成速度达到了43s/条,数据生成的成本显著上升,在大批量生成数据时可能存在性能局限。

                综上,LLM与CTGAN能够分别满足我们对于合成数据真实性与丰富度的诉求,LLM能够学习到更多其他模型无法学习到的字段间关联,而CTGAN能够生成与真实数据具有几乎一致丰富度的合成数据。但二者均存在一定的局限性。

                对于CTGAN,其受限于模型架构,难以学习显式的逻辑规则(如数学公式、字段映射),且模型学习特征的可解释性较差;对于LLM,其生成数据的字段丰富度较低,且其数据生成的效率较其他模型显著降低。

                基于上述特性,本文提出将CTGAN模型与LLM结合,使其各自生成各自擅长的字段数据,从而生成既能保证丰富度,又更接近真实数据特征的合成数据。该方案既可集成CTGAN的高丰富度能力,又能通过LLM学习复杂逻辑规则,最终输出兼具丰富度与业务逻辑的合成数据。此外,通过一些工程化的技巧提升使用CTGAN与LLM生成数据的效率,降低成本消耗。

                三、LLM-CTGAN数据生成方案

                在本章节中,将详细论述基于LLM-CTGAN的数据生成方案。方案包括关联关系识别、数据生成、指标监控以及数据修复四个模块。在这个整体的方案中,我们利用LLM的语义识别能力指导数据生成的模型选型,使得CTGAN和LLM能够充分地在其擅长的数据类型中发挥优势。

                在关联关系识别模块,我们为LLM提供少量数据样本和库表建表信息,使其能够根据语义信息将库表字段分类为存在相关性的字段和关系独立的字段两部分,用于指导各字段在生成时使用的模型。

                在数据生成模块,我们使用CTGAN进行无关联关系字段的数据生成,使用LLM分别对每个存在关联关系的组进行数据生成。对于CTGAN,我们选择直接从线上获取10000条真实数据作为训练集,并保存训练得到的模型参数,以减少后续模型训练的时间。对于LLM,考虑到其上下文限制,我们使用一个压缩算法对上述训练集进行了精简,使其能够在缩小规模的同时尽可能地保持丰富度。

                在指标监控模块,我们从字段列和数据行两个维度对数据生成的效果进行监控。对于合成数据每一列质量,我们采用字段间关系、数据有效性以及覆盖率三个指标进行衡量。对于合成数据每一行的指标,我们复用了CTGAN模型在判别器参数,对每一行进行打分,以确定每一行数据的置信度。此外,我们还形式化LLM在数据生成过程中学习到的规则,在真实数据上验证这些规则的真实性。这一操作不仅能够验证LLM对语义的理解能力,还使得数据生成这一过程具备可解释性。最后将指标整合为报告推送给使用者,使其能够对数据生成质量有清晰的认知。

                在数据修复模块,后置对模型生成的数据进行检查,检查其与原始数据集丰富度的差异及有效性,对于丰富度缺失的列,额外补充丰富度;对于异常数据,将其剔除。

                3.1 关联关系识别

                在数据生成中,我们对于表格中各字段的生成诉求通常是不同的。例如,对于一些单据标识字段,我们通常不关心它的取值;对于一些枚举类型字段,我们希望它在生成中保持与输入同样丰富的取值;而对于一些业务字段,我们希望它们能维持字段间的逻辑关系。库表字段根据其合成数据时的特征可以分为如下几类:

                根据上述分析,需要生成的字段可以分为两部分:

                • 无需保证字段间的关联关系,但需要保持丰富度的字段,适用于CTGAN生成;

                • 需要保证字段间的关联关系,可以接受牺牲一些字段的丰富度的字段,适用于LLM生成。

                因此,如果可以识别字段类型,即可使用CTGAN用于前者的生成,LLM用于后者的生成,满足两种字段的数据生成诉求。对CTGAN而言,这种方式最大化了其取值丰富度的优势;对于LLM而言,该方式避免了无关字段占用模型输入,从而避免了不必要的计算和存储开销。

                人工完成这一识别任务需要分类人员具备深入的业务知识且实施成本较高,而LLM凭借丰富的语义理解能力,能够比人工更为高效的完成此任务。

                为LLM提供库表的少量样本行S,及建表语句T,我们希望LLM能够识别库表中可能存在关联关系的字段,并将其分为若干个具备关联关系且不重叠的组(G₁,G₂,...,Gₙ)。划分字段组的原因是:字段间关系通常存在于特定的字段子集中,与其他字段无关。使LLM分别学习这些分组对应的数据,可以使其最大程度上排除无关的信息的干扰。我们将这个任务拆分为三步:

                1)直接使LLM将字段分为若干个取值上有相关关系的组;

                2)使LLM对生成的结果进行批评和修复,以[["category1","category2",...],[["category3",...]]格式,结构化地输出识别的结果;

                3)根据预设规则修复LLM的输出,如过滤输出中字段名中包含state、type、version的字段、过滤只有一个字段的分组。

                通过上述工作,即可获取到库表中存在关联关系的字段组(G₁,G₂,...,Gₙ)用于指导数据的生成。整体的工作流程如下:

                1)首先要求LLM对样本及建表语句进行分析,识别出可能存在关系的分组。提示词(Prompt)如下:

                  接下来我将为你提供一个表格的表头和5条真实数据,表格中字段间可能存在一定的逻辑关联关系。请帮我过滤掉这些字段中,在生成合成数据时通常不需要保持原有的关联关系或取值随机性较高的字段。其余的字段细分为若干个取值上有相关关系的组。注意:每个组之间不要出现重复的字段。

                  2)随后再次使用LLM对上一步的输出进行评价,评价其分组是否合理,对不合理的部分进行修正后,将结果输出为json列表格式。Prompt如下:

                    请检查下面的分组中是否存在错误,修正并将修正后的分组以列表的形式输出,例如[["category1","category2",...],["category3",...]],不要使用任何额外解释,直接给出结果即可。

                    3)为了避免LLM无法很好地过滤不具备关联关系的枚举字段,采用另一个Prompt,提示模型识别与status、state、type、version等内容相关的字段,并在最终结果中过滤这些字段。

                      接下来我将为你提供一个表格的建表语句,请帮我识别其中字段名中包含status、state、type、version的枚举字段。返回格式为一个列表,格式为|'column1','column2',...|,不要返回其他内容。

                      3.2 LLM-CTGAN模型实现

                      在这一模块中,我们首先使用CTGAN模型对原始数据集D-original进行建模,得到合成数据D-independent。再由LLM对一个由D-original压缩而来的D-compressed进行学习,得到合成数据D-related。最终合并两种方式得到的数据,生成最终的测试数据。与单独使用CTGAN或单独使用LLM相比,这种方式存在以下优势:

                      • 端到端流程整合:将关系识别、模型适配与数据生成整合为一个端到端的自动化管道,显著降低人工配置成本;

                      • 语义-统计协同建模:该方式融合了LLM的语义理解与CTGAN的统计建模优势,使得生成的数据能够兼顾字段级别的高丰富度与跨字段关联一致性。

                      • 计算效率与样本规模兼顾:与直接采用LLM生成数据相比,该框架分组学习的方法使LLM能够单次处理更多规模的数据,减少LLM的计算负载。

                      3.2.1 CTGAN模型实现

                      我们使用开源的SDV库搭建CTGAN模型。以一个从线上获取的10000条真实数据的表格作为训练集。考虑到CTGAN在单次训练过多数据时会出现内存崩溃,本文采用了一种高效的训练方式实现数据生成,如下图所示。

                      训练集被拆分为若干个大小相同的批次(batch),每个batch通过CTGAN训练一个Epoch后,生成一个小样本数据,追加到下一个batch中进行下一轮的训练。在最后一轮的训练中,将CTGAN训练的模型参数保存到云端。在后续的每次生成中,只需加载库表对应的生成模型,即可实现高效的数据生成。每一次训练相当于一次蒸馏,提取数据集中最重要的部分,在保障了生成数据丰富度的同时减少了训练成本,解决了CTGAN内存消耗大、训练速度慢的问题。

                      数据集构建

                      数据集是模型训练的基础,构造数据集的目标是希望数据集能够覆盖尽可能多的字段真实取值。获取数据集的方式有三种:人工构造数据集、从测试环境中获取数据集、从线上环境中获取数据集。人工构造数据集虽然能够更加针对性地设计数据分布,但需要投入较多人力成本;从测试环境中获取数据集可能由于Mock、异常插入等原因,导致数据失真,带来脏数据;而从线上环境获取数据集具有最真实的用户行为特征和自然数据分布,与人工构造相比数据获取成本低,与测试数据相比数据真实性高。因此,选择直接从线上环境获取库表数据构建数据集。

                      由于某些线上库表数据量较大(10w+),获取全量数据作为训练集是不现实的。本文比较了在限制获取10000条数据情况下,不同的SQL排序写法对于数据集枚举丰富度的影响,分别为按id倒序获取、按创建时间(create_at)倒序获取以及按修改时间(change_at)倒序获取,实验结果如下表所示。其中,按id倒序获取到的枚举值更完整,取值覆盖率达到了全量数据的85%。且由于几乎所有库表都存在id字段,但不是所有库表都存在create_at/change_at字段,因此,选用按照id倒序的方式获取线上数据,构建训练集。

                      Metadata生成

                      Metadata是对要合成的数据集的描述,包括列的名称、每列的数据类型,其核心作用在于指导生成模型进行差异化的特征编码与生成策略选择。当前业界标准将基础数据类型划分为boolean、categorical、datetime、numerical四类。开源的SDV库提供了一种根据DataFrame的sdtype识别的Metadata生成方式。但这种方式在实践中经常出现识别错误导致生成错误的问题,需要通过异常处理机制并错误的列全部覆写为categorical类型,这可能影响数据的生成质量与后续的指标度量。

                      鉴于字段类型通常与数据库模式定义存在严格映射关系,采用LLM解析数据库建表语句(DDL),可实现更精确的元数据自动化构建。生成Metadata所使用的Prompt如下:

                        你是一个数据专家。接下来我讲为你提供一个数据库表的若干条数据。请为我生成这个库表可用于sdv生成的metadata。输入:一个数据库表的若干条数据以及这个库表的建表语句。输出:这个表的metadata。metadata对字段的类型进行分类,包括boolean、categorical、datetime、numerical四类。一个示例如下:

                        { 

                            "columns": { 

                                "age": { 

                                    "sdtype": "numerical" 

                                }, 

                                "tier": { 

                                    "sdtype": "categorical" 

                                }, 

                                "active": { 

                                    "sdtype": "boolean" 

                                }, 

                                "paid_amt": { 

                                    "sdtype": "numerical" 

                                }, 

                                "renew_date": { 

                                    "sdtype": "datetime" ,

                                    "datetime_format": "%Y-%m-%d" 

                                }

                            } 

                        }


                        数据分批训练

                        在数据训练时,为了降低训练成本的同时,还能使合成数据具有与真实数据一致的丰富度,本文采用了一种分批训练的方式实现数据生成。

                        首先将训练集拆分为若干个大小为100条数据的batch,每批数据在训练10个Epoch后生成100条数据,将生成数据追加入下一批数据中。这一步骤的目的是将200条数据的取值浓缩到100条数据中。当某个字段在200条数据中的唯一取值超过100个时,这个过程可能会损失一些取值。但由于我们的目标是保持"分类字段的取值丰富",而分类字段的取值通常不会多于100,因此,这种方式能够成功地将分类字段的取值压缩。

                        当训练至最后一个batch时,模型训练300个Epoch,并将模型参数上传至云端文件管理系统。在下一次生成数据时,首先查询是否存在对应库表的模型参数,若存在,则直接生成数据,反之,则从线上获取数据后训练模型。

                        我们分别在6张库表中单独使用CTGAN对10000条数据构成的训练集进行了训练,比对生成1000条数据后,合成数据与真实数据的枚举字段取值。在所实验的库表中,CTGAN均能保持与训练集完全一致的枚举字段覆盖率。当首次训练模型生成数据时,生成速度约1.99s/条;使用预保存的模型参数生成数据时,生成速度进一步提升至0.16s/条,与上文实验中以200条训练集直接训练的9.84s/条相比,生成数据的时间消耗缩短至1/60。

                        3.2.2 LLM数据生成

                        对于LLM,我们以一个由上述10000条真实数据的表格压缩而来的1000条数据的表格作为训练集。首先根据关联关系识别模块得到的字段分组,将数据集纵向划分为若干个分组。与CTGAN的训练策略相似,对于每个分组,分批次训练后,将生成的一个小样本数据集追加到下一个批次中形成新的训练集。最终将各分组的结果合并。与直接使LLM训练1000条数据相比,这种分批次的生成方式可以使LLM专注于每批次的数据,避免过大数据量导致的注意力不均衡和信息损失。

                        模型选用

                        由于测试数据生成涉及对线上真实数据的学习,因此需要模型支持数据外发,且具有较强的推理能力。综合考量模型特征及成本,我们选用自部署的开源Deepseek-R1-Friday(全参671B)用于LLM数据生成。

                        数据集压缩

                        由于LLM天然的Token数量及注意力机制限制,LLM并不能像CTGAN一样学习万级别的训练数据。而事实上,关联关系的识别也并不需要如此庞大的数据量。因此,我们需要对原始数据集进行压缩操作。

                        一种简单的方式是直接切片获取原始数据集的前1000条数据。但对于某些分布不均匀的字段来说,直接切片操作可能导致损失过多取值信息。如某字段的前1000条数据均为NaN,这显然是不可接受的。

                        想要对一个库表的几十个字段抽样压缩,并保障其丰富度和分布均匀是一件有挑战性的工作。

                        我们采用了一种分类+按行评分的方式来实现这一需求,具体抽样流程如下图所示:

                        1)首先将各字段分为单一值列、极端偏态列、随机值列、可数离散值列、其他共五类;

                        2)对极端偏态和可数的列按值出现的概率之和进行评分采样;

                        3)按得分倒序排列,取前900条数据纳入样本数据集,剩余数据均分为4个区间,分别随机抽样25条,最终构成1000条样本数据集。这样抽样得到的数据能够保持各列分布相对均匀,使得出现频率较低的列也能被采样到,避免出现一整列抽样均为单一值的情况。

                        比较直接顺序切片、随机抽样、以及我们所使用的差异化抽样可得,差异化抽样方式的各列平均相对熵比、枚举字段覆盖率均有所提升,与直接切片相比,平均相对熵比提升约15%,枚举字段覆盖率提升32.3%。

                        Prompt优化

                        吴恩达《提示工程》课程中提出,要对每一个子任务构造清晰而具体的提示,可遵循以下策略:

                        • 少样本提示:将一系列成功执行所需任务的案例与要查询的问题连接在一起,形成带有提示的模型输入,通过少量的标注引导模型预测。

                        • 要求结构化的输出:即指定模型输出的格式,如JSON格式;

                        • 使用分隔符:即使用分隔符使模型清晰地确定需要用于分析的文本;

                        本文借鉴这一思想,为LLM数据生成设计了精心优化的提示词。

                        首先是样本的提供。在每次训练中,我们将为LLM提供100条真实数据作为样本,并指导模型生成20条数据,并合并入下一批数据,作为下一次训练的训练集。样本的数量不宜过多,过多样本会引发LLM上下文长度溢出,以及削弱模型对每个个体示例的注意力。

                        在选择结构化的输入输出时,本文选择Markdown格式的表格作为LLM的输入和输出。这是由于Markdown格式的表格数据结构清晰,可读性高。对于LLM来说,清晰的格式可能使其更容易理解数据结构。在训练前,我们将excel表格数据转换为Markdown格式的文本提供给LLM,并从LLM的输出中提取符合Markdown表格格式的输出,转换为excel存储。

                        此外,我们在提示词中充分使用了诸如序号、换行符等分隔符,采用定义角色、定义输入输出、定义约束的三段式描述方式,使得Prompt能够被LLM清晰地解析。

                        以下是我们使用的几种提示词的优缺点分析:

                        版本1:

                          你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。

                          你需要遵循以下策略和规则:

                          1. 输入输出

                          1.1 输入格式:输入是一个有若干行的 Markdown 表格格式的表格,包含表头与表单项。

                          1.2 输出格式:输出是一个有 20 条数据的 Markdown 表格格式的表格。

                          2. 约束

                          2.1 输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                          2.2 对于可能有关联的字段,请保持给他们之间的关联关系。

                          2.3 生成的数据分布需要均匀,不需要和输入保持相似的分布。


                          分析:Prompt的约束要求LLM需要与输入保持完全一致的丰富度、保持关联关系,且保持数据分布均匀。这使得LLM在处理非分类字段时,由于约束,也会倾向于生成与该字段完全一致的取值,且在生成致据中使这些取值保持均匀,而由于非分类宇段通常具有较多不同的取值,在生成数据中保持取值均匀和维持关联关系变得十分困难,因此LLM的生成效率会大大降低,甚至因为思考长度超长无法生成数据。

                          版本2:

                            你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。你需要遵循以下策略和规则:

                            1. 输入输出

                            1.1 输入格式: 输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项。

                            1.2 输出格式: 输出是一个有20条数据的Markdown表格格式的表格。局6

                            2.约束(请重点关注!!!)

                            2.1 除了时间类型,其他所有字段的输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                            2.2 对于可能有关联关系的字段,生成时请保持它们之间的关系,使其符合常识。


                            分析:Prompt的约束去掉了对于数据分布均匀的要求,便这项数据生成的任务变得更加简单。此外,与上述Prompt相比,这一版本使LLM不必关注时间类型的丰富度,但其他的非分类字段仍然存在上还问题。

                            版本3(最终版):

                              你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。你需要遵循以下策略和规则:

                              1. 输入输出

                              1.1 输入格式: 输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项。

                              1.2 输出格式: 输出是一个有10条数据的Markdown表格格式的表格。

                              2. 约束

                              2.1 对于枚举类型、分类类型的字段;输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                              2.2 对于连续致值、时间类型的字段:输出必须保持与输入完全一致的数据范围与格式,在数据范国内可以生成随机的数据。

                              2.3 对于可能有关联关系的字段,请保持它们之间的关系。


                              分析:这一版本的Prompt强调了LLM对于不同类型的字段可以采取不同的丰富度保持的方式,生成异常数据的几率大大降低,LLM能够较为稳定地生成合成数据。

                              3.3 实验验证

                              我们在两个特征不同的场景中试验我们方法的有效性,前者涉及的三张表中,数值类型字段偏多,字段间计算逻辑关系较多。后者涉及的三张表中,分类类型的字段较多,字段间多为映射关联关系。

                              3.3.1 指标设置

                              本文采用字段列和数据行两种维度的指标衡量合成数据的质量。

                              字段列指标指的是上文所述的枚举字段覆盖率、字段间关系、数据有效性指标,这些指标关注字段本身或字段与其他某个字段二元关联关系,能够较为直观地反映合成数据是否与真实数据具有相似的统计学特征。但仅使用这些指标,不足以反映合成数据是否学习到了与真实数据一致的字段间关联——基于相关系数的字段间关系指标只能反映字段间两两间的线性趋势,无法度量复杂的字段间关系。

                              数据行指标包括判别器得分与规则有效性两种,从整体数据表现入手,反映合成数据是否真正学习到了字段间的隐含关系。其中,判别器得分指标利用CTGAN的模型判别器,使其反过来对合成的新数据进行判别打分。规则有效性指标使LLM将其生成数据时所用的规则形式化,反过来验证规则是否在合成数据中有效,这一过程使数据生成变得可解释。

                              数据的行列指标结合,使我们能够更全面地评估合成数据的质量。

                              字段列指标

                              数据行指标

                              • Discriminator Score

                              作用:判定每一行的数据置信度

                              计算方式:CTGAN的判别器loss能达到比较低的水平,即整体判别正确率较高,因此,使用CTGAN的判别器对最终生成的数据每一行进行评分,整体评判合成数据的整体质量。

                              由于CTGAN原有判别器采用一个linear层作为输出,并没有进行归一化处理,无法直接用于衡量数据置信度。我们首先使用一个sigmoid层,对Discriminator的数据进行归一化,再以判别器对真实数据的评分对合成数据的评分进行放缩,衡量行数据的质量。

                                1. 对于每一个生成的数据行i,将其向量化为t_i

                                2. Discriminator计算T的预测得分p_i

                                3. 使用sigmoid将pi归一化,得到得分d_1

                                4. 使用上述方法计算真实数据的平均得分D_real=(d_1+d_2+...+d_i)/i

                                5. 使用上述方法计算合成数据的平均得分Dsyn=(d_1+d_2+..-+d_i)/i

                                6. 则合成数据的最终得分Q=D_syn/D_real


                                • Rule Validity
                                作用:模型规则验证

                                计算方式:形式化输出LLM生成数据时所依赖的规则,并使用这些规则在真实数据中进行验证,证明其可行性。若在真实数据有效性达到100%,即所有训练集的数据行均条件成立,则证明该规则真实存在。进而使用规则在生成数据中进行验证。

                                规则有效性=规则成立的行/数据集的所有行

                                你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能找出这些数据中存在的关联关系。
                                你需要遵循以下策略和规则:
                                1.输入格式: 
                                输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项.
                                2.输出格式: 
                                输出是一系列你发现的关联关系,以字符串列表格式表示,不需要输出其他信息,也不要生成除了下面提供的三种关系类型以外的关系。
                                2.1 如果字段间存在一对一的映射关系,则字符串为列表格式,如"
                                a->b
                                ",表示一个a唯一确定一个b值;
                                2.2 如果字段间为计算关系,则输出他们的计算关系,如"
                                a=b+c
                                ";
                                2.3 如果字段间为大小关系,则输出他们的大小关系,如
                                "a>b+c"
                                、
                                "a<100"
                                等。
                                3.示例
                                ["a->b","a=b+c","a<100"]

                                3.3.2 实验验证

                                在一个10000条数据的原始训练集上,我们验证了我们所提出的方法的有效性。每次训练生成1000条数据、执行10次后求平均值计算指标得分。

                                本文重点对比了CTGAN基线方法与LLM_CTGAN增强方案的生成性能。实验设计未纳入直接使用LLM生成的对比组。这是由于随着训练迭代次数增加,直接使用LLM生成数据的多样性严重下降,所有字段取值趋向于某个出现概率较高的固定值,且接口调用生成错误结构的数据概率也增加,导致使用1000条数据训练时,生成流程的失败率已经超过90%,生成数据所需时间超过60s/条,不适用于大数据量的数据生成任务。数据生成结果如下表所示:

                                行间指标:

                                列间指标:

                                3.4 数据整合与修复

                                在上文中,我们使用LLM_CTGAN实现了数据的生成,生成的结果需进行后置检查修复操作,检查生成的数据中是否保持了数据的丰富度,以及是否存在取值异常的情况,使最终输出的数据更加丰富和可用。

                                数据丰富度修复旨在解决生成数据中潜在的分布偏差问题。尽管在数据预处理阶段我们通过压缩算法调整了训练集分布,但生成过程中仍可能因模型注意力偏好导致特定字段出现极端分布偏态,导致LLM在训练过程中丢失一些字段的取值,进而导致生成数据的取值过于单一。因此,我们通过后置补充丰富度规避这一情况,即后置检查各列的取值分布。对于生成数据中枚举字段取值与原始数据不一致的列,通过对LLM增加约束条件,使其再补充一些指定取值。

                                生成指定取值数据的Prompt如下:

                                  你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。

                                  你需要遵循以下策略和规则:

                                  1. 输入输出 

                                  1.1 输入: 输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项。

                                  1.2 输出: 输出是一个有{batch_generate_size}条数据的Markdown表格格式的表格。

                                  2.约束

                                  2.1 对于枚举类型、分类类型的字段:输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                                  2.2 对于连续数值、时间类型的字段:输出必须保持与输入完全一致的数据范围与格式,在数据范围内可以生成随机的数据。

                                  2.3 对于可能有关联关系的字段,请保持它们之间的关系。

                                  2.4 生成的致据分布需要均匀,不需要和输入保持相似的分布。

                                  2.5 字段{col}的值为{unique val}


                                  取值异常修复旨在在解决字段取值异常及关系异常两种异常的致据情况。检查方式与修复方式如下:

                                  • 异常取值:对于“枚举字段”,即Metadala字段分类为categorical,且训练集中唯一值<20的字段,后置检查判断这类字段与原始数据值域的差异,剔除其中没有在原始数据中出现过的值。

                                  • 异常组合:对于LLM识别出的规则,校验其在真实数据中的有效性,进而使用在真实数据中被验证有效的规则反过来验证其在测试数据中是否成立。对于在测试数据中有效性>90%的规则(即LLM在学习过程中使用了该条规则),过滤不符合规则的数据。

                                  四、总结与展望

                                  我们提出的基于AI增强的自动化数据生成方式能够有效地提升传统的基于统计模型生成数据的效果,使生成的测试数据具有更接近真实业务数据的字段间关系,且能够保持基于统计模型的丰富度优势,这个方法使得LLM和CTGAN能够“各展所长”,生成他们更擅长的字段类型的数据,使成的测试数据更加有意义。

                                  在未来的工作中,我们将在以下方向持续迭代:

                                  • 复杂表间关系识别:探究如何识别库表间的复杂关系,进一步降低数据生成的配置成本;

                                  • 效率提升与成本优化:探究能否通过离线推理等方式提升LLM的数据生成速度;

                                  • 通用平台建设:完善数据生成系统能力,建设通用的测试数据生成平台。

                                  【推荐阅读】

                                   “携程技术”公众号

                                    分享,交流,成长

                                  跳转微信打开

                                  •  

                                  海外Agent实践:让问题直达源码,助力团队提效!

                                  原创 海外技术团队 2026-07-23 12:00 北京

                                  海外Agent探索实践,智能化跨系统串联多方数据并结合代码综合分析,让问题直达源码,助力团队协作提效!

                                  爱奇艺海外事业部在AI编程全面普及的背景下,进一步探索实践,基于Cursor TypeScript SDK先后构建Code Chat MCP(代码即时问答)、Intl Chat Debug Agent(国际站排障助手)两个云端智能服务,针对业务咨询、反馈排障、产品迭代联调等场景,按实际业务路径自动跨系统串联多方数据并结合代码综合分析汇总,助力产研工作提效。本文梳理Cursor SDK的能力边界、方案优势、案例实践与可扩展方向,供参考复用。


                                  01#

                                   背景

                                  1.1 协作痛点

                                  目前公司已实现研发 100% AI 编程普及,进入「人手必备智能IDE/助手」智能发展轨道,但在业务迭代过程中依旧存在协作痛点;例如:大量项目服务,长期迭代后功能逻辑日渐复杂,人员流动,文档失真难对齐,虽然现在逐步应用沉淀业务知识库,但无法保证覆盖所有业务逻辑;工作中常常需要多方人员核对确认业务逻辑,再推进迭代,其中多方串行依赖、需人工介入、沟通成本不可忽视;

                                  典型场景:

                                  • 产品咨询代码逻辑:帮忙确认目前线上标题多语言优先级、AI海报图分发策略是怎么样的 ?需开发确认后回复;

                                  • 运营反馈终端问题:为什么配置了某重点剧目\某页面\模块,但未展示?  为什么XXX未展示多音轨角标 ?需同时排查后台配置、业务逻辑、推荐分发策略等上下游多系统才能定位原因;

                                  • 需求开发迭代联调:需求迭代过程中,需要多方联调协同,不断对齐功能,排除产\研\测各方疑问,耗时费力;

                                  • 报警排查分析处理:当触发某些业务报警时,需要人工介入,协调兄弟团队处理。

                                  1.2 核心需求

                                  通过飞书机器人\个人助手,可实现代码逻辑即时智能问答、实现业务跨系统全链路自动化智能分析与答复,打破多方人员串行依赖;

                                  基于第一性原理:业务最新最完整功能逻辑全部沉淀在代码\配置\运行的服务之中。查文档、问研发,不如让 Agent 直接按需读代码、调接口、查日志,在 IM 里给出综合结论。

                                  期望效果:工作中,可以通过飞书机器人\AI agent咨询了解所负责业务的底层逻辑,可获得即时响应、可跨系统分析定位问题,降低团队沟通成本,促进业务高效迭代;

                                  通过飞书机器人对话界面,用自然语言表达意图(例如:「展示配音超剧集有哪些条件?」、「泰国用户为什么XXX播放失败?附:客服反馈链接」、「XX节目配置都正常,为什么未展示?附:APP截图」、「接口没有返回最新的多音轨列表?附:播放页接口case」),

                                  AI Agent系统能在云端分析用户反馈的图文信息,按需调用相关Skill、MCP服务,分析相关日志、配置、代码、关联服务数据等、综合分析理解、归因与结论输出。


                                  02#

                                   技术选型

                                  2.1 Cursor SDK

                                  Cursor TypeScript SDK 是 Cursor 官方客户端库,可在代码中程序化创建 Agent、选择模型与工作区,让 Agent 在指定目录下读取与推理——能力形态接近 IDE 内 AI 助手,可通过 API Key 运行在服务端 / CI / 容器等无界面环境。自研Agent 与 基于Cursor SDK 构建Agent对比,Cursor SDK已封装满足需求的核心功能;特别是在多项目工程代码分析处理方面优势明显;

                                  自建Agent

                                  CursorSDK 内置

                                  替代程度

                                  Agent 运行时 + 工具循环

                                  Agent Harness(tool_call、thinking、多轮上下文)

                                  ✅ 可替代

                                  会话持久化 / 断线续跑

                                  agentId 会话管理、resume、历史记录

                                  ✅ 可替代

                                  多 Agent 协作

                                  Subagent 委派 + 自定义 prompt / 模型

                                  ✅ 可替代

                                  Skill 领域能力封装 手写 Prompt  + 人工维护文档索引

                                  原生 Skill 支持,工作区自动发现

                                  与 IDE 内 Skill 体系一致

                                  ✅ 可替代

                                  MCP 服务器集成

                                  原生 mcpServers 内联配置

                                  ✅ 可替代

                                  AST 解析 + 代码切分

                                  semSearch + grep/glob/read 工具链

                                  ✅ 可替代

                                  向量库 + 语义检索

                                  Semantic Search + instant grep

                                  ✅ 可替代

                                  沙箱执行环境

                                  local: { cwd } + 可选 sandboxOptions

                                  ✅ 可替代

                                  代码生成质量控制

                                  需自建 Hooks(语法校验、单测、幻觉抑制)

                                  ⚠️ 需补充

                                  跨系统知识库统一管理

                                  需自建,可关联 MCP / Skill / knowledge/

                                  ⚠️ 需补充

                                  2.2 对比优势

                                  💰 无额外模型成本

                                  SDK 运行走既有 Cursor 套餐与用量池,与 IDE 内使用同计价规则,无需单独采购大模型 API。可建团队共享API KEY池,分享个人账号Auto模式的Token余量;

                                  ⚡ 研发成本低

                                  快速嵌入业务,无需自研多模型对接 + Tools 编排 + 上下文裁剪;团队聚焦业务 Skill、MCP、Prompt 与集成层。开启隐私模式,内网部署,代码不出内网;

                                  🔌 通用适配快

                                  飞书 Bot、OpenClaw 、ArkClaw等均支持 MCP;可构建 MCP Server用于智能分析代码,一次开发、多方复用,集中授权管理。

                                  可快速实现:

                                  ① 用 云端私有部署local: { cwd } 保证源码不出内网;

                                  ② 用 Skill(.cursor/skills/)封装领域知识技能,Agent 按需读取而非全量加载;

                                  ③ 用 MCP 对团队项目Code Debug、关联业务逻辑分析 等外部能力;

                                  ④ 用 Prompt 约束回答格式、合规脱敏与工具调用顺序;

                                  ⑤ 用 Agent 池化 + sessionKey 绑定实现多轮对话与资源回收。

                                  2.3 项目实践

                                  针对目前工作中的提效诉求与技术调研,海外基于Cursor SDK 先后探索性构建了 Code Chat MCP、Intl Chat Debug Agent(国际站排障助手) 两个云端服务,在实践中验证可行性;

                                  维度

                                  Code Chat MCP

                                  Intl Chat Debug Agent

                                  互补关系

                                  定位

                                  业务逻辑即时问答知识库

                                  基于代码分析 MCP Server

                                  综合排障

                                  Code Chat 偏「读代码答业务」;

                                  排障助手偏「跨系统全链路问题分析定位」;

                                  入口

                                  飞书 Bot / ArkClaw + MCP

                                  飞书 Bot

                                  同一 IM 习惯

                                  核心能力

                                  按需拉代码 →

                                  代码理解 / 诊断 / 总结

                                  问题总结,串联  接口 + 日志 + 配置 + 源码 + 服务,Skill技能SOP;

                                  排障助手可调用 Code Debug MCP

                                  典型用户

                                  产品、运营、研发

                                  产品、研发、测试、On-call

                                  覆盖产研全链路


                                  03#

                                   Code Chat MCP:让问题直达源码

                                  3.1 架构简介

                                  基于 Cursor SDK 构建的独立 Code Chat MCP Server,可以授权配置给 ArkClaw、AI Agent等。用户自然语言提问后,云端MCP Server 内部Agent 按需按拉取项目代码,完成代码理解、问题诊断与修复建议(目前服务侧不改代码、禁止修改提交操作、源码不出内网)。

                                  应用价值:产品/运营无需排队等研发确认反馈,Agent可以直接读最新正式\测试分支代码给精确的结构化结论;

                                  3.2 使用案例:

                                  配置Code Chat MCP后,可通过智能助手咨询指定项目的业务逻辑;


                                  04#

                                   Intl  Chat Debug Agent:跨系统精准定位分析

                                  国际站排障助手是基于 Cursor SDK 重构迭代实现的云端 Agent,可串联图文问题描述、API接口、业务日志、客服反馈、用户访问轨迹、后台配置、数据中心、网关服务、配置中心,并结合相关项目代码等综合分析,在飞书群/话题内给出精确的排障结论。

                                  4.1 核心思路

                                  按照递进式业务路径编排,系统把“问题”先转成一组可执行的业务线索,而不是直接让模型自由回答。线索包括:问题类型、页面或接口路径、实体ID、反馈ID、错误码、站点模式、平台、语言、版本、用户或设备 ID、时间窗口、环境和代码分支。随后按“成本低且接近现象 → 能解释原因且成本更高”的顺序逐层取证。

                                  1. 现象层:飞书文本、截图、引用消息、话题历史、连续图片/文件,以及乐客反馈正文。

                                  2. 运行态层:页面接口、导航、展播一览、数据中心接口、推荐接口、用户轨迹等实时结果。

                                  3. 配置层:运营后台、配置中心、业务配置及本地业务字典。

                                  4. 日志层:网关日志、业务日志、分类索引 与用户访问轨迹。

                                  5. 源码层:按业务归属选择相应项目代码,并支持切换正式\测试分支或用户指定分支。

                                  6. 归因层:网关API负责人为主,应用部署侧 creator 为辅,产品功能负责人由业务知识库补充。

                                  这六层非固定逐步全部执行。Skill 的触发条件承担路由规则:证据足够就停止升级;运行态结果与配置或代码矛盾时才继续下钻。由此避免一开始就分析代码,也避免只凭接口结果猜测代码根因。

                                  4.2 总体架构

                                  4.3 分层说明

                                  层级

                                  职责

                                  飞书输入层

                                  飞书群聊、单聊、话题、截图、链接、卡片按钮、表情确认

                                  承接真实排障输入,并把多轮追问沉淀在飞书话题上下文中。

                                  飞书事件层

                                  处理长连接事件、回复策略、连续消息聚合、思考卡片、答案分片与话题绑定。

                                  编排层

                                  维护会话状态、解析意图、预抓取接口链接和反馈日志、拉取代码,并拼装 Agent 所需上下文。

                                  Agent 层

                                  创建或恢复 Cursor Agent,注入本地 workspace、模型参数、MCP 和排障规则,执行分析。

                                  内网系统层

                                  通过集成Skill\MCP\GIT 获取相关数据、日志、反馈、代码、配置等;

                                  外网系统层

                                  Cursor Server 提供大模型API服务

                                  4.4 Skill 技能矩阵

                                  系统集成N+Skill技能,按排障链路中的职责分成四个能力域,各域的输入、数据源、输出与升级条件。渐进式执行“什么时候使用哪类技能、什么时候继续深入下一层”的决策。

                                  4.5 多系统与多数据源分工

                                  系统/数据源

                                  数据性质

                                  适合回答

                                  不单独承担

                                  飞书消息/话题/截图

                                  用户现场与会话上下文

                                  现象、时间、对象、复现步骤

                                  真实运行状态

                                  客服乐客反馈

                                  反馈工单、设备信息

                                  从用户反馈还原问题入口

                                  最终代码根因

                                  入口API

                                  导航、页面、播放

                                  推荐的即时结果

                                  对象是否存在、是否被过滤

                                  配置为何如此、代码执行逻辑

                                  DataCenter

                                  数据中心

                                  专辑节目编目详细数据、播控

                                  内容基础数据

                                  运营中台

                                  运营后台配置

                                  页面/模块/导航/人群/AB/开关配置

                                  服务 JVM 动态配置

                                  配置中心

                                  服务运行时 latest 配置

                                  开关、阈值是否生效

                                  运营页面配置

                                  日志/用户轨迹

                                  网关、业务日志正文

                                  谁在何时调用、参数、链路、异常点

                                  静态业务规则

                                  Git 业务仓库

                                  指定环境分支源码

                                  调用链、加工/过滤逻辑、缺陷位置

                                  证明现网一定走了该分支

                                  服务部署

                                  工程与部署元数据

                                  服务/域名/API/应用及负责人

                                  产品模块归属

                                  知识库

                                  受控业务字典和规则

                                  错误码、过滤 key、产品负责人

                                  实时线上状态

                                  4.6 核心请求流程

                                  4.7 应用案例

                                  应用场景:目前已应用在内容展示排障群、需求迭代群;

                                  应用价值:支持图文自然语言交互,跨系统综合排障,减少人力强依赖,避免繁琐耗时的工作降低人效;

                                  1. 群聊,运营同学反馈问题,排障机器人自动识别、自动分析回复,综合分析后精准定位原因;

                                  2. 用户私聊,咨询目前多音轨角标最新逻辑是?

                                  3. 协助分析报警,定位问题

                                  4. 小范围授权,七天使用情况




                                  05#

                                  功能边界

                                  • 业务路径优先:先回答“用户实际遇到了什么”,再决定是否读代码,降低无效代码分析 和错误仓库选择。

                                  • 环境一致性:仓库分支与 环境prod/test 配置联动,避免拿测试代码解释正式配置。

                                  • 按需加载:Skill 和知识文件仅按场景读取,避免全量知识污染上下文。

                                  • 证据可升级:运行态 → 配置/日志 → 源码,每层都有明确进入条件和停止条件。

                                  • 会话可持续:飞书话题、Agent 恢复和补充信息保持同一排障上下文,新咨询则隔离。

                                  • 安全内建:用户回复对代码和配置脱敏。

                                  • 边界明确:Skill 依赖接口可达性、凭证有效性和数据源覆盖;代码只能解释潜在路径,最终现归因仍需运行态或日志闭环。


                                  06#

                                  总结与展望

                                  Code Chat MCP验证了基于 Cursor SDK 做代码问答的可行性,在此基础上可演进在内网部署云端开发助手(云端Cursor),通过飞书机器人可随时随地AI Coding。

                                  基于 Cursor SDK 重构的Intl Chat Debug Agent(国际站排障助手),将「飞书对话 + Agent 编排 + 领域 Skill + MCP/HTTP 工具 + 知识沉淀」整合为一体化提效智能体,其核心价值在于可按实际业务路径自动跨系统串联多方数据源并结合代码,综合分析汇总,快速准确的响应产品、运营、研发、测试、项目同学的问题,打破多方人员串行依赖,助力业务提效。

                                  6.1 未来扩展方向

                                  • 业务告警 → Agent 预分析 ,初步根因 → 飞书通知相关负责人;

                                  • A2A扩展 → 链接其它业务Agent → 扩展业务分析排障 覆盖范围;

                                  • 问题反馈 → Agent 跨系统分析定位 → 云端FIX\Merge request  → 审核 → 自动化部署\回测(在合规前提下试点);

                                  6.2 参考链接

                                  跳转微信打开

                                  •  

                                  瓜分专属奖金池,赢取额外流量!外滩黑客松·AI Coding大赛 × WeaveFox赛道全攻略

                                  炎熊 2026-07-23 09:00 浙江

                                  以下文章来源于:WeaveFox和他的朋友们

                                  WeaveFox和他的朋友们

                                  你的创意,值的让全世界看到!WeaveFox 用 Vibe Coding 的方式,让你的想法,灵感 → 实现 → 上限 → 变现,一步一步成为完美的作品。

                                  首个面向全民、不限编程方式的 AI 编程挑战赛。
                                  不用写代码,说出你的想法,AI 帮你把它变成真实可用的应用。


                                  🌊 外滩大会 × AI Coding,一场属于每个人的黑客松

                                  AI 时代,编程不再是少数人的特权。

                                  无论你是学生、上班族,还是退休老人,只要你有想法,就能用 AI 把它变成真实可用的应用——这就是 「外滩黑客松 · AI Coding 大赛」。

                                  本届大赛由外滩大会组委会、小红书、观猹共同发起,并携手国内头部 AI Coding 平台共同承办,是 2026 Inclusion · 外滩大会「科技智能创新赛」板块官方赛事之一。

                                  WeaveFox作为技术支持方当然也要凑一份大热闹。

                                  说出你的需求,WeaveFox帮你实现!!!


                                  🏆 大赛奖项设置

                                  大赛设有:

                                  专业奖项:通过任意合作平台完成作品创作,按平台引导填写信息清单并成功提交,即可进入专业评审。最终由专家评审团评选出一、二、三等奖。

                                  人气奖项:通过小红书站内报名页面,按照指引发布作品笔记并带上大赛指定话题,即可进入人气奖角逐。

                                  专业奖项

                                  奖项

                                  名额

                                  奖金

                                  🥇 一等奖

                                  3 名

                                  ¥ 20,000 元

                                  🥈 二等奖

                                  8 名

                                  ¥ 10,000 元

                                  🥉 三等奖

                                  15 名

                                  ¥ 5,000 元

                                  小红书人气奖

                                  • 🎁 100 名,定制礼品

                                  • 在小红书发布作品介绍笔记(图文/短视频),带指定话题即可参与

                                  • 评选依据:笔记互动量(点赞+收藏)+ 内容质量综合排序

                                  赛程安排

                                  阶段时间

                                  线上比赛阶段

                                  7月20日 - 8月9日

                                  评审阶段

                                  8月10日 - 8月25日

                                  公布获奖名单

                                  8月25日 - 9月9日

                                  🎉 外滩大会现场颁奖

                                  9月9日

                                  🦊 选 WeaveFox 赛道,额外享三重专属权益

                                  「WeaveFox」作为外滩黑客松 · AI Coding 大赛合作平台,将开设专属参赛赛道,为你准备了专属福利:

                                  • 🔥 小红书额外加热——助你冲刺人气奖

                                  • 💰 人气奖瓜分 1w 奖金池——发笔记一起拿奖

                                  • 🎁 专属积分补贴——赢取周边好礼

                                  WeaveFox 是一款免费的 AI 驱动零门槛全栈应用创作平台,面向普通创作者、个人开发者与非技术用户。无需代码,通过自然语言即可快速把想法落地成可运行、可部署、可分享的各类应用。

                                  🔥 权益一:小红书额外加热,祝你冲刺人气奖

                                  只要你通过 WeaveFox 创作应用并提交参赛,在小红书发布作品笔记时带上指定话题:#外滩大会全民黑客松 #外滩大会AICoding大赛 #WeaveFox #vibecoding ,即可申请专属流量加热

                                  笔记互动量门槛加热力度说明

                                  互动量 ≥ 50

                                  100元薯条推广

                                  持续加热,冲刺更高互动

                                  互动量 ≥ 200

                                  200元薯条推广

                                  热度加速,冲击人气奖前排

                                  具备爆款潜质

                                  单独申请额外加热

                                  联系 WeaveFox 官方,享受定制化流量扶持

                                  注:

                                  1. 互动量 = 点赞 + 收藏 + 评论 + 转发

                                  2. 每周一、四为统一加热时间,以加热时的互动量数据为准

                                  3. 每周固定100个名额,先到先得

                                  💰 权益二:人气奖瓜分 1 万奖金池

                                  WeaveFox 赛道参赛者,如在人气奖中获奖,除了大赛官方定制礼品外,还可额外瓜分 WeaveFox 专属 10,000 元奖金池!

                                  获奖人数越多,大家一起分;获奖人数少,单人拿得更多。

                                  🎁 权益三:专属积分补贴,赢取周边好礼

                                  所有通过 WeaveFox 赛道成功提交作品的参赛者,均可获得 WeaveFox 平台专属积分,用于兑换限量周边好礼。作品越用心,积分越多,礼品越丰厚~

                                  📝 参赛步骤(WeaveFox 赛道)

                                  跟着下面几步走,轻松完成参赛:

                                  第一步:进入 WeaveFox 官网

                                  第二步:用 WeaveFox 创作你的应用

                                  • 用自然语言描述你的想法,AI 会自动帮你生成完整应用

                                  • 在左侧面板使用 技能 Skill优化应用能力,使用 服务 Service配置后台能力(数据库、用户登录、支付宝支付等)

                                  • 反复预览调整,直到满意为止

                                  第三步:提交参赛

                                  • 应用创作完成后,点击 「提交作品到AI Coding大赛」按钮

                                  • 重点:记得公开应用,不然别人访问不到哦

                                  • 按引导填写信息清单

                                  • 提交成功,即可进入专业评审

                                  第四步:发布小红书,冲刺人气奖

                                  • 将你的作品截图或录屏,发布到小红书

                                  • 必须带上的话题(前3个必带):

                                  • 在笔记中讲讲你的作品解决了什么问题,越真诚越容易打动评审和观众

                                  • ⚠️ 发布小红书时,请不要在正文里填写 coding 作品地址,以免限流。

                                  • 提交小红书发布链接,完成人气奖报名

                                  第五步:申请 WeaveFox 专属加热

                                  • 笔记发布后,点击「小红书加热」按钮

                                  • 提交你的笔记链接和小红书账号昵称

                                  • 根据互动量门槛,获得对应档位的薯条推广加热

                                  • 持续关注互动数据,冲击更高加热档位

                                  🚀 现在就行动

                                  你的创意,值得被全世界看到,打开浏览器,输入:

                                  https://www.weavefox.cn/?s=hackathon2026

                                  用一句话造出你的第一个 AI 应用,20万+ 奖金池、专属流量加热、万元奖金瓜分——都在等你。

                                  点击左下角👇「阅读原文」即可访问 WeaveFox,让我们一起,用 AI 把想法变成现实。🦊✨

                                  阅读原文

                                  跳转微信打开

                                  •  

                                  用 7297 处理所有图片

                                  原创 王建硕 2026-07-22 23:42 美国

                                  傍晚,钻进一家新开的自行车店。 水泥地。几盆大绿植戳在石子堆里。一辆橙色的车斜靠在柱子边上。里面全是自行车,一辆比一辆漂亮。人往里一坐,就是舒服。 墙上挂满了配件。车铃、坐垫、车包、袜子,五颜六色一整面。玻璃柜里立着几辆…

                                  这些照片仅仅是为了演示一下,编辑文章的时候,对着文章说一句:

                                    请用 7479 处理所有图片

                                    文章里所有的照片就统一变成波普漫画风格了。社区里已经贡献了几十个滤镜,题图、插画、风格转换,现成的,直接拿来用。

                                    比如这个 5916,就可以做出来这样的公仔:

                                    点击「阅读原文」可以试用

                                    阅读原文

                                    跳转微信打开

                                    •  

                                    非功能性需求 (NFR) 是 AI 生成代码缺失的“护栏”吗?

                                    Thoughtworks 2026-07-22 19:00 北京

                                    非功能性需求——这个可以说是我们行业中一直以来最被低估的产物——能否成为 LLM 生成系统的重要护栏。

                                    在瑞士“未来软件开发务虚会”最近的一次开放空间交流中,一个问题引起了我的思考:非功能性需求(Non-functional requirement)——这个可以说是我们行业中一直以来最被低估的产物——能否成为大语言模型(LLM) 生成系统的重要护栏?也许它们可以,而且现在正是采取行动的最好时机。

                                    LLM 功能陷阱

                                    功能 ≠ 生产就绪

                                    给一组 LLM 智能体提供一系列功能提示词,它们就会交付成果。过程很神奇、高效,甚至很可能非常详尽,超出你的要求。代码生成了,部署了,运行了。起初一段时间内一切看起来都很完美;接着,非功能性层面的裂痕就开始出现了。

                                    我在各种规模的组织中都目睹过这种情况的发生:系统在功能上是完整的,但在运维上却极为脆弱。响应时间在负载下急剧下降。从未被指明因此也从未被执行过的安全态势。没有人在模型提示词中提及,因此也未被纳入考量的合规性要求。从第一个提示词起就已固化,且之后再也没有被重新审视过的可扩展性假设。关于成本和效率的担忧甚至连一秒钟都没有被考虑过。

                                    现在的问题并不是说 LLM 无法纳入非功能性需求,而是它们不会去提前推断出这些需求。它们为什么要这么做呢?其实我们在手工构建软件时,也很少会提前考虑这些。我们的偏见也是它们的偏见。大家在盲点上如出一辙。

                                    高管成为“驾驶员”

                                    有一种特殊的动态正在加速这个问题的产生。现在有相当一部分高管正在进行“氛围编程”。他们通过提示词构建出了可运行的原型,其中许多看起来令人印象深刻。基于此,再加上他们过去作为程序员时仅存的一点记忆,他们得出了一个结论:生成生产级别的系统简直太容易了。

                                    这种体验也并非完全具有误导性。功能确实出现得很快,而且数量很多。这是我们首先要求的东西;也是那些系统存在的理由。但没有出现的(除非你明确且额外指定)是所有填补在缝隙中的东西:可靠性、性能边界、安全模型、合规态势。在一个演示中令人印象深刻的原型,和一个在生产负载下能够支撑业务的系统,完全是两码事。将两者混为一谈的高管正在接受基于不完整图景的隐性架构决策,而他们手下的团队则被迫留下来收拾烂摊子、管理这个差距。

                                    为什么这种情况不断发生?

                                    不幸的是,我们正在经历的不仅仅是非功能性需求规范方面的差距;这个问题要根本得多。长期以来,我们中有太多人认为正确的非功能性特征会从优秀、整洁的代码中自然有机地产生。或者,如果没有产生,我们认为可以在最后开发末期再把它们“加进去”。我们总是用“它们属于测试阶段,而不是规范/设计阶段”的谎言来安慰自己。

                                    这些都不是真的;事实上,从来都不是真的。NFR 中的“R”代表的是“需求”。你必须一开始就考虑并指定它们,否则你最终也不会得到它们。

                                    需要澄清的是,有些非功能性需求是不可能提前指定的,例如可用性的服务级别目标。但我们可以在开始阶段做足够多的工作,以了解这些需求可能处于什么量级/范围之内,以及在多如牛毛的 NFR 类别中,哪些将成为我们系统的核心。

                                    LLM 辅助开发并没有改变这一逻辑,但它确实放大了忽视这一逻辑的后果。当开发人员没有考虑到性能限制时,你有望在代码审查中发现它。但当模型在生成的一万行代码中跳过这些限制时,你只能在生产环境中才发现它出了问题。

                                    “将非功能性需求(NFR)纳入编码系统所需的投资成本从未如此之低。而潜在的回报——能够刻意且主动满足其可靠性、安全性和性能义务的系统——也从未如此之高。”

                                    —— Andrew Harmel-Law,Thoughtworks 技术总监

                                    隐藏在眼前的机会

                                    综合来看,我认为我们正处于构建系统方式发展演变中一个激动人心的节点,因为在系统中实现和平衡 NFR 的成本已经大幅下降。如果你能用精确的、可测试的语言来描述系统的质量要求,LLM 就可以将它们直接编码到架构、测试和部署配置中。

                                    这是一个杠杆点。将 NFR 纳入编码系统所需的投资成本从未如此之低。潜在的回报也从未如此之大。

                                    这里有两种趋势在交汇。一方面,单元测试的相对重要性似乎在下降,因为 AI 生成使得它们生产成本极低且容易应付;另一方面,以测试工具为形式的更高层级测试正变得越来越有价值,因为它们验证的是业务行为和意图,而不是底层实现。将非功能性需求表达为可测试断言的可执行规范,完美契合这第二种领域。

                                    有了这些,现在的“行走骨架”就可以成群结队地出现了。你可以并行启动多个候选架构,让它们通过 NFR 测试工具的检验,并最终选择那些能够恰当平衡我们最重要非功能性需求的架构版本。这是一种以前根本无法达到的架构迭代速度,在这种迭代中,我们可以清晰地阐述那些真正重要的关键质量属性。

                                    将 NFR 的范围限定在架构上:一刀切行不通

                                    我们不需要满足于这种在整个系统上生硬地“一刀切”套用 NFR 的做法。在 NFR 工作中最昂贵的错误之一,就是在需求实际上只适用于部分系统时,却将其统一应用到整个系统中。LLM 可以帮助你避免这种情况,但是,前提依然是你提出了正确的问题。

                                    亚马逊并不希望他们所有的系统都符合 PCI 合规标准,他们只需要那些处理支付数据的子系统符合 PCI 标准即可。更重要的是,让那些系统从其他所有系统中清晰地分离出来(具有真实、明确且有防御能力的合规边界)会让他们获益良多。同样,一家保险经纪公司的 SaaS 平台也不需要在每个角落都去应对峰值负载进行设计。报价引擎需要在新产品发布时应对流量激增;但历史文档归档系统几乎肯定不需要。

                                    精确界定范围并不会削弱你的 NFR,反而会强化它们。一个你有能力进行实际测试和执行的、边界清晰的合规要求,远比一个在各处被悄悄侵蚀、形同虚设的“全面义务”更有价值。

                                    正确界定 NFR 范围本身就是一种架构行为。它迫使你清晰地思考系统的哪些部分承担着哪些质量义务,并据此划定边界(我认为这应该是领域边界)。LLM 在帮助凸显这些区别方面出奇地擅长。你可以要求它们识别“在提议的架构中,哪些组件承载了某个特定的 NFR”,你通常会得到一个非常有用的初稿。关键在于,这些边界随后必须在架构中被强制执行,而不仅仅是在文档中被口头声明。

                                    通过架构决策记录(ADR)使权衡可见化

                                    正如我已经建议的那样,每一个重要的 NFR 都涉及权衡。选择高可用性意味着在某些地方要接受“最终一致性”。针对低延迟进行优化通常意味着更高的基础设施成本。加强安全控制会给开发人员的工作流程增加摩擦。这些都不是设计的失败;它们恰恰是设计的本质。问题在于,当这些权衡保持隐性、未被记录时,对任何没有在做决定时在场的人来说,这都是个大问题。

                                    架构决策记录(ADR)是使这些权衡变得明确且可追溯的正确机制。一份引用了处于冲突/拉扯状态的特定 NFR 的 ADR(例如,记录下 99.95% 的可用性需求与严格的数据一致性需求之间的冲突),能够清楚记录系统为什么会设计成现在的样子。未来的架构师、审计员以及帮助扩展该系统的 AI 模型,都会从这种明确的上下文中受益。

                                    这是 LLM 能产生直接价值的领域。给定一组 NFR 和一个建议的架构方法,它们可以起草 ADR,阐明权衡,并标记出存在冲突的需求。最终的判断权仍然属于人类,但是编写文档的负担被大大减轻了(而嫌麻烦通常是 ADR 没有被写下来的核心原因)。

                                    NFR 是连接战略和系统的结缔组织

                                    每一个架构权衡的背后都应该是技术战略。而在技术战略背后,则应该是产品或商业战略。在实际工作实践中,这些关系往往是靠默认和假设的,而不是明确表达出来的。NFR 是这个逻辑链条必须变得具体的少数几个地方之一。

                                    试想一下,将“快速市场扩张”作为优先事项的商业战略意味着什么。这个决定会直接带来 NFR 方面的影响:对最终一致性的更高容忍度、更激进的可扩展性要求、极低的初始安全投资(计划在以后再进行强化)。或者是一个围绕“严格监管市场”建立的战略:合规性和可审计性变成了承重的 NFR,并直接塑造了下游的每一个架构选择。

                                    就像 NFR 本身一样,这些关系并不总是互补的。技术战略和商业战略之间可能存在真正的紧张关系。例如,一个追求快速推向市场的产品团队,和一个坚持采取减缓发布周期的安全控制措施的安全部门,他们之间的冲突绝不仅仅是没有沟通好的问题。它们可能代表了没有在正确管理层级上得到解决的真实战略冲突。NFR 会使这些冲突浮出水面。当你可以通过可测试规范中的“架构影响”,看到哪些商业目标在相互拉扯时,你就有了可以带回到管理层圆桌上的东西,去解决一开始造成这种紧张关系的根本战略问题。

                                    在 AI 辅助开发的世界里,这或许是认真对待 NFR 的最深层价值所在。你不仅能获得更好的系统(尽管你确实会得到),更能得到一幅关于组织战略如何在你们构建的产品中真正体现出来的,更清晰、更诚实的图景。

                                    将 NFR 作为强制性约束的六种方法

                                    综上所述,为了将 NFR 融入到传递给 LLM 的规范中,你现在可以采取哪些具体步骤呢?

                                    1识别关键用户角色及其对质量的期望

                                    不同的用户对 NFR 的体验是不同的。交易台操作员和内容编辑人员对延迟的容忍度截然不同。从项目第一天起就在你的规范中明确这一点。

                                    2明确梳理权衡滑块

                                    可用性 vs 一致性。性能 vs 成本。安全性严格程度 vs 开发者速度。只要你主动提出要求,LLM 可以系统地引导你了解这些权衡。请将这一步构建到你的前期架构流程中,而不是事后的回顾会议中。

                                    3将监管和法律框架转化为可测试的规范

                                    GDPR、SOC 2、PCI-DSS 不是抽象的义务,它们是可以表达为可执行测试的精确要求。让 AI 模型来做翻译工作;要求它们将其重新阐述为可测试的规范。然后让你的安全/法律专家来验证结果。

                                    4从经过验证的典范中逆向工程推导隐性 NFR

                                    行业基准服务(比如主流云服务提供商现有的 SLA)编码了数十年来得之不易的质量思想。用 LLM 提取这种思想,再次将其明确为可测试的规范,并以此来设定你自己的团队基准。

                                    5直接根据 NFR 生成测试夹具和测试工具

                                    如果一个需求被指定得足够精确且可测试,它就可以被用来生成测试数据和流水线配置。实现规范和验证之间的闭环。不要把它留作一个纯手动的步骤。

                                    6生成符合真实形态的测试数据集

                                    这里的真实包括静态数据、请求的形态和组合。针对空数据库,用单一有效负载反复攻击单个端点的性能测试并不能说明什么。另一方面,反映真实世界流量分布、并针对目标真实静态数据库的测试,能为你系统是否能够抗压提供更多信心。NFR 为你提供了推导出这种真实性的规范依据,而一旦这些需求清晰了,LLM 就可以完成大部分的数据生成工作。

                                    架构师和 CTO 们现在需要做什么

                                    那么,作为一名资深技术人员,你现在可以开始做些什么呢?

                                    首先,无论你的资历如何,请停止将 NFR 视为 QA 部门的专利或上线后的优化工作。请将它们指定为任何 AI 辅助开发计划的“准入标准”。如果一个团队在开始写提示词让 AI 写代码之前,无法清楚阐述他们正在构建的事物的可靠性、性能、安全性和合规性概况,那么他们就还没有准备好开始写提示词。

                                    如果你是一位一直自己亲自尝试 AI 编程的高管,体验过看着一个能运行的原型在几分钟内被生成的快感,那么你这种倾向于快速行动的本能是一项极佳的资产。但是,一个令人信服的演示 DEMO 和一个坚固的生产系统之间的巨大鸿沟,恰恰就是 NFR 的栖身之所。能够正确处理这一问题的组织,将是那些能把这种开发速度应用在已被妥善定义好 NFR 规范的系统上的组织,而不仅仅是应用在那些表面光鲜的演示上。你也最有机会了解你的系统需要体现的关键非功能性目标。弄清楚这些,并帮助你的团队将它们转化为可以验证代码质量的规范。未来的你一定会感谢现在的自己。

                                    工具已经准备就绪。做好这件事的成本比以往任何时候都要低。现在唯一的问题在于,你的组织究竟是把非功能性需求当成严肃的架构产物来认真对待,还是继续抱有幻想,指望它们会像变魔术一样自动出现在 AI 生成的代码中?

                                    它们不会自动出现的;过去从来没有过。

                                    作者:Andrew Harmel-Law

                                    跳转微信打开

                                    •  
                                    ❌