铃阅时讯
❌

阅读视图

TDMQ RocketMQ 轻量主题 Lite Topic 是怎么把百万通道做 “轻” 的 - 下篇

刘生忠、纪宇鹏 2026-07-23 17:00 陕西

为企业构建 AI 原生应用提供坚实的技术基石。

回顾:上篇留下的 3 个谜题

在上篇《一次 AI 问答,背后是十几个 Agent 在 “传纸条” — RocketMQ Lite Topic 实战》中,我们通过两个真实场景 — AI 编程助手多 Agent 协作 和 大模型记忆服务的"记忆写入" — 看到了 Lite Topic 在 AI 原生应用通信链路里的关键作用。

但读完之后,相信不少读者心里都打着同一个问号:

#

谜题

看似不可能的点

1

单实例百万级 Lite Topic 如何自动创建?

主题数量 ×100 倍,内存和文件句柄怎么扛?

2

海量订阅怎么不拖垮 Broker?

海量 Lite Topic 带来海量订阅关系,如何有效维护?

3

“最新连接胜出” 的排他消费如何实现?

RocketMQ 不是 Consumer Group 共享消费吗?

今天这篇,我们一个个揭开。

TDMQ RocketMQ 与 轻量主题 Lite Topic

为了拥抱 AI 原生应用架构带来的变革,针对 “多 Agent 协作持续时间长、多轮次上下文依赖” 的特点,Apache RocketMQ 在已有的 LMQ(Light Message Queue)能力基础上进一步推出了 Lite Topic 功能。腾讯云 RocketMQ 立足开源社区的底层能力,结合业务诉求做了进一步的产品化设计和优化,在已有的主题模型下推出了 轻量主题 Lite Topic 功能。

与传统 Topic 相比,Lite Topic 有三个关键差异:

  • 兼容原有主题模型的前提下,实现了二级数据隔离

  • 实现了 单客户端的排他订阅,订阅关系更加灵活

  • 自动生命周期管理:发送消息即自动创建,过期无消息即自动删除

基于以上特性,Lite Topic 当前已在腾讯内部业务落地验证,正在逐步对外部客户灰度开放,以实现 大模型会话任务解耦与非阻塞调用,提升 Agent 的吞吐能力和响应速度。

概念模型:两级主题

RocketMQ 的轻量主题(Lite Topic)与主题(Topic,或称为 ParentTopic)存在逻辑上的层级关系:

每个 Lite Topic 都从属于一个 Topic,而一个 Topic 可以关联多个 Lite Topic。

层级

角色

Topic

路由注册 + 业务隔离 + 聚合指标

Lite Topic

实际的消息存储载体

这种两级模型的好处是:业务侧通过 Topic 获得“全局视图”(如全租户的总速率、堆积情况),通过 Lite Topic 获得“细粒度通道”(如某个用户会话的精确监控),一举两得。

(图 1:两级主题模型示意图 —— Topic 与 Lite Topic 的从属关系)

谜题 1 揭秘:百万 Lite Topic 是怎么"轻"起来的

单实例百万级 Lite Topic 自动创建,核心问题是:怎么让“主题”不那么“重”?

生命周期:发送即创建,过期即销毁

Lite Topic 的整个生命周期 无需业务侧关注,支持全自动化管理:

发送时自动创建

当客户端发送消息时,Broker 会检查 Lite Topic 是否已创建;如果没有则会自动创建。

过期后自动删除

创建 Topic 时可以设置 TTL 属性,所有关联的 Lite Topic 都会根据该 TTL 自动过期。过期判断逻辑:若某个 Lite Topic 中最近一条消息的写入时间距当前时间已超过 TTL,则该 Lite Topic 被视为已过期。过期后进入后台异步清理流程,删除其消费位点、消费索引,以及移除内存中与该 Lite Topic 相关的订阅关系等。

这是“轻量”的第一层保证:不让没用的主题“阴魂不散”,避免长尾累积。

存储复用:站在 LMQ 的肩膀上

那核心问题来了:百万级 Lite Topic 怎么不爆掉 Broker 的内存?

这里在代码实现上复用了 RocketMQ 开源社区已有的 LMQ(Light Message Queue)能力。此外,发送到 Lite Topic 的所有消息都会追加写入存储层的同一个物理队列,以确保全局有序性。当 Broker 节点在发布重启期间或发生单机故障时,写入流量会自动切换(Failover)到集群内的其他可用节点,从而优先保障服务可用性。

LMQ 设计之初就是为了支持百万级队列的轻量化存储模型,与 Lite Topic 的应用场景 “主题自动创建 + 百万级规模” 高度契合。因此,Lite Topic 的消费索引构建体系直接复用 LMQ 能力 - 不重造轮子,把成熟能力组合出新价值。

总的来说,Lite Topic 在写入路径上完全沿用 RocketMQ 既有的存储体系。在内核存储层面,它与传统 Topic 无任何结构性差异。这种一致性保证了实现上的简洁性,并显著降低了维护与运维成本。

谜题 2 揭秘:海量订阅怎么不拖垮 Broker

百万级 Lite Topic 不止要 “创建得起”,还要 “订阅得起、分发得起”。我们为 Lite Topic 构建了一套高效的订阅与分发机制,主要包括两部分:

客户端维度的订阅管理

与传统基于消费组(Consumer Group)维护订阅关系的模型不同,Lite Topic 将订阅关系下沉到客户端维度(ClientId)进行管理。

由于不再强依赖 Consumer Group 语义,系统无需维护 Consumer Group 内部的一致性状态。这种弱化 Group 的订阅模型天然更轻量,使得在百万级 Lite Topic 规模下,Broker 仍能保持较低的订阅状态管理开销。

事件驱动的合并拉取(Ready Event Set)

百万订阅下另一个挑战是:消费端怎么高效拉取消息,不被海量空查询拖垮?

这里的解法是引入“就绪事件(Ready Event)”机制:

  • 当新消息写入 Lite Topic 并完成消费索引构建后,Broker 立即分发“就绪事件”给相关订阅者

  • 每个订阅者维护一个独立的 “就绪事件集合(Ready Event Set)”,其中记录了该客户端所订阅的全部 Lite Topic 的就绪事件

  • 当客户端发起 POP 请求时,Broker 直接从就绪事件集合中高效地读取就绪消息

这种机制有两个好处:

  • 一次请求合并拉取多个 Lite Topic 的消息 - 大幅减少 RPC 数量

  • 避免对存储层产生大量无效查询 - 空 Lite Topic 不会触发任何拉取动作

(图 2:Ready Event Set 合并拉取机制示意图)

谜题 3 揭秘:排他消费 + 最新连接胜出

“最新连接胜出”的排他消费到底是什么机制?

从 Shared 到 Exclusive 的演进

传统的 RocketMQ 消费采用 共享模式(Shared):Consumer Group 下的所有客户端均衡地消费 Topic 中的消息。这在常规队列场景下没问题,但在 Lite Topic 的会话保持场景下就出现了问题:

用户的会话内容流被多个消费者切片消费 — 意味着同一个会话的 token 流被打散到多个 SSE 网关上,前端 根本拼不回完整对话。

为了适配 Lite Topic 的使用场景(例如会话保持),我们为 RocketMQ 引入了一种全新的 排他消费模式(Exclusive):

发送给 Lite Topic 的消息只会被 Consumer Group 下的其中一个客户端独占消费。

“最新连接胜出”机制

开启排他消费模式后,Broker 默认会选择 最新连接的客户端作为 Lite Topic 的独占消费者,并通知旧的客户端取消订阅。

这个看似简单的规则,恰恰是上篇场景 2 中 “断线续传” 得以实现的关键:

    用户断线 → 网关 A 仍持有订阅
    用户重连命中网关 B → 网关 B 发起排他订阅
                      → Broker 触发"最新连接胜出"
                      → 自动踢出网关 A
                      → 网关 B 接管该会话的后续 token

    整个过程不需要任何业务侧的协调代码 — 业务侧只需调用 seek(offset) 把位点定位到客户端记录的 lastReceivedOffset+1,剩下的全交给协议。

    (图 3:断线续传 + 最新连接胜出机制示意图)

    与传统 Topic 的关键差异对比

    新增的 TDMQ RocketMQ Lite Topic 功能,对比传统 Topic 有以下优势:

    把上篇的 "魔法" 映射到下篇的 "机制"

    最后,把上篇的 3 个谜题与下篇的技术机制做一次完整闭环:

    Lite Topic 在产品层提供的能力,全部都映射到 RocketMQ 内核可解释、可观测、可演进的机制上——这是我们在做这次能力增强时坚守的设计原则。

    结语:AI 原生应用的基础设施还在演进

    路漫漫其修远兮,吾将上下而求索。

    随着 AI 技术的持续演进,RocketMQ 在 LLM 流式服务、Agent 状态管理、RAG 数据底座、模型推理流水线、多模态数据处理 等场景也将发挥更大价值,为企业构建 AI 原生应用提供坚实的技术基石。

    Lite Topic 能力当前已在腾讯云内部多个 AI 业务灰度运行,后续将面向外部客户商业化,欢迎加入 👇 产品交流群沟通了解更多信息!

    往期推荐


    阅读原文

    跳转微信打开

    •  

    AI专栏 | 别再手动造数据了!LLM 与 CTGAN 组合拳破解测试数据难题

    原创 Flint/Aquawer 2026-07-23 17:00 上海

    合成数据新范式:CTGAN负责“量”,LLM负责“质”

    作者简介

    Flint Liu,携程测试开发总监,对于测试用例生成、基于模型的测试、质量领域体系建设以及AI Test有一定的理论和实践积累。

    Aquawer,携程高级测试开发工程师,专注于软件测试与质量保障领域,持续探索大模型在测试领域的应用。

    团队热招岗位:测试开发工程师

    导读:测试人员44%的时间耗在数据构造上——合成数据本是“解药”,但市面方案总缺一角:CTGAN丰富度高却学不会字段逻辑,LLM语义强但输出不可控且低效。本文提出CTGAN+LLM的工程化方案,让二者各司其职,实验证明字段间关系大幅提升,覆盖率接近100%。如果你正苦于测试数据质量与效率,这篇实战复盘值得一读。

    一、背景

    二、合成数据模型调研

    三、LLM-CTGAN数据生成方案

    四、总结与展望

    一、背景

    在软件测试过程中,构造测试数据是一项基础而关键的工作,其目的在于确保软件产品在多种条件下的功能正确性、性能稳定性和兼容性。随着软件系统发展,业务系统的复杂度大幅提升,测试数据的构造也面临高效性、安全性和充分性的挑战。Capgemini与Sogeti的一项联合研究表明,测试人员通常需要耗费44%的测试时间用于测试数据的生成与管理,这是制约企业将产品快速推向市场以保持竞争力的一个关键因素。

    常见的测试数据构造方式主要有两种方式,即手动创建测试数据或从线上数据库中同步可用数据。但前者通常成本较高,且受限于测试人员对于业务的理解程度;后者将会带来一定的隐私合规风险,且数据形态受限于现有业务场景,可能无法覆盖极端测试用例。

    为了弥补上述两种方式在特定场景下的劣势,一些公司和研究机构提出一种新的概念,合成数据(Synthetic Data)。合成数据是指通过统计、深度学习、大语言模型等方式,将模型拟合到真实数据集,然后使用该模型生成不包含任何敏感信息的高度逼真的模拟数据,使得测试数据管理变得更快、更轻松。这种生成过程是随机的,也就意味着模型每次都会产生不同的合成数据集,从而充分模拟生产环境中不同的数据分布、模式和异常,生成涵盖广泛用例的样本数据。这种方式能够高效地降低测试人员数据构造的成本,验证系统是否稳健,并确保更全面的测试覆盖范围。

    注:合成数据可能是多模态的,比如数据、音频以及视频等,本文只对表格数据(Tabular Data)进行讨论。

    在合成数据构造中,模型的选取非常重要。只有生成的测试数据与真实数据非常相似,且能保持足够的多样性,才能有效地模拟各种测试场景并挖掘潜在问题。但当前的常用数据合成模型通常只能满足上述需求的一部分。本文评估了当前业界常用的几种模型,包括高斯分布、时序变分自编码器(Time-series Variational Autoencoder-based,TVAE)、条件式生成对抗模型(Conditional Tabular Generative Adversaial Network,CTGAN),以及大语言模型(Large Language Model,LLM)。

    通过实践案例,比较了不同方案间的优缺点,并最终提出了一种CTGAN与LLM相结合的数据生成方案。这种方式结合了CTGAN与LLM在生成数据时的优势,能够生成既与真实数据相似,又具有较高丰富度的合成数据。本文通过真实案例论证了方法的有效性,并设计了一套完整的工程方案以实现测试数据的生成、修复、监控与管理,使其能够有效地应用于工程化的测试场景中。

    二、合成数据模型调研

    合成数据通常需要为模型提供一个由真实数据组成的训练集。模型通过对训练集的字段特征进行建模,学习其字段的生成规律,包括字段类型、字段格式、字段取值等,最终使用该模型生成与原始数据相似的合成数据集,因此选择合适的模型决定了最终数据生成的质量和成本。

    在工程化的场景中,我们优先追求合成数据有效性、真实性与丰富度三个维度的质量。前两者保障数据的可用性,后者保障合成数据的丰富性。

    • 数据的有效性:即合成数据中是否生成训练集范围之外的无效的取值。如果生成真实场景之外的无效取值,可能导致测试系统异常崩溃、测试人员消耗大量精力在排查无效的测试数据导致的问题中,产生大量的"脏数据",影响数据的可用性。

    • 数据的真实性:合成数据的真实性指其模拟真实数据关键特性的能力,包括统计分布、字段间关系及数据内在逻辑的一致性。在测试数据生成的场景中,并不要求数据与真实数据保持一致的统计分布,相反,希望数据能够均匀地取值,以保证各类单据测试数据数量。而字段间关系与数据内在逻辑一致性可能会直接影响系统处理数据的结果,错误的字段分布和组合可能引起系统判断错误,导致在测试环境验证成功的场景,在真实环境中暴露错误,同样影响数据的可用性。因此,下文从字段间关系以及数据内在逻辑讨论数据的真实性。

    • 数据的丰富度:数据丰富度可以从数据的取值覆盖率、字段间组合、场景覆盖等多方面评估。高丰富度的测试数据能够避免系统反复处理相同的数据,使测试人员能够小成本地覆盖足够的测试场景。从目前业务的高优诉求、数据生成本身的特性以及实现成本考虑,本文将数据的丰富度简化为数据中枚举字段对真实数据覆盖率的问题,即单据的类型、状态取值是否足够丰富,下文所述的数据丰富度均为此定义。

    生成效率同样也是衡量合成数据模型表现的一个关键指标。但由于实际场景中,我们倾向于在每周以定时任务的形式提前准备数据以供测试人员使用,对于实时性的诉求不高,因此对于生成效率指标可适当放宽,生成速度在10s每条以内即可接受。基于上述目标,对现有的模型调研如下。

    2.1 高斯模型

    基于高斯模型的数据生成使用统计学对原始数据的分布进行建模,能够快速地学习数据的分布特征并生成数据。

    模型假设被学习的数据服从正态分布,利用均值向量和协方差矩阵描述数据分布特征,使得生成的数据能与真实数据保持相似的字段取值分布。其优势在于计算高效、有坚实的数据理论基础且参数可解释性强,尤其适合低维、近似正态分布的场景。但受限于严格的正态性假设,模型存在以下缺点:

    • 复杂关系识别能力差:仅能捕捉变量间的线性相关性,无法建模复杂的非线性关系;

    • 长尾分布建模能力弱:由于模型严格按照原始数据的取值分布进行建模,在原始数据中出现概率较低的取值在数据生成时将会丢失,影响生成数据的丰富度。

    2.2 TVAE模型

    基于TVAE的数据生成利用变分自编码器(Variational Autoencoder,VAE)的生成能力,增加了对时序依赖的建模,将表格的每一行视为一个序列,能够在训练过程中学习字段的时序关系。

    模型首先通过编码器,根据字段的数值、类别、文本等特征,将每一行输入数据压缩为一个固定长度的特征向量,再通过一个解码器将特征向量解码为全新的模拟数据。这种方式能够有效学习连续类型变量的数据特征,在一定程度上捕捉字段间的非线性关系,但其数据生成存在以下局限:

    • 模型规则可解释性差:TVAE模型虽然能够在一定程度上捕捉字段间的非线性关系,但其潜在变量缺少明确的语义解释;

    • 高维混合型数据学习效果差:TVAE对于分类变量的拟合效果较差,当变量列数多、或分类基数大时,甚至可能产生训练集中未出现过的异常取值;

    • 长尾分布建模能力弱:TVAE对于低频类别数据的生成质量下降,会损失较多分类字段的取值,丰富度较差。

    2.3 CTGAN

    基于CTGAN的数据生成是一种针对结构化表格数据设计的生成对抗网络。其核心原理是通过条件生成机制解决混合数据类型(连续型、分类型)的生成难题。

    CTGAN模型由一个生成器和一个判别器组成。模型首先根据表格字段的取值类型,将各行数据归一化编码为机器可识别的特征向量。生成器(Generator)接收随机噪声和条件向量作为输入,生成合成的数据向量;判别器(Discriminator)对Generator的输出与真实数据向量进行真伪判别,通过对抗训练的机制优化判别准确率。Generator在对抗过程中学习生成更逼真的数据以“欺骗”判别器,Discriminator则持续提升其判别能力。

    CTGAN的条件生成模式能够有效地处理类别不平衡问题,使原始数据的取值在合成数据中完整且均匀地出现,生成数据的质量较高。但受限于模型的架构设计和参数量,基于CTGAN的本质是通过深度学习隐式捕捉变量间统计关联性生成数据,无法有效且显式地捕捉数据间多字段的联合约束(如城市code、机场code间的级联关系),且无法学习到字段间的隐含逻辑(如订单人数等于各类人员总和等),模型生成结果的可解释性差、字段间关系捕捉不足。

    2.4 LLM

    随着ChatGPT、DeepSeek等LLM在自然语言处理领域的突破,越来越多的研究者尝试利用LLM的语义理解能力构造某些特定领域的数据集,对真实数据进行扩容,这和我们的测试数据合成场景异曲同工。LLM的语义理解能力和模型推理能力使其能够从数据训练集中获取神经网络学习不到的额外信息——即通过字段名称和建表信息推测字段间的语义联接。因此对于诸如多字段联合约束、字段间隐含的计算逻辑,LLM可以轻易地根据字段名称推断字段间的关联,并在字段中隐式验证规则正确性,进而通过链式推理自动计算字段结果,保证生成数据的逻辑一致性。下表是两个LLM对于关联关系学习的示例:

    关系类型

    场景示例

    LLM生成结果

    语义关联关系识别

    以机票大系统政策为例,出发/到达城市code和出发/到达机场code通常具备关联关系,一个airportcode只对应一个citycode。

    LLM生成的数据能够保持与原数据完全一致的关联关系。但是生成的数据只覆盖了部分取值,丢失了一些取值信息。

    机器学习效果:

    大模型效果:

    逻辑关联关系识别

    以机票订单为例,订单表的人数、成人人数、儿童人数、婴儿人数字段间具备逻辑上的计算关系,即人数=成人人数+儿童人数+婴儿人数。

    LLM在数据生成时能够维持字段间的计算关系,生成的数据符合数学计算的结果。

    机器学习效果

    大模型效果

    从上述示例可得,LLM能够在数据生成时获取字段间存在的隐式关联关系,使得生成的数据更具备可用性。但同时也存在其局限性:

    数据丰富度损失:LLM的注意力机制使其仅能关注到最重要的信息,因此在输入数据token较多的情况下,LLM在数据生成时会损失一定的数据丰富度;

    输出可控性差:与传统的统计模型不同,LLM的内部决策过程复杂,微小的输入区别都会导致其输出的多样性,输出的可控性较差,因此对于prompt的要求较高;

    复杂场景稳定性不足:在输入表格字段多、模式复杂的情况下,LLM无法将注意力集中在存在关联关系的字段间,生成的数据往往会:

    • 缺少部分列

    • 不满足输出格式

    • 产生异常取值

    • 数据生成异常终止

    因此,如何合理地应用LLM,使其稳定可控地生成有效、具有真实关联关系且尽可能丰富的数据是使用LLM生成数据面临的挑战。

    2.5 综合分析

    我们分别在三个库表中,用一个小样本的训练集,简单且直观地验证了各个模型对于字段取值覆盖率、字段间关系以及数据有效性的生成效果。字段取值覆盖率、字段间关系以及数据有效性指标的计算方式如下:

    训练集从真实的库表中获取,共200条,分别使用每个模型生成20条合成数据。其中:

    • 高斯模型、TVAE模型、CTGAN各训练300个Epoch,模型均达到收敛;

    • LLM每轮训练30条数据,生成10条数据,并将生成的数据追加到下一批中,最终生成20条数据。

    各模型生成效果如下:

    由上表可得:

    • 对于数据有效性指标,四种模型均能达到较高的有效性水平(>0.95),确保生成的数据具备基本的可用性;

    • 对于字段间关系指标,LLM凭借强大的语义理解能力,显著优于高斯、TVAE及CTGAN模型,合成数据的字段间关联性最接近真实分布;

    • 对于枚举字段覆盖率,高斯、TVAE以及LLM表现相似,均损失约30%的枚举字段取值,而CTGAN模型凭借条件生成对抗的训练机制,枚举字段覆盖率显著优于其他实验模型,在训练集上达到了100%的字段覆盖率;

    • 对于模型生成速度,高斯、TVAE模型的生成速度较快(<1s/条),CTGAN生成速度有所降低,但在可接受范围内(<10s/条),而LLM的生成速度达到了43s/条,数据生成的成本显著上升,在大批量生成数据时可能存在性能局限。

    综上,LLM与CTGAN能够分别满足我们对于合成数据真实性与丰富度的诉求,LLM能够学习到更多其他模型无法学习到的字段间关联,而CTGAN能够生成与真实数据具有几乎一致丰富度的合成数据。但二者均存在一定的局限性。

    对于CTGAN,其受限于模型架构,难以学习显式的逻辑规则(如数学公式、字段映射),且模型学习特征的可解释性较差;对于LLM,其生成数据的字段丰富度较低,且其数据生成的效率较其他模型显著降低。

    基于上述特性,本文提出将CTGAN模型与LLM结合,使其各自生成各自擅长的字段数据,从而生成既能保证丰富度,又更接近真实数据特征的合成数据。该方案既可集成CTGAN的高丰富度能力,又能通过LLM学习复杂逻辑规则,最终输出兼具丰富度与业务逻辑的合成数据。此外,通过一些工程化的技巧提升使用CTGAN与LLM生成数据的效率,降低成本消耗。

    三、LLM-CTGAN数据生成方案

    在本章节中,将详细论述基于LLM-CTGAN的数据生成方案。方案包括关联关系识别、数据生成、指标监控以及数据修复四个模块。在这个整体的方案中,我们利用LLM的语义识别能力指导数据生成的模型选型,使得CTGAN和LLM能够充分地在其擅长的数据类型中发挥优势。

    在关联关系识别模块,我们为LLM提供少量数据样本和库表建表信息,使其能够根据语义信息将库表字段分类为存在相关性的字段和关系独立的字段两部分,用于指导各字段在生成时使用的模型。

    在数据生成模块,我们使用CTGAN进行无关联关系字段的数据生成,使用LLM分别对每个存在关联关系的组进行数据生成。对于CTGAN,我们选择直接从线上获取10000条真实数据作为训练集,并保存训练得到的模型参数,以减少后续模型训练的时间。对于LLM,考虑到其上下文限制,我们使用一个压缩算法对上述训练集进行了精简,使其能够在缩小规模的同时尽可能地保持丰富度。

    在指标监控模块,我们从字段列和数据行两个维度对数据生成的效果进行监控。对于合成数据每一列质量,我们采用字段间关系、数据有效性以及覆盖率三个指标进行衡量。对于合成数据每一行的指标,我们复用了CTGAN模型在判别器参数,对每一行进行打分,以确定每一行数据的置信度。此外,我们还形式化LLM在数据生成过程中学习到的规则,在真实数据上验证这些规则的真实性。这一操作不仅能够验证LLM对语义的理解能力,还使得数据生成这一过程具备可解释性。最后将指标整合为报告推送给使用者,使其能够对数据生成质量有清晰的认知。

    在数据修复模块,后置对模型生成的数据进行检查,检查其与原始数据集丰富度的差异及有效性,对于丰富度缺失的列,额外补充丰富度;对于异常数据,将其剔除。

    3.1 关联关系识别

    在数据生成中,我们对于表格中各字段的生成诉求通常是不同的。例如,对于一些单据标识字段,我们通常不关心它的取值;对于一些枚举类型字段,我们希望它在生成中保持与输入同样丰富的取值;而对于一些业务字段,我们希望它们能维持字段间的逻辑关系。库表字段根据其合成数据时的特征可以分为如下几类:

    根据上述分析,需要生成的字段可以分为两部分:

    • 无需保证字段间的关联关系,但需要保持丰富度的字段,适用于CTGAN生成;

    • 需要保证字段间的关联关系,可以接受牺牲一些字段的丰富度的字段,适用于LLM生成。

    因此,如果可以识别字段类型,即可使用CTGAN用于前者的生成,LLM用于后者的生成,满足两种字段的数据生成诉求。对CTGAN而言,这种方式最大化了其取值丰富度的优势;对于LLM而言,该方式避免了无关字段占用模型输入,从而避免了不必要的计算和存储开销。

    人工完成这一识别任务需要分类人员具备深入的业务知识且实施成本较高,而LLM凭借丰富的语义理解能力,能够比人工更为高效的完成此任务。

    为LLM提供库表的少量样本行S,及建表语句T,我们希望LLM能够识别库表中可能存在关联关系的字段,并将其分为若干个具备关联关系且不重叠的组(G₁,G₂,...,Gₙ)。划分字段组的原因是:字段间关系通常存在于特定的字段子集中,与其他字段无关。使LLM分别学习这些分组对应的数据,可以使其最大程度上排除无关的信息的干扰。我们将这个任务拆分为三步:

    1)直接使LLM将字段分为若干个取值上有相关关系的组;

    2)使LLM对生成的结果进行批评和修复,以[["category1","category2",...],[["category3",...]]格式,结构化地输出识别的结果;

    3)根据预设规则修复LLM的输出,如过滤输出中字段名中包含state、type、version的字段、过滤只有一个字段的分组。

    通过上述工作,即可获取到库表中存在关联关系的字段组(G₁,G₂,...,Gₙ)用于指导数据的生成。整体的工作流程如下:

    1)首先要求LLM对样本及建表语句进行分析,识别出可能存在关系的分组。提示词(Prompt)如下:

      接下来我将为你提供一个表格的表头和5条真实数据,表格中字段间可能存在一定的逻辑关联关系。请帮我过滤掉这些字段中,在生成合成数据时通常不需要保持原有的关联关系或取值随机性较高的字段。其余的字段细分为若干个取值上有相关关系的组。注意:每个组之间不要出现重复的字段。

      2)随后再次使用LLM对上一步的输出进行评价,评价其分组是否合理,对不合理的部分进行修正后,将结果输出为json列表格式。Prompt如下:

        请检查下面的分组中是否存在错误,修正并将修正后的分组以列表的形式输出,例如[["category1","category2",...],["category3",...]],不要使用任何额外解释,直接给出结果即可。

        3)为了避免LLM无法很好地过滤不具备关联关系的枚举字段,采用另一个Prompt,提示模型识别与status、state、type、version等内容相关的字段,并在最终结果中过滤这些字段。

          接下来我将为你提供一个表格的建表语句,请帮我识别其中字段名中包含status、state、type、version的枚举字段。返回格式为一个列表,格式为|'column1','column2',...|,不要返回其他内容。

          3.2 LLM-CTGAN模型实现

          在这一模块中,我们首先使用CTGAN模型对原始数据集D-original进行建模,得到合成数据D-independent。再由LLM对一个由D-original压缩而来的D-compressed进行学习,得到合成数据D-related。最终合并两种方式得到的数据,生成最终的测试数据。与单独使用CTGAN或单独使用LLM相比,这种方式存在以下优势:

          • 端到端流程整合:将关系识别、模型适配与数据生成整合为一个端到端的自动化管道,显著降低人工配置成本;

          • 语义-统计协同建模:该方式融合了LLM的语义理解与CTGAN的统计建模优势,使得生成的数据能够兼顾字段级别的高丰富度与跨字段关联一致性。

          • 计算效率与样本规模兼顾:与直接采用LLM生成数据相比,该框架分组学习的方法使LLM能够单次处理更多规模的数据,减少LLM的计算负载。

          3.2.1 CTGAN模型实现

          我们使用开源的SDV库搭建CTGAN模型。以一个从线上获取的10000条真实数据的表格作为训练集。考虑到CTGAN在单次训练过多数据时会出现内存崩溃,本文采用了一种高效的训练方式实现数据生成,如下图所示。

          训练集被拆分为若干个大小相同的批次(batch),每个batch通过CTGAN训练一个Epoch后,生成一个小样本数据,追加到下一个batch中进行下一轮的训练。在最后一轮的训练中,将CTGAN训练的模型参数保存到云端。在后续的每次生成中,只需加载库表对应的生成模型,即可实现高效的数据生成。每一次训练相当于一次蒸馏,提取数据集中最重要的部分,在保障了生成数据丰富度的同时减少了训练成本,解决了CTGAN内存消耗大、训练速度慢的问题。

          数据集构建

          数据集是模型训练的基础,构造数据集的目标是希望数据集能够覆盖尽可能多的字段真实取值。获取数据集的方式有三种:人工构造数据集、从测试环境中获取数据集、从线上环境中获取数据集。人工构造数据集虽然能够更加针对性地设计数据分布,但需要投入较多人力成本;从测试环境中获取数据集可能由于Mock、异常插入等原因,导致数据失真,带来脏数据;而从线上环境获取数据集具有最真实的用户行为特征和自然数据分布,与人工构造相比数据获取成本低,与测试数据相比数据真实性高。因此,选择直接从线上环境获取库表数据构建数据集。

          由于某些线上库表数据量较大(10w+),获取全量数据作为训练集是不现实的。本文比较了在限制获取10000条数据情况下,不同的SQL排序写法对于数据集枚举丰富度的影响,分别为按id倒序获取、按创建时间(create_at)倒序获取以及按修改时间(change_at)倒序获取,实验结果如下表所示。其中,按id倒序获取到的枚举值更完整,取值覆盖率达到了全量数据的85%。且由于几乎所有库表都存在id字段,但不是所有库表都存在create_at/change_at字段,因此,选用按照id倒序的方式获取线上数据,构建训练集。

          Metadata生成

          Metadata是对要合成的数据集的描述,包括列的名称、每列的数据类型,其核心作用在于指导生成模型进行差异化的特征编码与生成策略选择。当前业界标准将基础数据类型划分为boolean、categorical、datetime、numerical四类。开源的SDV库提供了一种根据DataFrame的sdtype识别的Metadata生成方式。但这种方式在实践中经常出现识别错误导致生成错误的问题,需要通过异常处理机制并错误的列全部覆写为categorical类型,这可能影响数据的生成质量与后续的指标度量。

          鉴于字段类型通常与数据库模式定义存在严格映射关系,采用LLM解析数据库建表语句(DDL),可实现更精确的元数据自动化构建。生成Metadata所使用的Prompt如下:

            你是一个数据专家。接下来我讲为你提供一个数据库表的若干条数据。请为我生成这个库表可用于sdv生成的metadata。输入:一个数据库表的若干条数据以及这个库表的建表语句。输出:这个表的metadata。metadata对字段的类型进行分类,包括boolean、categorical、datetime、numerical四类。一个示例如下:

            { 

                "columns": { 

                    "age": { 

                        "sdtype": "numerical" 

                    }, 

                    "tier": { 

                        "sdtype": "categorical" 

                    }, 

                    "active": { 

                        "sdtype": "boolean" 

                    }, 

                    "paid_amt": { 

                        "sdtype": "numerical" 

                    }, 

                    "renew_date": { 

                        "sdtype": "datetime" ,

                        "datetime_format": "%Y-%m-%d" 

                    }

                } 

            }


            数据分批训练

            在数据训练时,为了降低训练成本的同时,还能使合成数据具有与真实数据一致的丰富度,本文采用了一种分批训练的方式实现数据生成。

            首先将训练集拆分为若干个大小为100条数据的batch,每批数据在训练10个Epoch后生成100条数据,将生成数据追加入下一批数据中。这一步骤的目的是将200条数据的取值浓缩到100条数据中。当某个字段在200条数据中的唯一取值超过100个时,这个过程可能会损失一些取值。但由于我们的目标是保持"分类字段的取值丰富",而分类字段的取值通常不会多于100,因此,这种方式能够成功地将分类字段的取值压缩。

            当训练至最后一个batch时,模型训练300个Epoch,并将模型参数上传至云端文件管理系统。在下一次生成数据时,首先查询是否存在对应库表的模型参数,若存在,则直接生成数据,反之,则从线上获取数据后训练模型。

            我们分别在6张库表中单独使用CTGAN对10000条数据构成的训练集进行了训练,比对生成1000条数据后,合成数据与真实数据的枚举字段取值。在所实验的库表中,CTGAN均能保持与训练集完全一致的枚举字段覆盖率。当首次训练模型生成数据时,生成速度约1.99s/条;使用预保存的模型参数生成数据时,生成速度进一步提升至0.16s/条,与上文实验中以200条训练集直接训练的9.84s/条相比,生成数据的时间消耗缩短至1/60。

            3.2.2 LLM数据生成

            对于LLM,我们以一个由上述10000条真实数据的表格压缩而来的1000条数据的表格作为训练集。首先根据关联关系识别模块得到的字段分组,将数据集纵向划分为若干个分组。与CTGAN的训练策略相似,对于每个分组,分批次训练后,将生成的一个小样本数据集追加到下一个批次中形成新的训练集。最终将各分组的结果合并。与直接使LLM训练1000条数据相比,这种分批次的生成方式可以使LLM专注于每批次的数据,避免过大数据量导致的注意力不均衡和信息损失。

            模型选用

            由于测试数据生成涉及对线上真实数据的学习,因此需要模型支持数据外发,且具有较强的推理能力。综合考量模型特征及成本,我们选用自部署的开源Deepseek-R1-Friday(全参671B)用于LLM数据生成。

            数据集压缩

            由于LLM天然的Token数量及注意力机制限制,LLM并不能像CTGAN一样学习万级别的训练数据。而事实上,关联关系的识别也并不需要如此庞大的数据量。因此,我们需要对原始数据集进行压缩操作。

            一种简单的方式是直接切片获取原始数据集的前1000条数据。但对于某些分布不均匀的字段来说,直接切片操作可能导致损失过多取值信息。如某字段的前1000条数据均为NaN,这显然是不可接受的。

            想要对一个库表的几十个字段抽样压缩,并保障其丰富度和分布均匀是一件有挑战性的工作。

            我们采用了一种分类+按行评分的方式来实现这一需求,具体抽样流程如下图所示:

            1)首先将各字段分为单一值列、极端偏态列、随机值列、可数离散值列、其他共五类;

            2)对极端偏态和可数的列按值出现的概率之和进行评分采样;

            3)按得分倒序排列,取前900条数据纳入样本数据集,剩余数据均分为4个区间,分别随机抽样25条,最终构成1000条样本数据集。这样抽样得到的数据能够保持各列分布相对均匀,使得出现频率较低的列也能被采样到,避免出现一整列抽样均为单一值的情况。

            比较直接顺序切片、随机抽样、以及我们所使用的差异化抽样可得,差异化抽样方式的各列平均相对熵比、枚举字段覆盖率均有所提升,与直接切片相比,平均相对熵比提升约15%,枚举字段覆盖率提升32.3%。

            Prompt优化

            吴恩达《提示工程》课程中提出,要对每一个子任务构造清晰而具体的提示,可遵循以下策略:

            • 少样本提示:将一系列成功执行所需任务的案例与要查询的问题连接在一起,形成带有提示的模型输入,通过少量的标注引导模型预测。

            • 要求结构化的输出:即指定模型输出的格式,如JSON格式;

            • 使用分隔符:即使用分隔符使模型清晰地确定需要用于分析的文本;

            本文借鉴这一思想,为LLM数据生成设计了精心优化的提示词。

            首先是样本的提供。在每次训练中,我们将为LLM提供100条真实数据作为样本,并指导模型生成20条数据,并合并入下一批数据,作为下一次训练的训练集。样本的数量不宜过多,过多样本会引发LLM上下文长度溢出,以及削弱模型对每个个体示例的注意力。

            在选择结构化的输入输出时,本文选择Markdown格式的表格作为LLM的输入和输出。这是由于Markdown格式的表格数据结构清晰,可读性高。对于LLM来说,清晰的格式可能使其更容易理解数据结构。在训练前,我们将excel表格数据转换为Markdown格式的文本提供给LLM,并从LLM的输出中提取符合Markdown表格格式的输出,转换为excel存储。

            此外,我们在提示词中充分使用了诸如序号、换行符等分隔符,采用定义角色、定义输入输出、定义约束的三段式描述方式,使得Prompt能够被LLM清晰地解析。

            以下是我们使用的几种提示词的优缺点分析:

            版本1:

              你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。

              你需要遵循以下策略和规则:

              1. 输入输出

              1.1 输入格式:输入是一个有若干行的 Markdown 表格格式的表格,包含表头与表单项。

              1.2 输出格式:输出是一个有 20 条数据的 Markdown 表格格式的表格。

              2. 约束

              2.1 输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

              2.2 对于可能有关联的字段,请保持给他们之间的关联关系。

              2.3 生成的数据分布需要均匀,不需要和输入保持相似的分布。


              分析:Prompt的约束要求LLM需要与输入保持完全一致的丰富度、保持关联关系,且保持数据分布均匀。这使得LLM在处理非分类字段时,由于约束,也会倾向于生成与该字段完全一致的取值,且在生成致据中使这些取值保持均匀,而由于非分类宇段通常具有较多不同的取值,在生成数据中保持取值均匀和维持关联关系变得十分困难,因此LLM的生成效率会大大降低,甚至因为思考长度超长无法生成数据。

              版本2:

                你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。你需要遵循以下策略和规则:

                1. 输入输出

                1.1 输入格式: 输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项。

                1.2 输出格式: 输出是一个有20条数据的Markdown表格格式的表格。局6

                2.约束(请重点关注!!!)

                2.1 除了时间类型,其他所有字段的输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                2.2 对于可能有关联关系的字段,生成时请保持它们之间的关系,使其符合常识。


                分析:Prompt的约束去掉了对于数据分布均匀的要求,便这项数据生成的任务变得更加简单。此外,与上述Prompt相比,这一版本使LLM不必关注时间类型的丰富度,但其他的非分类字段仍然存在上还问题。

                版本3(最终版):

                  你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。你需要遵循以下策略和规则:

                  1. 输入输出

                  1.1 输入格式: 输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项。

                  1.2 输出格式: 输出是一个有10条数据的Markdown表格格式的表格。

                  2. 约束

                  2.1 对于枚举类型、分类类型的字段;输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                  2.2 对于连续致值、时间类型的字段:输出必须保持与输入完全一致的数据范围与格式,在数据范国内可以生成随机的数据。

                  2.3 对于可能有关联关系的字段,请保持它们之间的关系。


                  分析:这一版本的Prompt强调了LLM对于不同类型的字段可以采取不同的丰富度保持的方式,生成异常数据的几率大大降低,LLM能够较为稳定地生成合成数据。

                  3.3 实验验证

                  我们在两个特征不同的场景中试验我们方法的有效性,前者涉及的三张表中,数值类型字段偏多,字段间计算逻辑关系较多。后者涉及的三张表中,分类类型的字段较多,字段间多为映射关联关系。

                  3.3.1 指标设置

                  本文采用字段列和数据行两种维度的指标衡量合成数据的质量。

                  字段列指标指的是上文所述的枚举字段覆盖率、字段间关系、数据有效性指标,这些指标关注字段本身或字段与其他某个字段二元关联关系,能够较为直观地反映合成数据是否与真实数据具有相似的统计学特征。但仅使用这些指标,不足以反映合成数据是否学习到了与真实数据一致的字段间关联——基于相关系数的字段间关系指标只能反映字段间两两间的线性趋势,无法度量复杂的字段间关系。

                  数据行指标包括判别器得分与规则有效性两种,从整体数据表现入手,反映合成数据是否真正学习到了字段间的隐含关系。其中,判别器得分指标利用CTGAN的模型判别器,使其反过来对合成的新数据进行判别打分。规则有效性指标使LLM将其生成数据时所用的规则形式化,反过来验证规则是否在合成数据中有效,这一过程使数据生成变得可解释。

                  数据的行列指标结合,使我们能够更全面地评估合成数据的质量。

                  字段列指标

                  数据行指标

                  • Discriminator Score

                  作用:判定每一行的数据置信度

                  计算方式:CTGAN的判别器loss能达到比较低的水平,即整体判别正确率较高,因此,使用CTGAN的判别器对最终生成的数据每一行进行评分,整体评判合成数据的整体质量。

                  由于CTGAN原有判别器采用一个linear层作为输出,并没有进行归一化处理,无法直接用于衡量数据置信度。我们首先使用一个sigmoid层,对Discriminator的数据进行归一化,再以判别器对真实数据的评分对合成数据的评分进行放缩,衡量行数据的质量。

                    1. 对于每一个生成的数据行i,将其向量化为t_i

                    2. Discriminator计算T的预测得分p_i

                    3. 使用sigmoid将pi归一化,得到得分d_1

                    4. 使用上述方法计算真实数据的平均得分D_real=(d_1+d_2+...+d_i)/i

                    5. 使用上述方法计算合成数据的平均得分Dsyn=(d_1+d_2+..-+d_i)/i

                    6. 则合成数据的最终得分Q=D_syn/D_real


                    • Rule Validity
                    作用:模型规则验证

                    计算方式:形式化输出LLM生成数据时所依赖的规则,并使用这些规则在真实数据中进行验证,证明其可行性。若在真实数据有效性达到100%,即所有训练集的数据行均条件成立,则证明该规则真实存在。进而使用规则在生成数据中进行验证。

                    规则有效性=规则成立的行/数据集的所有行

                    你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能找出这些数据中存在的关联关系。
                    你需要遵循以下策略和规则:
                    1.输入格式: 
                    输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项.
                    2.输出格式: 
                    输出是一系列你发现的关联关系,以字符串列表格式表示,不需要输出其他信息,也不要生成除了下面提供的三种关系类型以外的关系。
                    2.1 如果字段间存在一对一的映射关系,则字符串为列表格式,如"
                    a->b
                    ",表示一个a唯一确定一个b值;
                    2.2 如果字段间为计算关系,则输出他们的计算关系,如"
                    a=b+c
                    ";
                    2.3 如果字段间为大小关系,则输出他们的大小关系,如
                    "a>b+c"
                    、
                    "a<100"
                    等。
                    3.示例
                    ["a->b","a=b+c","a<100"]

                    3.3.2 实验验证

                    在一个10000条数据的原始训练集上,我们验证了我们所提出的方法的有效性。每次训练生成1000条数据、执行10次后求平均值计算指标得分。

                    本文重点对比了CTGAN基线方法与LLM_CTGAN增强方案的生成性能。实验设计未纳入直接使用LLM生成的对比组。这是由于随着训练迭代次数增加,直接使用LLM生成数据的多样性严重下降,所有字段取值趋向于某个出现概率较高的固定值,且接口调用生成错误结构的数据概率也增加,导致使用1000条数据训练时,生成流程的失败率已经超过90%,生成数据所需时间超过60s/条,不适用于大数据量的数据生成任务。数据生成结果如下表所示:

                    行间指标:

                    列间指标:

                    3.4 数据整合与修复

                    在上文中,我们使用LLM_CTGAN实现了数据的生成,生成的结果需进行后置检查修复操作,检查生成的数据中是否保持了数据的丰富度,以及是否存在取值异常的情况,使最终输出的数据更加丰富和可用。

                    数据丰富度修复旨在解决生成数据中潜在的分布偏差问题。尽管在数据预处理阶段我们通过压缩算法调整了训练集分布,但生成过程中仍可能因模型注意力偏好导致特定字段出现极端分布偏态,导致LLM在训练过程中丢失一些字段的取值,进而导致生成数据的取值过于单一。因此,我们通过后置补充丰富度规避这一情况,即后置检查各列的取值分布。对于生成数据中枚举字段取值与原始数据不一致的列,通过对LLM增加约束条件,使其再补充一些指定取值。

                    生成指定取值数据的Prompt如下:

                      你是一个对业务非常了解,且精通数据库,推理能力很强的数据分析人员。接下来我将为你提供一张数据表的若干数据,我希望你能在保持数据特征、丰富度以及列间关系的情况下,帮我生成更多这样的数据。

                      你需要遵循以下策略和规则:

                      1. 输入输出 

                      1.1 输入: 输入是一个有若干行的Markdown表格格式的表格,包含表头与表单项。

                      1.2 输出: 输出是一个有{batch_generate_size}条数据的Markdown表格格式的表格。

                      2.约束

                      2.1 对于枚举类型、分类类型的字段:输出必须保持与输入完全一致的丰富度,不要出现输入中没有出现过的数值。

                      2.2 对于连续数值、时间类型的字段:输出必须保持与输入完全一致的数据范围与格式,在数据范围内可以生成随机的数据。

                      2.3 对于可能有关联关系的字段,请保持它们之间的关系。

                      2.4 生成的致据分布需要均匀,不需要和输入保持相似的分布。

                      2.5 字段{col}的值为{unique val}


                      取值异常修复旨在在解决字段取值异常及关系异常两种异常的致据情况。检查方式与修复方式如下:

                      • 异常取值:对于“枚举字段”,即Metadala字段分类为categorical,且训练集中唯一值<20的字段,后置检查判断这类字段与原始数据值域的差异,剔除其中没有在原始数据中出现过的值。

                      • 异常组合:对于LLM识别出的规则,校验其在真实数据中的有效性,进而使用在真实数据中被验证有效的规则反过来验证其在测试数据中是否成立。对于在测试数据中有效性>90%的规则(即LLM在学习过程中使用了该条规则),过滤不符合规则的数据。

                      四、总结与展望

                      我们提出的基于AI增强的自动化数据生成方式能够有效地提升传统的基于统计模型生成数据的效果,使生成的测试数据具有更接近真实业务数据的字段间关系,且能够保持基于统计模型的丰富度优势,这个方法使得LLM和CTGAN能够“各展所长”,生成他们更擅长的字段类型的数据,使成的测试数据更加有意义。

                      在未来的工作中,我们将在以下方向持续迭代:

                      • 复杂表间关系识别:探究如何识别库表间的复杂关系,进一步降低数据生成的配置成本;

                      • 效率提升与成本优化:探究能否通过离线推理等方式提升LLM的数据生成速度;

                      • 通用平台建设:完善数据生成系统能力,建设通用的测试数据生成平台。

                      【推荐阅读】

                       “携程技术”公众号

                        分享,交流,成长

                      跳转微信打开

                      •  

                      海外Agent实践:让问题直达源码,助力团队提效!

                      原创 海外技术团队 2026-07-23 12:00 北京

                      海外Agent探索实践,智能化跨系统串联多方数据并结合代码综合分析,让问题直达源码,助力团队协作提效!

                      爱奇艺海外事业部在AI编程全面普及的背景下,进一步探索实践,基于Cursor TypeScript SDK先后构建Code Chat MCP(代码即时问答)、Intl Chat Debug Agent(国际站排障助手)两个云端智能服务,针对业务咨询、反馈排障、产品迭代联调等场景,按实际业务路径自动跨系统串联多方数据并结合代码综合分析汇总,助力产研工作提效。本文梳理Cursor SDK的能力边界、方案优势、案例实践与可扩展方向,供参考复用。


                      01#

                       背景

                      1.1 协作痛点

                      目前公司已实现研发 100% AI 编程普及,进入「人手必备智能IDE/助手」智能发展轨道,但在业务迭代过程中依旧存在协作痛点;例如:大量项目服务,长期迭代后功能逻辑日渐复杂,人员流动,文档失真难对齐,虽然现在逐步应用沉淀业务知识库,但无法保证覆盖所有业务逻辑;工作中常常需要多方人员核对确认业务逻辑,再推进迭代,其中多方串行依赖、需人工介入、沟通成本不可忽视;

                      典型场景:

                      • 产品咨询代码逻辑:帮忙确认目前线上标题多语言优先级、AI海报图分发策略是怎么样的 ?需开发确认后回复;

                      • 运营反馈终端问题:为什么配置了某重点剧目\某页面\模块,但未展示?  为什么XXX未展示多音轨角标 ?需同时排查后台配置、业务逻辑、推荐分发策略等上下游多系统才能定位原因;

                      • 需求开发迭代联调:需求迭代过程中,需要多方联调协同,不断对齐功能,排除产\研\测各方疑问,耗时费力;

                      • 报警排查分析处理:当触发某些业务报警时,需要人工介入,协调兄弟团队处理。

                      1.2 核心需求

                      通过飞书机器人\个人助手,可实现代码逻辑即时智能问答、实现业务跨系统全链路自动化智能分析与答复,打破多方人员串行依赖;

                      基于第一性原理:业务最新最完整功能逻辑全部沉淀在代码\配置\运行的服务之中。查文档、问研发,不如让 Agent 直接按需读代码、调接口、查日志,在 IM 里给出综合结论。

                      期望效果:工作中,可以通过飞书机器人\AI agent咨询了解所负责业务的底层逻辑,可获得即时响应、可跨系统分析定位问题,降低团队沟通成本,促进业务高效迭代;

                      通过飞书机器人对话界面,用自然语言表达意图(例如:「展示配音超剧集有哪些条件?」、「泰国用户为什么XXX播放失败?附:客服反馈链接」、「XX节目配置都正常,为什么未展示?附:APP截图」、「接口没有返回最新的多音轨列表?附:播放页接口case」),

                      AI Agent系统能在云端分析用户反馈的图文信息,按需调用相关Skill、MCP服务,分析相关日志、配置、代码、关联服务数据等、综合分析理解、归因与结论输出。


                      02#

                       技术选型

                      2.1 Cursor SDK

                      Cursor TypeScript SDK 是 Cursor 官方客户端库,可在代码中程序化创建 Agent、选择模型与工作区,让 Agent 在指定目录下读取与推理——能力形态接近 IDE 内 AI 助手,可通过 API Key 运行在服务端 / CI / 容器等无界面环境。自研Agent 与 基于Cursor SDK 构建Agent对比,Cursor SDK已封装满足需求的核心功能;特别是在多项目工程代码分析处理方面优势明显;

                      自建Agent

                      CursorSDK 内置

                      替代程度

                      Agent 运行时 + 工具循环

                      Agent Harness(tool_call、thinking、多轮上下文)

                      ✅ 可替代

                      会话持久化 / 断线续跑

                      agentId 会话管理、resume、历史记录

                      ✅ 可替代

                      多 Agent 协作

                      Subagent 委派 + 自定义 prompt / 模型

                      ✅ 可替代

                      Skill 领域能力封装 手写 Prompt  + 人工维护文档索引

                      原生 Skill 支持,工作区自动发现

                      与 IDE 内 Skill 体系一致

                      ✅ 可替代

                      MCP 服务器集成

                      原生 mcpServers 内联配置

                      ✅ 可替代

                      AST 解析 + 代码切分

                      semSearch + grep/glob/read 工具链

                      ✅ 可替代

                      向量库 + 语义检索

                      Semantic Search + instant grep

                      ✅ 可替代

                      沙箱执行环境

                      local: { cwd } + 可选 sandboxOptions

                      ✅ 可替代

                      代码生成质量控制

                      需自建 Hooks(语法校验、单测、幻觉抑制)

                      ⚠️ 需补充

                      跨系统知识库统一管理

                      需自建,可关联 MCP / Skill / knowledge/

                      ⚠️ 需补充

                      2.2 对比优势

                      💰 无额外模型成本

                      SDK 运行走既有 Cursor 套餐与用量池,与 IDE 内使用同计价规则,无需单独采购大模型 API。可建团队共享API KEY池,分享个人账号Auto模式的Token余量;

                      ⚡ 研发成本低

                      快速嵌入业务,无需自研多模型对接 + Tools 编排 + 上下文裁剪;团队聚焦业务 Skill、MCP、Prompt 与集成层。开启隐私模式,内网部署,代码不出内网;

                      🔌 通用适配快

                      飞书 Bot、OpenClaw 、ArkClaw等均支持 MCP;可构建 MCP Server用于智能分析代码,一次开发、多方复用,集中授权管理。

                      可快速实现:

                      ① 用 云端私有部署local: { cwd } 保证源码不出内网;

                      ② 用 Skill(.cursor/skills/)封装领域知识技能,Agent 按需读取而非全量加载;

                      ③ 用 MCP 对团队项目Code Debug、关联业务逻辑分析 等外部能力;

                      ④ 用 Prompt 约束回答格式、合规脱敏与工具调用顺序;

                      ⑤ 用 Agent 池化 + sessionKey 绑定实现多轮对话与资源回收。

                      2.3 项目实践

                      针对目前工作中的提效诉求与技术调研,海外基于Cursor SDK 先后探索性构建了 Code Chat MCP、Intl Chat Debug Agent(国际站排障助手) 两个云端服务,在实践中验证可行性;

                      维度

                      Code Chat MCP

                      Intl Chat Debug Agent

                      互补关系

                      定位

                      业务逻辑即时问答知识库

                      基于代码分析 MCP Server

                      综合排障

                      Code Chat 偏「读代码答业务」;

                      排障助手偏「跨系统全链路问题分析定位」;

                      入口

                      飞书 Bot / ArkClaw + MCP

                      飞书 Bot

                      同一 IM 习惯

                      核心能力

                      按需拉代码 →

                      代码理解 / 诊断 / 总结

                      问题总结,串联  接口 + 日志 + 配置 + 源码 + 服务,Skill技能SOP;

                      排障助手可调用 Code Debug MCP

                      典型用户

                      产品、运营、研发

                      产品、研发、测试、On-call

                      覆盖产研全链路


                      03#

                       Code Chat MCP:让问题直达源码

                      3.1 架构简介

                      基于 Cursor SDK 构建的独立 Code Chat MCP Server,可以授权配置给 ArkClaw、AI Agent等。用户自然语言提问后,云端MCP Server 内部Agent 按需按拉取项目代码,完成代码理解、问题诊断与修复建议(目前服务侧不改代码、禁止修改提交操作、源码不出内网)。

                      应用价值:产品/运营无需排队等研发确认反馈,Agent可以直接读最新正式\测试分支代码给精确的结构化结论;

                      3.2 使用案例:

                      配置Code Chat MCP后,可通过智能助手咨询指定项目的业务逻辑;


                      04#

                       Intl  Chat Debug Agent:跨系统精准定位分析

                      国际站排障助手是基于 Cursor SDK 重构迭代实现的云端 Agent,可串联图文问题描述、API接口、业务日志、客服反馈、用户访问轨迹、后台配置、数据中心、网关服务、配置中心,并结合相关项目代码等综合分析,在飞书群/话题内给出精确的排障结论。

                      4.1 核心思路

                      按照递进式业务路径编排,系统把“问题”先转成一组可执行的业务线索,而不是直接让模型自由回答。线索包括:问题类型、页面或接口路径、实体ID、反馈ID、错误码、站点模式、平台、语言、版本、用户或设备 ID、时间窗口、环境和代码分支。随后按“成本低且接近现象 → 能解释原因且成本更高”的顺序逐层取证。

                      1. 现象层:飞书文本、截图、引用消息、话题历史、连续图片/文件,以及乐客反馈正文。

                      2. 运行态层:页面接口、导航、展播一览、数据中心接口、推荐接口、用户轨迹等实时结果。

                      3. 配置层:运营后台、配置中心、业务配置及本地业务字典。

                      4. 日志层:网关日志、业务日志、分类索引 与用户访问轨迹。

                      5. 源码层:按业务归属选择相应项目代码,并支持切换正式\测试分支或用户指定分支。

                      6. 归因层:网关API负责人为主,应用部署侧 creator 为辅,产品功能负责人由业务知识库补充。

                      这六层非固定逐步全部执行。Skill 的触发条件承担路由规则:证据足够就停止升级;运行态结果与配置或代码矛盾时才继续下钻。由此避免一开始就分析代码,也避免只凭接口结果猜测代码根因。

                      4.2 总体架构

                      4.3 分层说明

                      层级

                      职责

                      飞书输入层

                      飞书群聊、单聊、话题、截图、链接、卡片按钮、表情确认

                      承接真实排障输入,并把多轮追问沉淀在飞书话题上下文中。

                      飞书事件层

                      处理长连接事件、回复策略、连续消息聚合、思考卡片、答案分片与话题绑定。

                      编排层

                      维护会话状态、解析意图、预抓取接口链接和反馈日志、拉取代码,并拼装 Agent 所需上下文。

                      Agent 层

                      创建或恢复 Cursor Agent,注入本地 workspace、模型参数、MCP 和排障规则,执行分析。

                      内网系统层

                      通过集成Skill\MCP\GIT 获取相关数据、日志、反馈、代码、配置等;

                      外网系统层

                      Cursor Server 提供大模型API服务

                      4.4 Skill 技能矩阵

                      系统集成N+Skill技能,按排障链路中的职责分成四个能力域,各域的输入、数据源、输出与升级条件。渐进式执行“什么时候使用哪类技能、什么时候继续深入下一层”的决策。

                      4.5 多系统与多数据源分工

                      系统/数据源

                      数据性质

                      适合回答

                      不单独承担

                      飞书消息/话题/截图

                      用户现场与会话上下文

                      现象、时间、对象、复现步骤

                      真实运行状态

                      客服乐客反馈

                      反馈工单、设备信息

                      从用户反馈还原问题入口

                      最终代码根因

                      入口API

                      导航、页面、播放

                      推荐的即时结果

                      对象是否存在、是否被过滤

                      配置为何如此、代码执行逻辑

                      DataCenter

                      数据中心

                      专辑节目编目详细数据、播控

                      内容基础数据

                      运营中台

                      运营后台配置

                      页面/模块/导航/人群/AB/开关配置

                      服务 JVM 动态配置

                      配置中心

                      服务运行时 latest 配置

                      开关、阈值是否生效

                      运营页面配置

                      日志/用户轨迹

                      网关、业务日志正文

                      谁在何时调用、参数、链路、异常点

                      静态业务规则

                      Git 业务仓库

                      指定环境分支源码

                      调用链、加工/过滤逻辑、缺陷位置

                      证明现网一定走了该分支

                      服务部署

                      工程与部署元数据

                      服务/域名/API/应用及负责人

                      产品模块归属

                      知识库

                      受控业务字典和规则

                      错误码、过滤 key、产品负责人

                      实时线上状态

                      4.6 核心请求流程

                      4.7 应用案例

                      应用场景:目前已应用在内容展示排障群、需求迭代群;

                      应用价值:支持图文自然语言交互,跨系统综合排障,减少人力强依赖,避免繁琐耗时的工作降低人效;

                      1. 群聊,运营同学反馈问题,排障机器人自动识别、自动分析回复,综合分析后精准定位原因;

                      2. 用户私聊,咨询目前多音轨角标最新逻辑是?

                      3. 协助分析报警,定位问题

                      4. 小范围授权,七天使用情况




                      05#

                      功能边界

                      • 业务路径优先:先回答“用户实际遇到了什么”,再决定是否读代码,降低无效代码分析 和错误仓库选择。

                      • 环境一致性:仓库分支与 环境prod/test 配置联动,避免拿测试代码解释正式配置。

                      • 按需加载:Skill 和知识文件仅按场景读取,避免全量知识污染上下文。

                      • 证据可升级:运行态 → 配置/日志 → 源码,每层都有明确进入条件和停止条件。

                      • 会话可持续:飞书话题、Agent 恢复和补充信息保持同一排障上下文,新咨询则隔离。

                      • 安全内建:用户回复对代码和配置脱敏。

                      • 边界明确:Skill 依赖接口可达性、凭证有效性和数据源覆盖;代码只能解释潜在路径,最终现归因仍需运行态或日志闭环。


                      06#

                      总结与展望

                      Code Chat MCP验证了基于 Cursor SDK 做代码问答的可行性,在此基础上可演进在内网部署云端开发助手(云端Cursor),通过飞书机器人可随时随地AI Coding。

                      基于 Cursor SDK 重构的Intl Chat Debug Agent(国际站排障助手),将「飞书对话 + Agent 编排 + 领域 Skill + MCP/HTTP 工具 + 知识沉淀」整合为一体化提效智能体,其核心价值在于可按实际业务路径自动跨系统串联多方数据源并结合代码,综合分析汇总,快速准确的响应产品、运营、研发、测试、项目同学的问题,打破多方人员串行依赖,助力业务提效。

                      6.1 未来扩展方向

                      • 业务告警 → Agent 预分析 ,初步根因 → 飞书通知相关负责人;

                      • A2A扩展 → 链接其它业务Agent → 扩展业务分析排障 覆盖范围;

                      • 问题反馈 → Agent 跨系统分析定位 → 云端FIX\Merge request  → 审核 → 自动化部署\回测(在合规前提下试点);

                      6.2 参考链接

                      跳转微信打开

                      •  

                      瓜分专属奖金池,赢取额外流量!外滩黑客松·AI Coding大赛 × WeaveFox赛道全攻略

                      炎熊 2026-07-23 09:00 浙江

                      以下文章来源于:WeaveFox和他的朋友们

                      WeaveFox和他的朋友们

                      你的创意,值的让全世界看到!WeaveFox 用 Vibe Coding 的方式,让你的想法,灵感 → 实现 → 上限 → 变现,一步一步成为完美的作品。

                      首个面向全民、不限编程方式的 AI 编程挑战赛。
                      不用写代码,说出你的想法,AI 帮你把它变成真实可用的应用。


                      🌊 外滩大会 × AI Coding,一场属于每个人的黑客松

                      AI 时代,编程不再是少数人的特权。

                      无论你是学生、上班族,还是退休老人,只要你有想法,就能用 AI 把它变成真实可用的应用——这就是 「外滩黑客松 · AI Coding 大赛」。

                      本届大赛由外滩大会组委会、小红书、观猹共同发起,并携手国内头部 AI Coding 平台共同承办,是 2026 Inclusion · 外滩大会「科技智能创新赛」板块官方赛事之一。

                      WeaveFox作为技术支持方当然也要凑一份大热闹。

                      说出你的需求,WeaveFox帮你实现!!!


                      🏆 大赛奖项设置

                      大赛设有:

                      专业奖项:通过任意合作平台完成作品创作,按平台引导填写信息清单并成功提交,即可进入专业评审。最终由专家评审团评选出一、二、三等奖。

                      人气奖项:通过小红书站内报名页面,按照指引发布作品笔记并带上大赛指定话题,即可进入人气奖角逐。

                      专业奖项

                      奖项

                      名额

                      奖金

                      🥇 一等奖

                      3 名

                      ¥ 20,000 元

                      🥈 二等奖

                      8 名

                      ¥ 10,000 元

                      🥉 三等奖

                      15 名

                      ¥ 5,000 元

                      小红书人气奖

                      • 🎁 100 名,定制礼品

                      • 在小红书发布作品介绍笔记(图文/短视频),带指定话题即可参与

                      • 评选依据:笔记互动量(点赞+收藏)+ 内容质量综合排序

                      赛程安排

                      阶段时间

                      线上比赛阶段

                      7月20日 - 8月9日

                      评审阶段

                      8月10日 - 8月25日

                      公布获奖名单

                      8月25日 - 9月9日

                      🎉 外滩大会现场颁奖

                      9月9日

                      🦊 选 WeaveFox 赛道,额外享三重专属权益

                      「WeaveFox」作为外滩黑客松 · AI Coding 大赛合作平台,将开设专属参赛赛道,为你准备了专属福利:

                      • 🔥 小红书额外加热——助你冲刺人气奖

                      • 💰 人气奖瓜分 1w 奖金池——发笔记一起拿奖

                      • 🎁 专属积分补贴——赢取周边好礼

                      WeaveFox 是一款免费的 AI 驱动零门槛全栈应用创作平台,面向普通创作者、个人开发者与非技术用户。无需代码,通过自然语言即可快速把想法落地成可运行、可部署、可分享的各类应用。

                      🔥 权益一:小红书额外加热,祝你冲刺人气奖

                      只要你通过 WeaveFox 创作应用并提交参赛,在小红书发布作品笔记时带上指定话题:#外滩大会全民黑客松 #外滩大会AICoding大赛 #WeaveFox #vibecoding ,即可申请专属流量加热

                      笔记互动量门槛加热力度说明

                      互动量 ≥ 50

                      100元薯条推广

                      持续加热,冲刺更高互动

                      互动量 ≥ 200

                      200元薯条推广

                      热度加速,冲击人气奖前排

                      具备爆款潜质

                      单独申请额外加热

                      联系 WeaveFox 官方,享受定制化流量扶持

                      注:

                      1. 互动量 = 点赞 + 收藏 + 评论 + 转发

                      2. 每周一、四为统一加热时间,以加热时的互动量数据为准

                      3. 每周固定100个名额,先到先得

                      💰 权益二:人气奖瓜分 1 万奖金池

                      WeaveFox 赛道参赛者,如在人气奖中获奖,除了大赛官方定制礼品外,还可额外瓜分 WeaveFox 专属 10,000 元奖金池!

                      获奖人数越多,大家一起分;获奖人数少,单人拿得更多。

                      🎁 权益三:专属积分补贴,赢取周边好礼

                      所有通过 WeaveFox 赛道成功提交作品的参赛者,均可获得 WeaveFox 平台专属积分,用于兑换限量周边好礼。作品越用心,积分越多,礼品越丰厚~

                      📝 参赛步骤(WeaveFox 赛道)

                      跟着下面几步走,轻松完成参赛:

                      第一步:进入 WeaveFox 官网

                      第二步:用 WeaveFox 创作你的应用

                      • 用自然语言描述你的想法,AI 会自动帮你生成完整应用

                      • 在左侧面板使用 技能 Skill优化应用能力,使用 服务 Service配置后台能力(数据库、用户登录、支付宝支付等)

                      • 反复预览调整,直到满意为止

                      第三步:提交参赛

                      • 应用创作完成后,点击 「提交作品到AI Coding大赛」按钮

                      • 重点:记得公开应用,不然别人访问不到哦

                      • 按引导填写信息清单

                      • 提交成功,即可进入专业评审

                      第四步:发布小红书,冲刺人气奖

                      • 将你的作品截图或录屏,发布到小红书

                      • 必须带上的话题(前3个必带):

                      • 在笔记中讲讲你的作品解决了什么问题,越真诚越容易打动评审和观众

                      • ⚠️ 发布小红书时,请不要在正文里填写 coding 作品地址,以免限流。

                      • 提交小红书发布链接,完成人气奖报名

                      第五步:申请 WeaveFox 专属加热

                      • 笔记发布后,点击「小红书加热」按钮

                      • 提交你的笔记链接和小红书账号昵称

                      • 根据互动量门槛,获得对应档位的薯条推广加热

                      • 持续关注互动数据,冲击更高加热档位

                      🚀 现在就行动

                      你的创意,值得被全世界看到,打开浏览器,输入:

                      https://www.weavefox.cn/?s=hackathon2026

                      用一句话造出你的第一个 AI 应用,20万+ 奖金池、专属流量加热、万元奖金瓜分——都在等你。

                      点击左下角👇「阅读原文」即可访问 WeaveFox,让我们一起,用 AI 把想法变成现实。🦊✨

                      阅读原文

                      跳转微信打开

                      •  
                      ❌