铃阅
❌

阅读视图

拆解小红书存储底座 05|RedTAO 2.0:万亿级图数据库的设计与实践

原创 REDtech 2026-11-12 17:59 上海

从点赞、关注、收藏到多跳图查询,看 RedTAO 如何通过分层架构,在万亿级数据规模下兼顾在线性能、业务扩展与异地多活。

导读

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品,DMS、RedDTS 等公共能力分别提供统一管控和数据传输支持。点赞、关注、收藏,构成了小红书社区最常见的关系;内容理解、搜索推荐等场景,则需要沿着这些关系发现更复杂的关联。随着业务发展,数据规模、查询复杂度和服务地域不断扩展,图数据库需要在承载海量数据的同时,兼顾高并发下的低延迟与多跳查询能力。

RedTAO 是小红书自研的分布式图数据库。它从支撑核心在线业务的一跳关系访问起步,逐步演进为支持多跳查询的图数据库。截至 2026 年 11 月,据生产环境监控数据统计,目前已部署近百个集群,单集群最大承载超过万亿行点边数据,在线查询规模超过千万 QPS。作为「拆解小红书存储底座」系列的一篇,本文围绕计算、缓存、存储三层分工,介绍 RedTAO 的架构判断、设计取舍与后续方向。

01

背景

早期,RedTAO 主要服务于点赞、关注、收藏等场景。业务通常从一个用户或一篇笔记出发,读取直接关联的对象,访问路径明确,对响应速度和服务稳定性的要求很高。一跳关系访问由此成为系统建设的起点。当图能力进入一些更复杂的场景后,查询开始沿多层关系展开,还需要结合属性完成过滤、排序和聚合。如果这些过程都由业务逐次发起请求、拼接结果,接入成本和访问开销会随查询复杂度上升。与此同时,数据规模持续增长,跨区域业务也提出了就近访问和异地多活的要求。这使 RedTAO 的建设目标逐步扩展:既要延续核心在线服务的低延迟访问能力,也要把多跳查询沉淀为数据库的通用能力。

围绕这一目标,团队形成了三项架构选择:计算、缓存与存储独立扩展;复杂查询由服务端统一规划;业务请求在所属单元内完成,跨单元更新通过数据同步传播。

02

整体架构:用清晰的分层承接不同的增长

图查询变复杂、热点流量增加、数据容量扩大,对应的资源需求并不相同。RedTAO 将系统划分为计算层、缓存层和存储层,分别围绕计算资源、内存容量和存储容量独立扩展。

计算层负责理解和执行查询。无状态的 GraphServer 承接业务访问,在统一入口下提供一跳 API 和多跳 Gremlin 查询。缓存层负责高频数据的快速访问。它面向关系集合、顶点属性和计数组织内存数据,承接在线读取。存储层负责数据持久化。当前生产使用 MySQL,保存点、边及相关属性和计数,并为缓存回源提供数据。

跨区域部署同样建立在明确的边界上。RedTAO 当前部署在多个异地单元,每个单元通过多个 region 提供异地多活能力,计算层和缓存层在各 region 独立部署。业务通过 SDK 访问所属单元内就近的服务,在线请求不跨单元访问;跨单元的数据更新通过主库之间的 RedDTS 双向同步传播,各 region 的缓存再通过变更回放更新,异地数据最终可见。

图 1|各单元业务在本单元内就近访问,主库之间通过 RedDTS 双向同步。

分层也为异常处理提供了余地。在线读取优先使用缓存,未命中时回源;缓存访问失败或超时时,计算层可以通过备用请求直接读取存储,降低缓存异常对读取可用性的影响。计算、缓存与存储各自承担明确职责,又通过回源、同步和降级路径相互协作。

图 2|三层协作与备用读取:缓存访问失败或超时时,计算层直接访问存储层。

03

计算层:让业务表达关系,让系统安排执行

计算层首先要把业务表达转化为可执行的查询计划。业界通常通过规则改写,或结合统计信息比较执行方案,减少不必要的访问。图查询的难点在于,关系每展开一层,都可能带来更多候选对象和中间结果;涉及路径时,还需要保存额外状态。因此,核心问题是在支持复杂查询的同时,控制数据访问与资源开销。

面向在线业务,RedTAO 当前采用基于规则的优化,将常见查询模式的优化经验沉淀为可解释、可扩展的规则,在规划开销和执行效率之间取得平衡。规划过程也会结合存储层的能力,尽量让筛选和结果裁减靠近数据完成,降低传输与中间计算开销;其余部分由计算层接续处理,保证查询语义完整。计算与存储通过统一的能力描述协作,使查询优化能够适配不同后端,为后续演进留出空间。

图 3|查询编译、规则优化与双执行器:从 Gremlin 查询到执行结果。

执行阶段则通过双执行器匹配不同需求:普通遍历只维护必要的中间数据,涉及路径历史或循环时,再保留相应状态。按查询需要选择执行方式,让常见查询保持较低开销,也为复杂查询保留表达能力。

04

缓存层:围绕访问模式,降低整体查询代价

查询计划确定了要读取什么,缓存层则让高频数据以更低的代价到达计算层。业界常用 Redis、Memcached 等通用缓存承接热点读取,也有 Facebook TAO 这样围绕对象和关系组织数据的专用缓存服务。两种方式都在利用内存降低访问延迟,同时减轻持久化存储的压力。

规模扩大后,缓存需要在更新可见性、热点承载与回源压力之间取得平衡。更新与失效机制决定业务何时看到新数据;热点复制、合并回源和负载隔离,则有助于缓解流量集中或大量未命中带来的冲击。

图查询还面临额外的通信成本:关系展开后,一批顶点可能散落在多个缓存节点上,缓存命中也无法消除多路 RPC 和等待汇总的开销。RedTAO 因此按访问模式划分职责,由 Cache Server 服务关系集合,Vertex Server 服务顶点属性与计数。

其中,Vertex Server 用数据冗余减少 RPC 扇出。在限定的服务或数据集范围内,每份副本维护完整的顶点数据,使同一范围内的一批读取可以交给一个节点完成,多份副本再分担读流量。这样既减少网络往返和结果汇总,也降低等待多个节点带来的延迟波动。

这种组织方式以更多内存和副本维护成本,换取更少的跨节点访问,适合读密集、批量点读较多且数据规模可控的场景。缓存层的收益因此需要放在一次完整查询中衡量,同时关注延迟、吞吐与稳定性。

05

存储层:在成熟底座上贴合图的访问模式

缓存降低了高频读取的成本,存储层则决定数据如何长期组织和维护。业界既有 Neo4j 这类面向图设计专用存储结构的路线,也有 JanusGraph、Facebook TAO 这类复用成熟存储系统的路线,选择取决于访问模式、扩展需求和运维条件。图数据库共同的难点是兼顾读取效率、持续更新和规模扩展。相关关系集中存放有助于减少分散读取,但也需要避免热点集中;常用统计提前维护可以减少重复计算,却会增加更新和校正成本。索引、分区与预先维护查询结果,都是围绕这些问题作出的取舍。

RedTAO 当前以MySQL 作为生产持久化底座,复用成熟的存储与复制能力,并围绕读密集场景调整数据组织:让经常一起读取的关系靠近存放,减少分散读取和额外排序;提前维护常用统计,让在线请求直接获得所需结果。

多地部署下,RedTAO 让各单元独立维护自身的统计贡献,再通过异步同步和本地汇总形成结果,偏差由校正机制收敛。这种分工减少了多个写入方共同修改同一总数的冲突,也延续了整体架构中本地访问、异地同步的边界。

图 4|关系就近组织、常用统计预维护与多地统计协作,共同支撑在线图访问。

这些选择以额外的数据组织、统计维护和校正成本,换取更低的在线读取开销。存储层由此把可靠保存数据与图访问优化结合起来,为上层查询和缓存提供稳定支撑。

06

展望未来

三层分工为持续演进提供了基础:查询表达、数据访问和持久化可以沿各自的方向优化,再通过明确的接口协同。随着业务从直接关系访问走向更复杂的关联查询,RedTAO 的下一阶段仍将围绕查询能力、资源效率与可靠性展开。

接下来,RedTAO 将沿三个方向继续演进。计算层探索面向大规模生产数据的复杂图计算;缓存层继续优化内存组织、批量访问和更新传播,提升低延迟访问能力与稳定性;存储层考虑从 MySQL 演进到 RedDB,针对图的数据模式进行深度定制优化,以降低成本,并将图能力融入多模数据库的统一底座。这些方向仍属于后续演进规划,将在现有分层基础上逐步推进。

图 5|当前生产架构与后续方向分别列示。

从一跳关系访问走向多场景图查询,RedTAO 的演进始终由业务变化推动。每一层都在查询能力、资源成本和服务稳定性之间作出取舍,清晰的分工则让这些选择能够协同落地,并随业务发展持续调整。我们期待与行业伙伴交流图数据库的设计与实践,共同探索更稳定高效、更贴近业务的图数据基础设施。

07

作者简介

秋山,小红书存储与数据库团队工程师,负责 RedTAO 图数据库的研发与建设。

部门介绍:

存储&数据库部,为小红书全业务场景打造行业领先的高可用、高可靠、高性能、低成本的存储和数据库类产品技术服务。团队致力于用精英化的组织和行业领先的技术理念,先于业务布局和行动,为公司业务的快速发展提供充足“弹药”,同时也让小红书存储和数据库成为行业该领域的标杆。

08

招聘

分布式数据库研发工程师/专家-存储&数据库:

小红书招聘

图/表/向量/多模数据库等方向

精彩回顾:

拆解小红书存储底座 00|从孤岛走向融合:小红书存储与数据库架构进化

拆解小红书存储底座 01|多源数据传输总线 RedDTS 2.0

拆解小红书存储底座 02|让 AI 成为团队的一员:存储数据库助理实践

拆解小红书存储底座 03|从存得下到读得快:小红书自研对象存储实践

拆解小红书存储底座 04|从对象到文件:RedStore SSD 引擎与 RedFS 的设计与实践

跳转微信打开

  •  

小红书升级发布 dots.tts.edit V1.1:复杂精确语音编辑大幅升级,综合表现领跑开源

REDtech 2026-11-11 17:59 上海

小红书端到端语音编辑模型 dots.tts.edit V1.1 升级发布,新增局部风格描述编辑,韵律与情感编辑效果大幅提升,综合表现开源领先。

配音录好了,名字需要替换;词句都对,某处的语气、语速或停顿却还差一点。能否只改这些地方,让其余内容和声音特征保持稳定,整段语音仍然自然流畅?

近日,小红书升级发布端到端精确语音编辑模型 dots.tts.edit V1.1,面向的正是这类需求。用户选中转录中的词句,设置文字修改或声音参数,即可对已有语音进行局部编辑,多处修改也可一次完成。

此次 V1.1 升级新增局部风格描述编辑能力,并大幅提升韵律与情感编辑效果。在 doteBench 精确语音编辑评测中,V1.1 的综合表现领先 AuK、Ming-UniAudio、Step-Audio-EditX 等开源模型;在第三方评测 SpeechEditBench 上,文本、情感和韵律编辑也取得了开源最佳成绩。

除了模型与推理代码,训练数据构造管线(https://github.com/studio-dots-ai/dots.tts.edit-data-pipeline)和 精确语音编辑评测基准doteBench(https://github.com/studio-dots-ai/doteBench)精确语音编辑评测基准也配套开源。

01

先听:两位说话人,一次完成多处修改

dots.tts.edit 支持中英文双语和多说话人语音的编辑。下面的例子是一整条语音,混合了两种语言、两位说话人。文本替换、局部情绪、语速和停顿同时交给模型,通过一次生成完成:

原始文本:我要说今晚我真的很高兴和自豪能来到这里。 To be or not to be, that is the question; whether 'tis nobler in the mind to suffer the slings and arrows-What? No, Hamlet speaking.

编辑指令:

以下为 dots.tts.edit 模型生成结果

目标文本:我要说今晚我真的很高兴和自豪能来到上海交通大学 X-LANCE 实验室。 To be or not to be, that is the question; whether 'tis nobler in the mind to suffer the slings and arrows-What? No, Hamlet speaking.

在这组案例中,dots.tts.edit 成功执行了所有编辑操作,保留了两位说话人的声音特征。未编辑部分得到充分保持,修改后的片段与前后语音衔接自然。

02

一段录音,多种改法

同一句话,既可以调整局部表达,也可以改变其中的内容。

中文

周末我们去海边散步,晚上再一起吃饭。

以下为 dots.tts.edit 模型生成结果

英文

To be or not to be, that is the question; whether 'tis nobler in the mind to suffer the slings and arrows-What? No, Hamlet speaking.

以下为 dots.tts.edit 模型生成结果

更多局部修改、双语、多人及背景声案例,可在 演示页面 (https://dots-studio-dots-tts-edit-demo.static.hf.space/ ) 试听。

03

模型与数据

模型基座与架构

局部改词或调整语速,都会改变片段长度;修改后的声音还需要与整段语音自然衔接。这要求模型既理解局部编辑目标,也能利用完整录音中的上下文。

dots.tts.edit 基于 dots.tts 的连续自回归架构,在 AudioVAE 的连续隐空间中生成语音。模型读取源录音、转录和编辑要求,生成完整的编辑结果。得益于自回归架构,模型无需输入语音与文本的时间对齐,也无需单独预测时长,而是通过结束信号(EOS)自行决定何时结束生成。所有编辑类型共享同一个模型。

半形式化编辑指令

精确编辑首先要说清“改哪里”和“怎么改”。项目采用与转录对应的半形式化编辑指令,将操作直接绑定到具体词句或边界,明确、准确地定位编辑目标。参数既可以是语速倍率、音高变化,也可以是自由形式的自然语言描述。这套指令以明确、可检查的目标定位保证操作描述的可靠性,同时保留灵活的描述接口和扩展空间。

数据管线

要让模型学会局部编辑,训练样本需要只改变指定内容,同时保留其余声音特征。然而,自然录音中很难找到这样的成对语音;分别合成前后两段,容易引入音色、节奏等无关变化,直接拼接局部片段又可能造成衔接生硬。为此,配套的 数据构造管线(https://github.com/studio-dots-ai/dots.tts.edit-data-pipeline) 围绕明确的编辑操作生成样本,尽量复用周围语音、修复局部衔接,再筛选编辑准确且声音自然的样本。多类编辑共同训练,并混合语音合成样本,让模型在学习编辑的同时保留语音合成能力。

04

改对了,还要听着自然

现有语音编辑评测对局部修改的考察还不够完整:改动是否准确、其余部分是否保持,需要放在一起衡量。为此,项目推出中英双语精确语音编辑评测基准 doteBench,同时评估指令执行、局部保持和音频质量。

  • 指令执行:目标文本、情绪、语速、音高与停顿是否按要求变化。

  • 局部保持:检查未指定区域的内容、时长、音高与说话人特征。

  • 音频质量:关注整体听感、清晰度和编辑区域前后的衔接。

dots.tts.edit V1.1 在 doteBench 五类编辑场景的指令执行与局部保持上取得整体领先表现,音频质量与参与比较的开源系统相当。

图中的黑色实线代表 dots.tts.edit,其他折线代表对比模型。外圈蓝色、橙色和绿色分别对应指令执行、局部保持和音频质量。各项指标按固定尺度归一化,越靠外表示该项表现越好。沿着同一根轴比较,就能看到模型在“改得准”“保留得好”和“听着自然”上的表现。

实际编辑往往需要反复调整:先改台词,再调语气,最后补一个停顿。doteBench 也支持这样的逐步编辑评测,每一步都以上一步生成的语音为输入,检验多次修改后能否继续改准、保留好其余内容。在这一设置下,dots.tts.edit 在组合编辑上也领先已有开源模型。整条指令全部完成的成功率为 42.92%,达到已有开源模型中表现最好的 18.33%的 2 倍以上(见论文表 6,Sequential 部分的 All 列)。

在第三方评测 SpeechEditBench 上,dots.tts.edit V1.1 的文本、情感和韵律编辑均取得了对比开源系统中的最佳联合成功率,分别为 94.00%、15.07% 和 91.50%。其中,韵律编辑也超过了论文中参与比较的闭源系统。与各项最强开源基线 AuK 的对比见下图。

主观听测也表明,dots.tts.edit 在指令遵循和局部保留两个方面获得了高于已有基线模型的平均偏好评分。

听测设置与完整结果见 论文(https://arxiv.org/abs/2608.02673)。

05

模型与配套工具,一套开放

dots.tts.edit 的开源套件包括论文、模型权重、在线编辑应用、推理代码、数据构造管线、doteBench 评测集和演示页面。创作者可以试听案例、直接编辑录音;开发者可以部署模型、接入应用,并复用数据构造管线与评测工具。

跳转微信打开

  •  

拆解小红书存储底座 04|从对象到文件:RedStore SSD 引擎与 RedFS 的设计与实践

原创 REDtech 2026-11-10 17:59 湖北

从 NVMe SSD 到 AI 训练,看小红书如何把每一代 SSD 的红利兑现成训练带宽。

导读

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品,DMS、RedDTS 等公共能力分别提供统一管控和数据传输支持。RedStore 是小红书对象存储 ROS 与文件系统 RedFS 共用的池化存储底座。其 SSD 引擎从支撑高性能对象存储 ROS Express 起步,进一步通过 RedFS 扩展到 AI 训练文件场景,服务样本读取与 Checkpoint 读写。

本文先介绍 SSD 引擎在网络通信、本地 IO 与数据放置上的优化,再展开 RedFS 在文件元数据、访问路径和写入一致性上的设计,说明从高性能对象存储扩展到并行文件系统所需的关键能力与工程取舍。

01

共享底座的设计挑战

如图 1 所示,ROS Express 与 RedFS 通过不同接入路径共享 RedStore SSD 数据面,并在此基础上推进对象与文件的协议融合。要同时支撑高性能对象与 AI 训练文件场景,这套底座面临三项设计挑战。

高密机型的带宽利用。为降低单位存储成本,我们采用高密机型,提高单机和单位机架空间的容量密度。数据面需要充分利用磁盘与网络带宽,让高密部署同时满足业务的吞吐需求。

容量成本与介质选择。RedStore 按负载选择介质。对读多写少、容量需求大的训练数据集和对象数据,优先用 QLC 降低单位容量成本。写入更集中的 Checkpoint 则优先用 TLC。采用 QLC 时,还需控制写放大,减少额外写入对带宽和耐久度的消耗。

共享引擎与文件语义。从对象扩展到文件,RedStore 引擎需要支持可追加分片(Append);RedFS 则需要支持目录与文件元数据的独立扩展,并解决多客户端访问下的写入一致性问题。

图 1|共享底座架构与对象、文件协议融合方向。对象侧(RedIndex)与文件侧(HNS、FNS)元数据均属 RedDB MetaKV 系列,当前正在推进对象向 HNS/FNS 的协议融合。

02

RedStore SSD 数据节点的读写路径与性能优化

在 RedStore 的 2U 存储节点上,24 块 QLC SSD 的顺序读带宽估算约为 192 GB/s,与四张 400G 网卡的单向总带宽(200 GB/s)相近。客户端实际能读多快,还取决于软件如何在 SSD 与网卡之间传递数据,以及如何分配处理并发请求的 CPU 资源。

图 2|RedStore SSD 引擎的读写路径、线程分工与 2U 24 盘机型的 NUMA 拓扑

内存访问优化。在零拷贝路径上,网卡和 SSD 共用 DMA 缓冲区,缓冲区按 NUMA 就近分配。网卡直接将 SSD 读出的数据发回客户端,写入时则由数据节点用 RDMA READ 拉取客户端数据,再通过 SPDK 写盘。

4 KB 对齐写与盘端读校验。在 4 KB + 64 B 格式下,RedStore 将保护信息(PI)、分片编号和分片内页号存入 64 B 元数据区。业务数据独占 4 KB 数据区,一次对齐的 4 KB 写入不会因附加数据头而跨逻辑块。读取时,SSD 利用 PI 校验数据,省去 CPU 对整块数据的额外扫描。

同核与分核的取舍。对时延敏感的负载,RedStore 可采用同核模式(RTC),让同一线程处理网络收发和磁盘 IO,省去跨核投递。近几代服务器 CPU 主频提升有限,而 NVMe SSD 的单盘随机读 IOPS 增长较快。小块读请求密集时,盘还有余力,这个核却可能已经跑满。这时可以分核处理,RDMA 线程通过消息把请求交给单盘独占的 SPDK 线程,分担单核压力并保持磁盘操作无锁。

单机吞吐实测。采用 128 KB IO 时,随机读吞吐达到 184.8 GB/s。读路径上,SSD 写一次内存,网卡读一次内存。实测内存读写带宽之和约为业务读带宽的 2.25 倍,接近 2 倍的理论下限。读写比为 4∶1 时,读写双向合计吞吐达到 232.2 GB/s。

03

降低 QLC SSD 的写放大

在我们的业务中,QLC SSD 主要承载读多写少的热数据,以降低单位容量成本。部分数据转冷后,可按生命周期策略沉降到 HDD。如果失效时间不同的数据混在同一擦除单元里,SSD 在垃圾回收(GC)时就可能需要搬迁仍然有效的数据。这些额外写入既占用写带宽,也会加快闪存磨损,对擦写耐久度较低的 QLC 尤其不利。

TRIM 与 FDP 的分工。接入层根据对象的 TTL(存活时间)和过期策略给出预计失效时间。写入时,RedStore 数据节点按剩余 TTL 将数据分为四档。对启用 FDP(Flexible Data Placement)的 SSD,数据节点在 NVMe 写命令中附上该档的放置标识,让预计失效时间相近的数据写在一起。

图 3a|FDP 写入路径。四档各对应一个回收单元句柄(RUH),右侧色块表示写入当前回收单元(RU)的数据。

分片删除后,RedStore 再通过 TRIM 批量告知 SSD 哪些逻辑块已经释放。

图 3b|删除 Transient(极短寿命)数据后的回收差异。两列各取一个 RU,右列以 Transient 档为例。

如果实际删除时间偏离预期,SSD 回收时可能仍需搬迁部分有效数据,但分档偏差不影响读写的正确性。RedStore 按盘使用 FDP,同一集群可以混用启用和未启用 FDP 的盘,上层业务沿用原有的对象或文件接口。

我们在大普微 R6060 和华为 OceanDisk 上适配了同一套 FDP 放置策略,并与大普微联合优化了 R6060 的固件。双方在 FMS 2026(https://en.dapustor.com/news/155.html)分享了 R6060 的对照测试结果。在相同写入负载下,混合放置时的稳态写放大约为 1.78,按剩余寿命分组后降至约 1.11。

04

RedFS 在 RedStore SSD 引擎上的读写路径

本系列 03 篇介绍了 RedStore 如何支撑 ROS Express 的对象读写。在后续迭代中,我们将这套底座扩展到文件场景,首先在 RedStore SSD 引擎上构建了面向 AI 训练的高性能并行文件系统 RedFS。

文件访问。RedFS 客户端 RedFuse 借鉴了开源项目 DeepSeek 3FS(https://github.com/deepseek-ai/3FS)将文件挂载与用户态 IO 结合的设计,感谢 DeepSeek 团队的开源分享。训练程序既可以通过 FUSE 挂载直接按标准文件接口访问(无需修改代码),也可以通过 USRBIO 零拷贝接口直接提交大块读写请求。RedFuse 根据文件布局把文件偏移映射到分片,经 RDMA 直接访问对应的数据节点。

文件元数据。我们参考 Mantle(https://dl.acm.org/doi/10.1145/3731569.3764824)的设计,基于 RedDB 自研了元数据服务,目标是管理百亿级元数据记录。HNS(层级命名空间)集中存储目录树并在内存中缓存目录信息,缩短按路径查找文件的时间。FNS(扁平命名空间)分散存储文件大小和数据位置,可以并行处理对不同文件的查询。

图 4|RedFS 的文件访问路径与元数据分工

客户端纠删码(EC)。RedFS 按 4 MiB 逻辑块管理文件,支持最小 64 KiB 粒度的追加写入。RedFuse 将已有 Redo 尾部与新数据拼合,凑满的完整条带逐条编码并释放旧 Redo,剩余未满条带的尾部通过 RedStore 的 Append 接口写入 Redo 日志分片。以 4+2 为例,每个条带的四个数据段直接引用原始内存,客户端用它们生成两个等长的校验段。一次写入多个条带时,同一列的数据追加到同一个分片,六个分片并行写入对应的数据节点。

图 5|RedFuse 文件追加中的条带式纠删码(4+2 示例)

文件级写委托(Write Delegation)。追加数据、覆盖已有内容或截断文件,都需要写委托。为避免多个客户端同时修改同一文件,HNS 同一时刻只把该文件的写委托授予一个客户端。交接时,原客户端完成在途写入、提交文件布局并交还委托,再由新客户端接手;数据节点也会校验写者身份,拒绝旧写者的过期写入。

05

未来展望

我们正在推进对象与文件的协议融合,目标是让目录桶中的 ROS 对象名和 RedFS 文件路径指向同一份数据。文件生命周期管理以透明沉降为核心。冷数据按策略迁移到低成本存储层后,业务仍可通过原文件路径访问。

接下来,我们会继续与更多厂商合作,协同优化存储引擎与盘框等存储硬件,以更低的成本提供高性能存储。

下一篇我们将拆解 RedTAO 2.0,看万亿级图数据库如何撑起推荐与搜索里的关系数据。

   .

作者简介

  • 小粟,小红书文件与块存储组负责人。主导 RedStore SSD 引擎的设计与研发,目前负责面向 AI 训练的并行文件系统 RedFS 与块存储系统。

  • 子原,小红书资深存储研发工程师。负责面向 AI 训练的并行文件系统 RedFS 与 高性能 IO 链路的设计与研发。

  • 许临,小红书资深存储研发工程师。负责 RedStore SSD 存储引擎及 RedFS 数据面的设计与研发。

  • 淳风,小红书资深存储研发工程师。主要负责 RedFS 文件系统与元数据服务的设计与研发。

  • 沃奇,小红书存储研发工程师。负责 RedFS 扁平命名空间(FNS)及元数据客户端 SDK 的设计与研发。

部门介绍:

存储&数据库部,为小红书全业务场景打造行业领先的高可用、高可靠、高性能、低成本的存储和数据库类产品技术服务。团队致力于用精英化的组织和行业领先的技术理念,先于业务布局和行动,为公司业务的快速发展提供充足“弹药”,同时也让小红书存储和数据库成为行业该领域的标杆。

   .

招聘

分布式存储研发工程师(文件/块存储):

小红书招聘

精彩回顾:

拆解小红书存储底座 00|从孤岛走向融合:小红书存储与数据库架构进化

拆解小红书存储底座 01|多源数据传输总线 RedDTS 2.0

拆解小红书存储底座 02|让 AI 成为团队的一员:存储数据库助理实践

拆解小红书存储底座 03|从存得下到读得快:小红书自研对象存储实践

跳转微信打开

  •  

NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出多图合成一致性优化新方法 DeCoRL

原创 REDtech 2026-11-09 17:59 湖北

多张素材合成一张图,如何避免身份混淆与属性漂移?DeCoRL 通过目标级一致性反馈,让多图合成更好地保留每个参考目标。

论文标题:

DeCoRL: Decomposed Consistency Reinforcement Learning for Multi-Image Composition

论文链接:

https://arxiv.org/abs/2610.39265

摘要

小红书智创 AIGC 团队提出多图合成一致性优化框架 DeCoRL,框架主要面向多张参考图融合时容易出现的身份混淆、属性漂移和目标遗漏问题。该方法将难以评估的整体一致性拆解为目标级判断,通过自动建立目标对应关系、逐个评估身份与外观,再以分解奖励引导强化学习后训练,让模型不仅能组合多张素材,也能更好地保留各个目标的特征。在覆盖 2–6 张参考图的 DeCo-Bench 及公开的 MICo-Bench 上,DeCoRL 均取得明显提升,尤其改善了多参考图场景中的一致性表现。

让多张照片里的不同人物、商品或其他物体出现在同一张画面中,是图像编辑从单图修改走向多素材创作的重要能力。但参考图一多,模型就容易混淆人物身份、改变物体外观,甚至遗漏指令要求的目标。如何在形成自然画面的同时,让每个目标仍然来自正确的参考图,是多图合成面临的核心挑战。

现有方法通常通过多图数据进行监督微调,让模型学习如何组合素材。然而,对最终图像的整体监督,并不容易明确传达“哪个目标应该保留哪张参考图的特征”。与此同时,直接对生成结果与全部参考图进行整体打分,也要求评估模型同时辨认多个目标及其来源,容易出现注意力分散和判断偏差。生成模型难以学好一致性,评估模型又难以准确指出哪里出了问题,限制了多图能力的进一步提升。

为此,小红书智创 AIGC 团队提出 DeCoRL(Decomposed Consistency Reinforcement Learning)。其核心思路,是与其让评估模型一次判断整张图是否一致,不如先找对目标,再逐个检查,把一个复杂的整体问题变成一组更清晰的局部问题。

01

方法

DeCoRL 将多图一致性拆解为目标级一致性。首先,模型根据编辑指令识别各张参考图中需要保留的目标,并定位它们在参考图和生成图中的对应区域。这样,评估时只需比较一对目标,而不必同时处理整张画面中的所有信息,从而减少背景和无关内容的干扰。

其次,团队训练了专门的单目标一致性奖励模型,让它围绕目标身份与视觉属性进行细粒度比较。例如,人物是否仍是同一个人,物品的形状、颜色和关键外观是否得到保留。相比未经专门训练的通用评估模型,这种针对性判断能够提供更有效的一致性反馈。

随后,DeCoRL 汇总各个目标的评价,得到整张生成图的多目标一致性奖励;对于未生成或未被检出的必需目标,则给予惩罚。该奖励用于强化学习后训练,推动生成模型学习如何同时保留多个参考目标,而不是只顾及其中最显眼的一个。同时,方法辅以整体画面质量评价,减少局部目标相似但整图不自然的问题。

这套设计的关键是改变反馈方式,从整张图看起来像不像,转向关注每个目标究竟有没有保留。监督微调提供了基础多图能力,目标级奖励则进一步强化跨图身份与外观的一致性。

02

效果与对比

为了评估参考图数量增加后的表现,团队构建了 DeCo-Bench,覆盖 2–6 张参考图,每档 40 个案例,共 200 个案例,参考素材均为真实照片。评估围绕各个目标与参考图的一致程度展开,检验模型是否能在复杂多源条件下保留目标特征。

实验显示,在监督微调的基础上引入 DeCoRL,综合得分从7.05 提升至 8.16;在更具挑战性的 6 张参考图场景下,得分从 6.15 提升至 7.61。在与多款主流图像编辑模型的对比中,DeCoRL 展现出较强的竞争力,部分指标达到先进水平,验证了该方法在提升多参考图像编辑一致性方面的有效性,同时也表明仍有进一步优化的空间。

在公开 MICo-Bench 上,DeCoRL 的综合分由监督微调后的 37.58 提升到 54.03,在论文表内列出的模型中取得最高综合分。其中,人物组合与拆解重组任务的提升尤为明显,为身份保持和多源素材重组能力的改善提供了进一步证据。

03

应用

多图合成的价值,在于让创作者能够组合不同来源的素材,同时保留想要的人物、物品和视觉特征。DeCoRL 为这类创作提供了新的优化思路,可探索用于多人物合影、商品与场景组合、穿搭素材重组,以及需要保持角色和道具特征的内容创作。

总体而言,DeCoRL 的启发,是复杂的生成目标,可以通过更明确、更细粒度的评价来学习。把整体一致性拆解为可判断的目标级一致性,有助于将多图合成推进到能够更可靠地保留素材。未来仍需在同类目标匹配、空间关系与交互表达,以及更多参考图的场景中进一步验证。

///

招聘

最后,小红书内容智能与生成组团队正在火热招人中!小红书内容智能与生成组团队以AI及多媒体技术为核心,主要负责小红书发布侧的产品研发,并向公司内部各业务线(生态审核、社交、直播、电商、商业化广告)提供内容创作、内容理解、互动体验等技术能力及解决方案。团队技术方向涵盖多模态AIGC、计算机视觉、语言语音、编辑渲染、算法工程等。本篇工作着手于图像可控生成,主要应用在小红书文字发布等功能的图像素材生产中。团队最近两年累积发表了30余篇相关领域顶会、顶刊论文,在技术上有InstantID、Storymaker、FireRedTTS、FireRedASR、FireRed-Image-Edit等知名技术开源代表作,在业务上也做出了语音评论、文字等功能。长期欢迎优秀校招、社招、实习生的加入,Let's work together!

有意向的同学请联系

sunshuang1@xiaohongshu.com

///

作者简介

Core contributors

  • 帝牙:小红书内容智能与生成组AIGC算法组工程师,支持小红书AIP图发布业务,图像编辑能力优化等。

  • 谢风:小红书内容智能与生成组AIGC算法组工程师,支持小红书AIP图发布业务,图像编辑能力建设等。

  • 路平:小红书内容智能与生成组AIGC算法组工程师,支持小红书AIP图发布业务,图像编辑能力优化等。

  • 辉火:小红书内容智能与生成组AIGC算法组工程师,支持小红书图像编辑能力优化等。

  • 令狐:小红书内容智能与生成组AIGC算法组负责人,主要研究方向包括AIGC图像生成与编辑大模型、多模态内容理解与生成等。

  • 汤神:小红书内容智能与生成组负责人,主要负责小红书内容智能与生成组的基本能力建设等。

跳转微信打开

  •  

NeurIPS 2026 | 小红书智创 AIGC 团队提出视觉文本生成新方法 GlyphAnchor

原创 REDtech 2026-11-06 17:59 湖北

GlyphAnchor 通过位置锚定字形先验,提升文生图与图像编辑模型在长文本、复杂密集文本和生僻字场景中的文字准确性,同时保持图像质量。

论文标题:

GlyphAnchor: Enhancing Visual Text Rendering via Position-Anchored Glyph Priors

论文链接:

https://arxiv.org/abs/2609.02349

项目地址:

https://github.com/FireRedTeam/GlyphAnchor

01

摘要

我们提出的GlyphAnchor 可以通过位置锚定字形先验,增强文生图和图像编辑模型的文本渲染能力。该方法以轻量级字形图块提供字形信息,结合分阶段监督微调与针对文字的后训练,在长文本、复杂密集文本和生僻字场景中持续改善对应基础模型的表现。我们在 FireRed-Image-Edit-1.1、Qwen-Image-Edit-2511 和 Z-Image 上进行了验证,实验表明,GlyphAnchor 在保持整体图像质量的同时大幅提升文字准确性。

图 1:GlyphAnchor 的生成结果。

02

背景

准确的视觉文本渲染已成为文生图和图像编辑基础模型的关键瓶颈。近期图像扩散模型能够生成高质量场景并遵循复杂指令,但对于长文本、复杂且密集排列的文本以及生僻字,生成效果仍不够可靠。在海报、笔记和信息图等富文本应用中,缺失或错误的单个字符就可能影响图像的可用性。模型需要同时做到渲染正确的字符形状,将文本放在预期位置,并保持周围的风格和图像质量。

显式字形信息有助于提高文本准确性,但将所有文本渲染在整张画布上作为参考,会引入较大的 token 开销,并影响风格保真度;使用紧凑的字形块可以减少开销,但缺少空间定位时,仍可能遗漏文本或生成损坏的字符。因此,GlyphAnchor 将紧凑字形块与布局锚点结合,同时提供字形与空间线索。

03

方法

图 2:GlyphAnchor 概览。提示词、可选的源图像和渲染后的字形块图像被编码为 token,拼接后输入文生图或图像编辑 DiT。字形块 token 位于额外的条件帧中,形成坐标锚定到目标布局的虚拟字形平面。

GlyphAnchor 通过模型原生的位置编码,将每个字形块锚定到目标图像中的预期位置。具体而言,模型将目标文本渲染为字形块,经 VAE 编码后,与标准视觉 token 序列拼接;字形块的位置编号根据目标布局分配,使其中心与对应文本边界框的中心对齐。布局既可由用户指定,也可由多模态大语言模型规划。

这一条件机制轻量且易于适配不同的扩散 Transformer 基础模型。对于采用三维 RoPE 或其变体的模型,只需添加字形 token 并重新分配位置编号,便可引入字形条件。该设计不改变注意力模式,兼容各类标准注意力加速内核。

训练方面,我们采用分阶段监督微调,逐步从目标图像中的真实文本裁切块过渡到渲染字形图块,使训练条件接近推理输入;同时对字形块进行随机换行、缩放、旋转等增强,减少对参考字形外观的过拟合。在此基础上,通过文本感知 DiffusionNFT 后训练,联合优化文本与布局一致性、风格一致性和视觉融合,进一步改善困难样例中的稳定性与视觉质量。

04

效果与对比

我们在两个图像编辑模型FireRed-Image-Edit-1.1、Qwen-Image-Edit-2511和文生图模型Z-Image上实现了GlyphAnchor,并在 LongTextBench、OneIGBench-text、CVTG-2K、ChineseWord 和 InfoTextBench上评估长文本、复杂密集文本及生僻字渲染能力。

通用文本生成:三个基础模型均获得提升

表 1:LongTextBench、OneIGBench-text 和 CVTG-2K 上的定量对比。紫色数字为加入 GlyphAnchor 后相对对应基础模型的差值,正值表示提升,负值表示下降。

GlyphAnchor 在三个基础模型上均提升了长文本渲染能力,其中两个编辑模型的提升尤为明显。在 LongTextBench 上,FireRed-Image-Edit-1.1 的中英文平均得分由0.897 提升至 0.985,Qwen-Image-Edit-2511 由 0.912 提升至 0.984,Z-Image 由0.936 提升至 0.981。在 OneIGBench-text 上,三个模型的中英文平均得分也分别从 0.875、0.928、0.988 提升至 0.965、0.967、0.991。已有较强文本渲染能力的 Z-Image,在引入显式字形条件后仍获得进一步提升。

生僻字渲染:显式字形信息改善生僻字生成

表 2:ChineseWord 上的定量对比。一级为常用字,二级和三级为较少使用的字符;紫色数字表示加入 GlyphAnchor 后相对对应基础模型的得分提升。

GlyphAnchor 在三个基础模型上均改善了常用字和生僻字的渲染。在 ChineseWord 上,FireRed-Image-Edit-1.1 的总体得分由 0.565 提升至 0.801,Qwen-Image-Edit-2511 由 0.496 提升至 0.807,Z-Image 由 0.476 提升至 0.565。

对于更难渲染的三级字,FireRed-Image-Edit-1.1 从 0.067 提升至0.416,Qwen-Image-Edit-2511 从 0.051 提升至 0.438,Z-Image 从 0.025 提升至0.102。这些结果支持论文的核心假设:当提示词本身无法可靠地指定目标字符结构时,显式字形信息尤其有价值。

富文本生成与编辑:文本准确性和视觉质量同时提升

为评估内容密集、结构性强的富文本场景,我们构建了InfoTextBench,包含 133 个样本,提供中英文提示词,同时覆盖文生图和图像编辑。该基准从文本准确性与整体视觉质量两个方面评估生成结果。

表 3:InfoTextBench 上的定量对比。紫色数字表示加入 GlyphAnchor 后相对对应基础模型的得分提升;整体视觉质量为美学质量与提示词遵循得分的平均值。

在需要同时渲染多项文本、保持布局和视觉协调性的场景中,GlyphAnchor 提升了词级与短语级文本准确性,也改善了整体视觉质量。FireRed-Image-Edit-1.1 的词级 F1 从 0.433 提升至 0.898,短语命中率从0.154 提升至 0.713;Qwen-Image-Edit-2511 的词级 F1 从 0.479 提升至 0.871,短语命中率从0.167 提升至 0.737。两个模型的整体视觉质量得分分别从 4.608、4.603 提升至 6.480、6.704。Z-Image 的词级 F1 从0.872 提升至 0.950,短语命中率从0.807 提升至 0.885,整体视觉质量得分从 7.092 提升至 8.822。

图 3:富文本样例定性对比。

定性结果展示了包含长标题、密集小字和结构化布局的样例。Nano Banana Pro 和 GlyphAnchor 均能较好地渲染这些样例,而其他对比模型仍出现字符损坏、词语遗漏或重复、小字难以辨认及布局错误等问题。GlyphAnchor 能够生成文本完整、可读的富文本图像。

05

总结

GlyphAnchor 通过位置锚定字形先验,以轻量方式为文生图和图像编辑模型提供显式字形信息与空间线索。结合分阶段监督微调与文本感知后训练,该方法在多个基础模型和基准上改善长文本、复杂密集文本及生僻字渲染,在保持图像质量的同时提升文字准确性。

///

作者简介

  • 项强:现硕士就读于复旦大学,小红书智能创作 AIGC 组实习生,主要研究方向可控图像生成,图像编辑等。

  • 谢风:小红书智能创作 AIGC 组算法工程师,支持小红书AIP图业务,图像编辑能力建设等。

  • 令狐:小红书智能创作多模态算法负责人,主要研究方向包括 AIGC 图像生成与编辑大模型、多模态内容理解与生成。

  • 汤神:小红书内容智能与生成组负责人,主要负责小红书内容智能与生成组的基本能力建设等。

最后,小红书智能创作团队正在火热招人中!小红书智能创作团队以AI及多媒体技术为核心,主要负责小红书发布侧的产品研发,并向公司内部各业务线(生态审核、社交、直播、电商、商业化广告)提供业界领先的内容创作、内容理解、互动体验等技术能力及解决方案。团队技术方向涵盖多模态AIGC 、计算机视觉、语言语音、编辑渲染、算法工程等。本篇工作着手于图像可控生成,主要应用在小红书文字发布等功能的图像素材生产中。团队最近两年累积发表了30余篇相关领域顶会or顶刊论文,在技术上有InstantID、Storymaker、FireRedTTS、FireRedASR等知名技术开源代表作,在业务上也做出了语音评论、文字功能等爆款功能。长期欢迎优秀校招、社招、实习生的加入,Let‘s work together!

有意向的同学请联系:

sunshuang1@xiaohongshu.com

跳转微信打开

  •  

拆解小红书存储底座 03|从存得下到读得快:小红书自研对象存储实践

原创 REDtech 2026-11-05 17:59 湖北

从多云统一接入到 HDD、SSD 引擎优化,看小红书自研对象存储 ROS 如何兼顾容量、带宽与成本,支撑多媒体、大数据和 AI 训练。

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品,DMS、RedDTS 等公共能力分别提供统一管控和数据传输支持。小红书自研对象存储 ROS(Red Object Storage)服务于多媒体、大数据、索引构建和 AI 训练等多个业务,多媒体在线访问关注可靠性与低时延,大数据与索引构建需要持续高吞吐,AI 训练则要求高并发读取与 Checkpoint 集中写入。

本文介绍 ROS 的整体架构,包括多云统一网关、元数据管理和存储引擎的核心设计,重点说明如何通过 HDD 的内外圈放置、亲和预分配与预读,以及 SSD 的 RDMA 网络、SPDK 用户态 I/O 与 NUMA 亲和,满足不同业务的存储需求。

小红书的多媒体、大数据、索引构建和 AI 训练等业务使用多个云厂商的对象存储服务。随着业务规模增长,不同场景对可靠性、时延和读写带宽提出了更高要求,统一接入、鉴权、流控与监控,以及跨引擎的数据管理需求也日益突出。为此,小红书建设自研对象存储 ROS,在自建与公有云共同承载数据的混合云架构下,统一业务接入与数据管理,并通过自研存储引擎提升单位存储容量的读写带宽,满足不同业务的性能与稳定性需求。

01

整体架构

ROS 采用自建与公有云共同承载数据的混合云架构,业务通过 S3 SDK 接入,各模块分工如下:

  • 多云统一网关:提供统一接入,负责协议适配、鉴权、流控和路由,屏蔽不同存储后端的接口差异。

  • RedDB:提供对象存储元数据服务,可随 Bucket 对象数量增长自动分裂,线上已经支持单 Bucket 千亿对象规模。

  • RedStore:自研池化存储引擎,提供 HDD 和 SSD 两类引擎,与公有云对象存储共同承载数据,满足不同业务的容量、性能和成本需求。

  • 离线系统:负责跨区域、跨集群数据调度、生命周期沉降与引擎置换,支持数据跨区域、跨引擎流转。

  • 全 Kubernetes 部署:ROS 的全部服务都通过 Kubernetes 统一编排,支撑部署、扩缩容与运维管理。

02

多云统一网关

多云统一网关面向自建与公有云共同承载数据的混合云场景,提供兼容 S3 的统一入口。业务通过同一套 S3 SDK 接入,网关负责协议适配、鉴权、分布式流控和路由,并汇集多云访问日志与监控数据,减少业务对不同后端的重复适配。

Bucket 可按需选择存储引擎:高性能、大带宽场景选择 SSD,成本敏感场景选择 HDD。多云统一网关还支持引擎置换。例如,RedStore 空间不足时,可将 Bucket 的数据迁移到 云上对象存储。迁移期间,未迁移的对象仍读 RedStore,已迁移的对象读 云上对象存储;业务保持原有接口、桶名和对象名称,无需适配后端变化。

通过多云统一网关与离线系统协作,ROS 可利用引擎置换缓解容量运营压力,支持将存储利用率提升到 90%。离线系统还负责跨区域、跨集群数据调度与跨云生命周期沉降,使数据随资源和访问需求流转。

03

存储引擎

3.1 HDD 存储引擎

大数据扫描和批量读取需要持续、稳定的高带宽,而 HDD 上分散的小块访问容易受到寻道开销限制。ROS 通过多节点、多磁盘并行,结合内外圈放置、亲和预分配与预读,减少随机寻道、提升连续访问效率。在读写比为 2∶5、平均对象大小为 64 MiB 的线上真实负载下,每 PiB 可提供 20 Gbps 读带宽和 10 Gbps 写带宽。其中,热存副本放置在外圈,冷存副本放置在内圈,利用外圈较高的顺序读写带宽优先服务热数据访问。

预分配解决“写得近”:写端传递相关 Blob(对象逻辑分块)的亲和信息,转换为分片提示,DataNode 提前预留连续空间,减少后续分散写入。预读解决“读得顺”:读取时按需预读相邻分片,供后续请求复用,把相关小块访问转化为更连续的磁盘 I/O。

预读的目标是提高业务有效吞吐,而不是扩大磁盘读取量。因此,需要结合命中率、空间压力和带宽消耗控制预读范围,避免无效读取挤占正常请求。

3.2 SSD 存储引擎

AI 训练与索引加载需要持续的大带宽,仅更换 SSD 还不够,网络处理、数据拷贝和软件 I/O 路径都可能成为瓶颈。ROS-Express 将优化延伸到网络与本地存储,每 PiB 提供 1Tbps 读带宽和 250Gbps 写带宽。

业务通过 S3 SDK 经多云统一网关进入 Access 数据访问层,再通过 RDMA 网络访问 DataNode 数据节点。RDMA 减少网络处理的 CPU 开销与数据拷贝;网络 Poller 与各盘 SPDK Poller 异步协作,减少中断与调度开销,并通过用户态异步 I/O 发挥 NVMe 的并发能力。结合节点横向扩展,将多节点、多磁盘的带宽汇聚为服务能力。

高性能 SSD 引擎以全内存索引减少寻址所需的磁盘访问,并通过 NUMA 亲和,让 CPU、内存、网卡与磁盘就近协作。面向 QLC,在设备支持时利用 FDP(Flexible Data Placement) 按数据生命周期优化放置,降低垃圾回收带来的写放大,具体设计将在后续专篇展开。

04

数据组织

RedStore 按对象大小选择保存方式,并通过分层寻址定位数据。以下先介绍写入时的对象分块与数据保护,再说明读取时如何找到对应的节点和磁盘数据。

4.1 对象分块与数据保护

按对象大小分级。小于 1KiB 的对象支持将数据内联保存在 RedDB;大于等于 1KiB 且小于 512KiB 的对象采用 4 副本;512KiB 及以上的对象按 Blob 组织并采用纠删码(EC)保护。单次 PUT 上限为 5GiB,更大对象使用分段上传。

分块与尾块合并。Blob 是对象的逻辑分块,默认按 5MiB 划分。存在前块且非零尾块不超过 1MiB 时,写入前将尾块并入前块,末块最大为 6MiB。例如,16MiB 对象拆成 5、5、6MiB 三个 Blob,避免单独保存一个 1MiB 小尾块。

EC 编码保护。以 8+3 编码为例,每个 Blob 生成 8 份数据分片和 3 份校验分片,跨 DataNode 放置。部分分片不可用时,只要有效分片满足恢复条件,即可通过解码恢复数据,并由后台重建补齐冗余。

4.2 分层组织与寻址

读取时,RedDB 提供对象的 Blob(逻辑分块)布局与标识。系统根据 Cluster ID 选择集群,再通过 Space 和 Volume 查找分片位置:同一 Space 使用相同编码策略,Volume 管理一组分片的放置关系,Vlet 是节点内的分片管理单元。请求到达 DataNode 后,按 VBID(卷内 Blob 标识)查询本地索引,定位磁盘数据。

分层管理将对象布局与物理位置解耦,支持按集群扩展存储资源。数据容错依靠副本、EC 与故障域放置。

05

未来展望

小红书自研存储仍在持续迭代。未来将打通对象与文件访问,让同一份数据既可通过 S3 访问,也可通过 RedFuse 提供的 POSIX 接口访问,覆盖 AI 数据采集、清洗、训练与部署流程,减少不同访问方式之间的数据复制。

面向索引构建等场景,计划为 Bucket 引入层级命名空间:HNS(层级命名空间)管理目录层级、父子关系与路径查找,FNS(扁平命名空间)管理对象元数据与位置索引,共同支撑目录管理与大规模目录重命名需求。同时,将现有的跨引擎数据流转能力扩展到这些场景,通过 SSD、HDD 与云上引擎之间的沉降和置换,兼顾时延、带宽与成本。

作者:

德古|中台技术部。主要负责对象存储与多云统一网关建设。

部门介绍:

存储&数据库部,为小红书全业务场景打造行业领先的高可用、高可靠、高性能、低成本的存储和数据库类产品技术服务。团队致力于用精英化的组织和行业领先的技术理念,先于业务布局和行动,为公司业务的快速发展提供充足“弹药”,同时也让小红书存储和数据库成为行业该领域的标杆。

06

招聘

分布式存储研发工程师小红书招聘

块/文件/对象/存储底座等方向

跳转微信打开

  •  

拆解小红书存储底座 02|让 AI 成为团队的一员:存储数据库助理实践

原创 REDtech 2026-11-03 17:59 湖北

存储数据库团队的 AI 助理 SDBP 上线两个多月,独立解决数千个问题,日均独立解决的问题数量达到单名专家的 五倍以上,为团队提供了额外的问题处理能力。本文拆解它如何从一个答疑工具变成团队的一员。

导读

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品,DMS、RedDTS 等公共能力分别提供统一管控和数据传输支持。SDBP 是面向存储数据库运维协作的 AI 助理,补充了智能答疑与任务跟进能力。

SDBP 将团队知识、内部代码和业务工具接入 IM,可协助回答咨询、跟进审批和排查问题。上线两个多月,它已服务千余名内部用户,独立解决数千个问题,其中约三成的问题在非工作时间得到解决,为夜间和周末的常见咨询提供补充响应。从日均独立解决的问题数量看,助理达到单名专家的 五倍以上,为团队提供了额外的问题处理能力。本文介绍 SDBP 在共享执行资源、知识获取、访问边界与群聊协作上的建设实践。

上线两个多月,存储数据库助理 SDBP已服务千余名内部用户,独立解决数千个问题。从日均独立解决的问题数量看,助理达到单名专家的 五倍以上,为团队提供了额外的问题处理能力。其中,约三成的问题在非工作时间得到解决,为夜间和周末的常见咨询提供补充响应。有用户把助理“置顶在用”,也有用户反馈“很多问题可以直接给出答案”。这份认可也延伸到了其他团队,吸引近十个团队主动前来取经。从了解技术方案,到带着各自的业务场景讨论如何搭建同类助理,交流的话题逐渐从“这个助理真好用”走向“我们也想做一个”。

这些变化来自我们将专业能力带入团队协作的持续探索。本文从一线值班的实际需求和前期 OpenClaw 尝试出发,介绍共享执行资源、内部知识获取与访问边界的建设,再展开群聊并发、群定时任务和消息触发的实践,最后回到应用成果与持续改进。

01

业务背景:专业答疑背后的重复与等待

存储数据库团队的值班工作,平均每周要处理数百轮咨询与求助,覆盖关系型数据库、非关系型数据库、图数据库、对象存储等多类产品。业务同学通过私聊和群内 @ 发来的请求,既有连接失败、权限异常和工单操作等咨询,也有围绕审批催办与进度确认的沟通:工单提交后,还要找当前审批人、催处理、等反馈。值班同学因此既要解答问题,也要协调人员和跟进流程。

同类问题换一个用户,就要重新解释;知识和经验分散在文档、历史聊天与各领域专家手中,遇到不熟悉的场景,还得先找资料、找人。催审批等请求则需要反复核对状态、联系处理人。我们希望让助理接手常见问题的查证、依规处理与进度跟进,让业务少一些等待,也让专家把更多精力留给故障判断、风险控制和系统优化。

02

前期探索:从个人助理走向团队服务

年初 OpenClaw 的火爆,让更多人看到了 AI 助理从回答问题走向调用工具、执行任务的潜力。我们也尝试把专家的知识和工具接入助理,在 IM 中查证问题、处理请求。但个人助理通常围绕一个人的文件、身份和目标工作;存储数据库服务的提问者众多,同一个群里,不同用户的资源权限也可能完全不同。每次请求都必须明确是在替谁做事、可以访问哪些数据、能够执行哪些操作。

我们考察了两种部署方式:多人共用一个 OpenClaw 实例,需要额外解决身份、文件与权限隔离;每人独立部署一个实例,则面临低频场景下的资源闲置,以及按需启停时的状态恢复问题。

图 1:本项目探索的两种部署方式,以及团队服务需要同时满足的要求。

因此,我们将资源共享、知识获取与访问控制作为底座建设的重点,再进一步支撑群聊中的并发与持续协作。

03

技术实践:构建面向团队的助理底座

1. 运行架构:共享计算资源,保留独立会话

AI 技术快速演进,Claude、Codex、DeepSeek 等生态不断带来新的 Agent 能力。为了持续吸收这些进展,我们实现了统一的 Agent 抽象层,对任务执行、过程事件和会话管理提供统一接口,通过适配器对接不同的底层框架。

这一设计为后续按需引入新框架预留了空间。完成适配与验证后,新框架可以复用 SDBP 已有的知识接入、业务工具和权限控制,让底层执行能力持续演进,也让团队积累的业务能力得以保留。用户通过 IM 或 Web 交互,各产品能力通过 Skill 和 MCP 接入。

团队服务面对大量低频用户,既要及时响应,也要减少资源空转。我们因此将会话状态与执行环境分离,使任务进展不再绑定某个执行节点。

会话与工具调用记录持久化到 PostgreSQL,工作区文件与只读资源放在 NFS 中。执行节点可以替换,工作状态仍可接续。

状态持续保留,算力按需使用。我们以 数十核共享资源,承接面向 数千名用户的低频服务场景,覆盖人数不代表同时在线或并发执行人数。

图 2:会话与文件独立保存,执行资源按需共享。

2. 知识获取:让文档与代码共同支撑回答

围绕存储数据库的日常工作,我们通过 Skill 接入了 MySQL、KV 、对象存储等产品能力,支持资源查询、权限申请、工单处理与问题排查。这些能力能否真正发挥作用,首先取决于对内部业务的理解。内部知识库是助理理解业务、作出判断和正确执行的核心基础。产品约束、操作流程、排障经验和实现细节,都需要来自内部知识的支撑。

大模型熟悉公开知识,却不了解内部系统的实现与流程。更现实的困难是,团队文档库并不完整:一些细节没有记录,一些文档没有跟上功能变化。我们先后尝试了 RAG 和 LLM Wiki,但答疑效果仍不理想——知识整理得再好,也无法补齐源资料中缺失或过时的信息。

于是,我们进一步把代码纳入知识源,在同一组小规模 DMS 代码问答样本上比较三种获取方式。下表概括了它们的工作特点、平均耗时和回答质量;结果仅反映本组样本,不等同于线上问答准确率。

综合测试结果,我们采用代码图谱定位、源码核实的方式,在回答质量与耗时之间取得折中;文档则补充产品说明与操作流程。

代码仓库会定时拉取最新主分支,文档与内部平台同步;Git 提交记录提供相关开发者线索,辅助缺陷排查与人工接手。

图 3:Skill 引导知识获取,图谱定位关联,源码核实细节,提交记录辅助人工接手。

3. 网络防火墙:以用户身份约束执行权限

代码让助理看懂系统,也让它更容易找到相关接口与调用方式。助理会主动寻找可用的工具来推进排障,但工具和接口的使用必须受当前用户权限约束。知道接口怎么调用,并不代表有权调用。

我们在 Agent 与内部系统之间设置出口代理,统一检查服务白名单和当前用户的可信身份,保管并按需注入业务凭据。助理执行环境无需持有业务凭据。

服务白名单限定助理能访问哪里,用户权限决定它能做什么。不同用户不共享授权,文件按范围隔离;涉及审批等操作,业务系统仍需独立校验权限和流程节点,检查失败则停止。

图 4:文件隔离、出口检查与凭据外置,共同约束每一次访问。

04

场景探索:让助理融入日常协作

资源、知识与访问边界构成了服务基础。接下来,我们围绕群聊中交错的问题、需要持续跟进的事项,以及消息到来后的主动响应,探索助理如何进入日常协作。

1. 群聊并发:让多个问题同时推进

群里上一问还在排查,下一问已经到来。日常问答以读取和分析为主,文件写入冲突较少,适合并行推进。我们按“助理+用户+群聊”隔离会话,并通过会话分叉与增量合并,让同一用户的新问题也能并发处理。

分支只继承分叉时已保存的历史,执行中的内容不实时共享;完成后持锁合并新增对话与工具调用记录。文件改动与业务操作的冲突另行处理,超出并发上限的请求排队。

图 5:同一会话中的新问题继承已有上下文,独立执行后将新增记录汇回主线。

2. 群定时任务:从一次交代到持续跟进

群里的工作不总能当场结束:工单需要继续跟进,风险需要定期检查,周会前还要收齐进展。我们把这些约定保存为定时任务,让助理到点后重新查看情况,减少人工反复盯进度。现有群聊任务配置中,已经出现了几类典型用法:

  • 工单与事项跟进。按小时检查群内工单,只对超过约定时限且仍未结束的工单提醒;安全加固等专项则定期核对进展,完成后结束跟进。提醒依据最新状态生成,减少对已完成事项的重复催办。

  • 风险巡检与指标监测。定时汇总容量风险,按产品和集群归并重复告警,标记已有的扩容进展;对比 CPU 售卖率、成本核数等指标的变化,按约定阈值识别需要关注的异常,让散落的信息成为可跟进的风险清单。

  • 团队协作与信息汇总。按周公布值班人,会前检查周报填写情况、提醒尚未补齐的事项;也可以定期从群内派活和会议纪要中提取待办,去重录入后继续跟进,减少遗漏。

任务内容、执行计划、所属用户和群聊会被持久保存。到达约定时间后,调度器触发执行,助理按任务约定检查最新情况,并将需要反馈的结果发回原群。执行状态可查询,后续计划可取消,任务也无需依赖某个对话进程一直在线。

图 6:一次约定后,助理每天会后自动提取、去重并登记待办。

3. 消息触发:从显式唤起到主动响应

普通群的自动答疑

只在用户明确 @ 时回答,会漏掉群里已经提出、却还没有人接手的问题。我们在指定业务群中引入消息触发,作为从显式唤起走向主动响应的过渡方案,先明确介入范围与打扰程度。

这套实现周期性检查近期消息,在短暂静默后结合上下文判断:是否是明确的存储数据库问题,是否已有值班同学或其他成员接手,是否已经有机器人回答。只有确实需要补充、且能给出有依据的帮助时,才开展只读查询或代码查证并简短回复;信息不足、已有响应或对话自然推进时,保持静默。这条自动响应路径不直接发起审批、提单等写操作。

基于消息触发的自动审批

审批人本人预先配置适用的工单类型和生效群聊,助理按预授权规则处理后续请求。每次执行仍由业务系统校验当前审批人、操作权限和工单状态。审批人可停用或删除规则,停止后续自动触发;校验不通过、超出授权范围或执行异常时,不继续自动审批,反馈后由人工处理。执行结果回报原群。

图 7:审批人配置与管理规则,助理核验后执行并回报结果。

05

应用成果:从答疑工具到团队成员

助理带来的变化,既体现在更多问题得到及时解决,也体现在团队开始把一些具体工作交给它。从日常答疑到专业协作,它逐渐有了自己的分工。

① 服务业务:让问题少一些等待

对业务同学,SDBP 上线两个多月,已服务千余名内部用户,独立解决数千个问题,其中约三成的问题在非工作时间得到解决,为夜间和周末的常见咨询提供补充响应。从日均独立解决的问题数量看,助理达到单名专家的 五倍以上,补充了团队处理常见问题的能力,让专家能把更多精力放在复杂故障判断、风险控制和系统优化上。

用户的反馈也落在具体的使用体验上:有的问题可以直接得到答案,有的流程能在 IM 内完成,也有人把助理置顶,作为日常求助的入口。

② 融入团队:从回答问题到接手工作

对存储专家,助理参与审批处理、异常排查与缺陷修复:完成 千余单审批,分析定位 数百个产品异常,累计修复 百余个产品缺陷。这些工作覆盖重复核查、专业调查与修复处理;助理承担其中可交付的具体任务,专家负责必要的授权、评审与验证。

下面的 Redis 告警订阅案例展示了这一分工:助理承担代码查证与修复准备,工程师负责授权、评审和验证。

图 8:Redis 告警订阅编辑出现校验异常,助理查证并准备修复,工程师评审后由用户验证。

③ 实践扩散:让更多团队看到复用的可能

这份实践吸引了近十个团队主动前来取经。交流从体验助理、了解设计方案,进一步深入到各自的业务场景,探讨如何搭建同类能力。对其他团队而言,关注点也从“这个助理真好用”,延伸到“我们也想做一个”。

图 9:其他团队主动交流设计方案与接入方式。

06

持续演进:拓展执行能力,沉淀协作经验

从答疑走向持续协作,助理将重点推进三个方向:

  • 拓展运维变更能力:在授权与审批约束下,贯通问题分析、方案制定、执行和验证,扩大可承接的任务范围。

  • 建设全局分层记忆:区分个人与群聊记忆、团队共享经验及变更事实,保留来源、权限和适用条件,及时更新过期内容,支持经验复用。

  • 探索 Skill 自迭代:从真实任务中提炼改进建议,将线上失败案例转化为可复现的评测任务,通过独立评测验证效果,推动经验持续更新。

下一篇,我们将拆解 MySQL 内核线程池的设计与实现,欢迎持续关注「拆解小红书存储底座」系列。

///

作者简介

团长,小红书研发工程师,负责存储数据库管控平台和智能助理建设。

雷内,小红书研发工程师,负责数据库自治可观测性建设和 SDBP 核心模块建设。

瓦稣,小红书研发工程师,负责 SDBP 应用层功能建设和管控平台功能打通。

武藤,小红书研发工程师,负责 SDBP 故障根因定位系统建设和核心指标运营。

陈锦浩,小红书研发工程师实习生,负责 SDBP 的高频 Skill 功能和智能审批建设。

鄢灿锋,小红书研发工程师实习生,负责 SDBP 运营系统建设和数据运营。

部门介绍:

存储&数据库部,为小红书全业务场景打造行业领先的高可用、高可靠、高性能、低成本的存储和数据库类产品技术服务。团队致力于用精英化的组织和行业领先的技术理念,先于业务布局和行动,为公司业务的快速发展提供充足“弹药”,同时也让小红书存储和数据库成为行业该领域的标杆。

///

招聘

精彩回顾:

拆解小红书存储底座 00|从孤岛走向融合:小红书存储与数据库架构进化

拆解小红书存储底座 01|多源数据传输总线 RedDTS 2.0

跳转微信打开

  •  

揭秘小红书自研稀疏训练引擎 SparseGear:面向搜广推模型 Scaling Up 的资源协同与 HBM-Friendly 架构

原创 REDtech 2026-11-02 17:59 湖北

为支持搜广推模型持续 Scaling Up,小红书自研稀疏训练引擎 SparseGear 重新设计了稀疏参数的计算、存储与通信方式,构建 HBM-Friendly 高性能多级稀疏参数存储架构,提升参数供给效率,为 Dense 扩展释放显存空间。

导读

随着小红书搜广推模型的序列长度向万级增长、Dense 参数规模向百亿级扩展,训练系统既要提高稀疏参数供给效率,也要为 Dense 计算留出更多显存空间。小红书自研训练引擎 SparseGear 从调整资源分工入手,充分利用主机资源与通信链路改善参数供给,并通过 HBM-Friendly 多级存储降低稀疏侧的显存占用,支撑模型持续 Scaling Up。

围绕完整训练链路,SparseGear 还通过统一特征抽取平台降低公共特征重复生产的成本,以原生五维并行支撑模型扩展,并引入 Agent 自动调优降低优化成本,最终在多个业务场景取得了 20%~300% 的训练性能收益。

01

业务背景与架构瓶颈

小红书的搜广推业务持续探索长序列建模和更大规模的 Dense 网络。更长的行为序列可以为模型提供更完整的用户历史,帮助刻画长期兴趣及其变化;更大规模的 Dense 网络则为复杂特征交互提供更强的表达能力。

与此同时,多模型并行迭代已成为业务研发的常态。因此,训练系统既要支撑单个模型的规模扩展,也要控制多模型迭代的整体成本。原有 TorchLarC 训练系统采用 CPU Worker、GPU Worker 与远端 Parameter Server(PS)协同的架构:CPU Worker 负责数据读取和特征处理,GPU Worker 完成 Dense 前向、反向及稠密参数更新,Remote PS 管理稀疏参数。这套架构将词表容量与 GPU 计算资源解耦,支持存储和计算独立扩展,并具备成熟的特征处理与异步执行能力。但随着模型规模增长和并行实验增多,训练系统也面临以下新的瓶颈。

图 1|TorchLarC 原有 PS 训练架构。CPU Worker 负责数据读取与特征工程,GPU Worker 完成模型计算,Remote PS 管理完整稀疏词表。

参数供给:带宽受限,资源利用不均。样本与稀疏参数传输分别集中在 CPU Worker—GPU Worker、Remote PS—GPU Worker 两条链路,随序列增长逐渐受限于带宽。多卡重复访问进一步增加数据搬运量,异步预取也无法消除这部分开销。与此同时,GPU Worker 所在节点的 CPU、内存利用率长期低于 35%,CPU Worker 与 Remote PS 之间的带宽仍有余量。

显存容量:稀疏缓存与 Dense 竞争 HBM。为缓解远端访问压力,业界主流方案将热门参数缓存到 GPU,并用 Host 内存扩大本地容量。但增加 GPU 缓存会挤占 Dense 计算的 HBM,缩小缓存又会增加对下层存储的访问,需要兼顾参数供给与 Dense 扩展。

迭代成本:重复数据生产与人工调优。长序列增加了特征处理开销,多模型独立生产数据又导致公共特征被重复计算和存储。模型结构与访问分布频繁变化,也使依赖专家经验的人工调优难以跟上迭代。

针对这些问题,SparseGear 重新组织计算、存储与通信分工,利用主机资源与链路余量改善稀疏参数供给;设计 HBM-Friendly 多级存储,为 Dense 扩展释放显存;结合公共特征复用与 Agent 自动调优,降低数据生产和持续调优成本。

02

统一特征抽取平台:公共特征复用,实验特征增量生产

在训练数据生产环节,同一业务场景下的多个模型通常共享大部分特征,差异集中在少量新增特征或处理逻辑上。为减少重复计算和存储,我们建设了统一特征抽取平台,集中生产公共特征,各模型只补充自身所需的增量。

计算图复用:减少公共特征重复计算

平台基于特征引擎(NovaFG),用计算图描述特征抽取、转换等步骤及其依赖关系。稳定、可复用的公共计算图归入公共计算部分(Base),各模型独有的计算图归入实验计算部分(Exp)。通过匹配计算节点及其依赖关系,确定公共复用范围和各实验需要执行的增量计算。

实验变化时,仅重算受影响的子图及必要依赖;无法可靠匹配的计算采用保守重算,避免错误复用。

增量结果存储:减少公共特征重复保存

Base 结果与各模型的增量结果(Exp Delta)存储在 Paimon 表的不同分支中,通过共享 Base 数据减少重复存储和生产阶段的读写开销。Delta 通过 Data Evolution 写入,与 Base 按行对齐,训练时通过列级 Merge on Read 高效读取。

独立执行:按需配置资源,支持异构计算

特征生产独立于模型训练运行,可按自身负载调整资源。执行层采用 Ray,通过常驻 Actor 复用 novaFG 初始化状态,减少重复加载开销。同时,依托 Ray 的异构资源调度能力,为后续接入需要 GPU 的特征抽取任务提供支持。

图 2|统一特征抽取平台:根据计算图及依赖确定复用范围,Base 统一生产,各模型独立生产 Exp Delta,训练时通过列级 Merge on Read 高效读取。

实践收益

以某业务场景下的 1 个基线模型和 2 个实验模型为例,统一特征抽取平台使该场景特征生产的 CPU 总消耗降低了 40%。与各自原有的全量计算任务相比,Exp 增量计算任务的 CPU 消耗降低了 50% 以上。

03

SparseGear:HBM-Friendly 高性能多级存储稀疏训练框架

长序列训练持续增加稀疏参数访问量,Dense 网络扩展则不断提高显存需求。SparseGear 在设计时同时考虑稀疏参数供给效率与 HBM 使用效率,结合特征消费方式、访问分布和训练时序,在保障参数访问性能的同时降低稀疏侧 HBM 占用,支撑 Sparse/Dense Scaling Up。

总体架构:分布式多级存储与异步流水

SparseGear 对稀疏参数进行分片,由对应的 GPU Worker(Owner)管理。来自不同 GPU 的请求汇聚到对应 Owner,合并重复 key 后查找并分发参数;反向梯度也在 Owner 汇聚更新,减少重复访问与缓存副本。

存储层由 HBM、Host DRAM 和 Remote PS 构成,分别承载高频参数、更大的本地缓存和完整的数十 TB 规模词表。在满足参数更新依赖的前提下,后续 batch 的参数准备与当前 batch 的 Dense 前向、反向计算重叠,减少访问等待。

在多级存储与异步流水的基础上,SparseGear 通过 Pooling 前移、分表缓存规划、参数与状态独立缓存、Host 元数据下沉四项设计,进一步提高 HBM 使用效率。

图 3|SparseGear 的多级存储与异步流水。四个编号对应 Pooling 前移、分表缓存规划、参数与状态独立缓存、Host 元数据下沉;底部展示 Embedding 与优化器状态不同的预取窗口。

Pooling 特征分流至 CPU:减少词表 HBM 占用

小红书业务中,稀疏访问瓶颈往往集中在原始序列特征。这类特征需要保留完整序列的 Embedding,无法提前 pooling,因此通过 GPU 缓存路径访问参数。未构成瓶颈的 Pooling 特征则由已有 CPU Worker 查询参数并汇聚,仅向 GPU 传输结果,同时利用 CPU Worker 与 Remote PS 间的富余带宽。真实业务测试中,纯 Pooling 词表分流后,在训练吞吐不变的情况下,稀疏词表常驻 HBM 占用减少约 26%。

自适应缓存规划:提高 HBM 缓存效率

各词表的访问频率、Embedding 维度与热点工作集不同,固定比例分配容易造成容量错配。SparseGear 通过 warmup 拟合各表缓存容量与下层回填数据量的函数关系,在给定 HBM 预算内自动生成最优的分表配置。真实业务测试中,相同 HBM 预算下,从下层存储回填的数据量减少约 43%,训练性能提升 17%。

参数与状态独立缓存:减少优化器状态 HBM 占用

现有稀疏框架通常将 Embedding 与优化器状态成对缓存在 HBM,但两者的使用时序不同:Embedding 需在 Dense 前向前就绪,优化器状态直到反向结束后的参数更新才会使用。在相同预取起点下,优化器状态拥有更长的准备窗口。SparseGear 利用这一时间差独立规划两者的缓存容量,将更多优化器状态放在 Host,并保证更新时序一致。根据所用优化器的不同,稀疏参数的 HBM 占用可减少 25%~33%。

Host 元数据下沉:释放元数据占用的 HBM 空间

原有实现将 Host 词表的索引与管理元数据保留在 HBM,由 GPU 并行查找 key,再由 CPU 收集、回传参数。Host 词表越大,元数据对 HBM 的占用越高,扩容也因此受限于 HBM。SparseGear 将这部分元数据下沉至 DRAM,由 CPU 通过 SIMD 指令加速检索与驱逐,解除 Host 扩容对 GPU 元数据容量的依赖。真实业务中,HBM 占用下降约 30%;进一步扩大本地缓存后,穿透到 Remote PS 的 key 数减少约 20%。

整体收益

最终,在相同 HBM 预算下,稀疏参数穿透率可降低 50% 以上;在相同穿透率下,稀疏参数 HBM 占用可降低 50%,为更长序列和更大规模的 Dense 计算释放显存空间。

04

Dense:原生并行与模型规模扩展

稀疏侧释放 HBM 后,Dense 侧仍需应对长序列和大模型带来的参数和激活存储需求,以及计算开销。仅扩大数据并行规模,难以突破单卡容量约束,因此需要多种并行方式协同。

SparseGear 采用 PyTorch 原生技术路线,以 DTensor 表达张量在多卡间的切分与复制,结合 TorchTitan 组织分布式执行,原生支持 TP、CP、PP、DP、EP 五种并行方式,并扩展支持 Per Token EP,使业务能够根据参数规模、序列长度和专家结构选择并行组合。

依托 PyTorch 的标准算子与 DTensor 体系,框架能够复用硬件厂商对 PyTorch 的适配成果,减少逐模型、逐卡型重复维护的成本。

05

sg-opt:Agent 自动调优

搜广推模型迭代快,人工调优耗时,也依赖专家经验。为降低持续优化的成本,我们建设了 sg-opt(SparseGear-Optimizer),支持 Agent 在 WebIDE 中进行单机调试,并在 LarC 平台提交多机任务。

两级 Profile,逐层定位瓶颈

sg-opt 提供 High-level 和 Low-level 两级 Profile。High-level Profile 面向稀疏参数访问与 Dense 流水,记录模块级执行过程,将 CPU 侧的锁依赖、GPU 侧的 Event 依赖转换为 Trace 中的有向边,使分散在不同线程、Stream 中的执行与等待关系清晰可见,便于定位阻塞流水推进的环节。

确定目标模块后,Agent 再通过模块名关联基于 PyTorch 原生 Profiler 的 Low-level Profile,查看目标模块的算子耗时与执行细节。

状态机与独立验证

Agent 建立基线后,结合代码和 Profile 定位瓶颈、生成修改;状态机管理优化阶段,记录每轮修改与验收结果,支持中断恢复。每轮先对照独立参考实现,校验前向输出、Loss、模型参数梯度及回传给 Embedding 的梯度。数值校验通过后,再独立运行性能测试,并将数值检查与性能结果绑定到同一份代码。只有验证通过且有收益的修改才会成为下一轮的起点,Agent 在给定预算内持续优化,最终交付代码与收益报告。

知识库与优化模式

优化前检索 Wiki 知识库;sg-opt 新发现的优化点自动提交,经人工审核、整理后入库。Normal 模式仅用知识库方法,平衡 Token 成本与收益;Ultra 模式在此基础上继续自由探索,在更充裕的预算内追求更高性能。

成本与收益

sg-opt 在多个业务模型上取得 20%~120% 的性能提升。以使用外部模型运行 sg-opt 的一次业务优化为例,基线单步耗时约为 670 ms。Normal 累计 Token 费用约 9 美元,耗时降至约 356 ms(下降约 47%);Ultra 累计 Token 费用约 34 美元,耗时降至约 309 ms(下降约 54%)。

图 4|sg-opt 的优化成本与收益。

///

总结与展望

SparseGear 已在多个业务场景取得 20%~300% 的训练性能收益。这些收益源于对业务负载与资源分工的重新审视:充分利用主机资源和通信链路改善稀疏参数供给,并将 HBM 使用效率纳入多级存储设计,在提升训练吞吐的同时,为 Dense 扩展留出显存空间。

面向更长序列和更大规模的模型,我们将进一步探索给定资源下稀疏参数与 Dense 计算的联合优化,更充分、高效地利用系统已有资源。统一特征抽取平台已完成首版建设,后续将结合更多业务场景与运行反馈,持续优化计算复用、增量读写和资源调度,降低多模型实验的数据成本。我们也将扩展 sg-opt 对复杂模型、分布式执行和异构硬件的调优覆盖,将业务中验证有效的优化持续沉淀到框架与知识库,降低模型调优成本,为算法迭代提供更大的探索空间。

///

团队简介

小红书引擎架构部 AI Infra 团队

小红书引擎架构部 AI Infra 团队负责支撑小红书搜索、广告、推荐、审核、创作等核心业务的 AI 化演进,与算法一起为 LLM/VLM 在业务的落地效果负责,致力于大模型分布式训练、强化学习框架、高性能推理及异构硬件编译器等核心技术的研发,持续打造先进、高效、易用的 AI 基础引擎。

团队研究方向涵盖以下几个方面:

  • 超大规模分布式训练:面向超大规模训练集群,围绕训练稳定性与 MFU 提升,重点研究跨集群训练、低精度训练、容错机制和弹性训练等关键技术。

  • 强化学习系统:聚焦端到端的大模型强化学习系统,面向动态负载、复杂 Agent 与环境交互、异构资源调度及多模态场景,探索下一代高效强化学习基础设施。

  • 推理并行方案:针对大模型推理中的计算与访存瓶颈,研究多机推理、异构硬件并行推理及调度优化方案,全面提升推理性能与资源利用效率。

  • 下一代模型与硬件体系联合优化:结合下一代硬件体系与新一代生成式、理解式模型架构,探索更先进的模型结构、训练范式与推理模式,推动模型与系统协同演进。

///

招聘信息

AI Infra 工程师/专家

小红书招聘

【Ace 顶尖实习生】Large Scale Machine Learning Model 训练和推理性能极致优化

小红书招聘

【REDstar】机器学习框架工程师-搜广推方向

小红书招聘

机器学习框架工程师/专家-搜广推方向

小红书招聘

跳转微信打开

  •  

QECon北京2026|小红书创新产品的 AI Native 质量工程实践

原创 REDtech 2026-10-30 18:04 湖北

小红书 Lab1327 打造了 QE Agent,目前已覆盖多个 App 和 PC 端产品,每月完成150余次完整测试。

导读

过去,AI 在测试中主要承担辅助角色,需求验证仍由测试人员主导。我们希望,Agent 能理解需求,自己决定该测什么、怎么测,根据现场变化推进测试,并判断实际测试结果是否符合业务预期。

围绕这一目标,小红书 Lab1327 打造了 QE Agent,目前已覆盖多个 App 和 PC 端产品,每月完成150余次完整测试。本文结合这些实践,分享从 AI 辅助测试走向 Agent 自主验证的探索,重点介绍上下文工程与多端质量知识图谱如何支撑测试决策,以及 Agent Loop、动态执行 DAG 和联合断言如何在测试执行与结果判断中协同工作。

01

QE Agent:从 AI 辅助测试到自主验证

过去,我们用 AI 生成用例,尝试用自然语言执行 E2E,也有接口、日志和数据准备工具。但 AI 本身并不了解我们的业务,也不知道一项需求具体该怎么测。测试人员仍要补充业务背景,写清入口、步骤和检查点,反复调试,把工具串起来推进整轮测试。单个环节快了一些,人却没有轻松多少。为此,我们打造了 QE Agent,希望让 Agent 自主组织和推进完整的需求测试。测试人员明确需求和业务预期后,Agent 据此设计用例、调用测试工具,根据现场执行反馈推进测试,并逐项判断实际结果是否符合预期。

图 1:QE Agent 整体架构。Agent 组织需求理解、测试设计、执行与结果判断,上下文工程、知识图谱和执行底座配合完成需求验证。

02

业务理解:测试上下文与跨端关系

2.1 以用例为单位的上下文工程

Agent 要测试,首先需要明确当前测什么,预期是什么,以及已经完成了哪些操作。随着测试持续推进,用例、截图和日志不断累积,每步读取全部历史会增加耗时和 Token 消耗,也容易让 Agent 在执行中遗漏用例的前置条件、操作步骤和预期细节。

图 2:不断累积的测试记录。每一步都带上全部历史,会增加 Token 消耗,也容易让 Agent 忽略当前用例的前置条件和预期。

上下文管理的常见方法包括上下文压缩、外置记忆、按需检索和上下文隔离。为减少重复读取,同时保留可回查的原始记录,我们结合后三种方法:需求、用例和执行记录完整保存在对话之外,Agent 按当前用例读取前置、步骤、预期和进度,截图与日志按需补读。

按用例读取后,Agent 还需要跟进执行中的变化。每次工具调用后,Agent 将新增操作、结果和进度补入当前上下文,未变化的信息继续复用,用于判断下一步。

图 3:按用例组织上下文。需求与执行记录完整保存;Agent 读取当前用例需要的内容,测试过程中再补上新的操作和结果。

我们围绕“AI 页交互优化二期”需求做了一次上下文管理对比实验,覆盖 22 份双端设计、94 条预期和 94 个原始操作。与关闭上下文管理的基线相比,耗时下降 59.6%,累计总 Token 下降 65.1%,工具返回文本由 9.81 MB 降至 1.80 MB。

这样,上下文减少了重复内容,Agent 更容易看清当前要测什么,要测到哪一步,以及还缺哪些证据。

2.2 为什么选择多端质量知识图谱

除了用例和执行记录,Agent 还需要掌握业务关系,包括页面入口、数据前置和跨端调用。例如,QE Agent 在验证“采集图片审核通过才能分享”时,曾将“采集”理解为“收藏”,进入错误场景。找到入口后,Agent 只追到 RN 分享调用,没有查清后续的原生桥接和审核接口。把实际的分享链路展开,可以看到:Agent 需要先从个人页进入采集列表,并确保列表中已有采集数据。发起分享后打开 RN 分享页,分享页再通过 iOS 原生桥接请求后端审核接口。

图 4:采集图片的分享过程。Agent 需要找到采集入口、确认已有采集数据,再查清 RN 页面如何经 iOS 原生桥接调用审核接口。

最直接的做法,就是把业务知识整理成文档,保存在代码仓库或文档库中,再通过文件或语义检索让 Agent 找到相关内容。但关系分散在多份材料中时,Agent 仍要从检索结果中提取、拼接。因此,我们采用多端质量知识图谱,显式保存已确认的入口、数据前置和跨端调用关系,供 Agent 在后续测试中沿关系查询页面、路由与接口,并追溯源码和版本。

2.3 图谱构建与关系检索

构建时,我们先提取各端、各语言的代码结构,统一表示页面、路由、接口及跳转、调用关系;以规范化路由连接原生入口与 RN、H5 页面,以 HTTP 方法和路径连接客户端与后端。在实际测试中,Agent 再用截图、UI 树、操作记录及接口日志核对实际行为,分开记录源码确认、真机观察和断言验证状态。每条关系保留来源、版本和证据,随代码变化核实更新。

图 5:图谱关系的来源。页面、路由与接口先从源码中提取,再用真机操作和接口日志核对,每条关系都能查到来源与版本。

以“向已有内容中添加记录”为例,Agent 先用业务描述匹配知识库中的页面名称、入口路径和操作记录,找到相关场景。如果已有具体路由或接口标识,就直接定位关联场景;当前已选场景也会一并纳入。几路结果按场景合并去重,明确标识和已选场景优先,再按匹配程度排序。

接着,Agent 将匹配结果作为查询起点,沿跳转、依赖和调用关系做广度优先搜索(BFS),把关联页面、数据状态和接口串成路径,同时限制深度与路径数量。Agent 拿到路径及其来源、版本后,再核对当前平台与用例,确认从哪里进入、需要哪些数据前置,以及操作后应回查哪些接口。

在 200 题离线自评中,页面定位命中率为 95%,关系召回率和精确率(微平均)均为 97.02%。

图 6:添加记录会经过哪些页面和接口。Agent 沿图谱查找相关路径;右侧是 200 题离线自评的整体结果。

03

验证设计:从业务预期到测试结论

3.1 根据业务预期选择验证能力

查清业务关系后,Agent 还要根据预期确定验证范围,再选择相应能力。

QE Agent 曾在一次消息中心测试中,用 Mock 数据验证消息展示和蓝点清除,测试结果都正常。但测试人员随后通过真实业务触发消息,发现 iOS 收不到消息。我们排查后发现,后端异步链路漏传了实验所需的版本信息。这次 QE Agent 只验证了客户端展示,漏测了真实消息送达链路。

这次漏测说明,Agent 在调用工具前,需要先确定验证哪些业务环节、每个环节需要什么证据。为此,我们采用先规划、再执行(Plan-and-Execute)的方式组织测试:Agent 先明确用例的前置条件、步骤、预期和平台,再复查需求覆盖与取证安排,补齐缺口后从业务预期倒推所需能力。

例如,需要检查页面交互和展示,Agent 就选择多端执行;需要核对服务端数据,就选择接口回查;需要验证异步送达或排查异常,就查询日志。同一条用例需要多类证据时,组合相应能力;前置数据不足,则先准备数据。

图 7:根据业务预期选择测试方法。Agent 检查用例能否覆盖需求,确定每项预期所需的操作和证据,再用逻辑 DAG 表达任务依赖。

3.2 逻辑 DAG 与动态执行 DAG

选定能力后,Agent 还要明确操作顺序与依赖。例如,它完成数据准备后才能操作页面,操作产生的对象 ID 又是后续回查的输入。我们用逻辑 DAG(有向无环图)表达 Agent 的验证计划:节点表示准备、操作、取证等任务,边表示依赖。

执行中可能出现新的证据缺口,原计划也需要随实际结果调整。为跟踪计划在执行中的变化,我们用动态执行 DAG 记录任务依赖和执行状态。它根据保存的计划、实际调用和工作状态生成并更新,保留已完成结果。Agent 据此跟进进度,证据不足时追加取证并调整后续依赖,从当前进度继续。

图 8:测试计划随执行变化。Agent 保留已经完成的工作,遇到新的取证需要时追加任务;动态执行 DAG 记录这些变化和实际进度。

3.3 联合断言与结果判断

执行任务完成后,Agent 还要判断实际结果是否符合业务预期。有些预期需要同时核对页面表现、对象关系和服务端数据,因此 Agent 在规划取证(Planning)时就要明确证据来源和获取方式。以“复制内容 A 得到副本 B,再给 B 改名”为例,Agent 需要确认 A、B 的 ID 不同、B 的修改保留、A 的原数据不变。为此,Agent 在操作前留存 A 的初始数据,保存新名称后退出并重新进入 B 页面截图,再通过接口回查 A/B 的 ID 与数据。

图 9:复制内容后的检查。Agent 核对原内容与副本的 ID、改名后的页面和前后数据,检查副本是否独立、修改是否保留、原内容是否不变。

取得证据后,Agent 进行联合断言,核对用例、账号和操作归属,逐项比较预期与实际结果。证据充分且符合预期则通过,明确不符则失败;不足或矛盾则记为待补证,再重新规划取证(Replanning)。

若缺少操作后 A 的回查结果,Agent 会选择接口能力,按 ID 补查 A 并与初始数据比较,再结合 B 的已有证据重新判断。新增补查任务保存后,动态执行 DAG 随记录更新,原业务预期不变。报告保留判断理由和所用证据。

图 10:联合断言的判断过程。Agent 把实际证据与业务预期逐项核对;证据不够或相互矛盾时,补查后再作判断。

04

持续执行:现场决策与任务恢复

4.1 测试数据准备与清理

验证计划明确后,Agent 需要先满足用例的前置条件,才能执行相应操作。例如,要验证分组内的记录操作,分组中就需要先有指定记录。

因此,QE Agent 先核实用例的数据前置,查询已有数据,满足则复用;有缺口时,规划如何补足数据(Planning)。Agent 对照目标状态与能力目录,组合已有 UI/API 操作,确定参数与顺序,再调用工具执行并独立回查,未满足则调整规划。确需新增能力时,Agent 依据代码或 API 实现,经测试、清理验证和注册后使用。Agent 保留对象 ID 与回执,测试后据此清理并确认。

图 11:为用例准备数据。Agent 检查现有数据能否满足条件,有缺口时补齐并独立核对,测试结束后再清理本次创建的数据。

4.2 Agent Loop 与现场执行

前置条件满足后,Agent 要将用例步骤转成设备可执行的动作。我们先解决动作落地(Action Grounding)问题:Agent 结合页面知识、当前截图和必要的 UI 树,通过多模态理解定位目标、确定动作和参数,再交给执行器。点击、输入、滑动等操作由设备自动化工具完成:iOS 使用 WebDriverAgent(WDA);Android 优先使用 uiautomator2,必要时通过 ADB 执行基础操作。

动作发出后,Agent 还要通过页面反馈确认操作是否生效。例如,关闭侧栏时,Agent 先尝试系统返回。工具调用没有报错,但操作后的截图显示侧栏仍然打开,说明关闭目标尚未达成。Agent 据此调整动作,改为点击灰色遮罩,随后确认侧栏关闭。

图 12:系统返回后,侧栏仍然打开。工具没有报错,页面却没有达到预期,Agent 需要根据截图继续处理。

为处理这类现场变化,我们采用 ReAct 式 Agent Loop,让 Agent 在“观察—判断—执行—再观察”中持续推进:目标达成后进入下一步,操作未奏效时调整动作,发现疑似业务异常则保留证据、核对预期;无法继续时,由 Harness 保存阻塞与恢复状态。动态执行 DAG 跟踪任务依赖与进度,Agent Loop 处理每步操作的现场反馈。

图 13:Agent Loop 如何推进测试。Agent 根据当前页面确定动作,操作后确认实际变化,再决定继续执行、调整操作或核查异常。

4.3 Quality Harness 的进度管理与中断恢复

Agent 在处理现场变化的同时,还要持续跟进整项需求的未测项。我们曾遇到 Agent 明知还有未测项,却释放设备并结束执行。

为此,我们明确了 Agent 与 Quality Harness 的分工:Agent 专注于测试决策,包括测什么、如何验证、下一步做什么,以及结果是否符合预期;Harness 将用例、计划、操作与证据关联起来,按场景和平台跟踪完成、失败、阻塞和未执行状态,并管理账号、设备的申请、占用、释放与异常清理。

有了这些记录,Agent 就能核对剩余任务和缺少的证据,继续推进可执行项。这些记录也用于中断恢复:Agent 重新读取原需求、计划、已确认结果和未完成项,核验设备、账号等实时状态后,从原进度继续。整轮结束时,Agent 再汇总结论、证据、阻塞与未执行项,交付报告。

图 14:测试进度与中断恢复。Harness 保存用例、操作和证据,Agent 据此检查未测项;中断后核对状态,再从已有进度继续。

通过这样的分工,Agent 专注于测试判断,Harness 保留整项需求的进度与依据,帮助 Agent 既弄清每条用例怎么测、结果怎么判,也持续跟进未完成项,让需求测得明白,也测得完整。

05

实战结果:真实需求中的测试表现

这套方案已应用于多个业务场景,覆盖 App 与 PC 端。下面结合实际案例,介绍 QE Agent 如何推进整轮测试、处理现场变化,并结合证据判断结果。

5.1 AI内容创建场景的需求验证

在一次 AI 内容创建测试中,QE Agent 围绕不同输入条件设计了 50 条用例,逐条明确操作步骤、预期结果和检查方法。测试不仅检查内容能否成功创建,还要核对创建结果是否符合用户要求。

图 15:AI 内容创建的测试安排。50 条用例覆盖不同输入条件,既检查创建是否成功,也核对结果是否符合要求。

QE Agent 随后逐条执行。遇到异常时,它保留操作和结果,继续其余可执行用例。最终,50 条用例均留下执行记录,37 条无异常通过,13 条出现异常,整轮任务没有停在某一次报错上。

图 16:50 条用例都有执行记录。37 条无异常通过,13 条出现异常;发现异常后,Agent 保留结果,并继续其余可执行用例。

其中,C18 指定的参数值为 3,创建结果也已保存,但详情页显示的对应值却是 2。QE Agent 通过联合断言,将同一条用例的输入、保存结果和详情页内容一起核对,找出了 3 条同类异常。仅检查创建是否成功,会漏掉这些问题。

图 17:创建成功,结果却未达到要求。指定参数值为 3,详情页对应值却是 2;联合核对输入、保存结果和页面内容后,Agent 找到了差异。

另一类异常发生在内容创建过程中。收到工具调用次数超限的报错后,QE Agent 在原计划之外追加日志诊断任务,沿调用链核对请求、执行与保存结果,确认是被测产品的业务 Agent 用尽了工具调用次数,任务因此中断,结果没有保存。动态执行 DAG 随计划更新,记录新增诊断任务及执行状态。

图 18:创建结果为什么没有保存。QE Agent 追加日志诊断,确认被测产品的业务 Agent 用尽了工具调用次数,导致任务中断。

5.2 多机型卡片回归

在卡片回归中,检查数量取决于 AI 的实际回复。QE Agent 先规划测试:各机型新建会话、发送同一问题,等待 AI 完整输出;有卡片就逐张点击并检查目标页是否正常,无卡片则记录跳过。

图 19:实际回复决定要检查哪些卡片。Agent 等待输出完整,有卡片就逐张检查跳转,没有卡片则记录跳过。

实际执行覆盖华为、OPPO、vivo 三款机型,分别检查 4、4、6 个跳转点。OPPO、vivo 首次点击卡片时进入了登录页,Agent 根据现场反馈返回原卡片重试,最终 14 项跳转均正常。Agent 在报告中保留了首次进入登录页、重试后正常的过程,供后续排查这一差异的原因。

这一过程中,Agent 根据实际卡片展开检查任务,通过动态执行 DAG 跟进已检查和未完成项;通过 Agent Loop 处理返回、重试等具体操作。

图 20:三款机型的卡片跳转结果。14 项最终均正常;OPPO、vivo 首次进入登录页,返回原卡片重试后正常,首次跳转差异仍待排查。

5.3 修复验证与埋点检查

实际提测中,一项任务可能同时包含多个验证目标。例如,一次提测要确认业务 AI 使用用户已提供的参数、不再重复询问,并检查相关页面的曝光和点击埋点。QE Agent 因此组合多端执行与埋点校验能力,在验证修复的操作中触发上报,再核对上报记录。

在修复验证中,QE Agent 将参数设为 4 ,确认被测业务 AI 收到的也是 4,且没有再次询问。对于同一操作触发的曝光和点击,它也核对了上报记录与字段,两项均通过。页面结果和埋点结果分别对应各自的验证目标。

图 21:在验证修复时一并检查埋点。Agent 确认业务 AI 使用已提供的参数、不再重复询问,同时核对曝光和点击上报。

5.4 测试规模与执行效率

QE Agent 每月完成 150 余次完整测试,发布 150 余份报告。在一个需求与预期清晰的案例中,人工借助 AI 测试预计需 3 天,QE Agent 从理解需求到发布报告实际用时 5 小时。

图 22:从理解需求到交付报告的用时。在这个需求与预期清晰的案例中,人工借助 AI 测试预计需 3 天,QE Agent 实际用了 5 小时。

仅有页面图、缺少操作说明和业务预期时,Agent 仍可能漏测或误判,需要测试人员补充信息、纠正结果。因此,提效要建立在验证效果之上,既要看执行效率,也要看覆盖是否完整、判断是否准确。

06

展望:持续提升验证效果

后续,我们将继续提升 QE Agent 的验证效果,重点关注测试覆盖是否完整、结果判断是否准确。我们计划把漏测、误判和人工纠正整理成评测样本,比较新旧策略,再用未参与调优的需求检验效果。

同时,我们计划将 QE Agent 接入 AI 辅助开发流程,让其在开发前明确验收要求,开发中按需验证,完成后保留独立测试,进一步解放测试人员的双手。

///

关于团队

Lab 1327 是小红书的创新产品实验室,我们关注技术、文化与生活方式,以用户需求为基础,致力于从 0 到 1 探索和打造 AI-native 创新产品。

我们为研发同学提供从 0 到 1 参与或者发起产品建设的机会,覆盖 App 开发、Agent建设、后端服务、用户增长数据链路建设等多个环节。

我们期待具备全栈能力、关注用户需求与产品价值的同学加入,共同推动创新产品的研发与落地。

校招:

【2027校招】全栈工程师(AI native)-Lab 1327 小红书招聘

社招:

AI Native工程师(创新应用)小红书招聘

AI Native 工程师(AI Agent方向)小红书招聘 

📮 内推简历投递:

liyingchao@xiaohongshu.com

Lab1327 其他岗位产品、设计等可登录小红书招聘官网查看。

跳转微信打开

  •  

拆解小红书存储底座 01|多源数据传输总线 RedDTS 2.0

原创 REDtech 2026-10-29 18:03 湖北

一篇看懂 RedDTS 如何从单源传输走向统一数据总线,让多源数据高效、可靠地流转,支撑多样化业务需求。

导读

小红书的存储与数据库体系覆盖 MySQL、RedKV、Redis、ROS 等产品。数据源各有读写协议,业务又需要在它们之间以及不同地域之间迁移、同步和订阅数据。RedDTS 是这套体系中的数据传输公共能力:连接不同数据源,为各产品提供可复用的传输底座。

RedDTS 作为小红书自研的数据传输服务,提供数据迁移、同步与订阅能力。存储数据库团队从 2025 年 8 月开始,历时 6 个月完成 RedDTS 2.0 从 0 到 1 上线。本文围绕架构分工、关键取舍与数据传输实践,介绍数据总线的建设过程。

早期,小红书的数据传输能力主要围绕不同数据源和业务场景分别建设,分别面向不同数据源与传输场景,由多个团队独立建设与维护,运维体系与能力边界互不统一。但随着业务发展,数据传输共性问题需要各套服务解决,造成大量重复投入,交付周期无法匹配业务发展节奏。

为此,存储数据库团队提出了架构融合、统一传输底座的思路,解决数据传输中共性问题,各数据源适配接入,以实现“一套架构、多源受益”。

团队从两个维度重新定义数据传输服务:

  • 对内,以多数据源统一接入为目标,终结 MySQL / Redis / RedKV 等各数据源各自建设的碎片化局面;

  • 对外,以多区双向传输为需求,攻坚多区级联、弱网传输和数据冲突等核心难题。

设计了小红书数据总线服务(第二代 RedDTS),完成多项关键技术突破,实现数据“接得进、存得住、传得快、传得对”。

01

接得进:架构融合,统一传输底座

团队拆解了既有的多套数据传输服务(MySQL DTS、Gunyu、Replicator 与 Canal 等),发现不同系统的主干流程高度一致,都是“采集 → 传输 → 写入”,差异主要集中在日志格式、两端读写协议和治理方式。RedDTS 2.0 据此把系统重新抽象为 Reader、Storage 和 Writer 三层。

  • 链路抽象,统一主干:传输链路统一为 Reader(日志读取)→ Storage(日志存储)→ Writer(日志写入)三层总线架构;

  • 接入抽象,收敛差异:制定统一数据格式与标准接口族,将数据源差异收敛至适配层;新数据源实现一组接口即可接入。

截至目前,MySQL、RedKV、Redis、ROS 等数据源已接入数据总线架构,覆盖同步、订阅、迁移等传输场景,实现了数据“接得进”。

02

存得住:数据持久化,可回放可恢复

业界多数数据传输框架无数据持久化能力,增量日志数据“即读即传、过后即失”,故障恢复完全受制于源端日志保留窗口。日志一旦轮转清理,链路失去续传锚点,只能全量重同步,恢复周期达小时级,并伴随数据丢失风险。

RedDTS 2.0 引入独立的 Storage 层,将“传输通道”升级为“带存储的总线”。日志一次采集、持久沉淀,以可靠存储为基础底座支持重复消费与故障自愈,采集与消费的生命周期也随之解耦。

但带存储的总线引入了新的工程约束 —— 日志数据长期留存推高存储成本,而实时传输要求读写低延迟。低成本留存与低延迟读写难以兼得,RedDTS 2.0 在 Storage 模块构建了多级存储体系。

  • L0 内存短期数据:毫秒级读写,服务在线实时传输;

  • L1 本地化中期数据:本地热数据层提供低延迟访问,服务高吞吐同步与追赶消费;

  • L2 对象存储远期数据:冷数据层以低成本长期保留,服务故障恢复与数据回溯。

至此,日志数据留存不再依赖源端保留窗口,接入传输总线的 MySQL、RedKV、Redis 集群天然具备7~15 天增量日志持久化,并基于存储底座,衍生出数据恢复、数据迁移等解决方案,做到数据“存得住”。

03

传得快:全链路传输性能优化

接得进、存得住之后,数据传输进一步面临性能挑战:在跨地域传输场景中,高 RTT、网络抖动与带宽限制相互叠加,传输效率被急剧削弱,高峰时段同步延迟可达小时级。为此,RedDTS 2.0 沿“读取 → 存储 → 传输 → 写入”全链路逐段治理:存储读取侧以预读消解磁盘时延,传输侧以压缩降低带宽占用,写入侧以无锁并发提升回放吞吐。

经全链路优化,极限场景下单任务传输速率达到100 MB/s(同城场景),性能对齐云厂商同类产品。核心集群跨区同步在高峰时段的数据积压得到消除,实现数据“传得快”。

04

传得对:多区域防回环与错区写入保护

吞吐提升后,在跨区双向同步中还需要保证两件事:传输路径正确,数据在多区级联流转中需杜绝环形回流导致的反复覆写;落地数据不被误改,各区已存数据不因错区流量而被错误覆盖。RedDTS 2.0 以防回环与错区写入保护两项能力分别予以应对。

4.1 多区域防回环

让数据仅送达目标区域,首先需要解决级联双向同步的回环问题:多区间双向流转时,同一份数据可能沿环形链路回流、覆写源数据。RedDTS 2.0 设计级联双向同步方案,以“数据分区 → 血缘过滤”机制治理环路,在公司内首次实现多区域级联双向同步。

① 数据分区

将多区机器与数据统一划分为大区(vcr)→ 逻辑区(region)→ 逻辑机房(zone)三层分区。数据在总线传输时,依据源集群的分区归属自动附加地域标记,业务零改造,每条数据都拥有确定的分区身份。

② 血缘过滤

每条数据携带Source(数据逻辑分区)与 Path(途经逻辑分区,逐跳追加)双血缘标记,若目标的逻辑分区信息命中 Path,即判环丢弃。一套逻辑覆盖 MySQL / Redis / RedKV 数据源,不依赖引擎内核标识(server_id / GTID / 事务表)。

4.2 错区写入保护

数据沿正确路径落地后,还需防范来自流量侧的破坏。业务流量打偏至非归属区时,错区写入将覆盖正确数据,并经双向同步向其他区域扩散。业界通用解法为业务侧透传“单元 ID”实现流量纠偏,但社区业务历史架构缺乏该字段,改造成本极高、短期无法落地。RedDTS 2.0 提出新的设计路径:数据归属不由流量声明,而在首次写入时由存储侧裁定,将纠偏责任从业务层下沉至存储层,业务无需感知任何路由逻辑。

错区写入保护:

  • 归属裁定:数据首次写入时,存储 Proxy 依据当前地域自动注入归属标记,标记随数据一同持久化,归属关系自此确立;

  • 归属校验:后续变更请求自动附加归属校验,存储依据标记裁决变更是否生效;归属不匹配的变更不生效,错区写入在存储层被拦截;

  • 多区一致:RedDTS 跨区同步时透传归属标记,各区副本归属一致,任一区域的校验均基于同一份归属事实。

利用 RedDTS 2.0 建成多区级联双向互通,实现数据“传得对”。

05

成效与未来展望

存储数据库团队将原先分散建设的单数据源传输系统收敛为统一总线,统一了关系型数据库(MySQL)、KV 存储(RedKV)和缓存(Redis)的数据传输能力,跨产品、跨地域的数据传输能力由此成为公司可复用的基础能力,支撑新产品接入与业务扩展。

未来将继续扩大数据源覆盖,推进 RedDB、RedTable 等数据源接入统一总线,使更多产品共享多区级联、传输优化、日志接续和链路治理能力,减少各产品独立建设同类系统的投入,也为后续业务拓展和容灾建设提供统一基础。

///

作者简介

  • 少平,小红书关系型数据库负责人。主要负责小红书关系型数据库相关产品技术体系建设和核心竞争力打造。

  • 铂燃,小红书关系型数据库研发工程师。主负责小红书数据传输服务架构设计和体系化建设。

///

部门介绍

存储&数据库部,为小红书全业务场景打造行业领先的高可用、高可靠、高性能、低成本的存储和数据库类产品技术服务。团队致力于用精英化的组织和行业领先的技术理念,先于业务布局和行动,为公司业务的快速发展提供充足“弹药”,同时也让小红书存储和数据库成为行业该领域的标杆。

精彩回顾:

拆解小红书存储底座 00|从孤岛走向融合:小红书存储与数据库架构进化

跳转微信打开

  •  
❌