铃阅
❌

普通视图

Index-Translate:支持 150 种语言的多模态翻译模型是如何炼成的?

2026年10月20日 12:00

原创 Index LLM 团队 2026-10-20 12:00 上海

哔哩哔哩 Index LLM 团队推出 Index-Translate 系列。文本翻译覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview) 三种规模,同时支持图文翻译;系列还提供语音翻译、音节控制与长文档翻译能力。

1 概述

一段内容进入另一种语言时,需要保留下来的往往不只有字面意思。字幕要适应画面时长,技术文档要保留术语和格式,小说要延续人物称呼与叙述风格,视频配音还要接住原声中的表达。翻译模型需要在语义忠实、任务约束和内容形态之间建立联系。

围绕这些需求,哔哩哔哩 Index LLM 团队推出 Index-Translate 系列。文本翻译覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview) 三种规模,同时支持图文翻译;系列还提供语音翻译、音节控制与长文档翻译能力。本文简要介绍这些功能,重点展开它们背后的训练设计。

我们还观察到图片文字翻译的跨模态泛化:Index-Translate 的中训练与后训练均未使用图片数据,但借助继承自 Qwen3.5 的视觉通路,模型可以直接根据图片生成译文。后文将结合多模态评测说明这种能力的表现,以及它随模型规模变化的边界。

开源不到半个月,GitHub Star 已超过 1,600,Hugging Face 系列模型总下载次数突破 10 万次。感谢大家的关注、试用与反馈。

Index-Translate:主力翻译模型,支持多语言文本翻译与图文翻译;文本翻译可遵循术语、格式、风格与上下文指令。

围绕不同内容形态与任务约束,我们还推出三款衍生模型:

  • Index-Echo:语音到文本、语音到语音翻译,并利用源音频提供音色条件。

  • Index-Homura:根据指定音节数调整译文,用于字幕和配音等时间受限场景。

  • Index-NativeLong:完整输入长文档,一次生成完整译文,学习跨段落的一致性。

图 1 Index-Translate 文本翻译七维评测,包含 35B-A3B(preview)、9B、2B,以及 Hy-MT2-30B-A3B 等代表性模型。各轴按全部 14 款参评模型的最小值和最大值归一化至 0–100,表示相对表现,不是准确率;灰色虚线由各项非 Index 最优分数组成,并非单一模型。

2 多语言底座如何形成

Index-Translate 基于 Qwen3.5 base构建[2]。中训练同时使用通用文本回放(G)、独立采样的单语文本(M)和平行翻译数据(P):前两者保留语言理解与表达能力,平行数据加强跨语言对齐。进入训练后期,再增加中转组织数据(V),关联同一内容的多个语言版本[3]。

我们采用 WSD(Warmup–Stable–Decay)学习率调度中的 constant 和 decay 阶段[4]。Constant 阶段保持固定学习率,使用通用、平行、单语数据的均衡配比;decay 阶段逐步降低学习率,并以中转数据为主,兼顾核心与完整语种覆盖。2B、9B、35B-A3B 共享下面的基础文本配方,使用 AdamW、4,096 tokens 序列长度和 4,096 条序列的全局 batch。

表 1 基础文本模型的 WSD 中训练配方

pivot-20 与 pivot-148 的计数不含英语、中文;加入这两种语言后,分别对应 22 个核心语言条目和 150 个完整语言条目。这里的中转是训练数据的组织方式,实际推理直接生成目标语言译文。

配方选择参考了技术报告中的先导实验。下表保留代表性 constant 设置,以及相同 decay 预算下的平行/中转对比[1]。

表 2 Constant 与 decay 的代表性配方实验

Constant 组在 4K 上下文、step 7,000 比较,翻译分为 FLORES-200 与 WMT24++ 的英文源、中文源四项 COMET 均分的等权平均,分别覆盖 20 和 18 个目标语言。Decay 组采用 Qwen3-8B、16K 上下文,均到达 step 10,000,decay 预算同为 25.17B token positions,评测 20 个目标语言。两组翻译口径不同,应分组比较;NLU 为 11 项多语言通用任务的宏平均。粗体表示各组内的指标最优。先导实验与表 1 的最终共享配方分别报告。

Constant 阶段需要兼顾单语与平行数据。1:1:1 在完整的八种候选配比中取得最高翻译分,并列最高 NLU 分;去掉单语或平行数据,两项分数都下降。继续提高平行权重到 1:1:4,也没有带来更高的翻译分。

Decay 阶段的“纯中转”仍保留 G 和 M,只是不含普通平行数据 P。它的翻译分为 0.7991,略高于平行+中转的 0.7971;后者完整比例为 G:M:P:V = 1:2:2:4,NLU 略高。加入 P 也改变了其他数据流的归一化份额,所以这是两套完整配方的比较。

阶段收益还在 2B、9B 上单独跟踪。按“原始底座 → constant 结束 → decay 结束”,2B 的翻译分为 0.7015 → 0.7707 → 0.7898,9B 为 0.7726 → 0.7924 → 0.8007;两个阶段都观察到翻译收益。NLU 在 constant 阶段下降,在 decay 阶段部分恢复,但仍低于原始底座。这组结果来自 20+ 语种开发集。

语言覆盖也要单独验证。在 81 个目标语言的实验中,2B 的 decay 数据由 20+ 扩到 100+ 语种后,61 个非核心语种的校正 COMET 均分(错目标语言输出计零)从 0.5605 提升至 0.6570,目标语言偏离率从 1.94% 降至 0.89%,核心语种均分大体稳定。后训练继续保留低资源方向,使这种覆盖能够延续下去。

图 2 多语言中训练之后,通用、指令与梗翻译专家分别学习任务能力,再通过参数融合和针对性蒸馏形成文本模型。图中的 0.8/0.1/0.1 融合权重对应报告中的 2B 与 9B 配置。

3 通过任务奖励学习可用的翻译

3.1 先学习示例 再优化任务目标

在共同底座上,我们分别训练通用翻译、指令翻译和梗翻译专家。监督微调(SFT)提供高质量示例,强化学习(RL)则让模型围绕各类任务的目标继续优化。

通用翻译需要关注漏译、增译与事实偏移。仅靠语义相似度指标,可能无法充分惩罚这些错误。因此,我们将目标语言有效性、基于参考译文的 XCOMET-XXL 翻译质量评分[17]和基于源文的忠实性评分结合起来:语言错误触发门控,忠实性错误则降低奖励,避免一段流畅译文掩盖内容缺失。

指令翻译面对的是更具体的要求,例如“保持 JSON 结构”“产品名按词表翻译”“保留代码占位符”“使用某种叙述语气”。我们采用 Rubric-as-Reward,将约束拆成可检查的硬条件和分级评估的软条件。结构、术语或占位符等硬检查失败时,奖励门控会置零;风格、上下文理解等软条件则参与分级评分。

图 3 通用翻译奖励组合语言门控、参考质量与忠实性;指令翻译奖励进一步引入硬约束门控。g 表示二值门控,q 表示分级质量或约束评分。

通用与指令专家使用 GRPO 优化[1],通过同一输入下多条候选译文的相对奖励学习更好的输出。梗翻译则使用上下文与参考引导的评审,让模型学习非字面含义、文化功能和语用效果,必要时选择意译、解释或文化适配。

3.2 让评审器跟上模型变化

奖励函数同样可能成为模型投机的对象:输出得到更高评分,不一定意味着真实翻译质量同步提高。随着策略模型更新,固定评审器面对的输出分布也在变化。

我们引入 RIVAL 的对抗式评审监督[5],交替更新评审器与策略模型,并结合偏好排序、辅助定量监督和历史输出回放,让评审器持续学习当前策略的错误模式。这样,强化学习中的监督可以随模型行为变化而调整,降低对固定评审器弱点的依赖。

3.3 融合专家后改善薄弱任务表现

不同专家各有所长,但将参数合并后,能力并不一定全部保留。我们先对兼容的专家做参数插值[6],再评测融合模型在哪些任务上仍有不足。报告中的 2B、9B 配置采用通用、指令、梗翻译专家 0.8/0.1/0.1 的融合权重。

随后,我们进行针对性的多教师 on-policy 蒸馏(MOPD)[7]:学生先生成自己的译文,再由与任务匹配的教师提供 token 级监督,使用 reverse-KL 目标优化。学生在自己实际会产生的输出路径上继续学习,用于改善融合后的薄弱任务;实际效果需要结合翻译质量与约束遵循共同评估。

这套流程将“分别学好任务”“整合互补能力”和“检查整合后的缺口”连接起来,也保留了对能力迁移边界的观察。比如,精确音节控制在报告研究的融合与蒸馏设置下迁移较弱,因此我们继续保留专门的 Homura 模型。

4 Index-Echo 如何连接翻译与声音

图 4 Index-Echo 先学习语音到文本翻译,再通过 Hidden2CV mapper 连接语音生成路径。S2ST 的对齐与后续 DiffRO 阶段保持 S2TT 骨干冻结。

4.1 从音频理解到目标语言文本

Index-Echo 的语音到文本翻译(S2TT)由音频编码器、连接器和 Index-Translate 解码器组成。音频编码器使用 Qwen3-Omni 的 AuT 模块[8],连接器把音频特征接入翻译模型,目标语言指令控制输出方向。训练时,这些模块通过语音翻译监督端到端更新,使文本底座能够直接利用源音频完成翻译。

4.2 用隐层表示接入语音生成

语音到语音翻译(S2ST)在已训练好的 S2TT 上继续扩展。我们使用约 30M 参数的 Hidden2CV mapper,将翻译模型最后一层的 hidden states 映射到 CosyVoice3 的语义层[9],让语音生成路径接收翻译模型的连续表示。源音频同时提供参考提示与 CampPlus 说话人向量,为跨语种输出提供音色条件。

训练分两步进行:先冻结语音翻译与语音生成骨干,蒸馏对齐 mapper;随后进行可微奖励优化(DiffRO),继续保持 S2TT 冻结。DiffRO 通过 Gumbel-Softmax 对语音 token 采样做可微近似,使 Token2Text 内容一致性奖励能够沿语音生成路径回传,优化生成内容与目标译文的一致性[9]。

目前发布的 S2ST 覆盖六个方向:中文到英语、西班牙语、日语,以及英语到中文、西班牙语、日语。Demo 中可以直接查看视频字幕翻译与跨语种配音效果。

5 时间预算与长文档的专项训练

5.1 Homura 让音节预算进入训练目标

配音中,一句译文即使含义正确,也可能读不进原视频留下的时间窗口。单纯要求“简短一些”难以稳定控制输出,过度压缩又可能损失信息。

Index-Homura 将目标音节数作为显式输入,并用 GRPO 联合优化翻译质量和音节偏差。模型通过词汇选择与句法重组调整表达长度,使译文接近给定预算,同时尽量保留原意。音节数为时间受限翻译提供可操作的控制量;最终播放时长还与语速、停顿和语音合成设置有关。

在技术报告的 SandGlass 评测中,Index-Homura-9B 的音节数落在目标值 ±10% 范围内的比例为 81.92%。这类评测同时检查翻译质量与预算遵循,使长度控制的收益可以与内容损失一起分析。HOMURA 的研究背景和方法可进一步阅读论文(https://arxiv.org/abs/2601.10187)[10]。

5.2 NativeLong 学习持续生成完整译文

文档翻译的难点会随着上下文拉长而变化。人物名、术语和概念区分可能在几十段之后再次出现;逐块翻译时,局部译文各自通顺,整篇却可能出现称呼漂移或概念混用。

Index-NativeLong 将完整源文与完整目标译文作为文档级监督,让模型在保留全文上下文的条件下持续生成[11]。2B 模型结合长序列中训练衰减与文档 SFT,9B 模型则从融合后的文本模型继续进行文档训练。报告中的训练与评测覆盖约 4K–64K 中文侧 tokens 的文档长度分组。

例如,一篇地质文献先区分 ice age 与其中的 glacial 阶段,后文再次出现这些词时,译文需要持续保留“冰河时代”与“冰期”的概念差异。文档级训练关注的正是这种跨段落关系,以及长输出中可能出现的漏译、提前结束和术语不一致。我们也构建了 NativeLongBench,按不同长度分组检验完整文档翻译能力。

6 用不同评测检验不同能力

6.1 文本翻译评测

通用翻译、指令遵循、文化表达和文档一致性,需要分别评测。我们使用 FLORES[12]、WMT24++[13]等检验通用质量,用 instTrans 检查格式、术语、风格与上下文约束,并通过 MEME、SandGlass 和 NativeLongBench 检验相应的专项能力。

在报告的文本对比中,Index-Translate-35B-A3B(preview)的 FLORES COMET-22 为 0.8794,instTrans IFscore 为 0.8336。文本翻译与通用能力对比中的所有参评模型均关闭思考模式;语音评测中开启思考的基线在表内明确标注。各任务的完整设置、对比结果与分析见技术报告(https://arxiv.org/abs/2609.40181)。

为便于阅读,技术报告的文本主表按指标分组呈现,保留全部 14 款对比模型。

表 3a 通用翻译 指令与文化表达

FLORES 使用 COMET-22[16];WMT26 为 0–100 的评审分,其余指标为 0–1,均为越高越好。instTrans 的译文质量(Quality)和指令遵循(IFscore)由 GPT-5.6-Sol 分别评审;MEME 评测社区与文化表达的翻译质量。粗体数值表示本列最优。

表 3b WMT24++ IFMTBench 与垂类评测

以上指标均为 0–1,越高越好。IFMTBench[14]的翻译质量与指令遵循分别报告;垂类均值为五项领域翻译分数的等权平均,包含 GuoFeng 文学翻译评测[15]。

表 4a 小语种通用翻译 FLORES_minor_pair

表 4b 小语种指令翻译 instTrans_minor

FLORES_minor_pair 覆盖 62 种语言的 1,040 个方向;instTrans_minor 含 2,793 项指令翻译任务。偏离率表示输出语言不是指定目标语言的比例,越低越好;其余指标越高越好。North-Small-Translate 指 218B-A25B 模型,TranslateGemma-12B 指 translategemma-12b-it。以上结果完整保留技术报告文本主表的指标与模型,更多设置见完整评测表(https://github.com/bilibili/Index-Translate/blob/main/docs/evaluation.md)。

6.2 图片翻译能力的涌现

Index-Translate 在文本训练后展现出图片翻译能力,可直接读取图片中的文字并生成目标语言译文。模型沿用 Qwen3.5 的视觉通路,中训练与后训练均使用文本数据[1,2]。

我们在三组数据上评估图片翻译能力:MMTIT-Bench[18] 包含 1,243 张图片、14 种源语言,译入英语和中文;FLORES-rendered 将 FLORES_minor_pair 文本渲染为 1,200 张纯色背景图片,覆盖 60 种源语言和两个目标语言;Vistra[19] 包含 763 张自然场景图片、四个目标语言,采用按阅读顺序拼接的参考译文评估整图翻译。评测采用图片输入和零样本翻译指令,以 COMET-22[16] 衡量译文质量,各模型使用统一的非思考推理设置。

Index-Translate-35B-A3B(preview)在三项评测中均取得表内最高分:MMTIT-Bench 为 0.7845,FLORES-rendered 为 0.7050,Vistra(适配)为 0.7168,分别比同规模 Qwen3.5 高 0.0038、0.0124 和 0.0137。从 2B、9B 到 35B-A3B,Index-Translate 的三项图片翻译得分逐步提高,较大模型表现出更强的跨模态翻译能力。

表 5 图片文字翻译评测

下一个版本,我们将进一步融合语音翻译、视觉语言翻译与文本翻译,并将长文本翻译能力纳入统一模型。通过统一的多语言与多模态能力,同一模型将面向文字、图片和语音输入完成翻译,同时强化长篇内容中的上下文衔接、术语一致性与完整译文生成,保留原文的语义和表达风格。

7 在线体验与免费 API

想先看看效果,可以打开 Demo(https://index-translate.bilibili.com/);推理代码与使用教程在 GitHub(https://github.com/bilibili/Index-Translate),模型仓库汇总在 Hugging Face(https://huggingface.co/collections/IndexTeam/index-translate)。

我们也提供无需本地 GPU 的免费公开 API,兼容 OpenAI 的 chat completions 与 responses 接口。当前服务模型标识为 Index-Translate-35B-A3B,可用下面的请求体验中文翻译:

curl https://index-translate.bilibili.com/v1/chat/completions \

-H 'Content-Type: application/json' \

-d '{

"model": "Index-Translate-35B-A3B",

"messages": [

{

"role": "user",

"content": "Translate into Chinese: Welcome to EMNLP."

}

],

"temperature": 0

}'

API base URL 为 https://index-translate.bilibili.com/v1。更多调用方式与接入示例见免费 API 文档(https://github.com/bilibili/Index-Translate#option-1-free-online-api-zero-gpu-setup)。欢迎带着自己的术语表、字幕、小说或文档来试用,也欢迎在 GitHub 分享反馈。

8 EMNLP 现场见

如果你也会参加 EMNLP,欢迎来听我们的 oral、到 poster 现场交流,一起聊聊翻译、强化学习和多语言内容生产。

HOMURA oral 已安排在 2026 年 10 月 27 日 09:00–10:30 的 Machine Translation and Semantics session,地点 F9-10。

我们也会参加 Poster Session D(10 月 26 日 11:00–12:30,Hall H),以及 WMT poster session,欢迎到现场交流。以上时间均为布达佩斯当地时间,具体安排请以 EMNLP 官方日程(https://2026.emnlp.org/program/)和 WMT 官方日程(https://www2.statmt.org/wmt26/program.html)为准。

现场还会发放精美谷子,欢迎来交流技术与使用体验,把喜欢的周边带回去。我们 EMNLP 见!

图 5 团队周边展示。

参考文献

[1] Tianjiao Li, Mengran Yu, Chenyu Shi, Lusheng Zhang, Qisi Chen, Yanshan Zhou, Ji Qi, Jingying Liu, Yuang Feng, Ziang Cui, and Tianxing Yan. Index-Translate: A Multilingual Translation Model Family — Text, Speech, Controlled Dubbing, and Long-Document Translation. arXiv:2609.40181, 2026. 原文(https://arxiv.org/abs/2609.40181).

[2] Qwen Team. Qwen3.5: Towards Native Multimodal Agents. February 2026. 原文(https://qwen.ai/blog?id=qwen3.5).

[3] Yingli Shen, Wen Lai, Shuo Wang, Ge Gao, Kangyang Luo, Alexander Fraser, and Maosong Sun. From Unaligned to Aligned: Scaling Multilingual LLMs with Multi-Way Parallel Corpora. Proceedings of EMNLP, pages 7357–7379, 2025. 原文(https://aclanthology.org/2025.emnlp-main.374/).

[4] Shengding Hu et al. MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies. arXiv:2404.06395, 2024. 原文(https://arxiv.org/abs/2404.06395).

[5] Tianjiao Li, Mengran Yu, Chenyu Shi, Yanjun Zhao, Xiaojing Liu, Qiang Zhang, Qi Zhang, Xuanjing Huang, and Jiayin Wang. RIVAL: Reinforcement Learning with Iterative and Adversarial Optimization for Machine Translation. arXiv:2506.05070, 2025. 原文(https://arxiv.org/abs/2506.05070).

[6] Mitchell Wortsman et al. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML, PMLR 162:23965–23998, 2022. 原文(https://proceedings.mlr.press/v162/wortsman22a.html).

[7] Wenhan Ma, Jianyu Wei, Liang Zhao, Hailin Zhang, Bangjun Xiao, Lei Li, Qibin Yang, Bofei Gao, Yudong Wang, Rang Li, Jinhao Dong, Zhifang Sui, and Fuli Luo. MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training. arXiv:2606.30406, 2026. 原文(https://arxiv.org/abs/2606.30406).

[8] Jin Xu et al. Qwen3-Omni Technical Report. arXiv:2509.17765, 2025. 原文(https://arxiv.org/abs/2509.17765).

[9] Zhihao Du et al. CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training. arXiv:2505.17589, 2025. 原文(https://arxiv.org/abs/2505.17589).

[10] Ziang Cui et al. HOMURA: Taming the Sand-Glass for Time-Constrained LLM Translation via Reinforcement Learning. arXiv:2601.10187, 2026. 原文(https://arxiv.org/abs/2601.10187).

[11] Yushi Bai et al. LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs. ICLR, 2025. 原文(https://arxiv.org/abs/2408.07055).

[12] NLLB Team et al. No Language Left Behind: Scaling Human-Centered Machine Translation. arXiv:2207.04672, 2022. 原文(https://arxiv.org/abs/2207.04672).

[13] Daniel Deutsch et al. WMT24++: Expanding the Language Coverage of WMT24 to 55 Languages & Dialects. Findings of ACL, pages 12257–12284, 2025. 原文(https://aclanthology.org/2025.findings-acl.634/).

[14] Mao Zheng et al. Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild. arXiv:2605.22064, 2026. 原文(https://arxiv.org/abs/2605.22064).

[15] Longyue Wang et al. Findings of the WMT 2023 Shared Task on Discourse-Level Literary Translation: A Fresh Orb in the Cosmos of LLMs. Proceedings of the Eighth Conference on Machine Translation, pages 55–67, 2023. 原文(https://aclanthology.org/2023.wmt-1.3/).

[16] Ricardo Rei et al. COMET-22: Unbabel-IST 2022 Submission for the Metrics Shared Task. Proceedings of the Seventh Conference on Machine Translation, pages 578–585, 2022. 原文(https://aclanthology.org/2022.wmt-1.52/).

[17] Nuno M. Guerreiro, Ricardo Rei, Daan van Stigt, Luisa Coheur, Pierre Colombo, and André F. T. Martins. xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection. Transactions of the Association for Computational Linguistics, 12:979–995, 2024. 原文(https://aclanthology.org/2024.tacl-1.54/).

[18] Gengluo Li et al. MMTIT-Bench: A Multilingual and Multi-Scenario Benchmark with Cognition-Perception-Reasoning Guided Text-Image Machine Translation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 16593–16602, 2026. 原文(https://openaccess.thecvf.com/content/CVPR2026/html/Li_MMTIT-Bench_A_Multilingual_and_Multi-Scenario_Benchmark_with_Cognition-Perception-Reasoning_Guided_Text-Image_CVPR_2026_paper.html).

[19] Elizabeth Salesky, Philipp Koehn, and Matt Post. Benchmarking Visually-Situated Translation of Text in Natural Images. Proceedings of the Ninth Conference on Machine Translation, pages 1167–1182, 2024. 原文(https://aclanthology.org/2024.wmt-1.115/).

-End-

作者丨哔哩哔哩 Index LLM 团队

跳转微信打开

EMNLP 2026 Oral|HOMURA:面向时间受限场景的 LLM 翻译强化学习优化

2026年10月10日 11:59

原创 Index LLM Team 2026-10-10 11:59 上海

当前HOMURA已经大规模应用于bilibili视频原声翻译场景中,为实现高质量、高合规性的时间受限翻译提供了可行的技术路径。

1. 概述

大语言模型(LLMs)在多语言翻译领域取得了显著进展,但普遍存在系统性的“跨语言冗长偏差”(Verbosity Bias),导致译文往往过于啰嗦,难以满足字幕翻译、视频配音等对时间预算(Time Budget)有严格要求的场景。现有的提示工程等难以在语义忠实度与长度约束之间取得平衡。为此,本研究首先提出了 Sand-Glass 基准测试,专门用于评估音节级长度约束下的翻译表现。随后,我们提出了 HOMURA 强化学习框架,通过 KL 正则化目标函数结合创新的“动态音节比例奖励”,显式优化语义保留与时间合规性之间的权衡。实验结果表明,HOMURA 能够精准“驯服”输出长度,在尊重不同语言密度差异的同时,显著优于主流 LLM 基线模型,实现了高质量、高合规性的时间受限翻译。当前HOMURA已经大规模应用于bilibili视频原声翻译场景中,为实现高质量、高合规性的时间受限翻译提供了可行的技术路径。论文链接:https://arxiv.org/pdf/2601.10187

HOMURA 已被 EMNLP 2026 接收为 Oral(口头报告)!

HOMURA 的音节控制方法也应用于哔哩哔哩 Index LLM 团队推出的 Index-Translate 系列。该系列的文本翻译模型覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview)三种规模,支持术语、格式、风格与上下文指令,并扩展出语音翻译模型 Index-Echo、音节控制模型 Index-Homura 和长文档翻译模型 Index-NativeLong。其中,Index-Homura 根据指定音节数调整译文,为字幕和配音等时间受限场景提供长度控制能力。

2. 研究背景与挑战

 (Background & Challenges)

随着大语言模型(LLMs)的飞速发展,其在神经机器翻译(NMT)中表现出了卓越的语义准确性。然而,这种语言能力伴随着一种系统性的**“跨语言冗长偏差”**。

如上图所示,论文提出的**回环膨胀率(Roundtrip Expansion Ratio)揭示了一个关键问题:即使语义内容保持不变,LLM 生成的译文往往比源话语显著更长。传统的评估指标往往忽略了这一点,但这种“喋喋不休”的特性在时间受限(Time-Constrained)**的场景(如字幕翻译、视频配音及同声传译)中是致命的。在这些场景下,译文长度构成了一个刚性的“时间预算”,直接决定了输出内容能否与画面或原声同步。

从信息论的角度来看,时间预算充当了严格的“速率约束”。模型必须在有限的音节配额内,通过词汇整合和句法重构,将最大化的信息密度压缩进最短的长度中。然而,现有的 LLM 很难自发实现这种平衡。这不仅是因为语言间的密度差异(如德语、西班牙语天然比中文占空间),更深层的原因在于 LLM 的对齐过程——现有的奖励模型往往存在“长度偏差”,倾向于给更长、更详细的回答打高分。因此,如何“驯服”模型的长度,使其在不损失核心语义的前提下满足严苛的时间约束,成为了多语言本地化领域亟待解决的建模挑战。

本文核心贡献总结:

  • 诊断分析: 系统量化了 LLM 翻译中的冗长偏差,并提出了回环膨胀率等跨语言诊断指标。

  • 基准构建: 引入了 Sand-Glass 数据集,通过音节级预算模拟真实的配音与字幕约束场景。

  • 方法创新: 提出了 HOMURA 强化学习框架,有效平衡了严苛的长度约束与语义保留。

3.基准测试与冗长偏差分析

 (Pilot Study)

为了量化时间受限场景下的翻译挑战,本研究构建了 Sand-Glass 基准测试,并对大语言模型的冗长偏差进行了深入诊断。

3.1 Sand-Glass 基准与音节度量

Sand-Glass 是一个源自真实视频语料的翻译基准。不同于通用翻译数据集,它引入了**音节(Syllable)**作为时间的代理指标。

  • 等信息量原则(Iso-Information Principle):科学研究表明,虽然不同语言的音节速率(SR)差异巨大(如西班牙语极快,汉语较慢),但全人类的信息传输速率恒定在约 39 bits/s。

  • 语言密度差异:如下表所示,汉语的信息密度(0.94)远高于西班牙语(0.63)。这意味着从汉语翻译到西班牙语时,为了保持语义完整,译文长度天然需要膨胀约 1.49 倍。

3.2 诊断指标:回环膨胀率

传统的“正向膨胀率”无法区分译文变长是因为“语言本身的密度差异”还是因为“模型废话多”。为此,论文提出了回环膨胀率(Roundtrip Expansion Ratio):

1.将源文翻译为译文。

2.将译文回译为源语言。

3.计算膨胀率:

结论: 在理想状态下,同语言对比的回环膨胀率应接近 1.0。但在 Sand-Glass 上的测试显示(见下图),主流模型的 $\rho_{rtp}$ 普遍大于 1。这证明了 LLM 存在系统性的、与语言种类无关的冗长倾向。(上图展示了大模型翻译下的语言膨胀分布图)

3.3 校准目标区间

为了打破这种偏差,本研究对比了“理论膨胀率”与“LLM 实际膨胀率”,发现 LLM 普遍存在 30%-40%的额外冗余(Bias)。

基于此,HOMURA 框架设定了严苛的目标音节区间(Target Bounds):

  • 英语 (En): 设定为 [0.8, 0.9](强制模型进行摘要式精简)。

  • 德语 (De): 设定为 [0.9, 1.0]。

  • 西班牙语 (Es): 将原本1.84倍的音节比大幅压低至 [1.0, 1.1]。

这种设定强制模型通过改写(Rewriting)而非简单删减,在极短的时间预算内实现信息的最大化对齐。

4. HOMURA 框架设计 (Methodology)

本研究将音节级控制建模为“可控文本生成”任务,目标是在满足严格音节比例约束的同时,最大化翻译质量。

4.1 KL 正则化目标与 GRPO 优化

为了实现精准控制,HOMURA 采用了基于 KL 正则化 的强化学习目标。其核心思想是:通过一个奖励函数 R(x,c,y) 鼓励模型满足长度约束,同时最大化模型翻译的生成质量。

  • 优化算法: 采用 GRPO(Group Relative Policy Optimization) 算法。该算法无需额外的 Critic 网络,通过在同一组样本内进行归一化来计算优势(Advantage),极大降低了计算开销,适合序列级别的奖励优化。

4.2 奖励机制设计 (Reward Design)

这是 HOMURA 能够精准“驯服”长度的关键。奖励函数由长度合规奖励和质量奖励两部分加权组成:

1. 动态音节比例奖励:

  • 动态区间设定: 基于前述的语言密度分级设定基础目标区间 [L_0, R_0]。

  • 短句平滑处理: 针对短句子(音节数少),微小的长度变化会导致比例剧烈波动(离散噪声)。本研究引入了动态缩放因子,对短句适度放宽下限。

  • 平滑奖励函数: 采用平方指数衰减函数而非简单的 0/1 判定,为优化过程提供连续的梯度引导,使模型逐渐向目标区间收敛。

2. 质量奖励:

为了确保压缩长度不会导致语义丢失或语句破碎,研究设计了两种质量评估路径:

  • 基于准则的评估 (Rubric-based):

  • 语义忠实度: 利用回译(Back-translation)机制,将生成的译文重新翻译回源语言,通过计算其与原句的**嵌入向量相似度(Embedding Similarity)**来衡量语义保留程度。

  • 语言流利度: 使用大模型作为裁判,针对语法、可读性和语言一致性进行打分。

  • 基于推理的评估 (Reason-based / GenRM):

通过训练一个专门的生成式奖励模型(GenRM),使其能够产生思维链(CoT)推理。该模型会先在内部进行回译和语义对比,再对流畅度做出判断,最后给出一个具备可解释性的二进制奖励信号。这种“先推理、后打分”的方式显著提升了奖励的鲁棒性。

5. 实验结果与分析 

(Experimental Results)

本研究在 Sand-Glass 基准测试上对 HOMURA 进行了全面评估,并与 GPT-5、Claude-4.1 及 Gemini-pro-2.5 等主流模型进行了对比。

5.1 长度合规性与质量的权衡

实验结果表明,HOMURA 在满足严苛时间预算方面表现出显著优势。

  • 精准的长度控制: 相比于仅依靠提示词的模型,HOMURA 能够极高比例地将译文压缩在目标区间内。在英语、德语和西班牙语等多个语向中,HOMURA 的超限率(Over-length rate)远低于基线模型。

  • 语义密度的提升: 论文引入了语义密度指标,用于衡量单位音节内的语义价值。结果显示,HOMURA 在压缩长度的同时,保持了极高的语义保留率。这证明模型并非通过简单“删减”来缩短长度,而是通过**语义巩固(Semantic Consolidation)**实现了更高的信息密度。

5.2 强化学习过程中的行为分析

通过对训练过程的监控,我们观察到了模型策略的显著演变:

  • 打破冗长先验(beta参数的影响): 实验中一个重要的发现是,当 KL 惩罚系数 beta > 0 时,模型往往会陷入“保守陷阱”,不敢大幅度重构句子。而当 beta = 0 时,模型能够彻底摆脱基座模型的啰嗦倾向,学会更激进且高效的表达方式。

  • 梯度范数与优化动量: 监控曲线显示,HOMURA 在优化过程中保持了稳定的梯度更新,能够有效地向“率失真(Rate-Distortion)”的前沿边界移动。

5.3 “压缩墙”的发现

 (The Compression Wall)

研究进一步探测了语义压缩的物理极限,我们基于设计自动压缩寻找最低极限。

实验发现,对于语言对,存在一个“有效压缩阈值”(如中英翻译约为 0.49)。一旦压缩要求低于这个阈值,语义准确性会发生非线性崩塌。HOMURA 的优势在于它能够极其接近这一极限而依然保持译文的流利度。

5.4 质量-压缩权衡分析

 (Quality-Compression Trade-off)

为了深入探讨模型在不同长度限制下的表现,本研究从“率失真(Rate-Distortion)”视角分析了翻译质量与输出长度之间的权衡关系。

  1. 基线模型的局限性: 如图所示,未经约束的基线模型通常聚集在“高质量、长文本”区域。虽然可以通过提示词迫使 LLM 缩短译文,但其翻译质量会随着压缩率的增加而剧烈下降。这表明普通 LLM 在降低“音节速率”时效率较低,难以在极短的预算内识别并保留核心语义信息。

  2. HOMURA 的高效权衡: 相比之下,HOMURA 展示了显著更高的率失真效率。在相同的音节预算下,HOMURA 的语义保真度显著优于基线;或者说,在保持相同质量水平的前提下,HOMURA 能实现更短的译文长度。

6. 结论 (Conclusion)

本研究深入探讨并解决了大语言模型(LLM)翻译中普遍存在的系统性“跨语言冗长偏差”,这一偏差是实现字幕翻译、视频配音等时间受限任务的主要障碍。

  1. 基准构建: 本研究引入了 Sand-Glass 基准测试。该基准基于“等信息量原则(Iso-Information Principle)”,利用音节预算模拟真实世界的时间约束,为量化评价翻译的“时间可行性”提供了科学工具。

  2. 方法突破: 提出了 HOMURA 强化学习框架。通过结合 KL 正则化目标函数与创新的“动态音节比例奖励”,该框架在无需参考译文的情况下,实现了极其严格的长度合规性,并显著提升了单位长度内的信息密度。

本研究不仅在工程上实现了精准的长度控制,更在理论上界定了语义压缩的边界(例如中英翻译中0.49的可行性阈值)。未来的工作将进一步验证该压缩边界在更多语言对中的普适性,并计划将 HOMURA 扩展至端到端语音翻译领域,探索语义与时长联合优化的更多可能性。

7. B站原声翻译效果展示

该功能依托 HOMURA 对时长的精准把控,生成了与原视频时间轴严格对齐的译文,从根本上解决了机器配音中‘音画不同步’或‘语速异常’的行业痛点,为用户带来了如同原生般的沉浸式视听体验。

https://www.bilibili.com/video/BV111BeBPEaD/?spm_id_from=333.337.search-card.all.click&vd_source=e946351224816c78650f22c3d26579ad

8. HOMURA 入选 EMNLP 2026 Oral 

现场见

如果你也会参加 EMNLP,欢迎来听我们的 oral、到 poster 现场交流,一起聊聊翻译、强化学习和多语言内容生产。

HOMURA 已被 EMNLP 2026 接收为 Oral(口头报告)。报告 已安排在 2026 年 10 月 27 日 09:00–10:30 的 Machine Translation and Semantics session,地点 F9-10。

我们也会参加 Poster Session D(10 月 26 日 11:00–12:30,Hall H),以及 WMT poster session,欢迎到现场交流。以上时间均为布达佩斯当地时间,具体安排请以 EMNLP 官方日程(https://2026.emnlp.org/program/)和 WMT 官方日程(https://www2.statmt.org/wmt26/program.html)为准。

现场还会发放精美谷子,欢迎来交流技术与使用体验,把喜欢的周边带回去。我们 EMNLP 见!

团队周边展示

-End-

作者丨Index LLM Team

跳转微信打开

IndexTTS 2.5 让声音跨越语言

2026年8月17日 15:00

原创 Index 语音团队 2026-08-17 15:00 上海

不赶进度、专注打磨!今天想和大家聊聊我们最新发布的 IndexTTS 2.5,支持中/英/日/西/阿五国语言零样本配音,推理速度翻倍升级,跨语言情绪还原更自然,同时也支持原声的语速控制能力,补齐上代模型短板。在AI语音合成领域,B站自研的 IndexTTS 系列一直以高情绪还原度、可落地性强著称。这次新版 IndexTTS 2.5 并没有快速迭代更新,而是团队进行了长时间、全方位的深度打磨。宁愿推迟发布,也要把速度、音质、多语种适配、情绪自然度全部优化到位,最终给大家带来更成熟、更好用的全新版本。

👉 仓库地址 (记得Star🌟):https://github.com/index-tts/index-tts

👉 官方宣传片(求三连🎉):https://www.bilibili.com/video/BV1uvMk6ZEdK/

👉 论文地址:https://arxiv.org/abs/2601.03888

👉 Demo展示地址:https://github.com/index-tts/index-tts2-5.github.io

为什么要做 2.5?

去年 IndexTTS 2 发布后,非常受社区小伙伴们喜爱,情感和音色解耦组合的能力,让不少创作者在有声书、视频配音场景里玩出了花。

但我们也收到了很多真实的反馈,其中最集中的两条是:

  •  “只会中英双语不够用啊”——想让自己的声音说日语、说西语;

  •  “好是好,就是有点慢”——实时性场景里等得着急。

这两条反馈,成了 IndexTTS 2.5 的立项初心。经过大半年的打磨,我们交出的答卷是:

  •  🔥 跨语种情感复刻:进一步打磨情绪韵律表现与音色还原效果,整体稳定性大幅提升;

  •  🌍 多语言升级:一站式支持中文、英语、日语、西班牙语、阿拉伯语五大语种,满足语种多样化的配音需求;

  •  ⚡ 更快更轻:对推理架构进行轻量化重构,有效提升推理运行效率;

  •  🎙️ 灵活语速:开放语速控制能力,满足创作需求

下面和大家展开聊聊我们是怎么做的。

先站在巨人的肩膀上看看路

语音合成这两年发展很快,技术路线也几经分化。我们在报告里梳理了一张主流零样本 TTS 的技术全景图:

目前最主流的范式是:语言模型先生成承载发音和韵律的"语义 token",再由流匹配模块还原声学细节,最后经声码器输出波形。IndexTTS 2.5 沿用了 IndexTTS 2 验证过的这条主干,把火力集中在四个关键升级点上。

升级一:多语言,难在"同一个字两种读法"

做多语言 TTS,最头疼的问题之一是跨语言共享字符。举个最典型的例子:日语里大量使用的汉字,模型看到它,到底该按中文读还是按日文读?

为了系统地回答这个问题,我们设计并公平对比了三种建模策略:

一个重要的发现是:没有银弹,三种策略各有擅长且互补。我们把完整的对比结论写进了报告,希望能给同行们做多语言系统时提供一些可直接参考的设计原则。

巧妇难为无米之炊。为了喂饱多语言模型,我们还搭了一条自动化数据管线—带事件分类的 VAD 切分(区分语音/歌唱/伴奏/噪声比例)、一体化 ASR(识别 + 说话人日志 + 标点恢复)、选择性音源分离(仅伴奏片段用 Demucs 抽人声,避免音质劣化)、基于说话人一致性与文本连贯性的片段合并(单说话人、≤25s)、音频质量 + 文本质量双重过滤。

最终我们攒下了约 15 万小时的多语言语料,外加 135 小时情感语音。

升级二 & 三:瘦身组合拳——

序列砍半 + 换个更轻的"心脏"

提速这块,我们打了套组合拳:

第一拳:语义 Codec 帧率从 50Hz 压到 25Hz。 语义 token 序列长度直接减半,训练和推理的计算量、显存占用都大幅下降,而语言信息几乎无损。

第二拳:S2M 模块主干从 U-DiT 换成 Zipformer。 参数更少、生成更快。有意思的是,主观盲测里 Zipformer 版本反而以 56% vs 40% 的偏好率赢下了更复杂的 U-DiT——大道至简。

两拳叠加,效果直接看数据(相同 A10 硬件环境):

T2S 模块 RTF 从 0.232 降到 0.119,S2M 模块从 0.078 降到 0.017,整体提速约 2.28 倍,主观听感无可感知下降。对实时交互场景来说,这是从"能用"到"好用"的一步。

升级四:让模型自己"卷"自己——

GRPO 后训练

我们把 GRPO 强化学习引入了 T2S 模块的后训练:同一段文本让模型随机生成 4 个候选语音,用 ASR 词错误率和说话人相似度当"裁判"打分,让模型自己朝着"读得对、像本人"的方向进化。

收获是实打实的:五语言平均 WER 从 6.75% 降到 6.00%,平均说话人相似度从 73.18 升到 73.63,英、日、阿语的提升尤其明显。

效果怎么样?上数据

零样本语音克隆:在五种语言的评测中,IndexTTS 2.5 平均说话人相似度最高,但WER比4B模型Fish Audio S2 Pro略差一单,整体处于第一梯队:

注:图中仅列入五种语言均有完整结果并报告平均值的模型;带 † 的数据引用自各模型原论文,WER 越低越好,SS 越高越好

跨语言合成:用一段中文语音做参考,让同一个音色开口说英、日、西、阿语,IndexTTS 2.5 综合成绩全场最佳:

情感迁移:情感训练只用了中文和英文数据,但模型把"情绪"带到了所有语言——阿语情感测试(还是用日语 prompt 的极限设定)MOS 达到 4.18/5;在 CV3-Eval 情感零样本基准上,中文情感识别准确率 0.713,比 CosyVoice3 的 0.467 高出一大截。

多语言情感合成对比(IndexTTS 2.5 vs CosyVoice3):

情感感知评测(CV3-Eval Emotion-ZeroShot 基准):

简单说:你给它一段开心的中文,它能让一个西班牙语的声音同样开心。 情感,音色,语种被明显解耦了。

写在最后

从 IndexTTS 1 到 2 再到 2.5,这个系列的每一步成长都离不开社区的关注和反馈。这一次,我们希望 IndexTTS 2.5 能让"用任何声音、说任何语言、带任何情绪"这件事,离每一位创作者更近一点。也欢迎在评论区聊聊你的使用场景和建议——你们的每一条反馈,都是下一个版本的立项书。

团队介绍

本论文主要作者来自哔哩哔哩 Index 语音团队(bilibili Index Speech Team),Index语音团队是一支专注于音频技术创新的研究团队,致力于音频生成、语音合成与音乐技术的前沿探索,重点研究高保真、自然真实、可控性强的语音生成模型。团队通过深度学习与神经网络技术的不断突破,持续为学术界与工业界提供高质量的语音合成技术支持与创新方案,助力创作者用声音打破表达边界。

团队招聘相关

工作职责:

1.负责语音大模型(Speech LLM)及语音生成技术的研发与迭代,聚焦高保真语音合成(TTS)、零样本音色克隆、情感/风格可控语音生成等方向,持续挑战技术边界。

2.紧密跟踪语音合成领域最新进展(如基于 LLM 的端到端语音生成、扩散/流匹配语音模型等),推动研究成果向业务转化,并在顶级会议/期刊发表高水平论文。

3.将语音生成技术工程化落地于 B站视频出海、内容创作、虚拟主播等核心场景,解决音色相似度、情感表现力、多语言支持等实际业务痛点,打造行业领先的语音创作工具。

工作要求:

1.计算机科学、人工智能、信号处理等相关专业硕士及以上学历,具备扎实的机器学习、深度学习理论基础。

2.深入理解多模态与生成式模型原理,熟悉大模型底层技术(如 Transformer、Diffusion、Flow Matching、自回归建模等);在语音生成领域有前沿技术研究及论文发表经验,敢于挑战技术边界。

3.对主流语音合成架构有深入理解,熟悉 IndexTTS、CosyVoice等开源语音合成模型,具备模型训练、微调、推理优化及工程化部署的实战经验;

4.有 ACM/ICPC、Kaggle 等编程竞赛获奖经历,或 GitHub 开源项目具有较大影响力者优先。

5. InterSpeech、ICASSP、NeurIPS、ICML、ACL 等语音或 AI 顶会/顶刊发表过相关论文者优先。

-End-

作者丨Index SpeechTeam

阅读原文

跳转微信打开

CVPR 2026 Highlight 丨 用“几何感知”把扩散 Transformer 采样做成免训练加速器

2026年7月24日 12:00

原创 AI 2026-07-24 12:00 上海

扩散采样不是在平直空间里走直线,而是在模型学到的弯曲特征流形上前进。

前言

扩散模型已经成为图像生成和视频生成中最重要的一类基础模型。从 DiT 到 FLUX,再到 HunyuanVideo,越来越多的高质量生成系统都依赖扩散 Transformer 来逐步完成从噪声到图像、从噪声到视频的生成过程。

但一个非常现实的问题是:扩散模型很慢。

这种慢并不是因为单次前向传播特别复杂,而是因为生成过程通常需要很多轮连续去噪。每一步都要调用一次大模型,几十步甚至上百步串行执行下来,推理延迟和计算成本都会变得很高。对于交互式图像生成、视频生成、移动端部署或大规模内容生产来说,这种成本很难忽视。

一个很自然的问题于是出现了:

既然扩散模型慢在采样步数多,那能不能直接少采几步?

直觉上,这似乎是最直接的加速方式。但在实际系统中,粗暴减少采样步数往往会带来明显的质量下降:图像结构变形、语义不稳、细节丢失,视频中还可能出现闪烁和运动不连续。

也就是说,扩散模型加速并不是简单地“少算几步”。真正困难的是:

如何在大步采样时,仍然让生成轨迹沿着模型学到的正确方向演化?

我们的论文 GeoRK2: Geometry-Guided Runge-Kutta Integration for Diffusion Transformer Acceleration 正是围绕这个问题展开。目前文章已被CVPR2026收录为HIGHLIGHT。GeoRK2 是一个免训练、可插拔的扩散 Transformer 加速框架。它把数值积分中的二阶 Runge-Kutta 方法和深度特征空间中的几何结构结合起来,使扩散采样在更少计算下仍然保持稳定的生成质量。

简单来说,GeoRK2 的核心思想是:

扩散采样不是在平直空间里走直线,而是在模型学到的弯曲特征流形上前进。加速采样时,必须尊重这个几何结构。

图片 1 - 多种方法在多个提示词下生成图像的可视化结果。在高加速比下,FORA 和 TaylorSeer 等方法会出现不同程度的图像质量下降,而 GeoRK2 仍能保持更优的性能。

动机:为什么扩散模型一加速就容易“跑偏”?

传统扩散采样器通常把去噪过程看成一个普通的数值积分问题。给定当前噪声状态,模型预测下一步应该往哪里走,然后采样器沿着这个方向推进。

在 DDIM、DPM-Solver 以及很多后续加速方法中,一个隐含假设是:

扩散状态的演化发生在一个近似平直的欧氏空间中。

如果这个假设成立,那么大步采样就可以被理解为在平直空间中做更大的跳跃。只要数值积分公式足够高阶,采样轨迹就应该能够保持稳定。

但扩散 Transformer 的内部特征并不是这样工作的。

我们在 DiT-XL/2 和 FLUX.1-dev 的中间激活上观察到一个非常明显的现象:模型的特征变化高度集中在少数主方向上。换句话说,虽然特征向量位于一个高维空间中,但真正承载主要变化的方向其实很少。

论文中的激活谱分析显示,前 64 个主方向已经能够解释超过 99% 的特征方差。这说明扩散 Transformer 的去噪过程更像是在一个低维、弯曲的特征流形上运动,而不是在整个高维欧氏空间中自由移动。

图片 2 - 主导方向解释的方差。针对 (a) DiT-XL/2 和 (b) FLUX.1-dev 的热力图显示,前 64 个主成分方向解释了超过 99% 的方差。

这带来一个关键问题:

当采样步长变大时,如果仍然使用普通欧氏空间中的直线外推,轨迹就可能逐渐偏离模型真正学到的特征流形。我们把这种现象称为:

manifold drift,流形漂移。

直观来说,模型知道一张图像应该如何从噪声中逐步成形,但这个过程发生在它内部学到的特征几何结构上。普通加速方法只看到“往前走”,却没有看到“应该沿着哪条弯曲的路走”。当步子迈得很大时,轨迹就容易切过流形曲率,而不是贴着流形前进。

图片 3 - (a) GeoRK2 遵循内在流形几何结构,相比忽略曲率的欧氏空间预测方法,能够生成更平滑且更忠实的特征轨迹。 (b) 在大步长条件下,GeoRK2 仍保持稳定,而与几何无关的预测器会因误差快速累积而性能受损。

最终表现出来的就是:

  • 图像结构开始扭曲;

  • 语义条件逐渐变弱;

  • 局部纹理和全局布局不一致;

  • 视频生成中出现帧间闪烁和运动不连续。

因此,扩散 Transformer 加速的核心矛盾可以概括为:

我们想减少采样步数,但不能让采样轨迹偏离模型学到的特征流形。

GeoRK2 的出发点,就是把这个被忽略的几何问题显式建模出来。

方法:GeoRK2 = 几何感知预测 + 

流形校正 + 自适应稳定

图片 4 - GeoRK2 通过将黎曼积分嵌入 Transformer 推理流程,实现具有几何感知能力的扩散采样。(左)预测阶段利用缓存的激活值,在较大时间间隔上外推潜在动态;校正阶段则在局部构建的几何流形上细化轨迹。(右)在每个 Transformer 块内,GeoRK2 引入轻量级的预测-校正模块,用曲率感知的二阶积分替代现有采样器(如 DDIM、DPM-Solver)的默认数值更新,从而在无需重新训练的情况下实现稳定且加速的生成。

GeoRK2 的方法设计可以用一句话概括:

在 RK2 二阶积分的基础上,用模型内部激活估计局部特征几何,并用这个几何结构约束大步采样。

从整体上看,GeoRK2 包含三个核心模块:

1.  几何感知的 RK2 预测;

2.  低秩度量预条件校正;

3.  自适应稳定机制。

下面分别来看。

1. 几何感知 RK2:不是直接外推,

而是沿主特征方向外推

Runge-Kutta 方法是经典数值积分中的一类高阶方法。普通的一阶方法只看当前位置的速度,而 RK2 会额外估计一个中点,从而更准确地预测下一步状态。

在扩散采样中,这意味着:

不要只根据当前一步的方向前进,而是先估计中间位置,再用中间位置的方向来决定大步更新。

但 GeoRK2 并不是直接把标准 RK2 套到扩散 Transformer 上。原因在于,高维特征空间中并不是所有方向都同样可靠。很多方向可能只是噪声,或者并不位于模型真正使用的特征流形上。

因此,GeoRK2 在做中点预测时,会先把更新投影到主导特征子空间中:

    h_mid = Projection(h_t + step / 2 * v_t)

    这里的 Projection 不是任意设计的,而是来自模型中间激活的低秩主方向。也就是说,GeoRK2 会先问模型:

    当前这个阶段,哪些特征方向才是真正重要的?

    然后只在这些方向上进行大步预测。

    这样做的直观效果是:

    • 保留模型最有信心的主要变化方向;

    • 抑制偏离流形的噪声方向;

    • 避免大步采样时轨迹漂到不可靠区域。

    可以把它理解成:普通 RK2 是“往前走得更准”,而 GeoRK2 是“沿着模型认为可靠的路往前走”。

    2. 低秩几何校正:用激活协方差

    估计模型内部的局部度量

    只做投影还不够。因为扩散模型的去噪过程并不是一条直线,而是在不同噪声阶段经历不同曲率的轨迹。特别是在高噪声向低噪声过渡时,特征空间的几何结构会发生明显变化。

    为了解决这个问题,GeoRK2 会从模型的中间激活中构造局部协方差矩阵:

      G_t = covariance(H_t) + epsilon * I

      这个矩阵可以理解为当前特征空间的一个局部“几何度量”。大特征值方向表示模型在这些方向上变化强、结构敏感,更新时需要更加谨慎;小特征值方向则表示变化较平坦,可以更放心地加速。

      但直接使用完整协方差矩阵代价很高。对于扩散 Transformer 的中间层来说,完整矩阵求逆会带来明显计算开销。

      GeoRK2 的关键工程设计是:只保留低秩主方向。

      由于论文中观察到 top-64 主方向已经解释超过 99% 的方差,GeoRK2 使用截断 SVD 来近似这个几何度量。这样既保留了最重要的特征几何,又把复杂度控制在可接受范围内。

      在得到低秩几何度量之后,GeoRK2 会对预测结果做一次 metric-preconditioned correction:

        geometry correction = - lambda * G_inverse * prediction_error

        直观来说,这一步是在问:

        当前预测结果和模型真正希望的去噪方向之间还有多少偏差?这个偏差应该按照特征流形的几何结构如何修正?

        这就是 GeoRK2 中的“几何校正”。

        它不是重新训练模型,也不是额外学习一个校正网络,而是直接利用预训练模型内部已有的激活统计来完成校正。

        为了进一步降低开销,GeoRK2 还使用 Woodbury identity 来高效计算低秩矩阵逆,并且每隔若干步更新一次 metric,而不是每一步都完整重算。

        3. 自适应稳定:

        遇到剧烈阶段切换时及时刹车

        扩散采样过程并不是平稳的。

        在早期高噪声阶段,模型主要决定全局布局和大致语义;在后期低噪声阶段,模型开始细化纹理、边缘和局部细节。不同阶段之间的过渡往往会带来速度和加速度的突变。

        如果加速方法在这些位置仍然激进外推,就可能出现不稳定。

        因此,GeoRK2 加入了一个非常简洁的自适应稳定机制。它会监测当前采样轨迹的加速度方差:

          ifVar(a_t) suddenly increases:
              use conservative fallback
          else:
              use geometry-aware RK2 prediction

          当检测到状态变化过于剧烈时,GeoRK2 会暂时退回到更保守的两点外推,避免错误被快速放大。最后还会使用 momentum mixing 对输出进行平滑:

            h_out = rho * corrected_prediction + (1 - rho) * h_t

            这一步的作用不是让方法变复杂,而是让几何积分在真实模型中更加稳健。

            论文中也观察到,这个 rollback 机制主要在高加速设置下的关键时间段触发,例如 FLUX 中从概念布局转向细节 refinement 的阶段。它带来的额外开销很小,但可以显著降低发散风险。

            工程上是否可落地?

            GeoRK2 的一个重要特点是:它不需要重新训练模型,也不需要修改模型结构。

            它更像是一个轻量级 PyTorch wrapper,在推理时拦截中间激活,估计局部几何结构,然后替换或增强原本的采样更新。

            从复杂度上看,GeoRK2 的额外开销主要来自三部分:

            • 主特征方向投影;

            • 低秩 metric correction;

            • 周期性截断 SVD。

            论文中的 profiling 显示,在 DiT-XL/2 上,当截断秩取 64 时:

            • projection step 约 0.014 TFLOPs;

            • metric-preconditioned inversion 约 0.022 TFLOPs;

            • amortized truncated SVD 每步约 0.011 TFLOPs;

            • 总额外 FLOPs 约 5.1%;

            • 实测每步 wall-clock overhead 约 3.8%。

            考虑到 GeoRK2 能够带来 4-5 倍级别的整体采样加速,这个额外开销是很小的。

            更重要的是,它的超参数并不敏感。论文中使用同一组配置:

              lambda = 0.1
              rho = 0.85
              beta = 0.9
              rank = 64

              就可以在 DiT-S/2、DiT-B/2、DiT-XL/2 等模型上稳定工作。这说明 GeoRK2 不是依赖精细调参的特定技巧,而是利用了扩散 Transformer 特征几何中的普遍结构。

              实验结果:

              4-5 倍加速下保持高质量生成

              为了验证 GeoRK2 的效果,论文在三个代表性场景上进行了实验:

              • ImageNet-256 上的 class-conditional image generation,使用 DiT-XL/2;

              • DrawBench 上的 text-to-image generation,使用 FLUX.1-dev;

              • VBench 上的 text-to-video generation,使用 HunyuanVideo。

              对比方法包括传统采样器 DDIM、DPM++,以及多种扩散 Transformer 加速方法,例如 FORA、TaylorSeer、ToCa、SmoothCache、TeaCache、DBCache 等。

              1. ImageNet-256:

              高加速下仍保持较低 FID

              在 ImageNet-256 + DiT-XL/2 上,GeoRK2 在多个加速档位下都取得了较好的速度-质量权衡。

              例如:

              • GeoRK2(N=2) 将延迟从 8.38s 降到 4.42s,达到 1.95x 加速,同时 FID 为 2.41;

              • GeoRK2(N=3) 在 2.70x 加速下取得 FID 2.67;

              • GeoRK2(N=8) 在 4.92x 加速下仍保持 FID 3.32。

              相比之下,很多方法在类似高加速设置下 FID 会明显上升。这说明在 aggressive acceleration 下,几何感知积分能够更好地保持采样轨迹稳定。

              表格 1 - 使用 DiT-XL/2 在 ImageNet-256 上的定量比较。结果为 5 次运行的平均值。Speed表示相对于 DDIM-50 的加速倍数。

              2. FLUX.1-dev:

              复杂文本条件下保持语义一致性

              在 FLUX.1-dev + DrawBench 上,GeoRK2 的优势尤其体现在语义一致性上。

              在 NFE=50 设置下:

              • GeoRK2(N=5) 达到 3.52x latency speedup,ImageReward 为 0.9889,CLIP Score 为 34.963;

              • GeoRK2(N=7) 达到 4.06x latency speedup,仍保持 ImageReward 0.9792;

              • GeoRK2(N=8) 达到 4.39x latency speedup,CLIP Score 仍保持在 33.476。

              这一点很重要。因为文本到图像生成不仅要求图像清晰,还要求模型正确理解 prompt。部分缓存类方法虽然也能加速,但在复杂文本条件下更容易损失语义一致性。

              GeoRK2 通过几何约束保持中间特征轨迹稳定,因此在大步采样时更不容易偏离文本条件所对应的生成方向。

              表格 2 - 在 FLUX.1-dev 上的比较。结果为 5 次运行的平均值。Speed 表示相对于 50 步参考方法的加速倍数。

              3. HunyuanVideo:

              视频生成中的时序稳定性

              视频生成比图像生成更难加速。因为模型不仅要保证单帧质量,还要保证帧与帧之间的运动连续性。

              在 HunyuanVideo + VBench 上,GeoRK2(N=8) 达到:

              • latency 从 323.89s 降到 69.44s;

              • latency speedup 为 4.66x;

              • FLOPs speedup 为 6.77x;

              • VBench Score 为 80.73。

              相比其他加速方法,GeoRK2 在高加速下更好地保持了时间一致性。论文中也指出,一些方法虽然单帧质量尚可,但会出现可见 flickering,而 GeoRK2 的几何度量估计能够更自然地适配时空注意力特征。

              表格 3 - 在 HunyuanVideo 上基于 VBench 的比较。结果为 5 次运行的平均值。Speed 表示相对于 50 步基线方法的加速倍数。

              消融实验:每个组件都在发挥作用

              为了验证 GeoRK2 的设计是否必要,论文还做了系统消融。

              在 DiT-XL/2 上:

              • 完整 GeoRK2 的 FID 为 2.31;

              • 去掉 geometry correction 后,FID 上升到 3.02;

              • 去掉 RK2、改用 Euler 后,FID 上升到 2.87;

              • 去掉欧氏预测相关设计后,FID 上升到 3.41。

              这说明 GeoRK2 的优势不是来自某一个单独 trick,而是来自三个部分的协同:

              二阶预测负责更准确地大步前进,几何校正负责把轨迹拉回流形,自适应稳定负责避免阶段切换时发散。

              DiT-XL/2 上的受控消融实验(N=3)。FID degradation 表示相对于完整 GeoRK2 的 FID 相对增加幅度。

              表格 4 - DiT-XL/2 上的受控消融实验(N=3)。FID degradation 表示相对于完整 GeoRK2 的 FID 相对增加幅度。

              论文还分析了截断秩的影响。结果显示,从较低 rank 增加到 64 时质量明显提升,但继续增加到 128 后收益变小。这与前面的谱分析一致:主导特征方向已经覆盖了大部分有效几何信息。

              图片 5 - 截断秩对特征重建的影响。散点图比较了在 1/64、1/32、1/16、1/8 比例下的原始特征与低秩特征,结果显示较高秩时与恒等线的对齐更紧密,并在 1/64–1/32 处趋于饱和,这与 FID 饱和以及捕获 99\% 谱能量的现象一致。

              总结

              GeoRK2 的核心贡献,并不是简单提出一个新的采样器,而是把扩散 Transformer 加速中的一个关键问题讲清楚:

              高倍采样加速失败的原因,往往不是数值阶数不够,而是采样轨迹偏离了模型内部学到的弯曲特征流形。

              从这个视角出发,GeoRK2 做了三件事情。

              第一,从现象上,它指出了 aggressive acceleration 下的 manifold drift 问题:普通欧氏空间外推会让去噪轨迹逐渐偏离模型真实的特征几何。

              第二,从方法上,它把二阶 Runge-Kutta 积分和 Riemannian feature geometry 结合起来,用激活协方差估计局部度量,并通过低秩投影和 metric correction 保持采样轨迹稳定。

              第三,从工程上,它保持了非常克制的设计:不重新训练、不修改模型结构,只作为 plug-and-play 推理模块接入现有扩散 Transformer,并在 DiT、FLUX、HunyuanVideo 上实现 4-5x 级别加速。

              对于正在做图像生成、视频生成或扩散模型推理优化的团队来说,这项工作的启发是:

              扩散模型加速不只是减少采样步数,而是要让每一次大步更新都沿着模型学到的几何结构前进。

              当我们把特征流形的几何信息纳入采样器设计时,大模型生成就可以在更低成本下保持更稳定的质量。

              -End-

              作者丨五角场打工王、争气尾流

              跳转微信打开

              B站技术团队邀您共赴 ACL 2026|携 FATE系列新作&B-UP岗位亮相圣地亚哥

              2026年7月1日 14:12

              哔哩哔哩技术 2026-07-01 14:12 上海

              B站技术团队在展台等候各位同仁与青年技术人才,共同交流前沿技术成果和行业发展!

              ACL 2026

              ACL 2026(Annual Meeting of the Association for Computational Linguistics)——作为计算语言学和自然语言处理领域的国际顶级学术会议,ACL 被中国计算机学会(CCF)推荐会议列表列为 A 类国际学术会议,被 Core Conference Ranking 评为 A类会议,同时也是国际计算机学科排名 CSRankings 列表中的顶级会议。

              本届会议将于 2026 年 7 月 2 日至 7 月 7 日 在美国加利福尼亚州圣地亚哥(San Diego, California)举行,由国际计算语言学协会(ACL)主办。

              来自哔哩哔哩大语言模型团队、推荐算法团队的研究员,将和参会的从业者和技术天才们共同交流 AI 时代下的前沿技术成果和行业发展,同时也给大家带来「B-UP 顶尖技术人才项目」的相关校招、实习岗位,欢迎大家来展台投递简历 & 打卡交流!

              Fate 系列第一篇:SABER 

              让模型学会「何时深思考,何时直接答」

              SABER

              AAAI 2026

              早在今年 1 月的 AAAI 2026 会议上,我们大语言模型团队推出 FATE 系列首作 —— SABER(Switchable and Balanced Training for Efficient LLM Reasoning),一经展出便收获大量关注,一举拿下当日 Best Photo 奖项,团队成员还惊喜抽中显卡大奖。

              现有的推理增强大模型(如 CoT / Long-Chain Reasoning)常面临过度思考(Overthinking)问题——即便是“1+1=?”这样简单的问题,也会机械地生成冗长推理链,造成响应延迟高、推理成本大。

              SABER 聚焦长思考大模型训练难题,探索如何强化大模型的链式推理能力,让 AI 具备更长的逻辑思考链路,大幅提升复杂任务下的分步求解效果,也是我们 FATE 技术系列的开篇之作。提出了一种可切换、受 Token 预算约束的混合思考训练范式,基于 GRPO 强化学习直接优化(无需 SFT 预热),让同一模型支持四种离散推理模式。

              实验表明,SABER 在 MATH / GSM8K / MBPP 及逻辑推理任务上,FastThink 模式可在推理长度减少 65%~80% 的同时保持甚至提升准确率,且 NoThink 模式相比基座模型性能退化极小。

              *该论文已被AAAI 2026收录,链接:https://arxiv.org/abs/2508.10026

              *项目开源链接:https://github.com/bilibili/saber_rl

              *具体成果介绍:https://mp.weixin.qq.com/s/AfN7ON2PPjN5MuFm327FEA

              Fate 系列第二篇:CASTER

              让AI像真实用户一样评价UGC内容

              CASTER

              ACL 2026

              继 SABER 之后,我们 Fate 系列的第二篇成果 CASTER(Community-Aware Assessment of Social Textual Engagement and Resonance) 已被 ACL 2026 Main Conference收录,并将于 7 月 5 日在 San Diego Poster Session B 进行现场 Poster 展示!

              *论文链接:https://arxiv.org/abs/2606.01897

              *代码链接:https://github.com/bilibili/medea_rl

              *模型链接:https://huggingface.co/IndexTeam/MEDEA

              *DEMO链接:

              https://vowel-bagging-tweed.ngrok-free.dev/?token=acl2026caster

              *数据集链接:https://huggingface.co/datasets/IndexTeam/CASTER-Bench

              让AI学会「站在观众角度思考」

              传统视频质量评估(VQA)看的是画面清不清晰、有没有压缩失真。但在B站社区里,一条视频好不好,靠的从来不是画质。一段画质普通但极具创意的手书,可能获得百万播放和满屏弹幕;一段4K高清的vlog,也可能因为内容空洞而无人问津。

              UGC质量的本质是社区共识,而不是像素质量。

              CASTER做的事情是:给定一条视频的多模态信息(封面、关键帧、标题、标签、ASR等),让AI模拟不同类型观众的反应,然后从这些模拟反应中推断出这条内容能不能获得社区认可。

              Social-CoT:

              不是逻辑推理,是社会认知推理

              Social-CoT是我们提出的核心推理机制。与传统CoT进行逻辑推理不同,Social-CoT进行的是社会认知推理:

              第一步:实例化多元观众人设

              模型需要想象不同类型的观众:资深爱好者、偶然路过的用户、对该领域感兴趣的新人、挑剔的老用户等。每个人设代表了社区中的一种典型视角。

              第二步:模拟情感反应路径

              对于每个观众人设,模型需要推理:这个人看完视频后会有什么感受?会被哪个片段打动?会想发什么样的评论?这不是简单的情感分类,而是深入的共情推理。

              第三步:汇聚社区心智

              综合所有模拟的观众反应,通过统计共识机制(Skellam Scoring)判断:这个内容是否能在社区层面产生正面共鸣?

              这种"先模拟再判断"的结构,确保了最终的质量判断是从模拟的社区动态中因果推导出来的,而不是黑盒分类。下面是一个具体的Social-CoT示例:

              MEDEA框架

              更进一步,我们把Social-CoT落地为可训练的系统,设计了MEDEA(Multimodal Engagement-Driven Evaluation Architecture)框架:

              阶段一:挖掘真实社区智慧

              基于B站生态用教师模型 (Gemini) 将社区智慧转换成结构化的Social-CoT推理路径,最终构建了54K条标注样本。

              阶段二:SFT让模型学会Social-CoT的结构

              通过监督微调,模型学会将视觉线索(光线、剪辑节奏)和文本信息(标题、标签)与社会解读对齐。

              阶段三:RL对齐人类社区标准

              使用GRPO算法 + 四维复合奖励:

              • 格式奖励:输出遵循结构化格式

              • 标签奖励:预测正确性

              • 认知多样性约束:防止模型生成重复评论,必须探索完整分布

              • 社会对齐奖励:模拟评论与真实高赞评论的语义相似

              其中社会对齐奖励是关键创新,没有它,模型会退化为生成「好美啊」「太棒了」这样的空泛模板;有了它,模型能生成具体且富有共情的解读,比如将冰岛vlog中风吹发丝的画面解读为「原始自然力量的震撼」。

              CASTER-Bench:社区共鸣基准

              为支持CASTEaR任务,我们发布了CASTER-Bench:

              • 1485条UGC视频,覆盖30个主要内容品类(生活、知识、游戏、美食、科技、舞蹈等)

              • 平均时长442秒(总时长182.5小时),远超现有VQA数据集的8-10秒短片

              • 多模态信息完整:视频内容、封面图、标题、标签、分区、ASR

              实验:全面超越GPT-5.2和

              Claude-4.5-opus

              在CASTER-Bench上,MEDEA全面超越所有四类基线方法。

              高质量类别(最关键指标):

              • MEDEA:F1 = 0.650,精确率 = 0.603,召回率 = 0.705

              • 最强基线(GPT-5.2 reasoning):F1 = 0.555

              • 提升幅度:+17.1%

              各类基线的失败模式分析:

              传统VQA方法(FastVQA、DOVER、MaxVQA等):

              • 高质量F1仅0.33-0.41,几乎完全失效

              • 原因:它们评估的是画面质量而非内容质量,信号层面的分析无法捕捉社区共鸣

              标准大模型(GPT-5.2、Claude-4.5-Opus):

              • 召回率极高(>90%)但精确率极低(~30%)

              • 原因:"慷慨偏差":通过长上下文推理能在任何视频中找到优点,但缺乏区分"还行"和"真正优秀"的社会判断力

              推理增强大模型(开启reasoning模式):

              • 有所改善但仍不够(最高F1=0.555)

              • 原因:逻辑推理能力不等于社会认知能力

              Social-CoT提示的旗舰模型:

              • 直接用Social-CoT提示词(不微调):F1=0.508

              • 说明推a理模式本身有帮助,但需要专门的训练才能真正内化"社区标准"

              已在B站落地:更早发现优质内容

              CASTER不只是一篇论文,它已经在B站的内容生态中实际部署运行。

              通过将CASTER接入内容分发链路,系统能够在视频发布后的极早期(甚至在评论区形成之前),就识别出具有高社区共鸣潜力的优质稿件。这使得优质创作者的内容能更快地获得曝光,不再需要等待漫长的自然传播周期。

              正如电话会议中提到:"我们花了很多时间让AI理解什么是高质量内容,并在更早的阶段识别这些高质量内容。" CASTER正是这一愿景的技术实现。

              现场见!技术交流 + 招聘专项

              ACL 2026 现场,B 站技术团队将携带 SABER / CASTER 相关技术细节与大家深度切磋,展台还将发放哔哩哔哩精美周边,欢迎来聊!

              同时,「B-UP 顶尖技术人才项目」的校招与实习岗位在现场开放咨询与简历投递 👇

              ● 热招方向:大语音模型、推荐算法、搜索算法、视频生成、视频理解、语音算法、AI Infra、高性能计算、大数据架构、模型工程

              ● 招聘人群:

              应届生:2027届海内外本硕博毕业生(2026年9月-2027年8月期间毕业)

              实习生:2027届及之后毕业的海内外本硕博在校生(2026年9月及之后毕业)

              7 月美国圣地亚哥

              哔哩哔哩技术团队在展台等候各位同仁与青年技术人才,共探大模型技术未来!

              跳转微信打开

              B站特征选择算法LeAP:模型的“精准瘦身”实践

              2026年6月17日 12:00

              原创 AI 2026-06-17 12:00 上海

              在深度学习推荐系统中,想要自动化地筛选特征,并没那么简单。

              论文arxiv:https://arxiv.org/abs/2606.01111(作者:bilibili搜索团队。已被ECML-PKDD 2026录用)

              一、现状与挑战

              在深度学习推荐系统中,想要自动化地筛选特征,并没那么简单。现有的特征选择方法在真实的工业场景下,目前依然存在以下挑战:

              挑战1 维度异构问题

              工业模型的输入极其复杂,既有 1D 的连续统计特征,也有高达 128D 甚至 256D 的用户行为序列 embedding。用统一的惩罚项来约束所有特征,这就导致高维特征天然能产生更大的梯度来对抗惩罚;而有用的 1D 特征更容易被稀疏化。

              挑战2 稀疏特征问题

              真实场景中存在长尾特征,99%以上的样本在这个特征上都是默认值。现有的特征选择算法常把这种“低激活频次”误认为是“毫无用处的噪音”,从而施加重罚直接剔除,导致模型丢失了关键的个性化长尾信号。

              挑战3 排列(Permutation)方法的算力问题

              什么是 Permutation [1] ?它的核心思想是:如果想知道某个特征到底重不重要,就把这一列特征的样本数据彻底打散(Shuffle),人为制造噪声以切断它与真实标签之间的关联,然后看模型的预测性能掉了多少。性能掉得越惨,说明特征越关键。

              虽然这种方法直观、客观且具有很强的模型无关性,但它要求对成百上千个特征依次、孤立地进行打乱和重新前向推理。这种次推理的计算复杂度,在动辄几十上百亿样本的大规模数据流中,面临严峻的算力问题。

              挑战4 掩码门控(Mask-Gate)的权重代偿与不极化困境

              业界主流的深度学习特征选择通常基于掩码门控机制 [2,3,4],但在端到端联合训练时,门控变量与网络下游权重存在严重的代偿效应。当正则化项施压迫使门控值缩小时,为了维持原有特征的信息传递量,模型会自动放大该特征对应的下游网络参数进行补偿。这种代偿机制使得特征得分往往停留在非零的模糊区间,无法实现向 0 或 1 的极化收敛。由于门控分数的绝对值无法直接反应特征真实贡献,特征保留的阈值划定退化成了繁复的阈值试错过程,大幅增加了验证成本。

              挑战5 超参调节问题

              工业级特征选择模块应当具备极简的超参空间。部分现有方法(如 LPFS [2])为了强制特征重要性收敛到0,引入了复杂的极化函数,额外增加了多达5个以上的超参数,不同超参数组合产出的特征重要性又不一致,导致实际使用的困难。

              二、LeAP: 把“特征打散”做成

              端到端可学,并采用自适应

              梯度去偏的正则稀疏

              为了推翻这五个挑战,LeAP (Learnable Adaptive Permutation)放弃了传统的离散打乱验证,将计算密集型的特征打散过程改造成了一个复杂度的端到端可学习模块。

              核心网络架构与公式化表述

              理论上,我们可以将门控网络插入到模型的任何位置,但在工程实践中,为了方便和通用性,LeAP 通常在模型的特征拼接层之后插入一个轻量级的门控模块。

              在每一次 batch 训练中,我们通过算法在 batch 内部对第 i 个特征进行独立洗牌,生成服从原始边缘分布的“伪造噪声”。为了让大家更直观地理解这个过程,这里贴一段精简后的 TensorFlow 核心代码:

                # shuffle all feature
                # hidden is the feature concat representation
                def shuffle_all_features(hidden, fea_dim_range_dict):
                    """
                    对 hidden(形状 [B, D]) 的所有特征做样本间行洗牌。
                    不同的特征使用不同的随机排列。

                    fea_dim_range_dict: 类似 {
                        fea_0: {'dim_start':0, 'dim_end':3},
                        fea_1: {'dim_start':3, 'dim_end':7},
                        fea_2: {'dim_start':7, 'dim_end':10},
                        ...
                    }
                    返回: shape=[B, D] 的张量,逐特征完成洗牌。
                    """
                    # 先把特征 ID 排序,确保按原顺序拼接回去
                    sorted_keys = sorted(fea_dim_range_dict.keys())

                    shuffled_blocks = []
                    for f in sorted_keys:
                        d_start = fea_dim_range_dict[f]['dim_start']
                        d_end   = fea_dim_range_dict[f]['dim_end']

                        # 切出这个特征的列区间
                        mid_part = hidden[:, d_start:d_end]  # [B, (d_end - d_start)]

                        # 对该特征单独生成一个随机行排列 perm_f
                        B = tf.shape(mid_part)[0]
                        perm_f = tf.random.shuffle(tf.range(B))  # [B], 每行打乱

                        # 对 mid_part 行洗牌
                        mid_part_shuffled = tf.gather(mid_part, perm_f, axis=0)

                        shuffled_blocks.append(mid_part_shuffled)

                    # 把所有洗牌后的分块按列拼回 [B, D]
                    hidden_shuffled = tf.concat(shuffled_blocks, axis=1)
                    hidden_shuffled.set_shape([None, hidden.shape[1]])
                    return hidden_shuffled

                接着,引入一个特征专属的可学习门控变量(通过 Sigmoid 函数参数化),将原始特征与噪声特征进行无缝的融合组合:

                这里使用了一个至关重要的操作——。这个操作的作用是确保反向传播时,梯度不会通过噪声分支传回去污染上游。

                为了促使特征走向稀疏,我们在模型的总损失(Total Loss)中加入了正则项约束:

                很明显,如果一个特征是冗余的,用噪声替换它后模型的并不会受到影响。那么在正则化的持续施压下,就会被压向0。

                • 当时,模型完全依赖真实的原始特征;

                • 当时,模型则倾向于完全使用打散后的噪声。

                对比掩码门控(Mask-Gate),LeAP 的核心机制转变在于,将特征层面的“幅度缩放”(Masking)替换为了“信息替换”(Noise Substitution)。 面对按比例混入的真实打散特征,由于洗牌操作直接切断了该维度与 Label 之间的互信息,下游网络即使试图通过放大权重来进行代偿,也只会成比例地放大纯噪声的方差,进而导致模型整体的 Task Loss 迅速恶化。这种结构设计从根本上阻断了网络的代偿退路:对于核心特征,模型必须顶着正则压力维持其门控值。

                【自适应梯度去偏正则】

                为了解决异构维度和极度稀疏问题,LeAP 抛弃了统一惩罚(如全局 L1 正则),创新性地提出了 基于特征打散差异(Shuffle Divergence)的自适应正则化。

                我们在每次 batch 训练中,实时计算原始特征与其被打乱版本之间的 L2范数差异:

                为了防止常数特征的 Shuffle Divergence 计算为 0 导致惩罚项失效,LeAP 会对其设置一个下界截断。

                通过指数移动平均(EMA)在整个训练周期内平滑这个散度得到后,特征 i 的自适应正则化权重被定义为:

                这里的是我们在全局设定的稀疏项超参数,这也是 LeAP 中唯一需要调参的变量。

                为什么这个设计能解决上述的异构与稀疏难题?这背后隐藏着非常巧妙的梯度动力学机制。损失可以拆分成任务损失和正则损失。根据链式法则,任务损失对门控变量的偏导数最终可以推导并解耦成如下两部分的乘积:

                正如公式所示,任务梯度的更新力度本质上由两项决定:

                (1) 真实敏感度(Sensitivity):模型任务本身对该特征表征的敏感程度,这才是我们真正想要的“特征重要性”指标。

                (2)打散差异(Shuffle Divergence):特征被打散前后的物理距离偏差,高维特征或稠密特征的物理差异天生就很大,这导致它们的梯度是被严重放大。这其实是一种不公平的“特征梯度偏差(Bias)”。

                而 LeAP 的精妙之处在于,我们将正则化惩罚项设置成了与正相关的。在反向传播中,总损失等于任务损失+正则损失。任务损失对门控产生的梯度本质上是,而正则损失的梯度则是。当任务损失与正则损失进行对抗时,这个偏差项就被抵消了! 

                最终的梯度方向,变成了特征的真实敏感度期望(特征重要性)与我们设定的全局稀疏化超参之间的纯粹较量。

                这套设计在数学上带来了一个极其优雅的特性:高可解释性与天然的极化趋势。

                在这里,“高可解释性”有着明确的物理意义:在设定了当前正则系数的前提下,门控分数直接反映了该特征能否被随机打散的噪声安全替换的概率 。

                同时,正因为优化的核心变成了与的直接拉扯,对于绝大多数特征而言,其敏感度与设定的之间存在明确的强弱差异:如果有用特征的敏感度压过了,它就会在梯度驱动下坚定地奔向 1;反之,若敏感度不足以抗衡,冗余特征则会被快速压向 0。

                上图是一个真实业务模型产生的特征重要性频数分布图,如图所示,LeAP 学出的特征重要性呈现出非常清晰的两极分化。这意味着算法工程师不需要像以前那样反复调参、设置多个阈值。在实际业务中,我们通常直接设定 0.5 作为分界线,就能干脆利落地“一刀切”,大大提升了特征筛选的确定性和迭代效率。

                三、真实的工业落地:

                在复杂业务中实现降本增效

                在公开数据集(Criteo [9] , Avazu [7] , ML-1M [6] , AliCCP [8] )上,LeAP 在不同剪枝率下的表现均达到了现有的 SOTA(State-of-the-Art)水平。

                在实际的真实业务生态中,目前,LeAP 已经在B站内的多个核心业务场景中成功落地应用。

                为了验证 LeAP 在业务场景下的能力,我们在一个包含 12,000+ 维特征、checkpoint大小高达 2TB 的排序模型上进行了离线验证。LeAP 成功识别出超过 3,600 个(占比超 30%)冗余特征维度,且离线评估指标没有任何降低。这充分证明了它在应对大规模工业模型时的有效性与稳健性。

                LeAP 带来了:

                • 推理提效,降本增效: 在各个业务线的多种模型场景中,LeAP 初次使用普遍有效删减了 15%~50% 的冗余特征。在保持线上核心业务指标(如播放量、互动量等)稳定的前提下,单模型的线上推理资源消耗直接降低了 5%~20%。

                • 加速日常特征迭代: 当算法团队引入一批新特征时,不再需要“盲人摸象”。先让模型训练收敛一段时间,随后接入 LeAP 跑一遍,可以直接客观评估新特征的实际价值,从而进行针对性筛选。这种“白盒化”的迭代体验,大幅缩短了实验验证周期,避免了无效特征对计算资源的无谓消耗。

                综上所述,LeAP 通过将离散的特征打乱过程转化为端到端的可学习门控网络,并结合优雅的自适应梯度去偏机制,成功解决了工业界特征选择中的维度异构与长尾稀疏难题。这套方法不仅在理论和公开数据集上得到了验证,更在 B站复杂的真实业务生态中实现了真正的降本增效。

                引用

                [1] Fisher, A., Rudin, C., Dominici, F.: All models are wrong, but many are useful: Learning a variable’s importance by studying an entire class of prediction models simultaneously. Journal of machine learning research: JMLR 20 (2019)

                [2] Yi Guo, Zhaocheng Liu, Jianchao Tan, Chao Liao, Daqing Chang, Qiang Liu, Sen Yang, Ji Liu, Dongying Kong, Zhi Chen, et al. 2022. LPFS: Learnable Polarizing Feature Selection for Click-Through Rate Prediction. arXiv preprint arXiv:2206.00267 (2022).

                [3] Yejing Wang, Xiangyu Zhao, Tong Xu, and Xian Wu. 2022. AutoField: Automating Feature Selection in Deep Recommender Systems. In Proceedings of the ACM Web Conference.

                [4] Yejing Wang, Zhaocheng Du, Xiangyu Zhao, Bo Chen, Huifeng Guo, Ruiming Tang, and Zhenhua Dong. 2023. Single-shot Feature Selection for Multi-task Recommendations. In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. 341–351.

                [5] Jia P, Wang Y, Du Z, et al. Erase: Benchmarking feature selection methods for deep recommender systems[C]//Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2024: 5194-5205.

                [6] https://grouplens.org/datasets/movielens/1m/

                [7] https://www.kaggle.com/competitions/avazu-ctr-prediction

                [8] https://tianchi.aliyun.com/dataset/408

                [9] https://ailab.criteo.com/ressources/

                -End-

                作者丨r小黑、芯艺、飞戈、ylin、海忻、问天

                跳转微信打开

                B站 Index LLM 团队论文开源:170亿次真实用户交互背后的UGC视频评估新范式

                2026年6月12日 12:00

                原创 AI 2026-06-12 12:00 上海

                这项工作已被 ACL 2026 Main Conference 收录,是bilibili Index LLM Team在UGC内容理解方向的最新成果。

                “我们知道B站之所以能够产生这么多好的作品,重要的原因就是社区里的用户有着对内容的热爱,并且有着对内容极高程度的审美。AI是可以放大B站社区这种识别优质内容的能力,现在社区每个月有170多亿次的真实用户的交互,这些数据在AI时代其实都是非常珍贵的真人标注,而且这些真人是整个中国对内容最有热情和最有审美鉴赏能力的人。”

                哔哩哔哩2026年Q1财报电话会提到了上述内容。那么问题来了:能不能让AI学会像B站用户一样,在视频发布的第一时间就判断出它是否会获得社区共鸣?

                今天我们介绍的 CASTER,就是在回答这个问题。这项工作已被 ACL 2026 Main Conference 收录,是bilibili Index LLM Team在UGC内容理解方向的最新成果。

                论文链接:https://arxiv.org/abs/2606.01897

                代码链接:https://github.com/bilibili/medea_rl

                模型链接:https://huggingface.co/IndexTeam/MEDEA

                数据集链接:https://huggingface.co/datasets/IndexTeam/CASTER-Bench

                 让AI学会「站在观众角度思考」

                传统视频质量评估(VQA)看的是画面清不清晰、有没有压缩失真。但在B站社区里,一条视频好不好,靠的从来不是画质。一段画质普通但极具创意的手书,可能获得百万播放和满屏弹幕;一段4K高清的vlog,也可能因为内容空洞而无人问津。

                UGC质量的本质是社区共识,而不是像素质量。

                CASTER做的事情是:给定一条视频的多模态信息(封面、关键帧、标题、标签、ASR等),让AI模拟不同类型观众的反应,然后从这些模拟反应中推断出这条内容能不能获得社区认可。

                Social-CoT:

                不是逻辑推理,是社会认知推理

                Social-CoT是我们提出的核心推理机制。与传统CoT进行逻辑推理不同,Social-CoT进行的是社会认知推理:

                第一步:实例化多元观众人设

                模型需要想象不同类型的观众:资深爱好者、偶然路过的用户、对该领域感兴趣的新人、挑剔的老用户等。每个人设代表了社区中的一种典型视角。

                第二步:模拟情感反应路径

                对于每个观众人设,模型需要推理:这个人看完视频后会有什么感受?会被哪个片段打动?会想发什么样的评论?这不是简单的情感分类,而是深入的共情推理。

                第三步:汇聚社区心智

                综合所有模拟的观众反应,通过统计共识机制(Skellam Scoring)判断:这个内容是否能在社区层面产生正面共鸣?

                这种"先模拟再判断"的结构,确保了最终的质量判断是从模拟的社区动态中因果推导出来的,而不是黑盒分类。下面是一个具体的Social-CoT示例:

                MEDEA框架

                更进一步,我们把Social-CoT落地为可训练的系统,设计了MEDEA(Multimodal Engagement-Driven Evaluation Architecture)框架:

                阶段一:挖掘真实社区智慧

                基于B站生态用教师模型 (Gemini) 将社区智慧转换成结构化的Social-CoT推理路径,最终构建了54K条标注样本。

                阶段二:SFT让模型学会Social-CoT的结构

                通过监督微调,模型学会将视觉线索(光线、剪辑节奏)和文本信息(标题、标签)与社会解读对齐。

                阶段三:RL对齐人类社区标准

                使用GRPO算法 + 四维复合奖励:

                • 格式奖励:输出遵循结构化格式

                • 标签奖励:预测正确性

                • 认知多样性约束:防止模型生成重复评论,必须探索完整分布

                • 社会对齐奖励:模拟评论与真实高赞评论的语义相似度

                其中社会对齐奖励是关键创新,没有它,模型会退化为生成「好美啊」「太棒了」这样的空泛模板;有了它,模型能生成具体且富有共情的解读,比如将冰岛vlog中风吹发丝的画面解读为「原始自然力量的震撼」。

                CASTER-Bench:社区共鸣基准

                为支持CASTER任务,我们发布了CASTER-Bench:

                • 1485条UGC视频,覆盖30个主要内容品类(生活、知识、游戏、美食、科技、舞蹈等)

                • 平均时长442秒(总时长182.5小时),远超现有VQA数据集的8-10秒短片

                • 多模态信息完整:视频内容、封面图、标题、标签、分区、ASR

                实验:全面超越GPT-5.2和

                Claude-4.5-opus

                在CASTER-Bench上,MEDEA全面超越所有四类基线方法。

                高质量类别(最关键指标):

                • MEDEA:F1 = 0.650,精确率 = 0.603,召回率 = 0.705

                • 最强基线(GPT-5.2 reasoning):F1 = 0.555

                • 提升幅度:+17.1%

                各类基线的失败模式分析:

                传统VQA方法(FastVQA、DOVER、MaxVQA等):

                • 高质量F1仅0.33-0.41,几乎完全失效

                • 原因:它们评估的是画面质量而非内容质量,信号层面的分析无法捕捉社区共鸣

                标准大模型(GPT-5.2、Claude-4.5-Opus):

                • 召回率极高(>90%)但精确率极低(~30%)

                • 原因:"慷慨偏差":通过长上下文推理能在任何视频中找到优点,但缺乏区分"还行"和"真正优秀"的社会判断力

                推理增强大模型(开启reasoning模式):

                • 有所改善但仍不够(最高F1=0.555)

                • 原因:逻辑推理能力不等于社会认知能力

                Social-CoT提示的旗舰模型:

                • 直接用Social-CoT提示词(不微调):F1=0.508

                • 说明推理模式本身有帮助,但需要专门的训练才能真正内化"社区标准"

                已在B站落地:更早发现优质内容

                CASTER不只是一篇论文,它已经在B站的内容生态中实际部署运行。

                通过将CASTER接入内容分发链路,系统能够在视频发布后的极早期(甚至在评论区形成之前),就识别出具有高社区共鸣潜力的优质稿件。这使得优质创作者的内容能更快地获得曝光,不再需要等待漫长的自然传播周期。

                正如电话会议中提到:"我们花了很多时间让AI理解什么是高质量内容,并在更早的阶段识别这些高质量内容。" CASTER正是这一愿景的技术实现。

                开发者交流

                CASTER将于2026年7月5日在美国San Diego进行Poster展示,现场还会发放MEDEA精美无料,欢迎大家来交流!

                -End-

                作者丨bilibili Index LLM Team

                跳转微信打开

                我们如何用 A2UI + Vue,让大模型长出“可交互界面”

                2026年5月27日 12:00

                原创 大前端 2026-05-27 12:00 上海

                本文围绕一个核心问题展开:如何让AI助手从“输出文字”进化到“生成界面”?

                导读

                本文围绕一个核心问题展开:如何让AI助手从“输出文字”进化到“生成界面”?我们基于Google A2UI协议,自研了Vue渲染器和 Agent 完整工具链,形成了一套完整的生成式UI体系。文章将详细阐述Runtime Schema装配、双重校验机制、SSE双通道输出、Wrapper组件扩展等关键设计,为构建标准化、可复用的AI交互界面提供参考。

                引言

                在 B 站商业广告业务中,我们开发了统一的 AI 助手框架,创建不同业务的知识库,以 markdown 渲染的形式输出内容,实现了不同业务中 AI 助手的快速应用。

                但是,随着时间的推移和 AI 在业务中的快速应用,当大模型的能力从“聊天”走向“办事”时,如何让 AI 稳定、可靠地生成真正的“可交互界面”,提高信息传达和交互的效率,成为越来越多公司和业务关注的方向,从而带来了大模型生成 UI 的发展趋势。

                关于这一点,我们内部的 AI 助手框架已经支持在 Markdown 中通过自定义语法嵌入组件,例如 ::: ProductCard :::,具有直观、轻量的特点,能在对话流中快速引入可交互元素。但在多业务、复杂任务的规模化落地中,它的局限性逐渐显现,例如前端、后端、Agent 耦合严重,需要 Agent 严格配合前端的特定格式来填充内容。这种方案的本质是 Agent 按前端预定义的模板填充数据,而非让 Agent 自主描述 UI 结构,不符合生成式 UI 的核心思想。

                如何快速和我们的 AI 助手框架结合,形成完整的生成式 UI 体系?

                在探索这个问题的过程中,我们发现这不是一个单纯的前端渲染问题,而是一个涉及大模型生成、协议标准、后端校验、前端渲染、多业务治理的系统工程。基于此,本文将完整拆解我们的实践路径。

                一、B站商业广告的 AI 助手框架

                在展开生成式UI的方案之前,有必要先回顾一下我们的起点。

                1.1 统一 AI 助手框架

                在B站商业广告业务中,我们面对的是多个差异化的业务场景:

                • 广告投放助手:帮助广告主理解投放数据、优化投放策略

                • 产品帮助助手:介绍广告产品功能、引导操作流程

                • 数据分析助手:生成广告数据报表、提供洞察分析

                为了快速响应各业务场景的AI需求,我们构建了统一的 AI 助手框架:

                • 统一前端框架:标准化的对话接口、视觉样式,业务方只需实现对应的接口,并按需实现自定义功能

                • Markdown 渲染:前端统一支持Markdown格式输出,快速实现内容呈现

                1.2 从“可读”到“可交互”的需求演进

                随着业务深入,纯文本/Markdown的局限性开始显现:

                场景一:广告投放诊断

                • 用户问:“帮我看看最近三天某计划的投放效果?”

                • AI返回一段文字描述:“曝光量xx,点击率xx%,消耗xx元,建议优化素材...”

                • 用户需要:一个包含关键指标卡片、趋势图表

                场景二:意图识别

                • 用户问:“我要下单,目标是xxx...”

                • AI返回:“您提供的缺少xxx参数...请您补充参数重新告知我下单。”

                • 用户需要:一个结构化表单,可以直接在对话中修改并重新提交

                这些场景的共同需求是:从“告诉用户怎么做”升级为“让用户在对话中直接完成操作”,这就引出了生成式UI的核心命题。

                我们固然可以使用模板填充的方式:

                  ::: ProductCard {"name":"手机","id":1}
                  :::

                  这种方案可以快速实现大部分简单场景——前端预定义好各类卡片组件,Agent按约定格式输出,前端匹配渲染。

                  它的优势很明显:

                  • 实现简单,短期内快速上线

                  • 卡片样式可控,符合设计规范

                  • 适合场景固定、UI形态稳定的业务

                  但随着场景复杂化,其局限性也逐渐暴露:

                  本质问题:模板填充方案让Agent扮演的是“填表员”角色,而非“设计师”角色,Agent无法根据上下文动态决定UI形态。

                  二、生成式 UI 的思路

                  2.1 为什么选择 A2UI

                  在协议选型上,我们调研了多种方案,最终选择 Google 的 A2UI 协议,原因如下:

                  • 标准化:大厂提出,业界规范,有社区支持,避免自研协议的技术债务

                  • 声明式:JSON Schema 描述UI,天然适合大模型生成

                  • 可增量:支持 dataModelUpdate / surfaceUpdate,实现细粒度更新

                  • 框架无关:同一份 UI 描述可在 Vue / React / 小程序等多端渲染

                  • 安全可控:组件基于组件库白名单,Agent 自由选择,客户端负责渲染

                  2.2 整体架构

                  三、后端 + Agent 设计

                  3.1 请求入参设置

                  每个业务请求需要携带能力边界声明:

                  3.2 Runtime Schema 装配

                  根据业务标识和白名单,动态装配该业务可用的组件和动作集合。

                  装配流程举例:

                  这样设计的价值在于,一是能力隔离,不同业务在统一协议下安全、独立地演进;二是动态扩展,新增业务只需要补充组件包,不改核心逻辑;三是输出可控,白名单机制限制了模型输出的边界。

                  3.3 双重校验机制

                  尽管我们通过能力隔离,已经生成了安全的 Prompt,但是由于模型输出可能不稳定,因此针对大模型产出的 A2UI JSON,必须经过严格校验才可放行。我们设计了双层校验机制:

                  第一层:结构校验

                  • 消息类型是否合法,符合 A2UI 协议结构(beginRendering / surfaceUpdate / dataModelUpdate)

                  • 组件类型是否在白名单

                  • 组件属性是否完整

                  • 动作名称是否在白名单

                  第二层:过渡校验

                  Surface 是 A2UI 中一个独立的 UI 实例载体,每个 Surface 有唯一的 surfaceId,代表一个独立的界面区域,具备从“未创建”→“已创建”→“可交互”的状态转换。我们需要确保这个过程合法有序,避免出现更新不存在的界面、重复初始化等异常。为此,我们维护了每个 Surface 的状态机:

                  校验规则:

                  • 不能更新未创建的 Surface

                  • 对于同一个 Surface,不能重复产出 beginRendering

                  • 更新时 SurfaceId 必须匹配当前会话

                  3.4 SSE 双通道输出

                  传统方案中,前端需要从文本流中正则匹配和解析JSON,链路脆弱。我们将文本流和结构化数据分离,两条通道独立传输,互不影响。若 a2ui_message 通道出现数据丢失,前端可依据 message_stream 中的文本内容降级展示,或通过 finish 事件中的完整消息进行重试补发,确保 UI 渲染的可靠性。

                  四、前端通用渲染器 SDK

                  4.1 整体结构

                  我们基于 Google 官方开源的 A2UI 协议、React 渲染器等,自研实现了 Vue 渲染器,以 npm 包的形式交付,业务方安装即可使用:

                  4.2 消息处理器

                  我们实现了消息处理器,为同一个 Surface 的每条 A2UI JSON 消息生成唯一签名。已处理过的消息会被识别并跳过,不再重复执行,保证逻辑的幂等性。另外,由于网络传输延迟、历史会话回放等场景,消息可能出现乱序或倒序到达,我们也设计了相应的处理机制。极端情况下,有极小概率会出现个别消息丢失,但仅会导致 Surface 的 UI 状态短暂不一致(比如,没有回显已经填写过的字段),不会引发严重渲染问题。

                  消息处理器链路如下:

                  4.3 DataModel 设计

                  统一状态存储,支持 path 级别读写和数据绑定:

                    DataModel结构示例:
                    {
                      "/form/name": "张三",
                      "/form/email": "zhang@example.com",
                      "/cart/items": [{"id": 1, "name": "商品A"}],
                      "/ui/loading": false
                    }

                    组件通过path引用数据,任一数据变化,所有绑定组件自动更新。

                    4.4 Wrapper 组件体系

                    业务方新增自定义组件时,只需遵循统一规范,无需理解渲染器内部逻辑。

                    接入流程:

                    • 编写业务组件(普通Vue组件)

                    • 使用 SDK 提供的 Wrapper 组合函数包装

                    • 注册到组件映射表(组件类型名 → 业务组件)

                    • Agent 即可使用

                    Wrapper提供的能力:

                    • 自动解析 node 中的属性

                    • 自动绑定 DataModel 数据(通过 path 引用)

                    • 自动构建动作回调函数

                    • 统一处理 loading、error 等通用状态

                    4.5 动作闭环

                    组件提交的 action,分为前端处理和后端处理,业务方可自定义 action 处理方法,SDK 提供的默认有以下2类:

                    前端处理的事件比较简单。对于后端处理的事件,会经历以下流程:

                    • 用户交互触发动作

                    • 动作冒泡到业务层

                    • 业务层通过HTTP接口回传后端

                    • 后端返回dataModelUpdate或surfaceUpdate

                    • 前端执行增量刷新(原位更新)

                    这样,我们便实现了从 Agent 到前端 SDK 的、可复用的完整链路。

                    五、与现有框架的集成

                    我们并非将现有业务中已经实现的 AI 助手推倒重来,而是进行了扩展。Agent 返回的 finish 事件中,包含了 SDK 提供的标准组件 A2UIMessage.vue,业务方可直接将其作为模板组件使用:

                      ::: a2ui-message {"message": [...]}
                      :::

                      业务方的接入成本也非常小,只需要三步:

                      • 前端实现业务组件,并接入 SDK

                      • 前端注册组件包

                      • 业务方后端或者业务方 Agent 调用接口,生成 A2UI 消息

                      至此,我们完整阐述说明了 A2UI 实践的完整框架和流程。可以看到,它具备以下价值:

                      对业务方:

                      • 无需关心UI实现,聚焦业务逻辑

                      • 新场景接入周期从天级缩短到小时级

                      对 Agent:

                      • 从“记忆数据格式”转向“理解UI描述语言”

                      • 具备真正的“界面生成”能力

                      对整体架构:

                      • 前后端解耦,协议标准化

                      • 多业务可复用同一套基础设施

                      六、DEMO 示例

                      我们已经实现了完整的可复用工具链,以下是一些 demo,展示了从用户输入 Prompt 到产出组件的过程。实际使用中,由业务方的后端或者 Agent 调用 A2UI 的 Agent 服务获取真实的 A2UI JSON,再交给业务方的前端渲染。

                      注意:以下为简化示例,实际 JSON 结构以 A2UI 协议为准。

                      6.1 图表示例

                      • 用户在对话框中输入:“我想查看最近12个月某5个车企(化名)的销量变化趋势图”

                      • Agent 生成 A2UI JSON:

                        {
                          "sessionId": "session-xxx",
                          "messages": [
                            { "createSurface": { "surfaceId": "surface-xxx" } },
                            {
                              "updateComponents": {
                                "surfaceId": "surface-xxx",
                                "components": [
                                  { "id": "root", "component": "Card", "child": "chart-container" },
                                  {
                                    "id": "sales-chart",
                                    "component": "Charts",
                                    "type": "line",
                                    "title": "近12个月车企销量趋势",
                                    "options": {
                                      "xAxis": { "data": ["1月", "2月", ...] },
                                      "series": [
                                        { "name": "车企A", "data": [12500, 13200, ...] },
                                        { "name": "车企B", "data": [10200, 10800, ...] },
                                        ...
                                      ]
                                    }
                                  }
                                ]
                              }
                            }
                          ]
                        }

                        • 渲染结果:

                        6.2 表单示例

                        • 用户在对话框中输入:“生成一个用户报名信息的填写表单”

                        • Agent 生成 A2UI JSON:

                          {
                            "sessionId": "session-xxx",
                            "messages": [
                              { "createSurface": { "surfaceId": "surface-xxx", "root": "root" } },
                              { "updateDataModel": { "surfaceId": "surface-xxx", "value": { "userName": "", "userEmail": "", "userPhone": "" } } },
                              {
                                "updateComponents": {
                                  "surfaceId": "surface-xxx",
                                  "components": [
                                    { "id": "root", "component": "Card", "child": "form-column" },
                                    { "id": "form-column", "component": "Column", "children": ["title-text", "name-field", "email-field", "phone-field", "submit-btn"] },
                                    { "id": "title-text", "component": "Text", "text": "用户报名信息填写" },
                                    { "id": "name-field", "component": "TextField", "label": "姓名", "placeholder": "请输入姓名" },
                                    { "id": "email-field", "component": "TextField", "label": "邮箱", "placeholder": "请输入邮箱" },
                                    { "id": "phone-field", "component": "TextField", "label": "手机号", "placeholder": "请输入手机号" },
                                    { "id": "submit-btn", "component": "Button", "text": "提交报名", "action": { "name": "marketing.submitLead" } }
                                  ]
                                }
                              }
                            ]
                          }

                          • 渲染结果:

                          • 用户填写并点击提交后,前端将表单数据回传至后端:

                            // 发送消息示例:后端读取注释中的数据作为结果
                            用户提交了数据<!-- {"action":"marketing.submitLead","data":{"userName":"小明","userEmail":"aaa@bbb.com","userPhone":"12345612345"}} -->

                            • 后端处理完成后,再次调用 A2UI 服务,返回更新界面的指令:

                              {
                                "sessionId": "session-xxx",
                                "messages": [
                                  { "updateDataModel": { "surfaceId": "surface-xxx", "value": {} } },
                                  {
                                    "updateComponents": {
                                      "surfaceId": "surface-xxx",
                                      "components": [
                                        { "id": "success-icon", "component": "Text", "text": "✓" },
                                        { "id": "title-text", "component": "Text", "text": "报名成功" },
                                        { "id": "message-text", "component": "Text", "text": "感谢您的报名,我们会尽快与您联系。" },
                                        { "id": "form-column", "component": "Column", "children": ["success-icon", "title-text", "message-text"] }
                                      ]
                                    }
                                  }
                                ]
                              }

                              • 前端接收消息,并处理 UI 更新:

                              七、总结

                              目前,我们的 A2UI 方案已在部分业务中接入,正在快速迭代中。由于 A2UI 协议仍处于早期阶段,大模型能力也在持续演进,尚无法支持全部复杂组件的自主生成。因此,我们目前采用 A2UI 实现通用交互、业务自行实现复杂组件的混合模式。

                              但可以预见,随着协议和大模型能力的成熟,生成式 UI 必将释放更强大的能力和更丰富的应用场景。接下来,我们将继续探索 A2UI 在移动端、小程序等架构上的应用,期待在不远的未来做出更优质的成果。

                              -End-

                              作者丨Nie

                              跳转微信打开

                              ❌