一晚两场,H3 技术团队和全球开发者聊了什么?
原创 MiniMax 2026-08-08 12:21 上海
MiniMax H3 开源的第一周,很多国内外开发社区里的开发者、创作者已经有了量化、硬件适配和工作流的丰富探索,也提出了一些关于模型机制和后续计划的问题。
周五晚,H3 技术团队参加了 Reddit 社区 AMA 问答交流和 ComfyUI Live 直播,和来自不同地区的开发者、创作者聊了聊:模型架构是怎么做的?长视频能不能续写?目前还有哪些技术局限,后续的开源策略是什么……
围绕这些话题,我们把技术观点整理分享出来,记录于下。
H3 的核心架构:
稀疏注意力、VAE与训练策略
Q:H3 使用 MSA 吗?哪些 token 会被稀疏化?这一方案什么时候开放?
H3 不使用 MSA,稀疏注意力策略更接近 MoBA。由于相邻视觉 token 具有较高相关性,mean pooling 已经能够有效判断 block 的重要性,因此不需要额外的 learned indexer。
当前默认只对视频 token 做 3D sparsification,因为它们占整个 token 序列的比例最大;图像和文本 token 也在探索范围内。该方法是 train-aware 的,团队预计近期发布一个相对保守的版本,目标是在不产生用户可感知的质量损失的前提下提供 reference implementation。不同设备上的进一步优化,需要社区共同适配。
Q:视频 VAE 编码中的第一帧为何作为独立单元?为什么使用双 VAE?
独立第一帧是为了更好地统一图像和视频训练:一张独立图像与一段视频的第一帧,可以在数据侧被同等对待。固定 17 帧分组,主要用于保持不同视频时长之间 latent 分布的一致性,空间切块也遵循同样的原则,与 frame interpolation 无关。
使用独立的视觉 VAE 和音频 VAE,而不是单一的联合 VAE,一个重要原因是为了保留对多模态训练过程的控制。如果将两种信号编码为同一 latent space 中的 tokens,就很难通过 DiT 的训练策略分别平衡两种模态的训练进度。由于在这一设置下音频携带的信息量相对较少,它可能更早收敛并开始过拟合,而独立的 VAE 能够为我们管理这种不平衡提供更大的灵活性。
对于两个 VAE,我们的目标并不是单独追求最高的重建质量,而是在确保基本重建性能足够的基础上,更关注最终得到的 latent representation 是否有利于生成建模。尤其对于视觉 VAE,较高的压缩比可以减少视觉 token 的数量,从而降低 DiT 的计算成本;但如果向 latent 中编码过多信息,也会增加 DiT 的建模负担,并使训练行为更难控制。因此,我们会关注不同类型信号在 latent representation 中的分配与平衡,并通过 VAE 在完整生成训练过程中的表现进行评估,而不是只依赖重建指标或孤立的 latent-space probing 结果。
Q:H3 如何做到更好的指令遵循和泛化能力?
从本质上说,最重要的因素是构建足够广泛且多样化的数据和任务集合,使用通用架构对其进行训练,并避免采用无法有效扩展的架构设计。很难将这种能力归因于某一个单独的架构选择或训练技法。用户所感受到的,好的指令遵循以及泛化能力,与 H3 最初的设计目标高度是一致的,即让单一模型实现广泛的任务泛化。为此,我们在各个阶段都投入了大量精力,包括数据构建、任务设计、模型架构和训练策略等,同时确保每一项设计选择都具备可扩展性。
值得一提的还有一个观察。我们在训练模型的过程中发现,一个只训练过「根据首帧和 caption 预测末帧」这一简单任务的模型,在没有进行任何图像编辑专项后训练的情况下,也能在多个图像编辑 benchmark 上取得较强的 zero-shot 结果。这让我们相信,在自然语言指令引导下,原生的 in-context learning 能够泛化到不同任务。
我们会在后续发布的 H3 Technical report 中,公布更多细节。
长视频续写
Q:H3 是否训练过递归式、分块 latent 的长视频续写?Ref2VA 的 continuation 应该怎么用?
我们最初使用 extended RoPE positions 训练过一个专门的音视频续写任务,作为独立任务时效果很好。但我们发现,这种 RoPE 扩展方式在多任务设置下的泛化能力不够强。因此,发布模型最终采用标准的 reference-conditioning 来学习续写。
Ref2VA 可以将前序内容作为 reference condition,从而支持续写;不过,当前模型还没有原生训练过由多个递归续写片段组成的长轨迹。对于真正的递归式续写,我们认为,结合 sparse attention 的原生长轨迹训练是一个有前景的方向。
Reddit 用户 Zironic 提到,“反复让模型每次生成 141 帧,并将上一段视频和音频的最后 51 帧作为参考,可以整合一段连贯的 60 秒视频。在生成过程中,我提供同一张目标主体的图像作为参考,可以在时间维度上保持连贯性。”这种能力正是来自预训练中的音视频续写任务,开发者的实践也印证了这一点。
视频画质与技术局限
Q:为什么 Ref2VA 比 I2V 更糊?纹理和远景人脸问题的主要原因是什么?
部分原因在于 FL2VA 与 Ref2VA 的后训练策略存在差异,因此两个 checkpoint 当前表现出了明显不同的视觉质量倾向。提升 Ref2VA 的视觉质量正在推进中;实际使用时,建议尽可能提供高质量的 reference input,因为 Ref2VA 对 reference conditioning 的质量比较敏感。
对于纹理、高频细节偏糊和远景小脸崩的问题,我们已经观察到,并将这个问题列为后续重点。从目前的实验结果看,这不能简单归因于 Visual VAE 的高压缩比,也不能归因于单一训练阶段,我们正在继续拆解其中的主要影响因素,并会在未来更新中持续改进。
Q:低分辨率预览后,能否用相同 seed 生成一致的高分辨率结果?
不同分辨率对应不同的空间形状,初始噪声也会变化,因此相同 seed 不会保留相同结果。低分辨率生成后再超分,通常也会比原生高分辨率生成更差;发布 checkpoint 在后期训练中更偏重高分辨率能力,低分辨率能力因此出现了一定回归。
推理效率优化
Q:官方会推出 Turbo LoRA、4-NFE/8-NFE 版本或更小参数模型吗?
当前 checkpoint 已包含 CFG distillation,最终训练阶段的特殊策略也让模型具备了一定的少步推理能力,但它并不是针对极端低步数专门蒸馏的模型。我们正在探索 step distillation,目标是在不产生明显质量损失的前提下降低推理成本,也在评估 4-NFE 或 8-NFE 版本,但暂时无法承诺近期发布。
Q:H3 为什么难以运行在普通 GPU 上?目前在做哪些优化工作?
H3 开放系统的部分约有 600 亿参数,包括 text encoder 和 DiT model。BF16 权重约需要 120 GB 内存,而多数消费级 GPU 只有 24 GB 或更少。
我们正在做的主要优化工作包括 quantization 和 offloading:前者用更低精度存储权重,减少内存占用和数据搬运;后者把当前计算所需的部分移动到 GPU,其余保留在系统内存中。我们同时发现,社区里已经有了很多在量化、加载和推理加速方面的工作流分享,欢迎大家继续探索。
可以先确认使用最新版本的 ComfyUI、官方 H3 workflow 和正确的 low-memory models。模型无法全部留在 VRAM 时,速度变慢是正常现象;ComfyUI 会在需要时搬运权重,实际速度还取决于系统内存和 PCIe 带宽,offloading 设置也可以带来速度与质量之间的平衡。
Regenerate-2K
与图像模型
Q:Regenerate-2K 会不会开源?它和普通超分有什么不同?
技术上,Regenerate-2K 是第二阶段条件生成模块,不是把已发布的 base checkpoint 再运行一遍的传统 upscaler。它使用更高目标分辨率下的专用 latent-space DiT checkpoint,将基础模型输出作为额外上下文,并结合部分高分辨率参考输入。目前可以先通过 API 使用,我们还在提升模块效率和生成质量,会在后续开源。
Q:未来是否会发布独立的图像模型?会怎样与 H3 配合?
我们计划开源一个同时支持 Text-to-Image 和通用图像编辑的统一模型,目前正在进一步完善和优化后训练阶段。这个模型与 H3 共享同一基础谱系,并会使用同一 VAE encoder;由于 temporal encoder 具有因果性,可以通过 weight slicing 获得 2D VAE encoder,同时配套专用的图像生成 VAE decoder。
把模型能力拓展为
可复用工作流
Q:是否会发布 Context-IR 的模板?还有哪些使用技巧?
我们发布过两份官方提示词指南,已经提供模板示例,也将这两份指南整合成了一个 GitHub Skill 并持续迭代。想获得最完整、原生的 Context-IR 体验,建议直接使用官方 API。
本地部署用户,T2V 是最容易上手的模式,因为只需要文本 prompt,H3 Context-IR API 则可以进一步增强用户的 prompt,帮助生成更好的视频。ComfyUI 用户可以从官方模板开始尝试构建,熟悉后再逐步加入参考图像、音频和镜头控制等功能。
Comfy 团队在直播中也给出了一些使用技巧。例如,输入音频参考时,如何让对白和画面更稳定?建议把输入音频作为 reference,同时在 prompt 中用引号写出角色需要说的对白,并放在对应镜头的描述中。这样通常能提升对白生成的稳定性和一致性。
而对于很多人提问的多镜头产品广告工作流,搭建的方法也并不复杂:可以用输入参数定义视频时长和镜头数量,例如 10 秒、5 个镜头,平均每个镜头约 2 秒;再通过 LLM prompt enhancer 生成预览 prompt,并传入多个参考画面。ComfyUI 模板库已经提供了相应的基础工作流,用户可以自行调整镜头、参考输入和提示词。
开源与协作
Q:MiniMax 在未来还会继续开源吗?对语音、音乐模型有没有后续的开源计划?如何确定优先级?
在 H3 发布后很短的时间里,开发社区已经有了不同量化版本、ComfyUI 适配和 MLX 等硬件支持。对 MiniMax 来说,这种快速迭代和探索,正是开放协作能够带来的价值。
我们的愿景是 Intelligence with Everyone,推动这一领域的发展是我们的核心使命之一。我们会持续认真思考,如何作出最有意义的贡献,同时密切关注社区反馈,并在共同前进的过程中保持开放。对于后续模型,我们当前的优先级仍然是,在实际可用、资源可接受的前提下持续提供更强的能力。