铃阅
❌

阅读视图

HySparse2:Xiaomi MiMo-V3 新架构预览

原创 小米大模型 2026-09-24 15:19 北京

面向长程多轮 AGENT,更少的 Prefill 计算,更小的 KV Cache,更精准的长上下文检索。

HySparse2 面向长程多轮 AGENT,更少的 Prefill 计算,更小的 KV Cache,更精准的长上下文检索。

从 Xiaomi MiMo-V2 系列开始,我们持续探索模型能力与计算效率的共同提升。MiMo-V2 系列采用的 Hybrid SWA 混合注意力架构,将全注意力(Full Attention)与滑动窗口注意力 (Sliding Window Attention)结合,在保持模型效果的同时,让训练和推理更加高效。

过去半年,我们持续推进强化学习(RL)技术的探索与试验,将积累的训练经验应用于近期发布的MiMo-V2.6 系列,推动模型能力显著提升。在持续推进 V2 系列的同时,面向 MiMo-V3 的新一代架构研究也一直在进行。此前公开的 HySparse,正是这条探索路线上的第一步。

今天,我们公开 MiMo-V3 的核心架构 HySparse2。在 HySparse 的基础上,它进一步升级了 KV 共享与稀疏选择机制,让模型更高效更精准地处理长上下文。

 01 Agent 的长程多轮任务需要怎样的注意力架构?

一次简短的工具调用,可能带回一整页网页、一份文件,或长长的执行日志。Agent 每向前一步,都要处理新的输入;随着任务推进,还要从不断增长的历史中,找准下一步需要的信息。

模型会把已读内容的表示保存在 KV Cache 中,供后续生成使用。读入新增内容并建立这些缓存的过程,称为 Prefill。在多轮 Agent 任务中,每次工具返回新信息,都需要再次处理新增输入。因此,新架构需要同时满足三个要求。

  • 高效读入  减少处理长输入所需的计算,让模型尽快进入下一轮生成。

  • 节省显存  降低 KV Cache 的占用,让不断增长的历史更容易保留。

  • 精准检索  从长历史中找出相关证据,精准跨轮次信息整合。

第一代 HySparse 已经迈出了一步。它用少量 Full Attention 层提供 KV Cache 和重要位置的选择结果,让后续 Sparse Attention 层直接复用,从而降低注意力计算与缓存开销。但在 HySparse 架构中,Prefill 仍然需要执行所有层;面对多轮、长距离的信息检索,块级选择也有进一步提升精度的空间。HySparse2 围绕这些问题,引入了两级 KV 共享、token 级稀疏选择,以及统一的局部信息访问方式。

 02 两级 KV 共享,让 KV Cache 更早就绪

借鉴 YOCO 的设计,HySparse2 将模型分成前后两部分。前半部分是 Self-Decoder,采用 Full Attention 与 SWA 的混合结构;后半部分是 Cross-Decoder,采用 Full Attention 与 Sparse Attention 的混合结构。

在这个基础上,KV 共享分为两个层次:KV Bridging 和 KV Reuse。

KV Bridging:跨前后两部分,提前构建 KV

后半部分的每个 Full Attention 层,都从前半部分对应 Full Attention 层的输入隐藏状态中,生成自己的 KV Cache。每个目标层保留独立的 K/V 投影,因此即使使用同一份源隐藏状态,也可以构建不同的 KV。

这样,后半部分 Full Attention 层的 KV 就不必等到输入逐层经过它们后才能得到。生成这些缓存所需的信息,在前半部分就已经具备。

KV Reuse:在同一 Hybrid Block 内,复用 KV 与选择结果

每个 Hybrid Block 由一层 Full Attention 和随后的多层 Sparse Attention 组成。Full Attention 在完成自身计算时,也根据注意力分数选出重要位置;后续稀疏层直接复用它的 KV Cache 和选择索引。

这保留了 HySparse 的核心设计:少量全注意力层提供全局信息与选择结果,多层稀疏注意力高效使用这些信息,无需额外训练一个独立的选择器。

  03 远处选得更细,近处始终可见

从「选一块」,到「选一个 token」

第一代 HySparse 采用块级稀疏选择。在长上下文中,为了选中一个重要 token,模型往往也会把它周围的一整块内容纳入计算。Agent 所需的线索可能分散在不同轮次的对话、工具结果和代码片段中。HySparse2 改为 token 级选择,让同样的注意力预算可以更精细地分配到这些位置。在相同全局 token 预算下,Token 级选择在 RULER-v2、多轮检索 MRCR-v2 和图推理 GraphWalks 上均获得提升,验证了更细粒度选择对这类任务的价值。

局部窗口保留,独立分支合并

全局检索之外,模型仍然需要稳定地看到最近的上下文。HySparse2 会强制选中最近的 128 个 token,再从窗口外选择 1,024 个全局 token。两部分共同读取 Full Attention 层提供的共享 KV Cache。

因此,稀疏层不再需要单独的 SWA 分支和局部 KV Cache。HySparse 中由独立分支承担的局部信息访问,在 HySparse2 中被合并到同一次稀疏注意力计算里。

这也解除了一项关键依赖:独立 SWA 分支的缓存原本来自该层自己的隐藏状态,构建它需要继续执行后半部分 Cross-Decoder 的计算。合并后,局部与全局信息都能使用在 Self-Decoder 阶段就已准备好的 KV。

局部信息仍然重要。HySparse2 的消融实验显示,强制局部窗口在多项长文任务上保持竞争力,部分指标也存在取舍;这一设计同时省去了独立 SWA 分支的投影参数与 KV Cache 开销,为 Prefill 提前退出创造了条件。

 04 Prefill 提前一半结束,减轻推理部署压力

两级 KV 共享与局部窗口的合并,使模型后半部分所需的全部 KV Cache 都能从前半部分的隐藏状态构建。完成 Self-Decoder 的计算和 KV Bridging 投影后,输入的 KV Cache 构建即可结束。

在 49 层的模型中,Prefill 只需执行前 25 层 Self-Decoder 以及桥接 KV 投影,其中只有一层 Full Attention。在 Prefill–Decode 分离部署时,Prefill 节点也只需部署这部分 Self-Decoder 网络,所需的模型权重存储接近减半。

这使优化从减少注意力计算,进一步延伸到缩短长输入经过模型的计算路径。生成阶段仍然保留完整网络,继续使用后半部分的全局检索与建模能力。

 05 更低的成本,更快的速度,更好的长文表现

我们在 80B-A3B MoE 模型上,使用相同的数据与训练流程,对比了 Hybrid SWA、HySparse 和 HySparse2。三者采用相同的MoE设计,不同的注意力设计,HySparse2 还使用了更紧凑的 MQA 配置。

百万 token 下,计算与缓存同时降低

在百万 token 的成本分析中,相对 Hybrid SWA,HySparse2 的 Prefill 计算量降至 1/5,KV Cache 从 12GB 降至 2.7 GB。相对第一代 HySparse,HySparse2 的 Prefill 计算量降至 1/3,KV Cache 从 6.7 GB 降至 2.7 GB。

长文检索与多轮上下文建模同步改善

预训练后,HySparse2 保持了大体相当的通用能力,长上下文表现更好。经过相同的轻量后训练后,在最高 256k 的评测范围内,HySparse2 在各项已测长度上都获得了更高的 MRCR-v2、RULER-v2 分数,以及更低的 AgentPPL、LongPPL。前两项考察长上下文中的检索与问答;后两项衡量模型对多轮 Agent 轨迹和依赖远距离信息的 token 的预测能力。相对第一代 HySparse,MRCR-v2 和 RULER-v2 在各报告长度上的平均分分别提高了 11.30 和 19.81 个百分点。

这些结果表明,更少的 KV Cache 与更短的 Prefill,可以与更好的长文检索共同实现。HySparse2 为多轮、长上下文 Agent 提供了更高效的架构基础。

 06 从读入到生成,让每一轮少一些等待

Agent 完成一项任务,需要不断读入信息、生成行动,再根据返回的结果继续推进。每一轮的效率,都影响着用户最终需要等待多久。

此前,MiMo-UltraSpeed通过模型与系统协同设计,采用了低比特量化,投机解码,MegaKernel 等技术,探索更快的 Decode;今天,HySparse2 进一步降低长上下文的 Prefill 与缓存开销。两项工作分别从输入处理和输出生成入手,推动模型更高效地完成任务。

面向 MiMo-V3,我们希望把这些探索结合起来,在持续提升模型智能的同时,为用户带来同等模型规模下更快的 Prefill 和 Decode,帮助用户更快地完成更复杂的任务。

跳转微信打开

  •  

Xiaomi MiMo-V2.6:扩展强化学习规模,迈向自我提升

原创 小米大模型 2026-09-22 04:18 北京

夫夷以近,则游者众;险以远,则至者少

今天,我们正式发布并开源 Xiaomi MiMo-V2.6 系列。这是我们探索 RSI(递归自我改进)路径的关键一步:以可验证的复杂任务为基础,规模化扩展强化学习(RL)算力,让模型在持续的探索与反馈中不断拓展智能边界。

夫夷以近,则游者众;险以远,则至者少。在一个智能容易被复制的时代,我们选择把算力投进真实环境,让模型在反馈中一次次试错、自己学会。这条路更慢,也更少被看见。MiMo-V2.6 这 6 天的 Live RL 训练,是我们在这条路上的一次公开跋涉;而这 6 天的背后,是长达半年的基础研究积累和工程试错。

MiMo-V2.6 系列包含 Pro 和 Flash 两个原生全模态模型。得益于 RL 算力的扩展,MiMo-V2.6-Pro 在 Artificial Analysis Intelligence Index(AA综合智能指数)中取得 46 分,超过 Kimi K3 和 Qwen3.8 Max,成为当前最强的开源模型;但与最强的闭源模型 Claude Fable 5.1 和 GPT-6 Astra 相比,仍有差距。

MiMo-V2.6 系列沿用 V2.5 系列的 API 定价。智能提升,价格不变,“智能-成本”的帕累托前沿由此再度向外推进。MiMo-V2.6-Pro 刷新了国产模型的性价比纪录:在同等智能水平下,价格仅为海外模型的 1/20 至 1/60。

 大规模扩展 RL 并全面开源

在 RL 训练阶段,MiMo-V2.6 可能是目前国产开源模型中投入算力最多的模型之一。经过大规模、多任务强化学习训练,MiMo-V2.6-Pro 在多数 Agent Benchmark 上取得了比肩 Claude Opus5 和 GPT-5.6 Sol 的效果,MiMo-V2.6-Flash 则全面超越 MiMo-V2.5-Pro。

整个过程中,我们攻克了 RL 训练中的基础研究与工程挑战,并通过 Live 分享正式实验历程。历时不到 6 天,MiMo-V2.6-Flash 与 MiMo-V2.6-Pro 训练成本分别约 85 万与 262 万美元,各完成 30 步,累计约 75 万条轨迹;训练任务平均通过率分别相对提升 25% 和 12%,样本外的长程软件工程评测基准 DeepSWE v1.1 分别提升约 17 分(48.8 → 65.68)和约 14 分(58.4 → 72.57),体现出 RL 较高的样本效率、持续改进能力和样本外的泛化能力。

本次训练主要从三个维度扩展 RL 算力:

  • 更大的 Batch 与更高吞吐:结合大 Batch 和全异步架构,单次更新使用 1,568 个样本,支持 1M 上下文长度训练,单步训练 Token 达 2.7~3.7B。

  • 更多任务与复杂环境:构建覆盖 Code、General、Visual、Cyber 等方向的多任务训练体系,并混合多个 Harness,促进不同能力维度协同提升。

  • 更大的 Grader 算力:通过 Group 内相对比较,为 Long-Horizon RL 任务提供更精准、多样的奖励信号,形成模型自我改进闭环,并引导模型以更短路径、更少 Token 完成任务。

随着训练规模扩大,我们冻结 MoE Router 以抑制专家负载漂移,并建立覆盖奖励设计、对抗性评测、异常检测和验证器交叉校验的 Reward Hacking 防线,提升训练稳定性与奖励可靠性。

为支撑大规模混合任务的智能体强化学习,我们设计统一的轨迹表示与惩罚机制来细化学习信号,支撑多种智能体框架的高并发交互,解耦控制面与数据面以支持海量轨迹的迁移,在混合批次中稳定各任务的样本配比,并优化训练与推理引擎的效率及它们的一致性。

我们已开源上述技术成果及配套资源,帮助更多研究者复现和验证相关结果,共同探索规模化 RL 与模型自我改进的更多可能。

 从 Vibe Coding 到 Vibe World

MiMo-V2.6 融合了 3D 空间推理、多模态感知与计算机操作(CUA)能力,进一步拓展了编程所能触及的边界,它可以将自然语言驱动的编程任务拓展为面向交互世界构建的“Vibe World”。

3D 开放世界游戏

在游戏开发中,用户输入图片、视频或文字后,MiMo-V2.6 会将需求拆解为多个任务,由多智能体协作完成游戏 3D 场景搭建、交互逻辑编写与视觉验证,并根据渲染结果不断修正,最终生成符合用户意图的可运行交互世界。

Blender 3D 建模

MiMo-V2.6 能够根据用户的文字描述或参考图片,在 Blender 中完成物体与场景的三维建模,生成可用于动画制作、3D 打印与游戏开发的 3D 资产。

具身智能

在具身仿真环境中,MiMo-V2.6 可以直接以多视角相机画面为输入,持续进行推理与决策,并通过视觉反馈闭环控制 Franka Panda 机械臂,完成物体抓取、颜色匹配与精准放置。

Computer Use Agent

MiMo-V2.6 进一步拓展了 Computer Use 能力,将多模态感知与原生训练的行动能力相结合。它可以理解复杂的图形界面,使用常见办公与生产力工具,完成信息检索、编辑和数据处理等任务,并根据视觉反馈检查结果、排查问题、调整后续行动。

 推动前沿科学研究 

未经针对科研任务的专项强化学习训练,MiMo-V2.6 已在多个研究领域展现出应用潜力。从材料设计到数学形式化,以下案例展示了模型如何将推理、编程与工具使用能力应用于具体科研任务。

材料科研的 Co-Scientist

MiMo-V2.6-Pro 协助研究人员完成材料设计与计算筛选。在小米前沿材料研究团队的多轮提示与交互下,它提出了数种金属有机框架(MOF)材料的设计方案,目标是吸附被称为“永久性污染物”的全氟和多氟烷基物质(PFAS)。在这一过程中,模型检索并梳理相关文献与专利,提出研究假设,并评估设计方案的新颖性。

随后,它进一步开展了“干实验” :即调用开源计算工具,自动搭建模拟环境,计算设计出的 MOF 材料与 PFAS 之间的结合强度,从中筛选出最有潜力的候选材料,以供后续“湿实验”验证。

形式化数学证明

MiMo-V2.6-Pro 协助研究员,在 Lean 4 中完成了 Li–Yorke 经典论文《周期三蕴含混沌》原始主定理的完整形式化。该定理揭示:对于连续的区间自映射,一个三周期轨道的存在,就足以推出所有正整数周期的轨道,以及一个不可数的混沌集。

在研究员设计的探索策略引导下,MiMo-V2.6-Pro 通过 Subagent 协作推进了定理叙述与证明的形式化。经后续修订与整合,项目最终形成了 6000 余行 Lean 源码,完整证明通过 Lean 内核核验,无未完成证明占位。模型未接受过针对 Lean 的专项后训练,这一案例展示了其参与复杂形式化证明任务的能力。

 代码驱动的内容创作与审美表现

MiMo-V2.6 系列大幅提升了模型创建精美数字产品的能力,涵盖包括前端网页、Figma 设计稿、幻灯片、SVG、视频、音乐等在内的方方面面。在设计评测榜单 Design Arena 上,MiMo-V2.6-Pro 取得了与 Claude Opus 5、 GPT-5.6 Sol 相近的水平。

前端 & PPT 的审美表现

MiMo-V2.6 可以将简单的指令转化为完整的前端界面和 PPT,生成结构化的布局并精心设计美观的组件、交互元素和丰富的动画效果。还熟练运用 Figma 和图像/视频生成工具,制作符合整体风格的视觉素材,在字体、配色和图文编排上保持协调,兼顾审美表现与阅读、交互体验。

视频创作

MiMo-V2.6 能够端到端完成高质量视频创作。在创意与产品宣传视频中,MiMo-V2.6 可根据用户需求完成视觉设计、镜头与动效编排、配乐合成及节奏卡点;在科普视频中,它能将傅里叶分解(Fourier Decomposition)、凸包(Convex Hull)等抽象概念转化为通俗解说与连贯动画,并调用 MiMo-V2.5-TTS 合成旁白,与画面精准对齐,从而将复杂知识转化为观众可轻松理解的生动内容,实现从概念拆解到成片输出的全流程自动化。

音乐创作

在 MiMo-V2.6 中,我们进一步强化了模型的音乐理解、审美判断与知识运用能力,探索模型在音乐创作中的应用。它已展现出创作 Demo 级音乐作品的能力,以及辅助专业作曲与编曲人员开展创作的潜力。

在这一案例中,MiMo-V2.6-Pro 根据要求创作了一首包含约十种乐器的管弦乐作品,完成乐谱生成后,自主将其转换为 MIDI。作品体现了模型对不同乐器分工与配器关系的理解,也展示了它将音乐知识用于旋律创作和整体编排的能力。

 开始使用

使用 Xiaomi MiMo Desktop 桌面客户端

随着新模型发布,MiMo Desktop 桌面客户端及会员订阅方案同步上线,欢迎通过下方链接下载体验。订阅会员即可使用 MiMo-V2.6-Pro 和 Flash 模型,也可配置自己的 API Key 使用客户端。

🔗: https://mimo.xiaomimimo.com/desktop

MiMo Desktop 同步上线 MiMo-V2.6-Pro 的 UltraSpeed 超高速模式,提供最高 20 倍的输出速度,满足强实时交互与对响应速度敏感的场景。

原邀测活动将在 1 周后结束,已获得邀测资格的用户切换模型名称后方可继续使用。

接入 Xiaomi MiMo API

同时,MiMo-V2.6 系列已上线 Xiaomi MiMo 开放平台,API 价格维持不变。

MiMo-V2.6-Pro 同样于开放平台提供 UltraSpeed 超高速模式可选,提供最高 20 倍的输出速度。

模型定价如下:

 全面开源

我们全面开源 MiMo-V2.6-Pro、Flash 模型权重与技术报告,同步开放 MiMo-V2.6-Distill-Qwen-9B 及配套 RL 研究资源,分享经过验证的训练实践,以下是详细开源内容:

  • 7k+ 高质量 RL 任务环境: 覆盖软件工程、漏洞复现、知识型工作、网页设计开发四类智能体任务。以 MiMo-V2.6-Distill-Qwen-9B 为起点展开 RL 训练,在 11 项评测中均较 SFT 基线取得提升:SWE-bench Verified 从 61.1 提升至 66.2,MiMo Cyber Bench 从 31.3 提升至 47.0,Terminal Bench 2.1 从 37.1 提升至 52.8,MiMo Visual Coding 从 64.0 提升至 72.4;

  • 端到端 RL 训练框架:基于 verl、uni-agent 和 mini-swe-agent,覆盖环境交互、轨迹采集、奖励评估与策略优化的完整训练流程。结合开放的模型与任务环境,支持社区围绕训练算法、奖励机制和 Agent Harness 开展研究与迭代;

  • 轻量可组合的 Harness: 开源极简 mini-harnesses,将系统提示、工具与上下文管理解耦,构建多样且可控的训练配置。通过 Multi-Harness Training,能够将多样性和整洁性纳入 RL 训练,提升模型在不同框架、包括未见框架上的泛化能力,支持社区自由组合框架组件、拓展训练配置,持续探索新的研究方向。

我们希望这次分享能为社区持续探索强化学习算法与智能体机制提供共同基础,推动 Agentic RL 研究不断向前。

开源链接:

https://huggingface.co/collections/XiaomiMiMo/mimo-v26

跳转微信打开

  •  

Xiaomi MiMo 桌面客户端开放邀测

原创 小米大模型 2026-09-08 14:55 北京

Xiaomi MiMo 新一代模型 Preview 版免费体验

今天,Xiaomi MiMo Desktop 桌面客户端(以下简称:MiMo Desktop)携全新一代模型 Preview 版,正式开放邀测。

MiMo Desktop 是一款面向真实工作场景的桌面 AI 应用:接收多格式素材输入,理解目标,拆解任务,调用工具,交付高可用度成果,并支持实时预览与修改。我们希望通过真实任务,验证它在长链路执行、工具调用、交付质量和使用体验上的边界,并据此持续迭代。

申请链接:

https://mimo.xiaomimimo.com/desktop/invite/

通过申请后,你可以在邀测期间限时、限量、免费体验两款 Xiaomi MiMo 新一代模型 Preview 版( 代号:MiMo-X-Pro-Preview、MiMo-X-Flash-Preview )。

 01 从回答问题到交付成果

真实工作很少从一个干净的提示词开始。表格、图片、视频、PDF、录音,乃至未解压的压缩包,往往同时构成任务的上下文。MiMo Desktop 可以直接读取这些素材,无需预先整理或转换格式。

用户只需用自然语言说明目标,MiMo Desktop 会理解素材、拆解任务、并调用工具执行,并最终交付可继续编辑的成果:文档、表格、幻灯片、网页、图片、音频、视频,甚至是 3D 模型、App 或软件工程项目。

例:PPT 工作流:混合素材输入 → 事实与数据梳理 → 叙事结构设计 → 图表与版式生成 → 交付可继续修改的 PPT

例:Figma工作流:自然语言输入 → 理解任务 → 规划工作流 → 调用 MCP 控制 Figma → 实时生成设计元素 → 交付成果

 02 可直接交互的预览界面

MiMo Desktop 的“成果预览”并非静态截图,而是包含组件结构、交互逻辑、状态变化和数据可视化的完整页面,并支持直接在会话中展示。用户看到的是可以点击、操作和继续修改的成果。

生成轻量游戏原型、复杂数据网页、Office 文件,以及需要动态交互的 Demo 时,成果可立即预览、提问并继续迭代,无需预先搭建本地前端环境。

3D 交互式网页

Prompt:帮我建一个城堡、摩天轮和旋转木马,周围是极光,城堡可以变换灯光秀,放在一个 html 里面,要非常的有审美、高级,

3D 游戏

Prompt:使用 three.js 做一个 SnowRunner 风格的足球游戏,主角是越野卡车,在泥地里踢足球,有跳跃、加速等特技动作

高阶 PPT

Prompt:做一个好看的介绍意大利 PPT,图文并茂,具有高级感,有意大利风

图文调研报告

Prompt:深度调研徽派建筑这个建筑风格的历史、结构与空间特征,并产出完整调研报告,需要结构清晰有深度、图文并茂

 03 在成果上继续工作

交付不是会话的终点。用户可以直接选中会话或产物的任意元素、文本段落、图表或表格区域,用自然语言描述下一步工作或修改要求。选区会限定作用范围,MiMo Desktop 只处理用户希望修改的部分,不必重新生成完整成果,也不必重复交代任务背景。

每次修改都会保留版本记录。用户可以比较不同方案,也可以随时回退历史版本。

例:在 PPT 中局部修改:选中范围→ 描述修改意见 → 局部实时重生成

 04 Smart 调度:为任务匹配合适的执行路径

用户无需在开始任务前先判断该选用哪个模型、哪个 Agent,或哪套执行框架。MiMo Desktop 内置 「Smart」调度模式,可自动评估任务类型、复杂程度、交付要求和执行成本,再自动匹配最适合当前任务的执行路径。

  • 任务评估:识别任务属于办公、编程、研究、设计还是混合场景,并判断所需推理深度、工具范围和交付标准。

  • 模型路由:在标准模型与旗舰模型之间动态选择。日常任务优先标准模型、速度快、成本低;复杂推理、长链路执行和高质量交付使用旗舰模型、产出质量更高。可用模型型号以当前版本为准。

  • Harness/Agent/Skill 路由:根据任务类型选择办公、代码或研究 Harness/Agent;大型任务可拆分给多个 Agent,分别负责调研、规划、执行和复核,并在执行过程中自动调用不同 Skill 以拓展能力、满足交付质量。

  • 多会话协同:可按需组成多角色会话团队。多会话之间可自动相互通信、彼此协作,每个会话在推进项目的过程中,都有独立的记忆、工作区和任务状态。

「Smart」调度可最大化节省用户心智,自动在质量、速度和成本之间做出最优选择。

 05 浏览器操控:既是信息入口,也是执行环境

MiMo Desktop 可以自主控制电脑浏览器,读取浏览页面、执行交互操作,包括打开网页、检索信息、填写表单和提取素材。浏览器不只是信息来源,也作为任务执行环境的一部分。

从浏览器中获得的信息可直接进入当前任务,用于调研、分析、整理和内容制作,最大化节省用户自行检索和跨应用传递内容的时间。生成网页类成果时,MiMo Desktop 也可以在同一工作流中用浏览器检查关键交互,自动验证成果。

 06 让长任务成本可控

长任务不仅要高质量完成,更要控制计算成本。MiMo Desktop 通过模型路由、局部编辑和上下文缓存机制的优化,减少不必要成本支出。

「Smart」调度按任务复杂度选择合适模型;局部编辑只处理与重新生成需要修改的内容;高缓存命中优化最大程度减少缓存部分的重复计算量。三种机制结合,分别降低模型选择、变更范围和重复上下文计算带来的 Token 消耗。

在长任务实际测试中,同会话的缓存命中率最高可达 99%,跨会话最高可达 95%,帮助用户最大化控制任务成本。

 新模型抢先体验

邀测期间,通过申请的用户可以在 MiMo Desktop 限时、限量、免费体验两款 Xiaomi MiMo 全新一代模型 Preview 版,代号:

  • MiMo-X-Pro-Preview

  • MiMo-X-Flash-Preview

MiMo-X 系列模型面向真实专业工作场景优化,重点覆盖复杂任务推理、多 Agent 协作、大型编程项目、Office、网页设计、前端与交互设计、视频剪辑、3D 生成、音乐生成、电脑操控等。

MiMo-X 系列目前仍处于预览测试阶段,能力表现可能随版本迭代变化。用户基于实际任务的反馈将用于后续评估与改进。

如何加入邀测

访问下列页面并提交申请。审核通过后,即可下载和使用 MiMo Desktop:

https://mimo.xiaomimimo.com/desktop/invite/

本次邀测将优先面向 Xiaomi MiMo 开放平台已有用户开放。

 写在最后

我们相信——AGI 的意义,不止于理解世界,更在于帮助每个人创造世界。

MiMo Desktop 正是我们迈入真实工作流,帮助用户将想法转化为高质量成果的第一步。

欢迎申请参与邀测,并用真实任务告诉我们:它已经能够完成什么,还有哪些地方需要改进。

跳转微信打开

  •  

Xiaomi MiMo Claw 正式版|旗舰模型+金山办公,全新订阅服务上线

原创 小米大模型 2026-06-16 21:33 北京

旗舰模型,高效 Agent

Xiaomi MiMo Claw 是一款云端轻量化 Claw 类产品,让用户低门槛快速体验 MiMo 模型与 Agent 能力。正式版现已发布,搭载与 OpenClaw 框架官方深度适配的 MiMo-V2.5-Pro 旗舰模型。

本次联动金山办公生态,推出全链路文档办公提效方案;新增多项 OpenClaw 核心便捷能力;同时升级免费用户权益,单次体验时长 1h → 4h/天,并面向高频、专业用户上线 TokenPlan 分层订阅,满足不同使用需求。

 能力升级

1. MiMo 旗舰模型赋能,Agent 能力跨越式升级

  • 原生协议兼容:MiMo-V2.5-Pro为 OpenClaw 官方预置模型,原生适配 MCP 工具调用协议,内置技能语义解析能力,无需额外配置提示词工程。

  • 百万级超长上下文:搭载超长上下文记忆调度架构,适配长链路复杂任务,支持单会话千次以上连续工具调用,有效减少多步骤任务上下文丢失、逻辑断裂问题。

  • MTP三层解码架构:依托 MTP 三层解码技术,在 OpenClaw 标准 Agent 工作流测试中,全链路任务推理吞吐效率提升约 3 倍,实现框架专属性能优化。

2. 联动金山办公,实现办公文档一站式闭环

  • 多格式兼容:支持 Word、Excel、PPT、PDF 四大主流,超 95% 文档类型,覆盖学习、职场、统计多场景

  • 全流程闭环服务:打通 AI 智能生成、高清在线预览、实时在线编辑全链路,无三方平台跳转,一站式办公提效。

  • 轻量化高效使用:支持自定义指令创作,也可依托内置模板,一键生成标准化文档。

3. 算力效率升级,Token 成本可控

在 ClawEval 基准测试中,MiMo-V2.5-Pro模型任务达标率(Pass³)达 63.8%,依托其优异的 Token 利用效率,同等任务效果下,MiMo Claw 的 Token 消耗较其他同类产品降低约 40%-60%。同时 MiMo Claw 兼容 TokenPlan 各梯度订阅,提供强有力算力保障。

4. 云端免部署,7×24h 专属服务

  • MiMo Claw 采用全云端托管模式,无需本地环境配置、不占用本地设备资源。专属个人 Agent 助力全天候在线,支持后台任务续跑、智能自主纠错,减少本地设备故障导致的任务中断问题。

  • 集成多渠道消息对接、文件管理、多任务并行、异常修复等实用功能,有效降低普通用户使用 AI Agent 的操作门槛。

    Xiaomi MiMo Claw × 金山办公 功能示例

 用户权益

1. 免费用户权益升级

  • 创建即可免费使用,免费用户每日单次体验时长升级至 4 小时

  • 开放全部核心功能,功能配置贴合日常 Agent 使用场景,可满足日常轻度办公使用需求。

2. 过往用户权益兼顾

  • 叠加升级规则:支持在原有 TokenPlan 套餐基础上自由加购 MiMo Claw 权益;套餐升级时,各项权益、费用独立核算,订单生效后统一重置月度/年度有效期。

  • 权益取消规则:已叠加 Claw 权益的套餐支持取消服务,平台将按照未使用时间折算剩余价值。

  • 历史活动额度通用:过往 100T 专项活动、订阅调价活动等渠道赠送额度,均可正常使用。

Xiaomi MiMo Claw 免费版 网页生成效果

 订阅服务

如果您有更高频使用及高峰算力保障诉求,我们推出了 TokenPlan 分层订阅服务:

1. 全套餐适配,支持灵活叠加

  • MiMo Claw 作为独立 Agent 服务,可灵活叠加至 TokenPlan 所有月度、年度套餐(Lite / Standard / Pro / Max)。直接叠加 MiMo Claw 服务开通即可使用,尽可能兼容存量用户权益。

2. 双订阅入口,自主灵活选购

为提升订阅灵活性,平台开放双独立购买入口:

  • TokenPlan 入口:在 MiMo Platform 订阅 TokenPlan 套餐时,可自主勾选 MiMo Claw 服务,一键叠加开通,算力额度及高阶 Agent 权益即时生效。

  • Claw 专属入口:在 MiMo Studio 订阅 TokenPlan 套餐,默认自动包含 MiMo Claw 服务,不同订阅档位对应固定服务定价。

3. 限时订阅定价

为回馈新老用户,MiMo Claw 月度、年度订阅现已开启限时特惠活动。

  • 首次特惠:¥ 14.9/月

  • 限时优惠:¥ 19.9/月、¥ 233.8/年

备注:海外订阅服务暂未开放,敬请期待。

跳转微信打开

  •  

MiMo Code 发布并开源|模型 Agent 协同优化,迈向自进化时代

原创 小米大模型 2026-06-11 02:06 北京

始于编程,远不止于编程

今天,我们正式发布并开源 MiMoCode V0.1.0—— 一款运行在终端里的探索性 AI 编程助手。

MiMo Code 始于编程,不止于编程。它不只是一个好用的 AI Coding 工具,更是一位住在你电脑里、越用越懂你的 AI 队友。

它内置限时免费的顶级多模态模型 MiMo-V2.5,性能比肩 Claude Sonnet 4.6;同时支持接入 DeepSeek、Kimi 和 GLM 等主流模型,以及第三方 Token Plan,满足不同开发者的需求。

MiMo Code 基于开源项目 OpenCode 二次开发,发布并开源,采用 MIT协议。

 核心能力

持久记忆系统 + 无限上下文:从根上解决“AI健忘”

MiMo Code 内置独创的持久记忆系统,用项目记忆、会话检查点、任务进度三重机制,解决长会话“越用越忘”的难题。即使上百轮的长程会话,也能保持输出质量、不丢关键信息。

主流 Code Agent(Claude Code、Codex 等)多是“让 AI 自己记笔记”,但模型不会主动触发,记不记、何时记全靠它自觉。所以我们换了个思路:让主 agent 专心干活,记录完全外包 —— 由独立 subagent 自动保存状态,窗口快满时重建一份干净简报,主 agent 接着干而非从零开始。

一句话:不赌模型自觉,用工程把它兜住。

模型 Agent 协同优化 + 独创 Compose 模式

大多数 Coding Agent 的工作方式是「拿到需求就埋头写代码」,像一个不看导航就上路的司机——看似高效,实则容易跑偏。

但模型并非千篇一律:不同模型各有自己的"性格"与"禀赋",与不同的 Agent 框架之间也存在天然的"适配度"高低。把模型和框架简单拼在一起,往往发挥不出真正实力。

MiMo Code 为 MiMo 系列模型量身打造了一套专属的 Harness 系统,让模型的能力与框架深度配合;再配合独创的 Compose 模式,实现 1+1>2 的协同效果。

使用时,只需按 Tab 键切换到 Compose 模式,给它一个简单的想法,它就能自动完成设计、规划、编码、测试、审查的全流程,最终交付一套工业级的成品。

实测对比

我们给两个工具下了同样的指令:

「帮我用 golang 实现一个 redis,需要支持用 redis-cli 连接。」

Claude Code 出手很快,代码很快就跑了出来——但几乎没有配套测试,功能能用却不够扎实,后续返工的风险不小。

MiMoCode 用 Compose 模式,前期花了更多时间做规划,看起来“慢”了一截;但落到结果上,它实现了更丰富的功能,并配上了完整、详尽的测试,真正体现出工业级代码该有的样子。

有意思的是,算总账反而是 MiMoCode 更快:它把时间花在前期想清楚、后期验得稳上——慢写、快验,整体体验更省心。

Dream:记忆沉淀,越用越懂你

MiMoCode 内置了一个独特的 /dream命令。每 7 天自动触发,由独立 Agent 读取历史会话和现有记忆文件,执行合并、去重、验证路径有效性和压缩,将分散的记忆收敛为一份紧凑的当前状态,并更新全局记忆。

到了下次使用,它会在合适的时机自动调用这些记忆。这意味着 MiMo Code 不会每次都从零开始,而是带着对你和你项目的理解持续成长——真正做到越用越顺手。

支持语音输入:“君子动口不动手”

MiMo Code 内置了语音输入与控制功能,背后是 MiMo-V2.5-ASR 的强大语音识别能力加持。动动嘴,活就干了。

它能做的不只是“念出 prompt”:你可以口头修改写错的指令,也可以直接发出“发送”“执行”这类操作命令——从输入到操控,全程不用碰键盘,效率自然又上一个台阶。

 用数据说话:同模型,更强表现

在两个面向真实编程场景的权威测试集 SWE-Bench 和 Terminal Bench 上,我们做了一组对照实验:让 MiMo Code 与 Claude Code 使用同一个 MiMo 模型,只比拼各自的 Agent 系统本身。

结果显示,MiMo Code 在 SWE-Bench Pro 上达到 62%(Claude Code 为 57%),在 Terminal Bench 2 上达到 73%(Claude Code 为 68%)—— 在模型完全相同的前提下,MiMo Code 凭借专属 Harness 与 Compose 模式的协同,拿到了较优的分数。

 如何使用:零配置起步,开箱即用

安装与启动:打开终端

装好后,终端输入 mimo即可启动。为了获得最佳体验,强烈推荐 Mac用户在 iTerm 中或者 vscode 终端中使用。

  • 模型配置

    • 内置 MiMo-V2.5 限时免费通道,无需注册即可使用

    • 兼容 DeepSeek / Kimi / GLM 等主流模型 API,及第三方 Token Plan

  • 使用:

    • 输入 / 查看各项配置

    • 所有设置项全面中文汉化,本地友好

    • TUI 页面右侧常驻状态看板,随时观察工作进度

更多技术细节,欢迎关注我们的团队 Blog:https://mimo.xiaomi.com/mimocode

 开源与展望

MiMo Code 发布并开源,采用宽松的 MIT 协议——这意味着它对几乎所有人都敞开:

  • 个人开发者可以自由使用、修改、分发,想怎么折腾都行;

  • 企业可以把它集成进自己的开发工具链,无需担心授权束缚;

  • 社区可以基于它打造垂直领域的编程助手,长出更多可能。

我们相信,一个好工具的价值不止于“能用”,更在于它能被多少人共同打磨、走向何方。期待与你一起,把 MiMo Code 变得更好。

跳转微信打开

  •  

Xiaomi MiMo 携手 TileRT|1T 模型首次突破 1000 tokens/s 输出速度

原创 小米大模型 2026-06-09 11:32 北京

天下武功,唯快不破

 Xiaomi MiMo-V2.5-Pro-UltraSpeed:天下武功,唯快不破

从内燃机时代的第一辆跑车,到突破音障的超音速飞行,人类对速度的渴望,刻在基因里。

AI 推理的速度,同样决定了智能的边界。当模型足够快,它不再只是一个"等待出结果"的工具,而是成为你思维的延伸——实时响应、即时迭代、无缝协作。

今天,MiMo × TileRT 联合发布:Xiaomi MiMo-V2.5-Pro 的 UltraSpeed 模式,让万亿参数的旗舰模型输出速度首次突破 1000 tokens/s。

1000 tokens/s 到底有多快:

 限时开放 · 申请制体验

MiMo-V2.5-Pro-UltraSpeed API 同步上线,采用限时体验价,定价为 MiMo-V2.5-Pro 的 3 倍,同时提供输出速度的约 10 倍提升!3 倍价格提升,10 倍输出体验。(仅支持 API 体验,暂不支持 Token Plan)

本次 MiMo-V2.5-Pro-UltraSpeed 采取申请制限时开放,申请通过的用户可限时接入 API 体验,时间限 2026 年 6 月 9 日 至 6 月 23 日 23:59。

昨晚 MiMo-V2.5-Pro-UltraSpeed 在 X(Twitter)平台发布后的 12 小时内,有超过 3000 家企业及其开发者申请了 UltraSpeed API 的试用名额,行业类别涵盖法律、金融、酒店、通信、物流、互联网、文化传媒、汽车制造等。

👉 申请入口:https://platform.xiaomimimo.com/ultraspeed

由于推理资源紧张,本次试用名额有限,提交申请后不承诺审核时效性和审核通过率;我们将优先审核具备真实业务需求的企业与专业开发者场景,如有 UltraSpeed 相关的大规模商用需求,欢迎联系 business-mimo@xiaomi.com。

💬 Chat 体验(限时免费)

通过审核的用户也可获得限时免费的 Chat 体验(两周开放窗口内有效),体验入口:https://ultraspeed.xiaomimimo.com

为保障资源受限条件下的体验质量与使用公平性,试用服务规则如下:每个账号每日最多成功进入队列 10 次;单次会话时长上限 30 分钟;如会话空闲超过 5 分钟,系统将自动释放资源。

 1000 tokens/s,不仅是快,更是范式的质变

在万亿参数(1T)的尺度上,突破 1000 tps 绝不仅仅是打字机变快了,它带来的是 AI 应用范式的底层颠覆。

首先,速度本身开始转化为智能。过去面对难题你只能“等一个答案并祈祷它是对的”;现在在相同的等待时间内,模型能并行跑数十条推理路径(Best-of-N/Tree Search),在后台自动验证纠错,用“快”衍生出思考的深度,直接提升推理质量。

其次,它彻底解放了 Coding Agent 的生产力极限。以前让 AI 写代码,受限于推理速度,开发者往往需要坐在屏幕前痛苦地等待。而 1000 tps 的极速推理,带来了颠覆性的代码编写速度与生产效率狂飙。

最重要的是,万亿模型开始进入实时决策闭环。毫秒级的“思考-响应”循环,让 1T 旗舰模型能够毫无阻碍地接入那些对时间极度敏感的场景——高频量化交易信号生成、瞬时反欺诈风控拦截、智能竞价以及实时交互对话。

而当这种力量被注入到手术辅助、医疗影像分析等生命垂危的场景时,AI的速度,就不再只是衡量效率的指标,而是与死神赛跑的筹码。在手术台上,AI 每提前一秒完成病灶分析与风险预判,留给医生的处置空间就多一分。这让我们深信,速度的终极意义绝非只是提高生产力,而是让技术为人类提供更好的生活。

 模型与系统的极致 Codesign

实现 1T 旗舰模型突破 1000 tokens/s 的输出速度,不是单一技术的突破,而是 MiMo 模型与 TileRT 系统团队深度协作,极致 Codesign 的成果。当前业界在追求类似极致速度时,往往选择走专用硬件路线,例如 Cerebras 的晶圆级集成(Wafer-Scale)或 Groq 基于纯片上 SRAM 的定制芯片架构。而我们选择了在通用 GPU上,通过模型-系统协同设计便实现了更惊人的推理速度。

模型侧针对通用硬件的带宽瓶颈,进行了 FP4 量化,大幅缩减模型体积并减少访存开销;同时引入基于块级 masked 并行预测的高效推测解码 DFlash,大幅提升单次验证的 Token 接受长度。系统侧 TileRT 完美适配算法的动态特性,为全新的量化和推测解码流程量身定制专项优化的编译引擎与计算核。正是凭借这种极致的 Codesign,我们仅用一个标准的 8 卡通用 GPU 节点,便让 1T 模型突破了 1000 tokens/s 的输出速度。 

FP4量化

在万亿参数(1T)的尺度上,传统的 8 比特(如 FP8/INT8)甚至 16 比特推理,会带来极其恐怖的显存占用和内存带宽压力。降低参数的比特位宽,可以直接贡献于解码输出速度。因此,我们采用了业界较为通用且验证过几乎无损的 FP4(MXFP4[1])量化。

然而,如果对整个模型“一刀切”地进行 FP4 量化,模型在复杂推理、逻辑代码上的精度和泛化能力往往会遭遇退化。针对 Xiaomi MiMo-V2.5-Pro 典型的 MoE(Mixture of Experts)架构特性,其 Expert 占据了参数的绝大部分,且对量化的精度容忍度最高。因此,我们选择只对 MoE Expert 进行参数 FP4 量化,而对其他模块则保留原有精度。通过这样的 FP4 QAT(量化感知训练),我们在大幅缩减模型体积、榨干硬件带宽的同时,使模型的整体能力与原模型基本持平。如下图所示:

[FP4 vs FP8 模型对比]

DFlash 投机解码

传统的 Speculative Decoding 依赖一个小型 draft 模型来"猜测"后续 tokens,再由大模型验证。这种方法将每次 forward 产出 1 个 token 的自回归生成转换为了多个 token 的并行生成,且大模型验证过程的拒绝采样机制保证了输出质量无损。但是,它的瓶颈在于 draft 模型的质量决定了接受率,而更强的 draft 模型又带来更高的计算开销,两者难以兼得。

为了打破这一僵局,我们采用了学术界创新的 DFlash 块级 masked 并行预测方法[2]:draft 模型在一次前向中同时填出一整块 mask 位置,从根源上解除了"draft 自回归"的串行约束。

我们在 MiMo-V2.5-Pro 上落地了这条路径并进行了定制优化,面向万亿 MoE 与长上下文场景,通过 Muon 二阶优化器与模型自蒸馏保证较小 mask 块仍能够提供理想接受率的同时把 draft 阶段的开销压缩到接近极限:

  • Draft 模型全部采用滑动窗口注意力机制(Sliding Window Attention,SWA),与 MiMo-V2 系列模型自身的 SWA 设计天然对齐。这使得 draft 不再依赖完整前缀,单次预测的算力从随上下文长度线性增长变为常数级。

  • 训练时 mask 信号采样下沉到 GPU 本地分片,使一条序列单步即可产出覆盖不同长度上下文位置的数万级独立训练信号,对齐 MiMo-V2 系列模型长上下文能力的同时避免跨设备通信开销。

效果上,我们的并行预测推测解码在多个 agent 和 coding 高价值场景实现了显著的接受长度提升,意味着大模型每次验证都能"一口气"确认更多内容;此外,我们将 mask 块大小限制为 8 以降低验证开销、提高并发水平,使得高接受长度直接转换为高推理吞吐:

[DFlash 在不同场景下的接受长度]

Coding 场景下可以达到平均 6.30 的接受长度,部分样本中达到了最高 7.14 的接受长度。意味着每轮验证的 8 个 draft token 中可吞下 6-7 个 token,draft 在维持轻量的同时把接受率推到了端到端真正受益的水平。我们也在发现,在语义更发散、不确定性更高的通用对话场景中,当前的接受率还并不高,我们正在持续优化算法,探索更高的泛化上限。

TileRT 超低延迟推理 Kernel/ 系统

如果说 MiMo 的算法重构为千亿与万亿模型卸下了沉重的带宽枷锁,那么 TileRT 推理系统则是直接将通用 GPU 的物理潜能压榨到了微秒级的绝对极限。

在 1000 tokens/s 的超高频运行状态下,单个算子的生命周期被压缩至微秒级,传统推理系统的“算子边界”成为了核心瓶颈——每一次算子启动、硬件同步和全局内存往返,都会在微秒尺度上将整条执行流打断,暴露出明显的“执行间隙(Execution Gap)”。

TileRT 的范式级执行模型变革作为超低延迟推理的底层基础设施,TileRT 引入了全新的执行模型,从根本上消灭了算子边界带来的执行间隙:

  • 常驻内核引擎(Persistent Engine Kernel):彻底摒弃传统的逐算子启动模式,让整个计算流水线常驻在 GPU 内部持续流转。这让系统获得了全链路持续预取的能力,在当前 Tile 仍在 Tensor Core 计算时,后续数据已沿着存储架构提前流动,实现数据搬运与计算的极致重叠。

  • 异构流水线协作(Warp Specialization):在 Tile 级别将通信、搬运和张量计算进行更精细的物理拆解。打破原有的同构串行步调,让不同的 Warp(线程束)甚至整张 GPU 的异构执行域各司其职、精密协作,将 GPU 彻底演化为一个持续流动、精密协作的异构执行系统。

微秒级尺度下的软硬件深度收敛(Codesign)当底层的执行模型将硬件性能推向极限时,纯粹的运行时(Runtime)优化开始触及物理局限。在此基础上,TileRT 系统团队与小米 MiMo 团队展开了深度的技术共创,打破了原有的软件分层藩篱。为了让模型行为完美契合这条超低延迟执行流水线的持续推进,模型层面最终采用了针对 MoE Expert 的 FP4 混合量化策略,并在万亿架构上落地了对齐 SWA 的 DFlash 投机解码。TileRT 紧密配合这些算法特征与量化方案,量身定制了底层的编译引擎与计算核,双方基于硬件物理限制做出了深刻的联合工程权衡,让执行压力最终在硬件边界内平稳闭环。

1000 tokens/s 的诞生,绝不是单点优化的巧合。它是高水平系统基础设施与极致算法模型向着彼此深度收敛、共同演化的必然结果。

TileRT 团队是聚焦于下一代 AI 基础设施、专注于极致低延迟推理的前沿系统架构团队。

团队致力于推动前沿大模型在生产环境中的毫秒级实时响应,以全新的运行时(Runtime)架构打破传统的存储与计算壁垒。团队推演并实现了全新的范式级执行模型。

通过常驻内核(Persistent kernels)、Tile 流水线(Tile pipelines)以及异构协同等底层技术的全栈突破,TileRT 在复杂的异构计算生态中实现了极致的算力释放。

作为核心基础设施的赋能者,团队积极携手行业顶尖伙伴开展软硬件协同设计(Co-design),为迈向极度渴望“极致速度”的自主智能(Autonomous)时代构筑高性能算力底座。

更多 TileRT 技术细节请阅读:https://www.tilert.ai/blog/breaking-1000-tps-zh.html

 更多效果展示

仅需 10 秒,做一个贪吃蛇小游戏

仅需 1 分钟,复刻一个 MacOS 系统

 开源与展望

MiMo × TileRT,模型与系统的极致 Co-design,让万亿参数模型实现 1000 TPS 的极致推理速度。

[1]https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf

[2]https://arxiv.org/abs/2602.06036

跳转微信打开

  •  

MiMo-V2.5 系列推理全链路优化:将 Hybrid SWA 效率推向极致

原创 小米大模型 2026-05-30 18:39 北京

MiMo V2.5 系列模型(包含 MiMo-V2.5、MiMo-V2.5-Pro等)融合了多个架构特点:Hybrid Sliding Window Attention(Hybrid SWA)通过混合窗口注意力将 KVCache 存储降至 Full Attention 的约 1/7;MoE 以稀疏激活在保持模型容量的同时降低单 token 计算成本;多模态 Encoder 支持视觉、音频、视频等跨模态理解。三者叠加,赋予 MiMo-V2.5 系列模型在长上下文与多模态场景下显著的效果与效率潜力。

从 MiMo-V2 模型设计之初,我们就有一个非常明确的目标:训练出一个在长文推理场景下既足够强、又足够高效的模型。但这两个目标在工程上天然存在张力。强推理能力意味着模型需要具备对长距离依赖关系的建模能力,而这通常对应着更大规模的注意力计算与更高昂的 KVCache 开销。在传统 Full Attention 架构中,Attention 的计算量与 KVCache 存储都会随上下文长度快速增长,使长上下文训练与推理的成本迅速变得不可接受。Hybrid SWA 的核心思想是在局部窗口注意力(Sliding Window Attention, SWA)与全局注意力(Full Attention)之间进行分层混合:绝大多数层仅计算局部窗口内的注意力,只有少量关键层保留全局视野。理论上,这种结构能够将 Attention 的计算复杂度压低到接近线性,同时依然维持对长程依赖关系的建模能力。

但理论上的架构优势,并不会天然转化为真实线上系统中的效率优势。一方面,Hybrid SWA 显著增加了 KVCache 缓存命中、前缀匹配以及 Full / SWA 双语义一致性维护的复杂度;另一方面,在真实工程系统中,多级存储的数据搬运、异步 prefetch 与调度不一致,分布式 cache 状态难以对齐,共同使理论收益难以直接兑现。

除了 Hybrid SWA,MoE 对分布式调度与负载均衡提出了更高要求;多模态 Encoder 在大图、长视频场景下的吞吐瓶颈同样亟待突破。此外,调度策略、Prefill / Decode 执行链路等通用环节的优化也不可或缺。本文记录的,正是围绕 MiMo-V2.5 系列模型的一次推理系统全链路工程化实践,覆盖 KVCache 管理、分级缓存系统、SWA 前缀缓存树、调度策略、Prefill / Decode 执行链路以及多模态优化,系统性地将架构的效率潜力(尤其是 Hybrid SWA)兑现到生产环境中。

一、Hybrid SWA 架构的推理效率优势

在具体讨论优化工作之前,有必要先量化 Hybrid SWA 的效率上界——这既是架构选择的出发点,也是后续所有系统优化的理论基准和理论上界。

1.1 计算量分析

以 MiMo-V2.5-Pro 为例,该模型共 70 层,其中 10 层为 Full Attention,其余 60 层为 SWA,并且SWA的滑动窗口大小是128。与Full Attention 相比,Hybrid SWA的计算量如图所示。SWA 层占比为 6/7,因此 Hybrid SWA架构的计算量约为Full Attention的 1/7。在 Chunk Prefill 场景中 Prefill 近似 compute-bound,该差距基本等价于 Prefill 成本的理论缩减。

1.2 KVCache 存储分析

由于 SWA 层仅需保留滑动窗口内 KV,无需存储全序列,因此 KVCache 占用同样下降至接近 1/7。Decode 阶段近似 memory-bandwidth-bound,其延迟正比于模型参数加 KVCache 的读取量。在长序列下,KVCache 的体积可能远超模型参数,因此 KVCache 存储的减少几乎直接等价于长序列场景下 decode 成本的降低。

不同模型架构的 KVCache 存储有很大差距,访存模式也存在差异,以下是对各个国产模型估算的 KVCache 大小,可以看出 MiMo-V2.5-Pro 和 MiMo-V2.5 在 KVCache 上位列国产模型第二,仅次于DeepSeek-V4-Pro 和 Flash。

需要注意,实际成本差异并不严格等价于 KVCache 规模比例,因为还存在与序列长度无关的固定计算与访存开销。但在长上下文场景下,整体趋势保持一致:短文性价比接近,序列越长推理成本优势越大。

二、KVCache 系统重构

MiMo-V2 和 MiMo-V2.5 系列作为较早采用 Hybrid SWA 架构的模型,但在当时,无论是主流开源推理框架还是缓存系统,对 SWA 的支持都并不完整。在 MiMo API 上线之初,我们选择了 SGLang v0.5.5 作为服务后端的 codebase,接下来马上就遇到一个严峻的考验,在当时的版本,SGLang 的 HiCache 不支持 SWA,或者说早期的 SWA 支持是以“存储 Full KVCache 的代价来兼容 SWA”的方式实现的。虽然有一些临时方案可以让 SWA 更加可用,但是我们还是希望做一套上限更高并且更好用的 KVCache 系统。

2.1 SWA KVCache 管理

KVCache 双池

Hybrid SWA 带来一个核心存储矛盾:Full Attention 层需要保留全序列 KV(O(N)),而 SWA 层仅需维护滑动窗口内 KV(O(W))。但在传统单一 KV pool 设计下,系统必须按 O(N) 为所有层统一分配显存,使 SWA 的窗口稀疏性无法被利用,实际存储效率退化为 Full KVCache 的近似实现。

为解决这一问题,一种很自然的想法是将 KVCache 拆分为 Full Attention 与 SWA 两个独立池,并在系统层进行统一抽象:

  • 物理层面:分别维护 Full KV pool 与 SWA KV pool,SWA pool 仅按窗口大小配置容量,并支持基于 window 的独立 eviction,从而将 SWA 存储严格限制在 O(W) 规模;该机制同样延伸至 L2 与 L3 存储层级。

  • 逻辑层面:对上层(前缀树、调度器与传输协议)仍暴露单一序列视图,由 Full Attention 索引作为权威索引,并维护 Full → SWA 的映射关系,实现透明分层存储。

  • 调度约束:系统在接入请求时同时校验 Full KV 与 SWA KV 的容量约束,避免单一维度的资源误判。

  • 数据搬运:跨层传输仅基于 SWA mask 进行,确保只搬运有效窗口内数据,避免冗余带宽占用。

通过上述设计,SWA KVCache 在系统层面实现严格 O(W) 存储约束,使整体 KVCache 容量效率提升约 7×,从而真正释放 Hybrid SWA 的结构优势。主流推理框架也都采用了类似的实现方案。

KVCache 按层异步拉取

在 SWA KVCache 存储优化实现后,SWA 层只需要 prefetch 极少量的 KVCache,这使得从 Host prefetch KVCache 到 Device 的过程通过 layerwise 粒度的调度就能实现完美的 overlap。从而在推理过程中对 Cache 读取的成本接近于0。

SWA-aware 前缀缓存树

传统 RadixAttention 的命中规则建立在一条朴素假设上:token 序列相等 → KV 也相等。这条假设在 Full Attention 模式下成立——只要两条请求共享同一段 token id,它们对应的 KV 就一定还在 pool 里,可以直接复用。

但在 SWA 模式下这条假设被打破了。原因在于:前缀树的逻辑生命周期,与 SWA KV 的物理生命周期并不一致。前缀树节点的长度并不受 SWA 窗口约束。一个节点的序列长度既可能短于窗口,也可能远长于窗口;而节点还会随着请求合并、分裂、移除不断变化。于是,一个前缀树节点虽然逻辑上仍代表一段完整 token 序列,但它对应的 SWA KV 可能只剩最后一部分,甚至已经完全不存在。如果前缀树仍按"token 相等就命中"的规则给出复用长度,调度器拿到的可能会是一段"尾部 KV 已蒸发"的伪命中——后续 attention 计算会读到无效或被覆盖的 slot,直接影响模型效果。

要让前缀复用在 SWA 模式下保持正确且高效,需要从三处改造前缀树的语义:

  1. 匹配规则升级为"窗口安全长度":除了 token 相等,还要保证尾部至少 W 个 token 在 SWA 池里仍有有效 slot。匹配长度被裁剪到这条新边界——越过它的部分按 miss 处理。这样保证命中段拿出来的 KV 一定都有效。

  2. 淘汰路径与请求生命周期绑定:长 prefill 的每个 chunk 完成、请求结束、decode 每生成一定数量 token,都触发一次窗口外 SWA 释放。这保证 SWA 池在长上下文 / 长输出任务中占用恒定在 W 或 chunk 量级,而不是随序列长度增长。

  3. 节点同时承载两套索引:每个前缀树节点要记录两份信息—— Full Attention 段索引(决定逻辑顺序、参与 Full Attention 层计算)和 SWA 段映射(决定窗口安全性)。淘汰时也要分别管理:可以单独淘汰窗口外的 SWA 段而保留 Full Attention 段(让前缀仍可被全 Full Attention 层复用),也可以整段淘汰。

SWA 把 KV 体积压到 1/7 是容量层面的收益,命中率则是复用层面的收益。两者乘起来才是 prefill 阶段实际计算成本的曲线。引入"窗口安全长度"匹配规则后,同样 token 容量的 KVCache 命中率理论上是小幅度下降的,但同样存储容量下的 token 数量达到数倍,实际命中率大幅度提升。

KVCache 命中率提升优化

HiCache 三级都改造为 SWA-aware 后,device、host、storage backend 端各自维护一套“哪些位置有有效 SWA”的状态,而 HiCache 的搬运链路是异步的、跨部署的 Cache 是各异的、跨 session 的共享前缀的长度也是各异的——这意味着各端的 Full Attention Cache、有效 SWA 索引很容易出现不一致的现象。根据 SWA-aware 前缀缓存树的匹配规则,如果一个序列在 Full Attention Cache 上能命中、但在 SWA Cache 上不能命中,会带来严重的匹配长度裁剪,裁剪得越多,需要重算的长度越长,SWA Cache 优化效果就越低。因此,我们针对不同场景做了分布式一致性和缓存命中率的优化:

  • Device 端完备,host 端空缺:当 L3→L2 预取出于带宽与延迟权衡仅拉入序列尾段、或 L1 前缀树重组后未同步到 L2/L3 时,会出现 device 端完备但 host 端空缺的问题。对此,我们在前缀树发生节点合并、prefill 完成等时间节点,主动检查 device / host 两套 SWA 占用的差集,在 host 端的 SWA pool 里补分配 slot,把 device 的 SWA KV 异步 D2H 写入。

  • Host 端完备,device 端空缺:等到下一次 H2D 完成自然对齐,无需主动修补。

  • 高频序列 L3 前缀过期:长序列头部因高频访问持续存在于 L1/L2,加上 Cache 亲和性使相同前缀请求路由到同一节点,L3 中的 Cache 因长期未被直接访问而可能被 storage 淘汰策略清理,从而导致全局高频序列的 L3 Cache 被提前释放、跨机复用大打折扣。对此,我们在访问到 L1/L2 上的 Cache 时,以一定周期 query L3 Cache,避免淘汰。

  • 中短序列的 SWA留存策略:对于中短序列的 SWA ,我们根据用户请求 pattern,固定在某些长度留存相对稠密的 SWA KV Cache。尽管调高 SWA 的密度会使得整体 KV Cache 中 SWA 的比例上升,但能直接惠及多用户共享 system prompt 等场景。

通过上述优化,我们把 KV Cache 容量层面的扩增真正转化为高有效命中长度,使跨 session 长前缀复用成为可能,尤其利于 agent 长会话、多用户共享 system prompt、多次访问同一 codebase 的 tool call 等场景。

2.2 GCache:高性能分布式缓存基础设施

GCache 是小米存储团队开发的高性能通用缓存,它是构建存储“训推一体”体系重要的一环。早期在训练场景下,存储团队意识到一些开源的缓存项目对分布式文件系统的加速效果有限,无法把性能发挥到极致,因此便开启了自研的道路。之后,随着 MiMo 大模型发布,推理服务上线运行,团队也将 GCache 改造成立独立的存储产品,用于模型分发、和作为推理引擎的 L3 KVCache。

GCache 同时支持文件和 KV 语义、支持 内存 / 磁盘 / 远程 的多级缓存,具备 shm 内存持久化和全链路零拷贝能力,支持高并发非阻塞 IO 和 RDMA 通信等高级特性,满足了上层业务对高吞吐和低延迟的性能要求,同时具备良好的可扩展性。

架构设计

GCache 具备几个特点:

  1. 非中心化的元数据管理方式,使得集群规模可以不受限制扩展:

    • 对 key 计算一致性哈希,确定存储位置。

    • Master 采用 Raft 高可用部署。但 Master 只负责管理心跳和服务发现,IO 路径不经过 Master。

  2. 服务端同时支持内存和磁盘缓存:

    • 内存的冷数据会淘汰到磁盘,磁盘的热数据会提升到内存。该模式对推理场景十分友好,自动保证了活跃session的性能,也降低了长时间未启动session的成本。

    • 内存支持持久化到 shm,重启服务不丢缓存。

    • 支持平滑扩容或缩容机器,期间不丢缓存。

  3. 提供多语言 SDK,启动专属线程,将用户请求进行切片和派发:

    • 不占用用户线程的资源;切片提高并发,将 IO 大小控制在对 RDMA 友好的范围内。

    • 线程以异步模式回调,可灵活控制回调粒度,如单个 kv 级、batch 级、或者 CUDA stream 级。

网络优化

目前主流的 GPU 机型,都配置了 8 张 400G 高性能网卡,然而,即便是考虑了 PD 分离部署,现阶段的推理框架还是很难跑满网络带宽,以至于业界出现了要给网卡减配以便降低成本的声音。

为了充分发挥出高网的能力,GCache 优先使用 GPU 网卡而不是前端网卡进行通信,并在通信模块上做了大量优化,如 NUMA 绑定、同轨亲和等。在具体性能指标上,使用 1MB 大小的 IO,单进程的 RDMA 读吞吐可以达到 170 GB/s,而延迟只有 280 us;在 GDR 场景下,由于 HBM 的带宽更高,单进程可以达到约 350 GB/s,足以满足推理框架对通信的性能要求。

存储成本优化

2026 年无疑是业界对存储成本较为敏感的一年。不同于其他友商使用存储专用机型,GCache 优先采用在 GPU 机器上混布的方式,接管了 Prefill 和 Decode 节点的部分内存,和机器自带的数块 NVMe SSD,额外的存储成本为 0。

稳定性保障

由于是混布,GPU 机器的高故障率成为了摆在稳定性前的一道门槛。上线以来,GCache 基本上每天都会遇到 server 所在的机器故障。首先,团队花了大量时间和精力加固代码的故障处理逻辑;其次,由于 key 是一致性哈希全打散,通过对 session ID 进行提前逻辑分组,也减少了故障半径;最后,结合底层平台提供的硬件检测功能,提前发现故障,使用自动化流程进行数据迁移。对于极少量突然宕机,来不及提前处理的,通过设置较低的 SDK 超时时间,让推理框架及时感知 miss 并进行重算,使得前台的推理流程不会受到较大影响。

基于上述工作,GCache 得以在混布状态下一直保持单副本存储,而不用使用多副本手段提升可用性,这也是存储成本较低的重要原因之一。

2.3 针对缓存命中率的讨论

得益于前述 针对SWA 在 KVCache 上的优化——更低的存储占用,辅以更加稳定的大容量 GCache 作为 L3 存储——我们得以显著延长 Cache 的 TTL(Time-To-Live),并由此大幅提升KV Cache缓存命中率。KVCache 的淘汰本质上源于存储容量约束。当容量趋于饱和时,系统须优先保留新请求产生的 KV Cache,并按 LRU等策略淘汰历史中被访问的条目,这直接导致某一 context 在数小时后被复用时往往已无法命中。SWA 的极小存储占用使得相同成本下可承载的并发请求缓存量成倍提升,而大容量 L3 则以低成本进一步扩充了可用容量——存储空间越充裕,KVCache 被迫淘汰的压力越小,留存时长自然越长。TTL 越长,历史 context 的可命中窗口越宽,Cache 命中率随之水涨船高。此外,SWA 更小的带宽传输压力虽不直接作用于 TTL,但显著降低了多级存储间的数据搬运开销,为整套缓存体系的稳定高效运转提供了保障。

模型上线以来,我们在服务端持续观测到:在主流优质 harness 框架下,服务端 KV Cache 命中率平均可达 93%;对于高强度、长周期使用的个人用户,该指标更可攀升至 95% 以上乃至更高。后续我们将持续迭代 SWA 的 KV Cache 管理逻辑,并联合更多 harness 框架推进 harness-inference 的 co-design,以进一步优化缓存命中率上限。

三、调度优化

早期 SGLang 社区的 router 服务还尚未完全成熟,多个实例间没有做数据共享,如果某个 router 服务意外故障或者请求路由到不同的 router 服务,会出现 KVCache 调度回退的问题。为了解决这个问题,以及确保在大规模集群部署中的高可用性,小米开发了可动态扩展的无状态调度器 LLM-Router,通过使用 Redis 作为中心化存储,避免了单服务故障后的 KVCache 调度回退现象,从而更稳定的保证了缓存命中率。

3.1 KVCache 与负载亲和调度

由于 HiCache 对于 L2 的命中率非常敏感,如果 L2 没有命中,就需要去 L3 查找并拉取 KVCache,等待拉取结束后才能对该请求进行推理。从 router 侧提升 L2 命中率可以降低不必要的同步等待,从而直接提升吞吐性能。

Router 中通过将分发过的请求维护在 Radix 前缀树中,实现了 KVCache 亲和调度。在多个 Prefill 实例间优先选择已经缓存当前请求前缀的节点,并同时兼顾负载均衡来避免热点倾斜。该策略上线后,将 L2 的缓存命中率提升了约25%,单机输入吞吐提升了约30%。其核心公式大致为:

    # 选择 score 最大的 worker,含义:缓存命中率高 + 负载低 = 得分高 = 优先选择

    score(worker) = matchWeight × prefix_match_percentage − normalized_load


    3.2 TTFT优化

    当模型服务出现排队现象时,传统的 First Come First Serve 策略没有考虑较高命中率和较低命中率请求的优先级关系,使得命中 Cache 更多但真实计算 token 更少的请求有可能等待 Cache 命中率更低的请求推理结束后才能开始推理。整体服务的 TTFT P99 会变得异常的长,拖慢整体吞吐的平均性能。

    为了解决这个问题,在 waiting 队列选择优先执行 prefill 服务时,Router 侧优先调度真实计算 token 数更少的请求,避免这些原本计算时间很短的请求被阻塞而导致 P99 过度劣化的问题。同时,这种策略会导致某些请求长期得不到调度的饥饿现象,所以我们还增加了等待时间的惩罚机制来平衡这一现象。结果表明,该策略对于较短的请求并不会降低服务质量,而对于较长的请求,该策略最高可以将 TTFT 的 P90 指标降低30%。

    四、Prefill 优化

    4.1 分布式配置

    理论上,prefill 阶段 EP(Expert Parallelism)越小,性能与吞吐越优,主要体现在三方面:跨的机器更少,跨机通信开销更低;DP(Data Parallelism)数更少,DP 间 attention 负载差异对性能的影响更小;每台机器承载的 expert 数量更多,MoE 负载均衡性更好。但 EP 大小受显存约束,需满足模型参数与 KVCache 的显存占用。早期 SWA KVCache 需保存所有 token 的 KVCache,导致 EP 被迫偏大;优化后仅需保存 SWA 部分 token,我们将 EP 缩减至原先的 1/2,端到端性能提升约 40%。后续我们将继续探索面向 Hybrid SWA 结构的 PP(Pipeline Parallelism)优化,进一步降低 EP 大小、提升整体吞吐。

    4.2 长度分桶策略

    MiMo-V2.5 系列的 Hybrid 架构相比纯 GQA 结构计算效率显著提升,但吞吐仍随序列长度增加而明显下降。下图展示了 Chunked Prefill 中,固定计算 16K token、搭配不同长度前缀时的吞吐:

    Agentic 场景下,超长请求大多来自于多轮 agent 交互,一般带有大量前缀缓存。当长度差异显著的请求被调度至同一模型实例时,短请求会被长请求拖累、降低整体吞吐,主要体现在两种场景:

    1. DP-Attention 同步:多 DP 在每层 attention 计算后需集合通信以同步进入 MoE 阶段的计算,同一 EP 组内的多个 DP 上若同时存在长请求与短请求,短请求将被长请求的计算拖慢;

    2. Chunked Prefill 干扰:不同前缀长度的请求编入同一 chunk 推理时,短前缀请求被长前缀请求的计算拖慢。

    为缓解上述负载不均衡问题,我们采用三级长度分桶策略(0–64K / 64K–256K / 256K–1M),将负载特征相近的请求聚合至同一桶内做计算,显著提升了线上 prefill 的平均吞吐。在此基础上,我们当前也正在探索更细粒度、更灵活的分桶机制,以适应线上负载的动态变化。

    4.3 MoE 负载均衡

    MiMo-V2.5 系列模型均采用 MoE 架构,需要考虑 prefill 阶段的专家负载均衡问题。由于预训练阶段引入了负载均衡的训练目标、且训练较为稳定,模型在训练时已学习到较为均匀的专家分配策略。推理阶段,在未启用任何专家负载均衡策略的条件下,各层平均专家负载度(一层中所有 rank 的平均 token 数与该层 rank 最大 token 数之比)约为 0.85,已处于较优分布水平。因此,我们目前并未引入任何专家负载均衡策略。后续我们将持续监控该指标,根据线上负载模式的动态演进按需引入相关优化。

    4.4 解决 NUMA 冲突

    部分 Ubuntu 系统的内核 numa_balancing 参数与 SGLang 的 numa-node 配置存在冲突,导致模型推理过程中计算 kernel 间偶发较大执行间隙。多机多卡部署下,各 rank 上该间隙出现位置随机,每次 rank 间同步时都会被最慢的 rank 拖慢整体计算流程,从而显著影响整体推理效率。禁用系统内核的 numa_balancing 参数后问题消除,端到端性能提升约10%。

    五、Decode 优化

    5.1 显存优化

    Agentic 场景下,多轮对话使上下文持续增长,KVCache 显存占用成为 decode 的主要瓶颈——显存被 KVCache 占满后 batch size 无法扩展,使计算打不满、 decode 吞吐受限,只能增加节点承载并发,推高推理成本。为了增大单节点并发,我们做了多个显存优化措施:

    1. Decode KVCache 完整支持 SWA:KVCache 有效容量提升近 5 倍。

    2. PD 分离中 KVCache 预分配优化:将尚未启动的请求的 prealloc 过程从 GPU 显存迁移至 CPU 内存,decode 实际启动时才搬入显存,消除资源预占造成的浪费。

    3. CUDA Graph 显存调优:优化 CUDA Graph 参数减少空间浪费,可用显存提升。

    5.2 MTP 优化

    MiMo-V2.5 系列模型原生支持 3 层 MTP 加速 decode 输出,但 prefill 阶段此前未开启 MTP,导致 decode 初始 128 输出 token 的 MTP 使用无效的 KVCache、预测接受率极低。由于 Agentic 场景下大部分输出序列较短,该缺陷使 MTP 加速效果大打折扣。通过在 prefill 阶段引入 MTP 支持并对 HiCache L2/L3 进行专项适配和优化,decode 前期 MTP 加速效果显著提升:第 0–128 token 加速比达 2.3×,第 128–256 token 加速比达 1.5×,有效降低了 agentic 场景下的真实 decode 成本。

    六、多模态推理优化

    基于 SGLang 社区 v0.5.7 EPD 方案,我们围绕 MiMo-V2.5 做了大量EPD 分离方面的工程优化与稳定性修复,在延时保持不变的情况下,将 Encoder 吞吐提升至 2 倍,目前正在将工作成果回馈 SGLang 社区(issues#24945)。优化前后的Encoder性能差异如下表所示:

    QPS

    Avg 延迟

    P90 延迟

    优化前

    15

    78.39ms

    100.76ms

    优化后

    30

    80.28ms

    82.94ms

    6.1 架构优化

    • 多模态Embedding数据复制与推理并行:在 Prefill 调度器主循环中,支持 TP 之间多模态 Embedding 数据异步复制,与 Prefill 推理重叠,减少 GPU 空闲时间。

    • Encoder支持数据并行:由于 Encoder 模型较小,设置 TP>1 反而会导致性能下降,因此,Encoder 我们采用TP=1 部署,同时支持数据并行,方便在单机 8 卡部署和运维。

    • Encoder支持跨请求组Batch:我们为 EPD Encoder Server 引入跨请求 Batching,通过 Encoder调度器将并发请求按模态聚合,多个请求的 image/audio 融合成一次 Encoder Forward再按请求切分返回,解决逐请求编码 GPU 利用率低的问题。

    6.2 预处理优化

    • 图片GPU预处理:大图场景下 CPU 上执行 resize/normalize/patchify 会大幅增加端到端延迟,因此我们将预处理迁到 GPU,消除 CPU 瓶颈。

    • 图片并行下载:我们使用多进程并行下载图片和 PIL decode,避免串行下载和 GIL 锁竞争带来的延时。

    • 多模态下载和forward并行:在早期 Encoder 实现中,batch 之间和 batch 内数据下载和推理都是串行的,导致下载时候 GPU 是空闲的;我们通过消息队列,解耦下载和推理,实现 batch 内下载和推理重叠。

    • 视频并行解码:将待抽帧索引均匀切分为 N 个 chunk,并为每个 chunk 创建独立 VideoDecoder 实例多线程并行解码,使 1 小时视频 Encoder 端到端延时从156s降低到23s。

    6.3 缓存优化

    • Encoder一致性哈希:多个Encoder场景下,Prefill 轮询选择 Encoder,导致多模态 cache 命中率降低。通过一致性哈希,我们将相同请求路由到相同的 Encoder,缓存命中率提升30%。

    • 机内Embedding缓存共享:通过共享内存,实现 Encoder 机内多卡之间共享多模态缓存数据,提升缓存命中率。

    七、后记

    回顾整项工作,MiMo-V2.5 系列模型的推理效率并非来自某一环节的单点突破,而是多维度协同优化的结果。Hybrid SWA 让 prefill 与 decode 同时受益,但未经充分优化的 KVCache 实现反而会在各环节抬高成本。围绕这一目标,我们系统性重构了 KVCache 管理、分级缓存、前缀缓存树,攻克 SWA KVCache 核心问题,优化了调度策略及 Prefill / Decode 链路,并经线上真实场景检验,最终将其理论效率优势真正兑现到生产环境。至此,Hybrid SWA 才发挥出在长文推理上兼具强度与效率的架构优势。再组合 MoE 配置和多模态推理的各种优化,极大程度提高了线上推理服务的性能。

    我们在此呈现首篇全面覆盖 Hybrid SWA + MoE + 多模态组合架构的大规模工程落地方案,并将由此节省的成本通过 API 降价回馈用户。同时,我们已将部分优化以 PR 形式回馈 SGLang 开源社区,并将持续推进更多开源计划,希望尽早让工程优化不再成为门槛,使这类兼具强度与效率的复合架构得到更广泛的探索与应用。

    跳转微信打开

    •  

    MiMo-V2.5 系列调价公告丨 百万亿 Token 创造者激励计划收官

    原创 小米大模型 2026-05-27 00:15 北京

    API 价格最高降 99%,不区分输入长度

    过往几个月,我们通过 MiMo Orbit、百万亿 Token 创造者激励计划等活动,让更多人有机会体验 MiMo ,并解决真实的问题——这是 MiMo 在规模化应用道路上的第一步。

    而现在,随着底层技术的不断精进,我们终于可以做一件更彻底的事——对整个模型价格体系进行一次永久性翻新。

    本次公告核心速览:

    • MiMo-V2.5 系列 API 永久降价

    • Token Plan 计费体系优化,用量提升至原来的 5-8 倍

    • 百万亿 Token 创造者激励计划圆满收官

    • 当前有效 Token Plan 用户额度全量重置

    生效时间:北京时间 2026 年 5月 27日 0 点

     MiMo-V2.5系列API永久降价

    相比原始 API 定价,新定价最高降幅可达 99%,且不再区分上下文窗口长度。

    本次调价于北京时间 5 月 27 日 0:00 正式生效,全球同步调整,诚邀各位开发者接入体验。

     TokenPlan 计费体系优化

    • 加量不加价,用量提升至原5-8倍,为您解锁更充沛的生产力

      • 示例:在Agent或Code场景下,可用 Token数量为:

    • 计费规则调整,更加清晰易懂,所见即所得。

     百万亿 Token创造者激励计划圆满收官

    「百万亿 Token 创造者激励计划」自 4 月 28 日上线以来,受到全球用户的热情追捧和广泛关注,截至北京时间 5 月 26 日 16:08,100T Tokens 已全部提前发放完毕,活动提前收官、圆满结束,感谢广大开发者的踊跃参与! 

    注:Apache 软件基金会成员专属福利活动长期有效、可继续申请,不受本次收官影响。

     惊喜:现有 TokenPlan 用户额度全量重置

    无论当前套餐用量如何,所有已订阅 Token Plan 且当前仍在有效期的用户(包括参与百万亿 Token 创造者激励计划并获得 Token Plan 的用户,涵盖 Apache 软件基金会专属福利用户)的 Credits 额度将于北京时间 5 月 27 日 0:00 全量重置,并按新计费规则执行。

    One More Thing:针对 Token Plan 已过期的历史付费用户,我们也同样准备了惊喜好礼,将在未来一周宣布,请保持关注。

     推理技术优化说明

    本次价格调整背后,离不开小米技术团队在推理系统上的持续优化。

    我们基于 SGLang HiCache 完整支持 SWA(Sliding Window Attention),将 KV Cache 在 GPU 显存、CPU 内存、SSD 等多级存储之间的数据搬运量降低至优化前的近 1/7,并将可缓存 token 数量提升至优化前的近 5 倍,显著提升了缓存命中率和推理效率。

    同时,我们通过优化专家并行方案、输入长度分桶策略等,进一步提升了集群输入吞吐能力,从而在保障服务质量的前提下持续降低单位 token 服务成本。

    后续我们将发布更加详细的推理优化技术 Blog,敬请期待。

     结语

    技术的价值,最终要体现在被使用的广度上。

    依靠技术的持续创新,我们希望通过提供兼具低成本与顶尖能力的模型服务,撬动真实、持续、规模化的推理需求,推动完整 AI 基础设施链条的建设。

    让更多的人能用到更好的模型——这是 MiMo 不变的使命。

    跳转微信打开

    •  

    小米 MiMo-V2.5 系列开源 & Orbit 百万亿 Token 计划启动

    原创 小米大模型 2026-04-28 01:27 北京

    携手全球开发者与 Agent 框架,共建开源繁荣生态

    今天,我们正式开源 Xiaomi MiMo-V2.5 系列,采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权。

     开放协议,全量开源

    MiMo-V2.5 系列模型已于 4 月 23 日开启公测,感谢所有用户在此期间的热情反馈与鼓励。

    这个系列包含两款模型,均支持 100 万上下文窗口:

    • MiMo-V2.5-Pro:面向复杂的任务场景,深度适配 Agent 与 Coding 应用,在 GDPVal-AA 和 ClawEval 榜单上位列全球开源模型第一

    • MiMo-V2.5:原生全模态模型,支持文本、图像、视频和音频理解,具备强大的 Agent 能力

    我们深知,模型的真正价值不在于榜单排名,而在于能否高效帮助开发者解决实际问题。在 Claw-Eval 榜单上,MiMo-V2.5 位列任务完成率与 Token 效率的最优前沿。

    经过公测阶段的打磨与验证,该系列在智能水平与稳定性上得到进一步提升,已达到可以开放的标准。

    MiMo-V2.5 系列的模型的权重(包含 Base 模型)已全量开放,采用宽松的 MIT 协议,允许自由商用、二次训练与微调,无需额外授权。

    模型权重合集:

    https://huggingface.co/collections/XiaomiMiMo/mimo-v25

    更多细节参考模型 Blog:

    https://mimo.xiaomi.com/index#blog

     MiMo Orbit 100T Token 计划

    我们相信,开源的价值不止于权重公开,更在于生态共建。

    为此,我们正式推出—— MiMo Orbit 计划。

    MiMo Orbit 计划分为 2 部分,分别是面向 AI builder 的『百万亿 Token 创造者激励计划』,与面向 Agent 框架团队的『Agent 生态共建计划』。

     百万亿 Token 创造者激励计划

    Xiaomi MiMo 将面向全球 AI 用户进行免费 Token 发放,我们将在 30 天内发放总计 100 万亿(100T) Token 权益,赠完即止。

    本次活动采取申请制,申请通过的用户最高将获得 Max 档位的 Token Plan,包含 16 亿 Credits ,价值 659 元。

    活动时间

    北京时间 2026 年 4 月 28 日 00:00 至 5 月 28 日 00:00

    参与方式

    你可以通过下列链接或二维码填写申请,我们会认真评估每一份申请材料,并根据你的使用场景与需求匹配相应权益。申请通过者将收到我们的后续邮件。

    申请网址:100t.xiaomimimo.com

    申请二维码:

     Agent 生态共建计划

    Xiaomi MiMo 面向全球 Agent 框架团队提供专项支持,我们将为您的 agent 框架提供 MiMo token 限免支持,让你的用户免费接入并体验 MiMo 系列模型。共同激发全球开发者的生产力。

    同时,我们也期待参与和赞助框架平台的 AI Hackathon 等共创活动,更期待与你们碰撞出更多优质想法,和 MiMo 一起解锁 AI 的创造力与想象力。

    在模型生态适配过程中,我们与 OpenCode、Hermes Agent、KiloCode 等 Agent 框架厂商展开了深度合作,收获了大量积极反馈与认可。

    左右滑动,查看更多

    欢迎志同道合的 Agent 框架开发者和厂商联系我们:business-mimo@xiaomi.com

     芯片生态与推理框架适配

    MiMo-V2.5-Pro 已于开源首日完成多个芯片厂商的接入适配,以下是部分厂商列表:

    • 阿里平头哥

    平头哥真武 810E 依托全栈自研 AI 软件栈,实现深度适配。

    • 亚马逊云科技

    亚马逊云科技基于自研 Trainium2 芯片与 Neuron SDK + vLLM 推理框架,完成 MiMo-V2.5-Pro 深度适配,实现模型开源即全球可用的首日适配。下一代 3nm 制程 Trainium3 将进一步释放模型 Agentic 性能潜能。

    • AMD

    AMD 依托 ROCm 开源软件栈,为 MiMo-V2.5-Pro 提供 Day-0 适配及全面优化支持,助力开发者和企业用户高效完成模型部署与上线。

    • 百度昆仑芯

    昆仑芯依托自研架构,通过底层算子优化与软硬件协同加速,有效保障了模型在平台上的稳定、高效运行,为上层应用构建了坚实的算力基础。

    • 燧原科技

    燧原科技依托自研驭算 TopsRider 软件栈进行深度优化,MiMo-V2.5-Pro 已在燧原 L600 上 完成了全量适配,实现高吞吐、低延迟的稳定运行,并在复杂任务与长序列场景下保持优异表现。

    • 沐曦

    沐曦曦云 C 系列依托全栈自研的 MXMACA 软件栈,实现 Triton 语法到沐曦 GPU 指令集的端到端原生支持,性能更优。

    • 天数智芯

    天数智芯可实现模型 Day 0 级深度适配,依托全栈自研软硬件,打造高质量算力,适配高效且易迁移,能精准释放模型性能、保障稳定运行。

    此外,MiMo-V2.5 系列模型也同步完成了 SGLang 和 vLLM 的主流推理框架的 Day0 适配。

    从第一代模型到今天的MiMo-V2.5全量开源,MiMo 的每一步成长都离不开社区的反馈与共建。

    我们将持续投入模型能力的迭代与生态的完善,与全球开发者一起,让 Agent 真正走进每一个应用场景。

    跳转微信打开

    •  
    ❌