铃阅时讯
❌

阅读视图

端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

原创 王召德、潘逢治 2026-06-11 19:44 浙江

当我们谈论“把大模型跑在手机上”时,速度始终是绕不开的核心问题。模型越大、参数越多,推理时的矩阵乘法运算量就越大。

随着 Arm 第二代可伸缩矩阵扩展 (SME2) 技术的普及,以及 MNN 推理引擎的深度适配,我们找到了一把打开端侧性能天花板的钥匙。只需在编译时开启一个开关,就能让 Qwen3-VL-4B 这样强大的多模态模型,在支持 SME2 的旗舰手机(如 vivo X300 等)上实现实时流畅推理。

本文,我们直接从工程落地的角度,手把手带你完成从引擎编译、模型部署到 APP 构建的完整流程,并用实测数据告诉你:为什么这套组合拳能让 Qwen 在端侧起飞。

什么是 SME2?

SME2 是 Armv9 架构中的一组高级 CPU 指令,它基于 SME 升级,核心突破在于引入了 ZA 矩阵累加器寄存器和流式模式。传统 Neon 做矩阵乘需要手工将外积拆成向量乘再累加,而 SME2 中的 FMOPA 等指令可以一条指令完成一个矩阵 tile 的外积累加。

通过引入 SME2 指令集,Armv9 架构 CPU 能够在 AI 异构计算框架下,高效支持大语言模型推理、图像处理、自然语言处理、语音生成等实时移动端推理任务。

认识我们的工具箱

在开始实战前,我们先了解一下本次部署的核心组件:

MNN:阿里巴巴开源的端侧推理引擎,具备高性能、轻量级、高通用性的特点。支持 CNN、Transformer、LLM、扩散模型等多种架构。

MNN-LLM:MNN 中专为大语言模型设计的模块,提供了从模型转换、量化到推理部署的全链路工具。

Qwen 模型:本文以 Qwen3-VL-4B-Instruct 为例——一个 4B 参数的视觉语言模型,支持图文理解和对话,体积适中,模型能力较强。

MNN 模型仓库:MNN 官方已经为大家转换和量化了多款 Qwen 模型,可直接下载使用。

MNN 的 SME2 适配:MNN 对 SME2 的支持采用编译时内建 + 运行时自动检测的设计,用户无需手动配置:

  • 编译时:通过 MNN_SME2 开关(默认 ON)控制是否编译 SME2 优化内核

  • 运行时:启动时自动检测硬件是否支持 SME2,支持则走 SME2 加速路径,不支持则回退到 i8mm → Neon,不会崩溃

  • 三精度覆盖:FP32、FP16、INT8/INT4 量化均有手写 SME2 汇编内核

  • 大小核调度:感知 SoC 大小核拓扑,SME2 大核用大 tile 处理主体计算,Neon 小核处理剩余部分,并行工作

  • KleidiAI 集成:集成 Arm 官方 KleidiAI 加速库,提供更多 SME2 微内核

实战演练:从零构建 SME2 加速的端侧大模型

接下来我们从源码开始,手把手走一遍开启 SME2 加速的完整端侧大模型部署流程。

前置准备

请确保以下环境已就绪:

  • Android NDK:推荐 r27+,需设置 $ANDROID_NDK 环境变量

  • ADB:用于与手机通信,adb devices 可正常发现设备

  • JDK 17:Gradle 编译 APP 所需

  • 手机:开启开发者模式和 USB 调试,通过 USB 连接电脑

Step 1:编译推理引擎

🟣 为 Android 编译 MNN 引擎的动态库(.so 文件)和命令行推理工具。 

SME2 功能默认开启,可以通过 -DMNN_SME2=ON/OFF 显式控制开关。

    # 1. 进入 MNN 的 Android 工程目录
    cd MNN/project/android


    # 2. 创建编译目录
    mkdir build_64 && cd build_64


    # 3. 执行编译(SME2 默认开启,可通过 -DMNN_SME2 控制)
    ../build_64.sh "-DMNN_SME2=ON -DMNN_KLEIDIAI=ON -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=OFF -DCMAKE_SHARED_LINKER_FLAGS='-Wl,-z,max-page-size=16384' -DCMAKE_INSTALL_PREFIX=."


    # 4. 整理编译产出
    make install

    💡 make install 是必要的——它会将 libMNN.so 拷贝到 build_64/lib/ 目录,后续 APP 编译时会从这个路径引用动态库。

    编译完成后,build_64/ 目录下会生成以下关键文件:

    • libMNN.so:MNN 核心引擎库

    • llm_demo:命令行推理工具

    • llm_bench:性能基准测试工具

    Step 2:准备模型

    🟣 方案一:直接下载 MNN 格式的模型(推荐) 

    MNN 官方已提供转换和量化好的模型,可一步到位:

      cd MNN/transformers/llm/export
      pip install modelscope
      modelscope download --model MNN/Qwen3-VL-4B-Instruct-MNN --local_dir Qwen3-VL-4B-Instruct-MNN

      🟣 方案二:使用 MNN 的模型转换工具自行转换 

      如果需要自定义量化参数或使用其他模型,可以手动转换:

        # 1. 进入 MNN-LLM 的 export 目录
        cd MNN/transformers/llm/export


        # 2. 安装 Python 依赖
        pip install -r requirements.txt


        # 3. 从 ModelScope 下载原始模型
        modelscope download Qwen/Qwen3-VL-4B-Instruct --local_dir Qwen3-VL-4B-Instruct


        # 4. 执行转换(HQQ 量化)
        python llmexport.py --path Qwen3-VL-4B-Instruct --dst_path Qwen3-VL-4B-Instruct-MNN --export mnn --hqq

        💡 提示:--export mnn 代表导出为 MNN 格式,--hqq 是推荐的量化选项,可以有效提升模型精度。

        Step 3:推送到手机,命令行验证

        🟣 将引擎和模型推送到手机,通过命令行快速验证推理是否正常。

          # 1. 推送引擎文件到手机
          adb push project/android/build_64/llm_demo /data/local/tmp/
          adb push project/android/build_64/llm_bench /data/local/tmp/
          adb push project/android/build_64/libMNN.so /data/local/tmp/


          # 2. 推送模型到手机
          adb shell mkdir -p /data/local/tmp/mnn_models
          adb push Qwen3-VL-4B-Instruct-MNN /data/local/tmp/mnn_models/


          # 3. 进入手机 shell
          adb shell


          # 4. 赋予执行权限
          chmod +x /data/local/tmp/llm_demo /data/local/tmp/llm_bench


          # 5. 创建 prompt 文件
          echo "你好" > /data/local/tmp/prompt.txt


          # 6. 设置动态库路径并运行推理
          cd /data/local/tmp
          export LD_LIBRARY_PATH=/data/local/tmp:$LD_LIBRARY_PATH
          ./llm_demo /data/local/tmp/mnn_models/Qwen3-VL-4B-Instruct-MNN/config.json /data/local/tmp/prompt.txt

          💡 知识点:为什么要设置 LD_LIBRARY_PATH?llm_demo 动态链接了 libMNN.so,Android 系统默认只在 /system/lib64 等系统目录搜索动态库,不会搜索 /data/local/tmp/。设置此变量告诉链接器也去指定目录查找。

          当你看到模型流畅地回复时,恭喜,推理引擎已经跑通了!

          🟣 确认 SME2 硬件支持 

          在电脑上另开一个终端窗口,运行:

            adb logcat | grep "device supports"

            会看到类似输出:

              The device supports: i8sdot:1, fp16:1, i8mm: 1, sve2: 1, sme2: 1

              其中 sme2: 1 表示手机的 CPU 硬件支持 SME2 指令集,MNN 引擎会自动使用 SME2 加速路径进行推理。

              💡 这行日志反映的是硬件检测结果,与编译选项无关。-DMNN_SME2=ON/OFF 控制的是编译产物中是否包含 SME2 优化代码——即使硬件支持,如果编译时关闭了该选项,引擎也不会走 SME2 加速路径。

              Step 4:构建端侧 AI 应用

              🟣 命令行验证成功后,我们可以将推理能力集成到一个完整的 Android APP 中。本文以 MNN 自带的 MNN Chat 示例应用为例:

                # 1. 进入示例应用目录
                cd MNN/apps/Android/MnnLlmChat


                # 2. 编译 APK
                ./gradlew assembleStandardDebug


                # 3. 安装到手机
                adb install app/build/outputs/apk/standard/debug/app-standard-debug.apk

                💡 提示:APP 编译时会自动从 project/android/build_64/lib/ 引用 libMNN.so 并打包进 APK,所以不需要再手动推送 .so 文件到手机——安装 APK 即完成了引擎的部署。

                安装完成后,如果之前 Step 3 已将模型推送到 /data/local/tmp/mnn_models/,打开 MNN Chat 即可在"我的模型"中找到 Qwen3-VL-4B-Instruct 模型。你也可以通过 APP 内的模型市场直接下载其他模型。

                以下是 MNN Chat 在手机上进行多模态问答的实际演示——用户拍照后,模型即可理解图片内容并流畅回答:

                性能测评:SME2 带来多大提升?

                为了验证 SME2 带来的实际性能收益,我们分别编译了 SME2 开启 和 SME2 关闭 两个版本的引擎,在同一台设备上使用 llm_bench 进行对比测试。

                测试环境

                • 设备:vivo X300

                • 模型:Qwen3-VL-4B-Instruct-MNN

                • 测试工具:llm_bench

                Prefill 阶段提升最为显著(+81%):因为 Prefill 需要一次性处理整段输入 token,是计算密集型任务(大批量矩阵乘),能充分利用 SME2 的矩阵外积指令和大 tile(HP=128)内核。这直接意味着更短的首字等待时间。

                Decode 阶段提升相对较小(+13%):因为 Decode 是逐 token 生成,矩阵乘退化为矩阵×向量运算(batch=1),瓶颈在内存带宽而非计算吞吐,SME2 的优势相对有限。

                进阶调优

                在完成基本部署后,你可以根据自己应用的需求,通过以下手段进一步提升性能和精度: 

                🟣 模型导出参数调优 在执行 llmexport.py 时,可以附加不同参数:

                🟣 运行时参数调优 模型导出后,可以通过修改 config.json 控制运行时行为:

                通过本文,我们完成了一条完整的端侧大模型部署路径:编译 MNN 引擎 → 准备模型 → 命令行验证 → 构建 APP → 性能测评。

                SME2 作为 Arm 最新的矩阵加速指令集,在 MNN 的深度适配下,为端侧大模型推理带来了实实在在的性能提升——Prefill 阶段提速超过 80%。而 MNN 的"编译时内建 + 运行时自动检测"设计,让开发者无需额外配置即可享受硬件加速红利。

                随着SME2技术的进一步广泛采用,端侧 AI 的性能天花板正在被不断抬高。期待看到更多创新的端侧 AI 应用!

                你在端侧部署中遇到的最大“坑”是什么?欢迎在评论区分享,我们将选取三位同学送出定制周边一份。

                推荐阅读

                Agent 辅助开发,一站式打通 Qwen3-VL Android 端侧推理

                教程首发|让手机拥有视觉感知能力

                跳转微信打开

                •  

                Agent-Native 开发框架设计

                idoubi 2026-06-11 18:00 广东

                聊聊 Agent-Native 开发框架应该怎么设计👇

                在谈 Agent-Native 之前,我们应该很熟悉 Cloud-Native 、AI-Native 这些概念,或者是 Native Speaker 这种表达

                Native 就是原生的意思,强调的是事物最开始就是这个样子的,而不是后来改成这样的。

                1. English Native Speaker 指的是一出生就在英语环境,母语是英语的人

                2. Cloud-Native 强调的是业务一开始就在云上跑,而不是通过去 IOE 化把原来的系统迁移上云

                3. AI-Native 强调的是产品设计之初,功能和流程都是基于 AI 的能力来设计的,离开 AI 跑不起来或者跑不出好的效果

                Agent-Native,讲的是产品功能和工作流程都是基于 Agent 的特性和能力来设计的,离开 Agent 就不 work

                回到 ShipAny 框架的设计。在 ShipAny One、ShipAny Two 里,我们已经积累了一堆常用的业务功能:登录、注册、支付、 存储、多语言、SEO、管理后台等。

                在新版本的 ShipAny 里,这些能力全部模块化了,按需启用,可插拔。关键是设计了几个核心的 Skills,把 ShipAny 内置的功能模块、开发流程都描述清楚,包括模块说明、数据表结构、API 参数等。Agent 读到这些 Skills 后,能快速搞懂整个框架的架构设计,然后按流程开发。

                Agent-Native 开发框架的设计,首先要保证集成的功能足够多,功能模块化、低耦合。其次要梳理通用的开发流程,包括初始化项目、创建新模块、设计新页面、设计图片等。然后把每个流程文档化,不同的流程可组合,沉淀成 Agent 能理解的 Skills。

                ShipAny 内置的核心 Skills 包括:

                1. quick-start:快速初始化新项目,完成 MVP 版本开发

                2. clone-website:复刻指定网址的项目

                3. new-module:开发新的功能模块

                4. new-page:开发新的页面

                5. deploy-cloudflare:一键发布到 Cloudflare

                还有 generate-image(生成图片)、sync-upstream(同步上游更新)、security-scan(安全扫描)、launch-audit(发布前审计)等,基本覆盖了一个项目的完整开发周期。

                ---

                ShipAny 新版本发布不到 2 天,已开 200 单,老用户复购比例很高,ShipAny 作为 AI 出海金刚铲的定位正在被越来越多的人认可。🎉

                在 ShipAny 官网输入优惠码 NEXT 下单,获取先进的 Agent-Native 开发框架。不需要人去写代码了,完全交给 Agent,一小时上线你的 AI 产品。😄

                跳转微信打开

                •  

                MiMo Code 发布并开源|模型 Agent 协同优化,迈向自进化时代

                原创 小米大模型 2026-06-11 02:06 北京

                始于编程,远不止于编程

                今天,我们正式发布并开源 MiMoCode V0.1.0—— 一款运行在终端里的探索性 AI 编程助手。

                MiMo Code 始于编程,不止于编程。它不只是一个好用的 AI Coding 工具,更是一位住在你电脑里、越用越懂你的 AI 队友。

                它内置限时免费的顶级多模态模型 MiMo-V2.5,性能比肩 Claude Sonnet 4.6;同时支持接入 DeepSeek、Kimi 和 GLM 等主流模型,以及第三方 Token Plan,满足不同开发者的需求。

                MiMo Code 基于开源项目 OpenCode 二次开发,发布并开源,采用 MIT协议。

                 核心能力

                持久记忆系统 + 无限上下文:从根上解决“AI健忘”

                MiMo Code 内置独创的持久记忆系统,用项目记忆、会话检查点、任务进度三重机制,解决长会话“越用越忘”的难题。即使上百轮的长程会话,也能保持输出质量、不丢关键信息。

                主流 Code Agent(Claude Code、Codex 等)多是“让 AI 自己记笔记”,但模型不会主动触发,记不记、何时记全靠它自觉。所以我们换了个思路:让主 agent 专心干活,记录完全外包 —— 由独立 subagent 自动保存状态,窗口快满时重建一份干净简报,主 agent 接着干而非从零开始。

                一句话:不赌模型自觉,用工程把它兜住。

                模型 Agent 协同优化 + 独创 Compose 模式

                大多数 Coding Agent 的工作方式是「拿到需求就埋头写代码」,像一个不看导航就上路的司机——看似高效,实则容易跑偏。

                但模型并非千篇一律:不同模型各有自己的"性格"与"禀赋",与不同的 Agent 框架之间也存在天然的"适配度"高低。把模型和框架简单拼在一起,往往发挥不出真正实力。

                MiMo Code 为 MiMo 系列模型量身打造了一套专属的 Harness 系统,让模型的能力与框架深度配合;再配合独创的 Compose 模式,实现 1+1>2 的协同效果。

                使用时,只需按 Tab 键切换到 Compose 模式,给它一个简单的想法,它就能自动完成设计、规划、编码、测试、审查的全流程,最终交付一套工业级的成品。

                实测对比

                我们给两个工具下了同样的指令:

                「帮我用 golang 实现一个 redis,需要支持用 redis-cli 连接。」

                Claude Code 出手很快,代码很快就跑了出来——但几乎没有配套测试,功能能用却不够扎实,后续返工的风险不小。

                MiMoCode 用 Compose 模式,前期花了更多时间做规划,看起来“慢”了一截;但落到结果上,它实现了更丰富的功能,并配上了完整、详尽的测试,真正体现出工业级代码该有的样子。

                有意思的是,算总账反而是 MiMoCode 更快:它把时间花在前期想清楚、后期验得稳上——慢写、快验,整体体验更省心。

                Dream:记忆沉淀,越用越懂你

                MiMoCode 内置了一个独特的 /dream命令。每 7 天自动触发,由独立 Agent 读取历史会话和现有记忆文件,执行合并、去重、验证路径有效性和压缩,将分散的记忆收敛为一份紧凑的当前状态,并更新全局记忆。

                到了下次使用,它会在合适的时机自动调用这些记忆。这意味着 MiMo Code 不会每次都从零开始,而是带着对你和你项目的理解持续成长——真正做到越用越顺手。

                支持语音输入:“君子动口不动手”

                MiMo Code 内置了语音输入与控制功能,背后是 MiMo-V2.5-ASR 的强大语音识别能力加持。动动嘴,活就干了。

                它能做的不只是“念出 prompt”:你可以口头修改写错的指令,也可以直接发出“发送”“执行”这类操作命令——从输入到操控,全程不用碰键盘,效率自然又上一个台阶。

                 用数据说话:同模型,更强表现

                在两个面向真实编程场景的权威测试集 SWE-Bench 和 Terminal Bench 上,我们做了一组对照实验:让 MiMo Code 与 Claude Code 使用同一个 MiMo 模型,只比拼各自的 Agent 系统本身。

                结果显示,MiMo Code 在 SWE-Bench Pro 上达到 62%(Claude Code 为 57%),在 Terminal Bench 2 上达到 73%(Claude Code 为 68%)—— 在模型完全相同的前提下,MiMo Code 凭借专属 Harness 与 Compose 模式的协同,拿到了较优的分数。

                 如何使用:零配置起步,开箱即用

                安装与启动:打开终端

                装好后,终端输入 mimo即可启动。为了获得最佳体验,强烈推荐 Mac用户在 iTerm 中或者 vscode 终端中使用。

                • 模型配置

                  • 内置 MiMo-V2.5 限时免费通道,无需注册即可使用

                  • 兼容 DeepSeek / Kimi / GLM 等主流模型 API,及第三方 Token Plan

                • 使用:

                  • 输入 / 查看各项配置

                  • 所有设置项全面中文汉化,本地友好

                  • TUI 页面右侧常驻状态看板,随时观察工作进度

                更多技术细节,欢迎关注我们的团队 Blog:https://mimo.xiaomi.com/mimocode

                 开源与展望

                MiMo Code 发布并开源,采用宽松的 MIT 协议——这意味着它对几乎所有人都敞开:

                • 个人开发者可以自由使用、修改、分发,想怎么折腾都行;

                • 企业可以把它集成进自己的开发工具链,无需担心授权束缚;

                • 社区可以基于它打造垂直领域的编程助手,长出更多可能。

                我们相信,一个好工具的价值不止于“能用”,更在于它能被多少人共同打磨、走向何方。期待与你一起,把 MiMo Code 变得更好。

                跳转微信打开

                •  
                ❌