铃阅
❌

普通视图

昨日接收 — 2026年11月16日 ⏭ 魔搭ModelScope社区

Haru-4B开源:边听边说的全双工语音模型,支持160多种语言,MacBook 延迟仅 65 毫秒

2026年11月16日 17:30

魔搭ModelScope社区 2026-11-16 17:30 浙江

Higurashi AI开源Haru-4B全双工语音模型,基于4000万小时真实语音训练,支持160+语言,MacBook延迟仅65毫秒。

Higurashi AI 开源了 4B 参数的 Haru-4B,这是一个能够同时听和说的全双工连续语音对话基础模型,无需等待用户说完再开始回应。模型从 4,000 万小时真实语音中学习附和、打断和话轮交替等对话行为,不依赖 LLM 或 TTS 生成的轮流发言式合成对话,训练数据覆盖 160 多种语言。Haru-4B 在 MacBook 上的端到端延迟约为 65 毫秒,并支持通过文本提示和参考音频控制角色人设、说话风格与声音特征。

比如,在下面的英语投资话题对话中,Haru 能结合用户的发言与上下文作出连贯回应,同时保持自然的对话节奏:

本次开源的权重包括 Haru-4B 预训练基础模型,以及配套的语音分离与修复模型 FastDialogueSidon。其中后者可将单声道混合对话录音重建为时间对齐的全双工语音流,为 Haru 的训练提供数据。
开源地址:
● 语音对话模型 Haru-4B 

https://modelscope.cn/models/higurashi-ai/Haru-4B
● 语音分离与修复模型 FastDialogueSidon 

https://modelscope.cn/models/higurashi-ai/FastDialogueSidon

体验链接:

https://modelscope.cn/studios/AI-ModelScope/Haru-4B

01

模型架构:7.5Hz 原生全双工

Haru-4B 基于 Qwen3.5-4B 构建,旨在通过一个统一的语言模型同时处理输入和输出语音。其架构结合了低频率连续音频表示、同步多流处理和高效的单步生成。
原生全双工多流建模。Haru 处理三条同步的数据流:用户输入音频、模型输出音频和模型文本。三条流的嵌入通过逐元素相加合并,再由共享语言模型处理。这让模型能够同时听和说,而不必将三条流按 token 逐个交错排列 [5][6]。与交错排列相比,这种方式可以将上下文长度缩减至三分之一,同时保持文本流连续。
语音对话的级联式、轮流发言式、交错式与多流建模:

7.5Hz 连续语音 token。大多数语音语言模型依赖离散音频 token,这些 token 通常通过残差向量量化(Residual Vector Quantization,RVQ) 生成,每个音频帧由多个离散码本索引表示。
相比之下,Haru 以仅 7.5Hz 的频率使用 64 维连续声学潜变量,每个 token 表示约 133 毫秒的语音。通过避开离散码本并采用较低的 token 频率,Haru 减少了训练和推理所需的 LLM 顺序建模步骤。
单步连续语音生成。Haru 在下一潜变量扩散(next-latent diffusion)框架中,使用轻量级多层感知机(Multi-Layer Perceptron,MLP),直接从语言模型的隐藏状态生成连续声学 token。
Haru主要使用流匹配(Flow Matching) 训练生成输出头,随后进行 MeanFlow 蒸馏 ,以提高训练和推理效率。在推理时,每个声学 token 只需一步采样即可生成,无需迭代流采样或额外的声学 Transformer。
离散式、迭代流采样式与单步连续语音生成:

分块级文本对齐。Haru 并不在单个 token 层面对齐文本和音频,而是将文本表示为块,后接填充位置和一个专用的填充结束 token,用于预测何时开始说话。这种方式能够适应文本与音频不同的时间分辨率,同时保持各条流之间同步,并减轻预训练语言模型知识的灾难性遗忘。
token 级与分块级文本对齐:

这些设计共同实现了高效的大规模语音预训练,同时将推理降至每秒仅 7.5 次自回归音频处理,使低延迟实时全双工互动即使在本地硬件上也具备实际可行性。

02

用 4000 万小时真实语音扩展预训练规模

Haru研究团队认为,大规模真实语音对学习自然互动的动态至关重要。与合成对话不同,真实录音包含自发的打断、犹豫、附和、重叠发言,以及不规则的话轮边界。
Haru-4B 使用超过 4000 万小时的语音进行预训练,覆盖 160 多种语言,其中九种为主要语言。为了学习自然的人类对话模式,Haru研究团队有意从训练数据混合中排除 LLM 生成的对话和 TTS 合成的语音。
整个预训练分为两个阶段。

阶段 1:单声道语音预训练

首先通过混合使用以下任务,让 Qwen3.5-4B 适配语音:

  • 自动语音识别,将语音与语言表示联系起来。

  • 语音与文本续写,学习连续语音的建模与生成。

  • 纯文本复习训练,减轻预训练语言模型知识的灾难性遗忘。

阶段 2:全双工预训练

大规模长时全双工训练。使用超过 1300 万小时的、经过分离处理的全双工对话数据。训练样本包括最长达 60 分钟的对话,让模型能够学习长程对话动态,包括持续的话轮交替和重叠发言。
角色与声音条件控制。为每条训练样本生成一个角色提示,并使用同一说话人的参考音频作为语音生成的条件。这使 Haru 能够通过文本提示和参考音频控制角色个性与声音特征。

03

高效的大规模预训练与实时推理

3.1. 预处理与训练优化

加速语音预处理。处理如此大规模的语音需要大量计算资源。Haru 团队使用定制 Triton 内核,优化神经音频编解码器、Sidon 和 FastDialogueSidon 等预处理模型,以加速大规模数据准备。
大规模分布式训练。Haru-4B 使用 256 块 NVIDIA B200 GPU 进行预训练,耗时约 8 天。训练基础设施基于 Megatron-LM,并针对高效的大规模语音预训练进行了优化。

3.2. 实时推理优化

Apple Silicon 上的超低延迟推理。在搭载 Apple M1 Max 的 MacBook 上,原生 Swift 应用使用经过优化的定制 Metal 内核,实现了约 65 毫秒的端到端延迟。
该延迟包括声学编码、语言模型推理、音频解码,以及有线麦克风和耳机的输入输出,但不包括音频分帧。在 7.5Hz 的 token 频率下,音频分帧还会引入最多 133 毫秒的额外算法延迟。
以下为使用 int8 权重时的延迟明细:

阶段

延迟(int8)

输入(麦克风 → 应用)

5.3 ± 0.0 毫秒

一次模型处理

34.2 ± 0.5 毫秒

Socket 通信与交接

4.1 ± 0.3 毫秒

输出等待(15 毫秒余量及调度裕量)

13.3 ± 1.5 毫秒

输出(应用 → 耳机)

8.1 ± 0.2 毫秒

总计(p50)

65.2 ± 1.5 毫秒

高性能 GPU 服务。支持通过 vLLM-Omni 在 GPU 上部署。在 NVIDIA B300 GPU 上,音频编码、解码与一次语言模型处理合计约需 15 毫秒。

04

本地部署与推理

Haru-4B 提供 PyTorch、Apple Silicon 上的 MLX,以及 vLLM-Omni 插件三种推理实现,共用同一份模型权重。PyTorch 演示需要约 12 GB 显存的 NVIDIA GPU;MLX 需要 Apple Silicon Mac、macOS 13 或更新版本,建议至少准备 16 GB 内存。

下载模型与代码

pip install modelscope

modelscope download higurashi-ai/Haru-4B \

  --local-dir higurashi-ai/Haru-4B

git clone https://github.com/higurashi-ai/Haru.git

以下命令均从当前工作目录执行,按设备选择一种实现即可。

PyTorch:网页语音对话

创建环境、安装依赖,并加载本地模型:

python3 -m venv Haru/.venv

source Haru/.venv/bin/activate

pip install -e ./Haru/haru

python -m haru.server \

  --model ./higurashi-ai/Haru-4B \

  --device cuda \

  --language zh \

  --port 8998

浏览器打开以下地址,允许麦克风访问,选择角色并上传参考声音,即可开始对话:

MLX:Mac 本地语音对话

需要 Python 3.10 或更新版本及 Apple Command Line Tools;未安装开发工具时,先执行 xcode-select --install。
安装 MLX 实现,构建原生客户端,并启动本地模型服务:

python3 -m venv Haru/haru_mlx/.venv

source Haru/haru_mlx/.venv/bin/activate

pip install -e ./Haru/haru_mlx

(cd Haru/haru_mlx/swift && ./build_app.sh)

python -m haru_mlx.native \

  --model ./higurashi-ai/Haru-4B \

  --language zh \

  --quantize 8

--quantize 8 对语言模型主干进行 8 位量化。另开终端,在同一工作目录运行客户端,voice.wav 为准备好的参考声音:

./Haru/haru_mlx/swift/.build/haru-client \

  --voice "$PWD/voice.wav"

vLLM-Omni:并发语音服务

使用独立环境,安装指定版本与 Haru 插件:

python3 -m venv Haru/.venv-omni

source Haru/.venv-omni/bin/activate

pip install vllm==0.32.0 vllm-omni==0.32.0

pip install -e ./Haru/haru -e ./Haru/haru_vllm

vllm serve ./higurashi-ai/Haru-4B \

  --omni \

  --deploy-config "$(python -m haru_vllm.deploy)" \

  --host 127.0.0.1 \

  --port 8000

另开终端,将网页演示连接到 vLLM-Omni 服务:

source Haru/.venv-omni/bin/activate

python -m haru.server \

  --backend vllm \

  --vllm-url http://localhost:8000 \

  --language zh \

  --port 8998

浏览器同样访问 http://localhost:8998\。该后端使用实时全双工 WebSocket 协议,不是普通 Chat Completions 接口。
三种方式均需自行准备具有使用授权的参考声音,建议使用单人、清晰的 WAV 音频,时长为 3 秒至 3 分钟。使用有线耳机和麦克风可减少设备延迟与回声。

点击阅读原文,即可跳转模型链接~


👇点击关注ModelScope公众号获取

更多技术信息~

阅读原文

跳转微信打开

魔搭社区模型速递(11.8-11.14)

2026年11月15日 16:02

魔搭ModelScope社区 2026-11-15 16:02 浙江

模型上新3207个、数据集上新575个、创新应用上新377个、应用文章发布9篇

🙋魔搭ModelScope本期社区进展:

📟3540个模型:MiniMax-H3-Image、LongCat-2.5、LingBot-Touch、Nex-N2.6、Audio8-TTS系列、Sophon-Realtime v1、Inkling-2-Small等;

📁680个数据集:Open-HumanWAM-50K、plateau-city-glb、robomocap等;

🎨501个创新应用:MiniMax-H3-Image、Piccolo 决策模型、心语project等;

📄 9篇内容:

                    • Inkling 2 Small开源:594B激活17B,部分任务表现超越 Claude Haiku 5.5

                    • “自改不自批”!清华团队开源 Voder,探索安全人工超级智能

                    • Minimax-H3-image 上线魔搭 AIGC 专区

                    • Unsloth 发布 Qwen3.8-27B GGUF:动态量化 V3.1,同体积准确率提升 5–10%

                    • MiniMax-H3-Image:原生 4K 图像生成,魔搭量化模型支持 24GB 显存部署,附快速部署模型教程

                    • 上海创智学院开源Nex-N2.6!更省 Token、更强电脑操控能力,Agent 长程体验全新升级

                    • 美团开源LongCat-2.5: 1.6T参数、48B激活,强化多模态理解与长程 Agent 编程

                    • LingBot-Touch 触觉基础模型正式开源,为通用大脑接入“手感”

                    • AI降临派开源 Sophon-Realtime v1:听得懂语气,也说得出语气的全双工语音模型

                    01

                    模型推荐

                    MiniMax-H3-Image

                    MiniMax 正式开源 MiniMax-H3-Image,基于 H3 将文生图、参考图生成和图像编辑统一在一个模型中。模型经过 6 步蒸馏,可直接生成 4096 × 4096 像素、约 16 MP 的图像,无需超分辨率放大,并支持多种宽高比及最多 16 张参考图像。

                    MiniMax-H3-Image 汇集了三大核心优势:速度、图像质量和指令遵循能力。

                    1. 以实用的计算成本生成 1600 万像素图像。

                       相较于目前常见的 1–4 MP 输出,16 MP(4096 × 4096)图像能提供更丰富的细节,但通常也需要显著更高的计算开销。MiniMax-H3-Image 将这一计算成本控制在合理范围内,使 16 MP 图像生成在日常创作中切实可用。

                    2. 丰富细节,卓越真实感。

                       MiniMax-H3-Image 超越了人们熟悉的“AI 质感”,能够生成细节精致、逼真度极高的图像,为创意和专业应用开辟了更多可能。它使生成的影像更接近真实视觉世界的丰富性与细腻感。

                    3. 更强的指令遵循能力,更佳的创作掌控力。

                       优秀的图像生成不止于产出精美图片——更能帮助创作者将创意变为现实。MiniMax-H3-Image 在开源模型中具备最强的指令遵循能力,并支持多达 16 张参考图像,赋予创作者对最终效果更强的控制力。

                    模型链接:

                    https://modelscope.cn/models/MiniMax/MiniMax-H3-Image

                    十五张 MiniMax-H3-Image 文生图结果,包含横屏和竖屏格式:3D 奇幻战斗、青绿山水画、树蛙、蓝染兔、3D 白发少女、花丛人像、科幻城市、饺子、高地牛、镜中人像、3D 水獭与绵羊、像素艺术猫、吉丁虫、巨型樱桃以及鱼眼自拍

                    已上架魔搭AIGC专区,欢迎体验~

                    更多模型部署、推理实战教程,详见:

                    MiniMax-H3-Image:原生 4K 图像生成,魔搭量化模型支持 24GB 显存部署,附快速部署模型教程

                    LongCat-2.5

                    11月10日,美团龙猫正式开源 LongCat-2.5,这是一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿,每个 token 激活约 480 亿参数,支持百万 Token 上下文,并提供面向国产算力的 W4A4 量化版,在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。

                    团队将真实 Agent 的失败轨迹转成可复现的训练任务,结合长程强化学习,提升模型在复杂代码库开发和完整项目构建中的表现。模型主干统一处理文本与离散视觉 Token,支持根据参考图生成网页代码,也能用代码构建 3D 场景。

                    模型链接:

                    https://modelscope.cn/models/meituan-longcat/LongCat-2.5

                    Benchmark:

                    LongCat-2.5 基准测试图表

                    示例代码

                    LongCat-2.5 当前官方提供基于 SGLang-FluentLLM 的昇腾 NPU 部署方案,使用 W4A4 权重,并将视觉编码、Prefill 和 Decode 分离运行。

                    • 模型下载

                    安装魔搭下载工具,下载 W4A4 模型:

                    pip install modelscope

                    modelscope download meituan-longcat/LongCat-2.5-W4A4 \

                      --local-dir /data/meituan-longcat/LongCat-2.5-W4A4

                    • 安装推理环境

                    下载项目源码并安装依赖的python库:

                    # 下载项目源码,使用支持LongCat 2.5 W4A4及EPD分离部署的NPU版本

                    git clone  https://github.com/meituan-longcat/SGLang-FluentLLM.git

                    cd SGLang-FluentLLM

                    git checkout longcat-2.5-npu

                    # 安装依赖的python库

                    pip3 install -r ./npu_test/requirements.txt --no-deps

                    • 启动 Encoder

                    在 Encoder 节点的项目根目录执行:

                    export MODEL_PATH=/data/meituan-longcat/LongCat-2.5-Encoder

                    export ENCODER_NPU_DEVICES=0,1

                    bash npu_test/flash26b/run_encoder_epd.sh

                    • OpenAI 兼容 API 调用

                    验证多模态推理:

                    export service_ip=prefill-node3 # 替换为 MiniLB 节点的实际地址

                    curl -X POST http://${service_ip}:8081/v1/chat/completions \

                    -H "Content-Type: application/json" \

                    -d '{

                      "model": "LongCat-2.5",

                      "messages": [

                        {"role": "user", "content": [

                          {"type": "text", "text": "请描述这张图片。"},

                          {"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}

                        ]}

                      ],

                      "max_tokens": 1024,

                      "temperature": 0.7,

                      "stream": false

                    }'

                    详细教程参考:https://github.com/meituan-longcat/SGLang-FluentLLM/blob/longcat-2.5-npu/npu\_test/ReadMe.md

                    Nex-N2.6

                    11 月 11 日,上海创智学院开源多模态 Agent 模型 Nex-N2.6。模型基于 GLM-5.3-Flash,面向电脑操作、编程和长程工具调用,约 321B 参数的 FP8 权重已开放,API 支持 256K 上下文。

                    • 更少的重复推理: 在内部检查点重放评估中,与 Nex-N2.5-Pro 相比,推理重复率从 16.0% 降至 1.6%——相对减少了 90%。

                    • 工具列表遵循度提升: 在内部评估中,Nex-N2.6 在涉及工具调用的回复中实现了 100% 的工具列表遵循度。

                    • 更强的计算机操作能力: Nex-N2.6 在 OSWorld 上得分 83.0,高于 Nex-N2.5-Pro 的 82.2 和基座模型 GLM-5.3-Flash 的 78.0。

                    模型链接:

                    https://www.modelscope.cn/models/nex-agi/Nex-N2.6

                    Benchmark

                    更多部署、推理实战教程详见:

                    上海创智学院开源Nex-N2.6!更省 Token、更强电脑操控能力,Agent 长程体验全新升级

                    LingBot-Touch

                    本周,蚂蚁灵波正式开源面向灵巧操作的触觉基础模型 LingBot-Touch,为机器人的通用大脑补齐关键的触觉感知能力。基于近 5000 小时真实触觉数据预训练,LingBot-Touch 覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,让积累的“手感”能够跨传感器、跨灵巧手、跨模型和跨任务复用。在 26 项真机测试中,接入这一表征后,四种动作模型的平均任务成功率较无触觉时提高约 14 至 26 个百分点。

                    模型合集:

                    https://modelscope.cn/collections/Robbyant/LingBot-Touch

                    图片

                    Benchmark:

                    图片

                    Sophon-Realtime v1

                    11月8日,AI降临派(Adventists AI)开源 Sophon-Realtime v1,一款基于32B参数模型的实时全双工语音交互系统,支持持续监听、实时打断、话轮判断及情绪化语音生成,能够识别犹豫、重音、笑声等语气特征,并生成带有笑声、叹气等自然表现的语音回复。模型提供 Tag、Flash、E2E 三个版本,分别侧重语音表现力、高并发和低延迟,E2E版首包延迟约0.25秒,Flash版单张80GB显卡建议支持40路并发。官方评测中,VoiceBench得分82.8,Big Bench Audio准确率81.8%,Full-Duplex-Bench v3工具调用Pass@1达48%。模型支持vLLM-Omni部署及Apache-2.0许可,适用于实时语音助手、智能客服、AI陪伴和车载交互等场景。

                    模型合集:

                    https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-v1

                    Benchmark:

                    图片预览

                    更多模型微调,详见:

                    AI降临派开源 Sophon-Realtime v1:听得懂语气,也说得出语气的全双工语音模型

                    Inkling-2-Small

                    11月5日,Thinking Machines Lab 发布 Inkling 2 Small,并于11月12日开放模型权重。模型采用48层稀疏MoE架构,总参数594B,每Token激活17B,支持文本、图像输入和最高1M Token上下文,重点提升长程Agent、代码开发、视觉理解及复杂推理能力。预训练使用8.4万亿Token,后续增加3.8万亿Token高质量数据,并通过1075步强化学习、超1700万次Rollout进行后训练。官方评测中,Artificial Analysis Intelligence Index v5.0得分30.6,DeepSWE v1.1得分72.1%,BrowseComp达到90.2%。模型提供NVFP4和MXFP8两种权重,部署分别需要至少500GB和800GB总显存,支持vLLM、SGLang等推理框架,采用Apache 2.0许可,适用于自主编程、AI研究Agent、复杂信息检索及多模态应用开发。

                    模型链接:

                    Benchmark:

                    图片

                    图片

                    图片

                    图片

                    图片

                    更多模型本地部署,详见:

                    Inkling 2 Small开源:594B激活17B,部分任务表现超越 Claude Haiku 5.5

                    02

                    数据集推荐

                    Open-HumanWAM-50K

                    Open-HumanWAM-50K 是北京大学 DAGroup 团队开源的面向具身智能与机器人学习的大规模第一视角人类操作视频数据集。数据集包含 5万小时视频、约3593万段精选片段,整合 HumanNet、EgoSuite-Open100K、EgoDex、Gen-HumanEgo 和 EgoVerse 五类数据来源,覆盖家庭、商业服务及工业操作场景。数据配有自然语言描述和手部运动标注,通过手部可见性、运动稳定性及操作活动筛选,并统一相机坐标、手腕方向和手部开合状态,形成标准化双手末端执行器表示。数据采用 LeRobot v3 格式,提供视频、动作状态和元数据,以及100至50000小时的7种训练子集,适用于机器人操作策略学习、世界动作模型预训练及跨场景泛化研究。

                    数据集链接:

                    https://modelscope.cn/datasets/DAGroup-PKU/Open-HumanWAM-50K

                    plateau-city-glb

                    plateau-city-glb 是 CodePawl 基于日本国土交通省 Project PLATEAU 三维城市数据整理的开源 3D 城市模型数据集,包含 797个城市瓦片,覆盖东京23区及大阪、横滨、名古屋、札幌的部分区域。数据按约1公里网格切分,包含建筑物、地形和道路等三维信息,支持 LOD1 建筑轮廓及部分带纹理的 LOD2 建筑模型。通过 Meshopt 几何压缩和 WebP/KTX2 纹理优化,将原始约6.33GB数据压缩至758MB的网页端GLB版本,并提供3级LOD简化模型、移动端版本、引擎版本及碰撞网格。数据包含地理坐标、瓦片边界和空间偏移信息,支持按位置动态加载,适用于数字孪生、智慧城市可视化、3D地图、WebGPU场景渲染及游戏开发。数据采用CC BY 4.0许可,不建议用于测绘精度要求较高的场景。

                    数据集链接:

                    https://modelscope.cn/datasets/codepawl/plateau-city-glb

                    robomocap

                    RoboMoCap 是 BitRobot 联合研究团队开源的面向人形机器人学习的大规模多模态全身运动捕捉数据集,包含 200余小时真实世界采集数据、14名参与者、293种动作,总数据量超过5TB。数据覆盖行走、跑步、姿态调整、物体搬运、移动操作及人际协作等8类行为。采集系统配备6个头戴相机、2个腕部相机及第三人称摄像机,结合IMU、磁力计、音频和53个光学标记点,以120Hz频率记录全身运动,并提供手部姿态、物体运动轨迹及3D扫描模型。数据通过时间同步与相机标定,将第一视角视觉信息与高精度全身动作关联,补充普通第一视角视频难以观测的腿部运动和足部落点信息。适用于人形机器人运动控制、全身动作重建、足部接触预测、人类动作到机器人动作重定向及移动操作策略学习。数据采用CC BY 4.0许可。

                    数据集链接:

                    https://modelscope.cn/datasets/BitRobot/robomocap

                    03

                    创空间

                    MiniMax-H3-Image

                    输入文字描述或上传参考图片,即可生成、编辑高质量图像。MiniMax-H3-Image 支持文生图、多图融合及指令编辑,最多可输入16张参考图,实现人物、场景和风格的可控生成。模型采用6步采样,可直接生成约1600万像素(4096×4096)的高清图片,适用于创意设计、海报制作、角色创作及图片编辑等场景。

                    Piccolo 决策模型

                    Piccolo 是 AgentScope 推出的 AI 决策模型系列,提供 4B、9B、27B 三种参数规模。不同于传统聊天模型,Piccolo 接收当前状态、问题和候选选项,对各个选项进行评分并输出决策概率,无需生成长文本。体验空间展示模型在游戏交互、动作选择等场景中的决策过程,可用于了解 AI Agent 如何进行工具调用审核、上下文筛选和任务决策。

                    体验链接:

                    https://modelscope.cn/studios/AgentScope/PiccoloPlayground

                    Sophon-Realtime v1

                    Sophon-Realtime v1 是一款支持全双工实时语音交互的 AI 模型,能够在持续聆听用户说话的同时生成语音回复,支持实时打断、话轮判断和情绪化语音表达。模型可感知语气、重音、笑声等声音特征,生成更自然的对话反馈。

                    体验链接:

                    https://modelscope.cn/studios/AdventistsAI/Sophon-Realtime

                    04

                    社区精选文章


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    跳转微信打开

                    MiniMax-H3-Image:原生 4K 图像生成,魔搭量化模型支持 24GB 显存部署,附快速部署模型教程

                    2026年11月12日 11:40

                    魔搭ModelScope社区 2026-11-12 11:40 浙江

                    MiniMax开源MiniMax-H3-Image模型,统一文生图、参考图生成和图像编辑能力,支持原生4096×4096像素输出,通过剪枝量化可在24GB显存本地部署。

                    image.png

                    MiniMax 正式开源 MiniMax-H3-Image,基于 H3 将文生图、参考图生成和图像编辑统一在一个模型中。模型经过 6 步蒸馏,可直接生成 4096 × 4096 像素、约 16 MP 的图像,无需超分辨率放大,并支持多种宽高比及最多 16 张参考图像。
                    针对本地部署,DiffSynth-Studio 与 EntroPack 提供剪枝和量化推理方案,剪枝可减少约 39% 的模型参数。结合平均 3bit 混合量化,模型可在 24GB 显存 + 8GB 内存的配置下运行,无需 Offload,同时提供 ComfyUI 工作流及面向多 GPU 服务器的 SGLang Diffusion 部署方案。

                    image

                    此次还同步开源提示词改写模型 MiniMax-H3-Image-PE,可将简短请求扩展为详细的图像描述,并给出宽高比建议。
                    开源地址:

                    01

                    模型生成效果

                    写实摄影风格

                    超现实主义时尚摄影

                    环境概念设计

                    角色、生物与道具

                    绘画与插画风格

                    带推理能力的文本渲染:中英文逻辑谜题,在图板上正确解答

                    图像编辑,单参考图:无纹理 3D 渲染图(左)转化为月球研究基地的电影剧照(右)

                    图像编辑,单参考图:一张游戏地图(左)转换为从红色箭头位置出发的第一人称3D游戏视角,并将地图作为小地图显示(右)

                    图像编辑,十张参考图:一间空房间和九件家具(上)组合成一个完整的客厅(下)

                    02

                    模型剪枝

                    在本次 MiniMax 开源的 MiniMax-H3-Image 模型中,模型经过了步数蒸馏,因此模型只需在固定的 6 个 sigma 参数处推理,但模型中仍存在冗余的参数以兼容其他 sigma 数值。
                    为减少资源占用,可对这部分冗余参数进行剪枝,目前有两种剪枝方案:

                    两种剪枝方案都可以减少约 39% 的参数。

                    image.png

                    03

                    本地推理

                    MiniMax-H3-Image 的模型参数量非常大,针对不同的硬件条件,我们提供了多种推理方案。

                    消费级 NVIDIA GPU RTX 4090

                    以 RTX 4090 为例,GPU 显存只有 24G,因此需要对模型进行量化压缩,我们推荐使用 DiffSynth + EntroPack 进行推理。
                    安装 Python 环境:

                    pip install diffsynth==2.2.2

                    pip install cupy-cuda12x # or cupy-cuda13x

                    方案一:24GB 显存 + 32GB 内存,开启 INT8 量化 + ConvRot 提升精度,DiT 部分开启动态 CPU Offload,Text Encoder 部分开启 Disk Offload 流式加载和推理,图像生成质量几乎无损。

                    import torch

                    from diffsynth.pipelines.minimax_h3_image import MiniMaxH3ImagePipeline, ModelConfig

                    quant_vram_config = {

                        "offload_dtype": torch.bfloat16,

                        "offload_device": "cpu",

                        "onload_dtype": torch.bfloat16,

                        "onload_device": "cpu",

                        "preparing_dtype": torch.bfloat16,

                        "preparing_device": "cuda",

                        "computation_dtype": torch.bfloat16,

                        "computation_device": "cuda",

                    }

                    offload_vram_config = {

                        # 如果有更多内存,可以设置 offload_vram_config = quant_vram_config

                        "offload_dtype": "disk",

                        "offload_device": "disk",

                        "onload_dtype": "disk",

                        "onload_device": "disk",

                        "preparing_dtype": torch.bfloat16,

                        "preparing_device": "cuda",

                        "computation_dtype": torch.bfloat16,

                        "computation_device": "cuda",

                    }

                    pipe = MiniMaxH3ImagePipeline.from_pretrained(

                        torch_dtype=torch.bfloat16,

                        device="cuda",

                        model_configs=[

                            ModelConfig(

                                model_id="DiffSynth-Studio/MiniMax-H3-Image-EntroPack",

                                origin_file_pattern="models/dit_8bit_int8.safetensors",

                                origin_config_file="models/dit_8bit_int8.json",

                                **quant_vram_config,

                            ),

                            ModelConfig(

                                model_id="DiffSynth-Studio/EntroPackPreQuants",

                                origin_file_pattern="models/MiniMax-H3/text_encoder_int8_convrot.safetensors",

                                origin_config_file="models/MiniMax-H3/text_encoder_int8_convrot.json",

                                **offload_vram_config,

                            ),

                            ModelConfig(

                                model_id="MiniMax/MiniMax-H3-Image",

                                origin_file_pattern="pdd_fused_heads.safetensors",

                                **quant_vram_config,

                            ),

                            ModelConfig(

                                model_id="DiffSynth-Studio/MiniMax-H3-Image-EntroPack",

                                origin_file_pattern="models/vae_int8.safetensors",

                                **quant_vram_config,

                            ),

                        ],

                        processor_config=ModelConfig(model_id="MiniMax/MiniMax-H3-Image", origin_file_pattern="processor/"),

                        # 将 vram_limit 设置为显存上限(GB),可以在更小显存的 GPU 上运行

                        vram_limit=20,

                    )

                    prompt = "A cat is sitting on the table. A book is on the table."

                    image = pipe(prompt=prompt, height=4096, width=4096, seed=42)

                    image.save("MiniMax-H3-Image-Pruned-EntroPack.jpg")

                    方案二:24GB 显存 + 8GB 内存,以 8.5bit 、5bit 和 2.9 bit 混合量化到 3bit 的平均精度,无任何 Offload,生成大量图片时速度最快。

                    import torch

                    from diffsynth.pipelines.minimax_h3_image import MiniMaxH3ImagePipeline, ModelConfig

                    pipe = MiniMaxH3ImagePipeline.from_pretrained(

                        torch_dtype=torch.bfloat16,

                        device="cuda",

                        model_configs=[

                            ModelConfig(

                                model_id="DiffSynth-Studio/MiniMax-H3-Image-EntroPack",

                                origin_file_pattern="models/dit_extreme_3bpp.safetensors",

                                origin_config_file="models/dit_extreme_3bpp.json",

                            ),

                            ModelConfig(

                                model_id="DiffSynth-Studio/EntroPackPreQuants",

                                origin_file_pattern="models/MiniMax-H3/text_encoder_3bpp.safetensors",

                                origin_config_file="models/MiniMax-H3/text_encoder_3bpp.json",

                            ),

                            ModelConfig(

                                model_id="MiniMax/MiniMax-H3-Image",

                                origin_file_pattern="pdd_fused_heads.safetensors",

                            ),

                            ModelConfig(

                                model_id="DiffSynth-Studio/MiniMax-H3-Image-EntroPack",

                                origin_file_pattern="models/vae_int8.safetensors",

                            ),

                        ],

                        processor_config=ModelConfig(model_id="MiniMax/MiniMax-H3-Image", origin_file_pattern="processor/"),

                    )

                    prompt = "A cat is sitting on the table. A book is on the table."

                    image = pipe(prompt=prompt, height=4096, width=4096, seed=42)

                    image.save("MiniMax-H3-Image-Pruned-EntroPack.jpg")

                    我们也提供了 ComfyUI 工作流:https://modelscope.cn/models/DiffSynth-Studio/MiniMax-H3-Image-EntroPack/tree/master/comfyui

                    NVIDIA GPU H20

                    H20 是目前广泛用于数据中心服务器上的低成本推理 GPU,使用 DiffSynth + EntroPack,首先使用 DiffSynth 中的自定义注意力算子,启用 Sage Attention 中量化后的注意力算子(以下代码需要在 import diffsynth 之前执行)。

                    import os

                    os.environ["DIFFSYNTH_ATTENTION_IMPLEMENTATION"] = "sage_attention_h20_fast"

                    from sageattention import sageattn_qk_int8_pv_fp8_cuda_sm90

                    from diffsynth.core.attention.common import rearrange_out, rearrange_qkv

                    from diffsynth.core.attention.registry import register_attention_implementation

                    def sage_attention_h20_fast(q, k, v, q_pattern="b n s d", k_pattern="b n s d", v_pattern="b n s d", out_pattern="b n s d", dims=None, scale=None):

                        required_in_pattern, required_out_pattern = "b s n d", "b s n d"

                        q, k, v = rearrange_qkv(q, k, v, q_pattern, k_pattern, v_pattern, required_in_pattern, dims)

                        q, k, v = q.contiguous(), k.contiguous(), v.contiguous()

                        out = sageattn_qk_int8_pv_fp8_cuda_sm90(

                            q, k, v,

                            tensor_layout="NHD",

                            qk_quant_gran="per_warp",

                            pv_accum_dtype="fp32+fp32",

                            smooth_k=False,

                            is_causal=False,

                            sm_scale=scale,

                        )

                        out = rearrange_out(out, out_pattern, required_out_pattern, dims)

                        return out

                    register_attention_implementation(

                        "sage_attention_h20_fast",

                        sage_attention_h20_fast,

                        supports_causal=False,

                        supports_window=False,

                        supports_mask=False,

                    )

                    启用 INT8 量化 + ConvRot 提升精度 + 编译加速,开始模型推理:

                    import torch

                    from diffsynth.pipelines.minimax_h3_image import MiniMaxH3ImagePipeline, ModelConfig

                    pipe = MiniMaxH3ImagePipeline.from_pretrained(

                        torch_dtype=torch.bfloat16,

                        device="cuda",

                        model_configs=[

                            ModelConfig(

                                model_id="DiffSynth-Studio/MiniMax-H3-Image-EntroPack",

                                origin_file_pattern="models/dit_8bit_int8.safetensors",

                                origin_config_file="models/dit_8bit_int8.json",

                            ),

                            ModelConfig(

                                model_id="DiffSynth-Studio/EntroPackPreQuants",

                                origin_file_pattern="models/MiniMax-H3/text_encoder_int8_convrot.safetensors",

                                origin_config_file="models/MiniMax-H3/text_encoder_int8_convrot.json",

                            ),

                            ModelConfig(

                                model_id="MiniMax/MiniMax-H3-Image",

                                origin_file_pattern="pdd_fused_heads.safetensors",

                            ),

                            ModelConfig(

                                model_id="DiffSynth-Studio/MiniMax-H3-Image-EntroPack",

                                origin_file_pattern="models/vae_int8.safetensors",

                            ),

                        ],

                        processor_config=ModelConfig(model_id="MiniMax/MiniMax-H3-Image", origin_file_pattern="processor/"),

                    )

                    pipe.compile_pipeline()

                    prompt = "A cat is sitting on the table. A book is on the table."

                    image = pipe(prompt=prompt, height=4096, width=4096, seed=42)

                    image.save("MiniMax-H3-Image-Pruned-EntroPack.jpg")

                    首次推理有减速效果,其后每次推理都会加速,适合用于部署线上推理服务,用于处理大批用户请求。

                    • 在 4096 分辨率下,需要约 50GB 显存,生成一张图需要 39s,推理速度比 ComfyUI 快 18%

                    • 在 2048 分辨率下,需要约 48GB 显存,生成一张图需要 9.4s,推理速度比 ComfyUI 快 8%

                    更多基于 DiffSynth 的推理和训练方案,请参考:https://diffsynth-studio-doc.readthedocs.io/zh-cn/latest/Model_Details/MiniMax-H3-Image.html

                    多 GPU 服务器上的推理服务部署

                    对于多 GPU 服务器,我们推荐使用 SGLang、vLLM-Omni 等框架部署模型推理服务,下面以 SGLang Diffusion 为例,分别演示文生图和参考图编辑。
                    部署模型推理服务:

                    # 安装环境

                    git clone https://github.com/sgl-project/sglang.git sglang-h3-image

                    git -C sglang-h3-image checkout \

                      eef6d87111ca94083f2840821de02d037463c174

                    python3.12 -m venv sglang-h3-image/.venv

                    source sglang-h3-image/.venv/bin/activate

                    python -m pip install --upgrade pip

                    python -m pip install --pre -e "./sglang-h3-image/python[diffusion]"

                    pip install modelscope requests

                    # 下载模型

                    modelscope download MiniMax/MiniMax-H3-Image \

                      --local-dir MiniMax/MiniMax-H3-Image

                    modelscope download MiniMax/MiniMax-H3 \

                      --local-dir MiniMax/MiniMax-H3 \

                      --include "text_encoder/*"

                    export MODEL_DIR="$PWD/MiniMax/MiniMax-H3-Image"

                    export TEXT_ENCODER_DIR="$PWD/MiniMax/MiniMax-H3/text_encoder"

                    # 启动推理服务

                    sglang serve \

                      --model-path "$MODEL_DIR" \

                      --text-encoder-path "$TEXT_ENCODER_DIR" \

                      --host 127.0.0.1 \

                      --port 30000 \

                      --warmup-mode off

                    发起图像生成请求:

                    import base64

                    from pathlib import Path

                    import requests

                    # 文生图

                    response = requests.post(

                        "http://127.0.0.1:30000/v1/images/generations",

                        json={

                            "prompt": (

                                "A cinematic photograph of a red fox in a misty forest "

                                "at dawn. Soft golden sunlight passes through tall pine "

                                "trees, delicate dew on foliage, detailed natural fur, "

                                "shallow depth of field, no text."

                            ),

                            "size": "4096x4096",

                            "num_inference_steps": 6,

                            "guidance_scale": 1,

                            "seed": 42,

                            "generator_device": "cpu",

                            "response_format": "b64_json",

                        },

                        timeout=1800,

                    )

                    response.raise_for_status()

                    image = base64.b64decode(response.json()["data"][0]["b64_json"])

                    Path("output.png").write_bytes(image)

                    # 图像编辑

                    response = requests.post(

                        "http://127.0.0.1:30000/v1/images/edits",

                        files={"image": ("reference.png", open("reference.png", "rb"), "image/png")},

                        data={

                            "prompt": (

                                "Transform <Picture 1> into a cinematic watercolor "

                                "illustration. Preserve the subject identity, pose "

                                "and overall composition. Use soft paper texture "

                                "and warm natural lighting."

                            ),

                            "size": "4096x4096",

                            "num_inference_steps": "6",

                            "guidance_scale": "1",

                            "seed": "42",

                            "generator_device": "cpu",

                            "response_format": "b64_json",

                        },

                        timeout=1800,

                    )

                    response.raise_for_status()

                    image = base64.b64decode(response.json()["data"][0]["b64_json"])

                    Path("edited.png").write_bytes(image)

                    点击阅读原文,即可跳转模型链接~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    上海创智学院开源Nex-N2.6!更省 Token、更强电脑操控能力,Agent 长程体验全新升级

                    2026年11月11日 20:12

                    魔搭ModelScope社区 2026-11-11 20:12 浙江

                    上海创智学院开源Nex-N2.6能动性模型,推理复读率降低90%、跨框架工具调用精准率达100%,OSWorld电脑操作评测达83分跻身第一梯队,实现更省Token、更强长程任务稳定性的Agent能力升级。

                    2026 年 9 月,上海创智学院开源发布了 Nex-N2.5 系列。作为主打“所见即行动”的能动性模型(Agentic Model),N2.5 系列突破了传统文本对话的边界,现了直接看屏幕、操作真实电脑界面的工程化能力,一经发布便登上 OpenRouter 热门模型榜首。
                    在 N2.5 收到社区的热烈反馈后,团队专门针对模型电脑操作能力(CUA)和工具调用能力进行精细化打磨,现正式推出了 Nex-N2.6。在长任务执行上,Nex-N2.6相比N2.5推理复读率降低 90%、大幅降低 Token 消耗;
                    在跨框架适配上,实现了跨 Harness 零误调的突破,能力与 GPT-6-Sol 相当。Nex 系列模型在长程任务的工业级交付能力上,迈出了坚实的一步。
                    目前,Nex-N2.6 已正式开放 256K 上下文窗口的 API 调用,并同步开源 321B 参数的 FP8 量化权重,欢迎体验!

                    更低 Token 消耗,更稳定的长程交付:已知故障重复发生率下降 90%

                    为了客观评估的Nex-N2.6模型的升级能力,团队整理了 698 条内部团队与合作伙伴团队使用中沉淀的Badcase ,构建了内部“重复问题 Bench”。
                    测试采用了长轨迹故障断点重放(Checkpoint Replay)机制:完全冻结上一代模型发生报错或卡死前的历史上下文与工具返回结果,让 Nex-N2.6从同一个故障断点接续生成下一次响应。
                    这种严格控制单一变量的断点重放方法,排除了从头重跑时的路径选择随机性,是验证 Agent 故障修复效果的权威工程标尺。相较 N2.5-Pro,Nex-N2.6 的推理复读触发率相对下降 90%(16.0% 降至 1.6%),整体调用未循环率97.8%。
                    升级后的Nex-N2.6模型,执行长任务不再“原地打转”,不仅避免了无效思考带来的 Token 资源浪费,更大幅提升了端到端任务的成功率。

                    评测指标

                    N2.5-mini

                    N2.5-Pro

                    GLM-5.3-Flash

                    N2.6

                    推理复读触发率

                    20.2%

                    16.0%

                    6.0%

                    1.6%

                    整体调用未循环率

                    86.2%

                    91.0%

                    96.2%

                    97.8%

                    Harness 跨框架适配:100% 清单内工具精准匹配,与 GPT-6-Sol 相当

                    在实际开发中,个人或团队往往需要频繁在不同的 Harness、运行框架或环境之间切换。Harness 负责向模型声明当前可用的工具清单。举个例子,历史对话记录了旧框架的工具名称,而新框架名称不一致(如 read\_file 与 open\_file 的细微差别),模型就极易报错。
                    团队保留了 956 条真实上下文进行测试,无论开发者使用的是 Claude Code、Codex、Cursor 还是自研的 Harness,在实际发起工具调用的响应中,Nex-N2.6 实现了 100.00% 的清单内精准匹配,与 GPT-6-Sol 相当。
                    这表明模型有效摆脱了对特定训练环境的过拟合,在不同 Harness 之间做到了真正丝滑切换、即插即用。

                    模型

                    有效工具选择率(整体)

                    有效工具选择率(有工具调用时)

                    N2.5-mini

                    81.53%

                    79.95%

                    N2.5-Pro

                    82.22%

                    80.56%

                    GLM-5.3-Flash

                    85.25%

                    84.11%

                    N2.6

                    100.00%

                    100.00%

                    GPT-6-Sol(参照)

                    100.00%

                    100.00%

                    更强的电脑操作能力:OSWorld大幅提升,CUA跻身一梯队

                    Nex-N2.6 展现出顶级的全栈电脑操控能力:其在桌面图形界面评测 OSWorld 得分达到 83.0 分(较底座提升 5.0 分,远超 DeepSeek-V4.1-Flash),成功跻身第一梯队;
                    同时在纯命令行评测 Terminal-Bench 2.1 中取得 84.1 分,无损保留了底座的自动化运维功力。实测表明,新版本的后训练配方在大幅解决长任务“思考打转”与“跨框架过拟合”两大工程痛点的同时,不仅没有牺牲通用性能,更实现了电脑操控能力的定向突破。

                    团队报告的基准得分

                    GLM-5.3-Flash

                    DeepSeek-V4.1-Flash

                    N2.5-Pro

                    N2.6

                    OSWorld(电脑操作)

                    78.0

                    71.7

                    82.2

                    83.0

                    Terminal-Bench 2.1(终端)

                    84.3

                    82.7

                    82.7

                    84.1

                    AutomationBench(自动化)

                    48.8

                    54.8

                    44.2

                    45.7

                    本地部署与推理

                    Nex-N2.6 可使用支持 GLM-5.3-Flash 的 SGLang 部署,并根据硬件选择 FP8 兼容配置。

                    模型权重下载

                    modelscope download --model nex-agi/Nex-N2.6 --local_dir nex-agi/Nex-N2.6

                    安装推理环境

                    拉取官方镜像:

                    docker pull lmsysorg/sglang:latest 

                    启动 SGLang 服务

                    将本地模型目录只读挂载到容器,并将服务模型名设为 Nex-N2.6:

                    export MODEL_DIR="nex-agi/Nex-N2.6"

                    docker run --gpus all --shm-size 32g \

                      -p 127.0.0.1:8000:8000 \

                      --mount "type=bind,src=$MODEL_DIR,dst=/model,readonly" \

                      --entrypoint python3 lmsysorg/sglang:latest \

                      -m sglang.launch_server \

                      --model-path /model \

                      --tokenizer-path /model \

                      --served-model-name Nex-N2.6 \

                      --tp-size 8 \

                      --ep-size 8 \

                      --dsa-prefill-backend tilelang \

                      --dsa-decode-backend tilelang \

                      --kv-cache-dtype bfloat16 \

                      --moe-runner-backend deep_gemm \

                      --reasoning-parser glm45 \

                      --tool-call-parser glm47 \

                      --host 0.0.0.0 \

                      --port 8000

                    文本推理

                    服务就绪后,通过 Chat Completions 接口调用。下面沿用模型 README 的回文函数示例,并开启流式输出:

                    curl -N http://127.0.0.1:8000/v1/chat/completions \

                      -H 'Content-Type: application/json' \

                      -d '{

                        "model": "Nex-N2.6",

                        "messages": [

                          {

                            "role": "user",

                            "content": "Write a Python function that checks whether a string is a palindrome."

                          }

                        ],

                        "reasoning_effort": "max",

                        "max_tokens": 8192,

                        "stream": true

                      }'

                    图像输入与工具调用

                    图像请求使用多模态内容块。下面的图片地址需要替换为推理服务能够访问的实际图片地址:

                    curl http://127.0.0.1:8000/v1/chat/completions \

                      -H 'Content-Type: application/json' \

                      -d '{

                        "model": "Nex-N2.6",

                        "messages": [

                          {

                            "role": "user",

                            "content": [

                              {"type": "text", "text": "Describe the interface and identify the available controls."},

                              {

                                "type": "image_url",

                                "image_url": {"url": "https://example.com/screenshot.png"}

                              }

                            ]

                          }

                        ],

                        "reasoning_effort": "max",

                        "max_tokens": 4096

                      }'

                    写在最后

                    Nex 系列一直围绕能动性模型(Agentic Model)展开研发:2025 年 11 月,Nex-N1 基于 DeepSeek-V3.1、Qwen3 等开源底座进行后训练,强化代码开发与工具调用能力,同时开源了 NexAU、NexGAP、NexRL 等配套基础设施。
                    2026 年 6 月,Nex-N2 引入 Agentic Thinking 按需推理范式,在 SWE-bench Verified 上取得 80.8 的成绩。
                    2026 年 9 月,Nex-N2.5 将能力从文本交互拓展到屏幕理解与真实电脑界面操作,支持 FreeCAD、Blender 等自动化工作流。此次发布的 Nex-N2.6 则进一步聚焦工业级长任务执行中的稳定性问题,实现推理复读率相对降低 90%,并在跨 Harness 测试中未出现误调用。
                    从代码开发、工具调用到电脑操作,再到长任务的稳定执行,Nex 系列的迭代逐步深入实际工程场景,团队也将继续围绕这些需求推进开源 Agentic Model 的研发。

                    点击阅读原文,即可跳转模型链接~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    LingBot-Touch 触觉基础模型正式开源,为通用大脑接入“手感”

                    2026年11月10日 14:40

                    魔搭ModelScope社区 2026-11-10 14:40 浙江

                    LingBot-Touch 将通用大脑的感知能力延伸到“指尖”,让机器人“摸得更灵敏”,具身原生通用大脑能力再提升。

                    今天,蚂蚁灵波正式开源面向灵巧操作的触觉基础模型 LingBot-Touch,为机器人的通用大脑补齐关键的触觉感知能力。

                    基于近 5000 小时真实触觉数据预训练,LingBot-Touch 覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,让积累的“手感”能够跨传感器、跨灵巧手、跨模型和跨任务复用。在 26 项真机测试中,接入这一表征后,四种动作模型的平均任务成功率较无触觉时提高约 14 至 26 个百分点。

                    此前,蚂蚁灵波 LingBot 系列模型已构建起覆盖高精度空间感知、高动态环境交互与可泛化灵巧操作的全栈技术体系,让机器人看得更清楚、想得更明白、干得更利索。此次 LingBot-Touch 将通用大脑的感知能力延伸到“指尖”,让机器人“摸得更灵敏”,具身原生通用大脑能力再提升。

                    01

                    看清之后,为什么还需要“摸得灵敏”?

                    在真实物理世界中,机器人每执行一步动作,都需要感知物体和环境的变化,再修正下一步动作。许多精细操作里,看清物体的位置、把手伸到正确的地方,并不意味着任务就能顺利完成。接触之后受力是否合适、物体是否滑移,仅靠视觉往往难以判断。

                    图片

                    以拧瓶盖为例,深度信息可以帮助手指对准瓶盖。但开始转动后,瓶盖可能已经松动,也可能是指腹沿着盖壁打滑。这两种情况在画面中相似,却需要不同的动作调整。指尖的接触位置、受力大小及其变化,成为动作模型的重要判断依据,而这些信息往往被手指和物体遮挡,视觉难以获得。

                    为了验证触觉表征对真实操作的帮助,团队在 Sharpa Wave 和 XHand 两款灵巧手上进行了 26 项真机测试,涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入 LingBot-Touch 后,LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex 四种动作模型的平均任务成功率,较无触觉时提高约 14 至 26 个百分点。

                    图片

                    其中,在 T-Rex 控制 Sharpa Wave 拧瓶盖的任务中,不使用触觉时的成功率为 56.25%,直接输入传感器原始信号时为 62.5%,接入 LingBot-Touch 的触觉表征后,成功率达到 90%。

                    这一系列真机实验表明,高质量触觉信息输入可以为机器人动作成功率带来显著提升。

                    02

                    统一触觉表征,跨灵巧手、跨模型复用

                    给机器人装上触觉传感器,并不等于它就能用好触觉。商用触觉传感器整体仍处于较早的发展阶段,视触觉、磁触觉、压阻式等路线各有优势和局限。面向不同成本和使用场景,多种路线可能长期并存。

                    更棘手的是,同样一次接触,在不同传感原理和触点布局下,会形成不同的原始信号。如果模型只学会解读其中一种,更换传感器或灵巧手后,已有的数据和触觉经验就可能难以复用,需要重新采集、训练和适配。

                    团队的思路是,让触觉理解摆脱对特定传感器物理信号的依赖,使不同来源的数据能够共同用于训练,让积累的触觉能力跨灵巧手和跨动作模型复用。

                    为此,LingBot-Touch 按传感原理分别设置编码入口,先处理不同的原始信号,再将不同布局的触点映射到统一的指尖坐标空间。共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉 Token——供不同动作模型使用的触觉表征。

                    在这一架构下,人戴触觉手套和遥操作灵巧手采集的数据可以共同用于训练,不同动作模型也可以利用训练好的模型提取接触特征。这一架构还为未来接入新类型的触觉传感器留出了扩展空间。

                    图片

                    在 XHand 上,团队进一步验证了触觉能力的跨硬件复用。XHand 采用的磁触觉传感器型号并不在预训练数据中,模型学到的磁触觉经验全部来自人戴手套采集的数据。换到这只灵巧手后,团队保持 LingBot-Touch 参数不变,只用 XHand 的操作示范训练动作模型。

                    LingBot-Touch 提供的是位于触觉传感器和动作模型之间的通用感知能力,而不是某一硬件或某一策略的专用模块。本次测试接入了四种不同动作模型,不绑定团队自研的 LingBot-VLA 模型。传感器和灵巧手厂商可以根据成本与任务需求选择硬件,整机团队可以保留自己的动作策略,减少更换硬件与算法组合时重新开发触觉能力的重复投入。

                    为兼顾感知能力与端侧算力,团队提供了两种容量的模型。此次 26 项真机测试全部使用约 530 万参数的轻量版LingBot-Touch-Tiny 完成。接入 LingBot-VLA、π0.5 和 T-Rex 后,模型参数量仅增加约 0.13% 至 0.16%。

                    容量较大的版本LingBot-Touch-Small在感知测试中表现出进一步提升的潜力:当预训练数据增至近 5000 小时时,模型仍能从新增数据中获益,说明触觉预训练还有持续扩展提升的空间。

                    03

                    坚持具身原生,持续探索物理操作泛化性

                    GPT-6 Astra、Claude Fable 5.2 为代表的数字世界大模型的进展,赋予了机器人更强的复杂任务推理能力。但要真正跑通物理操作闭环,物理操作泛化性仍然绕不开,需要具身基础模型的不断突破。

                    在通用大模型加速演进的时点,LingBot-Touch 的发布正是团队对“具身原生”路线的持续投入和笃定 —— 不同于面向数字信息的多模态范式,机器人身处真实物理世界,信息从传感器来,作用到环境中去,既需要理解深度这类空间感知信息,也需要处理触觉、力觉、温度等接触感知模态。模态输入的质量,很大程度上决定了动作输出的质量。

                    未来,团队将继续坚持“具身原生”的技术主张,从真实物理世界的需求出发,探索物理操作泛化性的新上限,打造跨构型的机器人行业通用大脑,推动视觉、深度、触觉等更多物理模态在统一模型中对齐,并在推进商业化的同时持续向社区开源开放。

                    点击阅读原文,即可跳转模型链接~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    从「资源可下载」到「Agent 可集成」:打造 Agentic 时代的开放生态基座

                    2026年11月6日 14:44

                    魔搭ModelScope社区 2026-11-06 14:44 浙江

                    魔搭社区全面升级开放生态基座,通过全站OpenAPI、GEO机器可读站点及智能工坊(MCP/Skills/AgentHub),实现从“资源可下载”到“Agent可集成”的跨越,赋能Agentic时代开发。

                    01

                    引言

                    作为开放的 AI 开源社区,魔搭社区一直致力于建成中国乃至全球 AI 模型开源的底层基础设施,服务最广泛的 AI 开发者生态。而过去一年,AI 技术的讨论重心正在从「以模型为核心」向「 Agent」扩展。从广受欢迎的 Claude Code、Codex,到各类新兴 Coding Agent 、办公 Agent、Personal Agent,越来越多的智能体开始进入开发者的日常工作流。业界也逐渐形成一个共识:未来的产品不仅需要向人提供服务,更需要向 Agent 提供服务。

                    这对平台提出了新的要求:

                    • 过去使用者是人,人要看文档、装环境、复制配置;现在多了一类使用者是 Agent,它不读图文教程,而是读 Spec、调 endpoint。

                    • 过去开放单位是模型权重,解决「拿得到」;现在要开放能力和基础设施,做到可触达、易获取、内容质量高。

                    • 过去交互以 GUI 为主,OpenAPI 与 CLI 是辅助,由人驱动;现在需要兼顾 API、MCP、Skills,由智能体驱动。

                    当 Agent 替人去选模型、选工具、选数据时,平台光「资源丰富」已经不够,还要「容易被集成」。贴合这一业界发展的趋势,魔搭也致力于将与Agent的交互融合到平台能力的中,方便模型与 Agent 能像开发者一样使用魔搭,同时也帮助开发者实现与魔搭更全方面的交互。

                    这些努力由三个方面构成:

                    1. 全面开放 OpenAPI,实现全站可编程——OpenAPI开放接口;

                    2. 打造 Agentic 友好站点,实现全站 Agent 可读——GEO/SEO机器可读入口开放。

                    3. 构建 Agent 资源库,支持 Agent 运行时——智能工坊与 Agent 实验场;

                    02

                    全站接口开放,OpenAPI First

                    作为全面拥抱开源开放的社区,魔搭通过OpenAPI,开放了其全栈核心接口,其 OpenAPI 支持覆盖了平台的 13 个业务模块,包括社区里的模型、数据集、创空间、合集、用户信息、Skills、MCP、Agents 等核心模块。

                    项目

                    规模

                    paths

                    64

                    operations

                    88

                    schema

                    187

                    业务域

                    13(User、Models、Datasets、MCP、Studios、Skills、AgentHub、Files、Agent-IDP、Magicube、Collections、Galleries、Agent Playground)

                    鉴权

                    Bearer Token / OAuth 2.0

                    魔搭的 OpenAPI 支持Bearer Token鉴权与 OAuth 2.0 鉴权,并支持机器通过标准 OpenAPI 自发现端点直接读取接口文档。无论是 Agent 系统开发、模型开发流水线,还是 AI 应用与工具等,均可零门槛接入。

                    除 Restful 接口外,开放能力还以三种形态触达开发者与 Agent:

                    ModelScope Hub CLI:pip install modelscope-hub 即可使用,如模型下载用 modelscope model download,以便开发者与Agent操作。

                    MCP:modelscope-mcp-server 由OpenAPI转换而来的远程 MCP,Agent 可标准调用。

                    Skills:平台官方提供的ms-hub Skills 指引 Agent 针对全站各类资源进行搜索、下载、上传、部署等操作;studio-deploy Skills 让 Agent 一键把应用部署到创空间。

                    通过这些开放的OpenAPI接口,开发者可以做到无需站点界面,也能通过 AI Agent 完成站点资源获取、使用与贡献。我们的目标是,所有面向用户的平台能力,均同步开放 OpenAPI 接口。

                    03

                    GEO:让站点先被 Agent 读懂

                    传统的站点往往面向人的浏览行为与偏好设计,这使得Agent 访问传统站点时经常会遇到阻力,耗时很久仍拿不到想要的资源;即使进入页面,也要模拟浏览器行为、解析 DOM,消耗大量 Token,还容易出错。魔搭希望将 Agent 视作社区的原住民,通过开放实现“Agent 友好” 的站点功能与服务,扩展社区的 Agentic 读取开放。魔搭全面推进全栈的GEO (Generative Engine Optimization) 接入,支持模型与Agent与平台的原生交互。

                    以模型页面为例:过去 Agent 通常看到的是一堆 HTML,需要猜字段、解析 DOM,经常出错;而魔搭的站点,不仅可以直接 GET models/{owner}/{name} 拿回结构化 JSON,参数量、任务类型、license、下载量、文件大小等等信息,还可以直接通过 .mdURL 直接读取页面内容,让 Agent 不绕弯路即可完成任务,大大节省 Token。

                    Agent友好站点核心包括三个方向的特性:

                    • 一是可被发现。 除了公开 OpenAPI Spec /.well-known/openapi.json,魔搭还支持了llms.txt、 sitemap.xml、JSON-LD 等标准端点访问。其中站点 AI 导航 /llms.txt 是最重要的对外声明,向抓取方说明站点结构、推荐抓取方式,并给出面向 AI 的使用指令,例如:下载模型请使用 SDK / CLI 而非拼接文件直链;引用页面请使用 canonical 地址;批量检索或需要结构化字段时改用 MCP Server 或公开 OpenAPI,而非抓取 HTML。主要入口如下:

                    • 二是可被读取。 魔搭全站核心资源页面均支持在 URL 后加 .md,返回 Markdown 加 frontmatter 的纯文本,Agent 可直接使用。目前已覆盖模型、数据集、创空间、论文及核心文档页面,覆盖面仍在持续扩大中。详细URL格式如下:

                    资源类型

                    地址模板

                    模型

                    https://modelscope.cn/models/{owner}/{repo_name}.md

                    数据集

                    https://modelscope.cn/datasets/{owner}/{repo_name}.md

                    创空间

                    https://modelscope.cn/studios/{owner}/{repo_name}.md

                    论文

                    https://modelscope.cn/papers/{id}.md

                    单篇文档 Markdown

                    https://modelscope.cn/docs/{path}.md

                    其中 {owner} 为用户名或组织名,{repo_name} 为仓库名,{id} 为论文 ID,{path}为文档路径。

                    • 三是可被调用。 魔搭官方 MCP Server 提供标准发现文档 /.well-known/mcp.json,配合 OAuth 授权,Agent 可按标准协议接入平台服务。

                    此外,robots.txt 已对 LLM 抓取方给出明确指路,sitemap.xml 下挂 7 份子清单覆盖模型、数据集、创空间、MCP、论文、开发者实践与静态入口,浏览器搜索插件 opensearch.xml 与页面 JSON-LD 结构化数据(模型、数据集、创空间、MCP、论文分别对应 SoftwareSourceCode、Dataset、WebApplication、SoftwareApplication、ScholarlyArticle)共同构成完整的对外声明。

                    借助这些设计,Agent 能像魔搭开发者一样,通过标准 Spec 获取全站资源和服务,自主发现、理解和调用。

                    04

                    智能工坊 + Agent 实验场:Agent 资源库与云端运行时

                    作为中国最大的AI开源社区,魔搭上免费托管的开源模型已经超过 28 万,开源数据集超过 4 万。在核心开源模型和数据集资产以外,魔搭也早早布局 Agent 生态,目前已形成以 Agent 为中心的开放资源库。其中「智能工坊」包含 Skills、MCPs、AgentHub 三类 Agent 资源库,以及 Agent 实验场这一类算力运行时。

                    MCP 广场于 2025 年 4 月上线,目前托管 1.2 万+ 社区 MCP,简单配置连接即可装入自己的 Agent 调试使用。同时对于支持托管的MCP,魔搭提供了免费部署托管服务,这些托管服务结合模型能力,已经为社区开发者提供了超过24亿次MCP调用。

                    Skills 中心于 2026 年 3 月上线,方便社区开源和发现 Skills,目前收录超过 8 万+个。特别地,魔搭平台自身的能力也以 Skills 形式开源在这里,例如 ms-hub 用于 Hub 搜索、下载、上传,studio-deploy 用于把应用一键部署到创空间等等。

                    最近魔搭推出了直接支持Agent生态的 AgentHub 与 Agent 实验场,其中:

                    • AgentHub 支持把模型、Skills、MCP 组合成 Agent 模板分享。你可以在上面找到各种 Agent 专家,一条命令下载到本地,或者在云端一键拉起免费体验。目前支持 MS-Agent 和 QwenPaw 两种框架模板上传下载,更多框架正在接入中。

                    • Agent 实验场 与 智能工坊的Skills中心、MCP广场、AgentHub 配套,作为云端 Agent 运行时,支持一键试用体验站点的 Agent 模板、Skills、MCPs、模型API 及其自由组合。浏览器即开即用,免于本地环境安装,并支持与 AgentHub 双向导入导出。

                    通过全栈 Agent 产品的建设,社区希望能将魔搭积累的模型与 API 生态优势放大,用于支撑上层 Agent 构建,并让大家在云端低门槛地完成 Agent 的构建、运行与试用,免于本地复杂的环境安装与管理。

                    05

                    持续开放,与社区一起共建

                    魔搭社区开放生态基座的建设,旨在为开发者提供从模型资源发现、能力集成到 Agent 构建运行的全链路支持,帮助大家从底层基建中解放出来,将更多精力聚焦于上层应用的设计与创新。

                    期望OpenAPI开放体系、Agent/机器可读入口开放、以及Agent 资源库(智能工坊、 Agent 实验场)能够共同构成开发者及 Agent 的开放生态基座,帮助社区开发者及其 Agent 通过魔搭全栈云端体验或本地环境均可流畅访问、使用、接入魔搭资源、产品及服务。

                    在后续的工作中,我们仍将持续扩大机器可读页面的覆盖面,把更多产品功能纳入 OpenAPI 开放体系并与平台功能实现 1:1 对应,同时进一步推进和丰富 AgentHub 与 Agent 实验场支持的框架与 Agent 模板生态。

                    06

                    🔗 相关链接

                    Agent 资源库与运行时

                    相关文档

                    官方邮箱:contact@modelscope.cn

                    点击阅读原文,即可跳转Agent实验场~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    Piccolo:递归自我进化的决策模型

                    2026年11月5日 11:30

                    魔搭ModelScope社区 2026-11-05 11:30 浙江

                    Piccolo是一款基于递归自改进(RSI)框架的决策模型,在JevBench等基准测试中多项指标排名第一,能为智能体工作流、数据处理及游戏操控提供快速精准的长程决策支持。

                    今天,AgentScope团队发布 Piccolo 决策模型系列,包含 27B、9B 和 4B 三个尺寸。Piccolo-27B 在 JevBench Public 上取得 92.21% 的准确率,在文本 Decision Index Public 上取得 68.59 分,在多模态 Decision Index Public 上取得 77.75 分;在自建专项基准 HarnessJevBench(Agent 运行控制)和 DataJevBench(数据工作流)上,准确率分别为 84.41% 和 82.60%。

                    在实际应用中,Piccolo 可以作为决策组件,接入需要快速判断的任务流程。从智能体的工具审核与上下文筛选,到数据处理中的关键决策,再到游戏中的连续判断,Piccolo 迅速理解当前状态、比较候选项,返回程序可以直接使用的结果与概率。

                    为持续提升这些判断能力,团队设计了一套基于递归自改进(RSI)的研发框架:研究 Agent 根据模型错误与训练反馈选择数据、检验改动,并将实验结果用于下一轮优化。

                    01

                    从游戏到工作流,看 Piccolo 如何决策

                    Game|在连续动作中作出选择

                    Piccolo 具有优秀且迅速的长程决策能力。团队选取了《绝区零》的战斗场景,Piccolo 根据当前游戏的实时局面,动态为角色的移动、攻击和闪避提供动作指导。下方实录同步展示了游戏画面与按键决策,Piccolo 在高帧率下流畅地击败了敌人。

                    《绝区零》战斗实录:Piccolo 根据游戏截图提供动作指导,执行端落实为按键操作。

                    除了瞬息变化的动作游戏,Piccolo 也支持益智与棋盘游戏中的策略判断。Mario 需要关注移动与跳跃时机,2048 需要规划合并方向,推箱子关注箱子与目标的合理分配,黑白棋则需要根据博弈局面选择落子位置。

                    Mario移动与跳跃时机

                    黑白棋棋盘状态下的落子选择

                    Harness|让判断覆盖 Agent 工作流的关键环节

                    从选择工具到确认任务完成,Agent 的每一步都需要结合任务、证据与约束作出判断。Piccolo 可以嵌入 Harness,在工具选择、模型路由、上下文与记忆、权限与信任、完成验收、失败恢复等子场景中,为下一步动作提供决策。

                    Harness 六类子场景:工具选择、模型路由、上下文与记忆、权限与信任、完成验收、失败恢复Harness 工作流中的六类关键判断

                    例如,查询交付日期时选择订单系统;多个模型都能完成任务时,结合预算选择执行资源。为晚餐规划筛选上下文时,保留用户的食物过敏信息,过滤过期天气等无关内容;当 Agent 仅获准保存草稿时,选择保存草稿,而不直接发送或发布。证据不足就继续核验,遇到临时故障则判断是否重试。

                    Piccolo 根据任务进展,为工作流的下一步提供判断:Harness 提供当前状态与候选动作,Piccolo 给出判断,再由工作流执行。这些决策帮助工作流调用工具、保留信息、请求确认,或调整执行路径。

                    Data|从数据进入流程,到产物校验与交付

                    数据处理同样需要大量结合语义、规则与证据的判断。Piccolo 可支持数据过滤、处理方案选择、产物质量评估、信息充分性判断、证据与隐私审查、工作流控制等子场景,帮助流程决定保留什么、怎样处理,以及结果能否继续使用。

                    Data 六类子场景:数据过滤、处理方案、产物质量、信息充分性、证据与隐私、工作流控制数据工作流中的六类关键判断

                    例如,判断清洗与去重的先后顺序,选择忠于来源的摘要;计算税后利润时,缺少税额就先请求补充信息;对外分享包含邮箱的记录前,先将邮箱脱敏。模型接收原始材料、处理要求和当前结果,比较候选动作,再由数据工作流落实选择。

                    这些子场景覆盖数据进入、处理、审核与交付的多个环节。面对不同任务,可以调整问题与候选项,让同一种决策接口支持工作流中的多种判断。

                    02

                    四项基准,检验 Piccolo 的决策能力

                    AgentScope团队在JevBench Public、Decision Index、HarnessJevBench Hard 和 DataJevBench上评测 Piccolo,分别观察通用决策、文本判断、Agent 运行控制及数据工作流中的能力。

                    在网站 11 月 2 日更新的 11 模型对比中,Piccolo-27B 的 JevBench Public 准确率为 92.21%,HarnessJevBench Hard 为 84.41%,DataJevBench 为 82.60%,三项均排名第一。其文本 Decision Index Public 成绩为 68.59。 多模态 Decision Index Public 成绩为 77.75。

                    左右滑动查看更多

                    通用成绩之外,团队还希望检验模型能否处理前面展示的工作流判断。因此,团队构建并开源了两个场景基准:HarnessJevBench(https://github.com/agentscope-ai/HarnessJevBench) 检验工具与资源选择、上下文管理、权限边界、完成验收和失败恢复;DataJevBench(https://github.com/datajuicer/DataJevBench) 检验数据收录、处理方案、产物质量、信息充分性、结论判断和工作流控制。

                    两个基准的任务定义与评测方法均可在仓库中查看,欢迎社区使用及贡献。

                    03

                    Piccolo 如何持续进化

                    为持续提升 Piccolo 的决策能力,团队设计了一套基于递归自改进(RSI)的研发框架。研究 Agent 选择或构造训练材料,执行训练与评测,再根据模型错误与训练反馈调整下一轮实验。数据来源、语义标签、逐题学习记录和模型表现被关联起来,让每次改动都有据可查,也为后续探索提供起点。

                    Piccolo 演化轨迹:在 Agent 驱动的迭代闭环中,10+ 轮、150+ 探索实验沿着反馈持续演进。全部探索实验合计使用 6,300 GPU hours(PPU-真武810E),并非仅用于训练最优模型。

                    ① 把多源数据,变成模型能学的判断题

                    团队从开源社区收集了 665 万条数据,覆盖分类、检索、数理推理、偏好判断与工具使用等任务,并定向合成决策环境,从中整理训练材料。不同来源统一为“状态、问题、候选项、目标分布”:硬标签给出确定选择,软标签保留评分与偏好的分布,两者使用同一个训练接口。

                    要选择训练材料,先要知道每条样本训练什么判断。基于 Data-Juicer,团队建立了包含13 个标注维度、551 个预定义取值的标签体系,记录领域、能力、任务形式、难度和质量等信息。图一按领域、能力和任务形式展示训练数据画像。在这些大类下,团队进一步标注具体的判断能力,例如约束推理、工具适用性,并结合领域等标签筛选训练材料。

                    所有数据入池前统一去重,并检查、排除与 Benchmark 的重叠,保持训练与评测隔离。主要监督阶段让模型直接学习候选项上的目标概率分布,为不同任务提供统一的决策训练接口。

                    数据来源治理、语义标注与训练数据画像
                    图一:数据来源、语义标签与训练数据画像

                    ② 从模型的错误中,找到下一轮改进方向

                    数据整理好之后,研究 Agent 需要决定下一轮训练什么,以及怎样使用这些数据。团队观测逐题 KL 损失,即模型预测与目标分布的差异,再按语义标签汇总,观察不同领域、能力和任务类型的学习状态。

                    对偏差持续较高的数据切片,先复核题目条件与答案,再检索相近材料或定向合成更多条件组合;对已充分学习、偏差低位稳定的同质样本,则减少重复曝光,保留有代表性的回放。筛选与配比、审计与改写、定向合成、删除与降采样,可以组合成不同的实验方案。

                    训练反馈、能力诊断与数据操作
                    图二:从学习反馈定位问题,再通过实验检验数据调整是否有效

                    自研的 Agentic Data Engineering(https://github.com/datajuicer/agentic-data-engineering) 组织多个研究 Agent,按“方案设计 → 构建与实验 → 结果反馈 → 诊断与更新”推进。DataJuicer-Sandbox(https://github.com/datajuicer/data-juicer-sandbox) 将数据处理、训练和评测组织成可执行工作流。人类设定目标、资源预算与数据范围,Agent 在约定范围内提出方案、完成实验并分析结果。

                    这个反馈 LOOP 将上一轮结果转化为下一轮选择:比较总体与分项变化,决定哪些分支继续探索、哪些需要调整,并将模型检查点、数据版本、配方和实验记录关联保存。表现较好的模型成为后续起点,有效经验供下一轮复用。

                    ③ 协同优化数据、训练与推理,持续提升决策能力

                    Piccolo 的演进从数据整理与配比入手,逐步细化到具体判断能力,再结合实验结果调整训练与推理方式。27B 基座的研发全集文本 Decision Index 为 48.91,初步整理数据并训练后达到 56.68;随后按标签调整背景与定向材料的比例,从表现较好的模型继续探索。

                    图三:数据配方、训练经验与模型合并连接不同实验分支。文本主线采用研发全集 DI,多模态分支采用相应图文评测

                    团队同时探索模型如何使用这些材料:双向注意力让题面信息相互参考,候选监督对齐决策输出,分阶段安排广泛覆盖和定向加强,并依据分项表现合并互补模型。问题与上下文的排列、问题前置和重复阅读等输入组织策略,也被纳入搜索,形成 Context evolving。在一组同权重复测中,仅调整输入与推理设置,全集文本 DI 从 65.05 提升到 66.19。

                    继续匹配数据、训练和输入设置,并结合逐题学习反馈筛选与补充数据后,27B 的全集文本 DI 达到 68.59,最优模型累计训练 35 万条样本。上述总体提升来自多轮探索;单项改动的收益通过对应实验检验。

                    同一套数据工程方法也用于 9B 和 4B。如图三所示,在采用 Context evolving 与双向推理的设置下,9B 从 46.78 提升到 60.86,4B 从 39.94 提升到 58.29。图文分支进一步探索了视觉能力训练与图文、文本模型合并,为后续跨模态判断提供基础。

                    04

                    后续发展

                    从游戏中的连续动作,到 Agent 执行控制与数据处理,Piccolo 将当前状态转化为工作流可以使用的判断。接下来,AgentScope团队将继续提高反馈闭环的探索效率,让有限的训练与评测预算更多用于有效改进;同时强化跨模态判断,提升长程、实时场景中的连续决策能力。

                    点击阅读原文,即可跳转模型链接~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    深度原理发布首个通用大模型Hydrogen-1.0并开放模型权重

                    2026年11月4日 20:18

                    魔搭ModelScope社区 2026-11-04 20:18 浙江

                    深度原理开源7530亿参数科研大模型Hydrogen-1.0,基于GLM-5.3全参后训练,专攻化学、材料与生命科学领域的复杂研究任务。

                    近日,深度原理发布了面向科研任务的大模型Hydrogen-1.0,并开放模型权重。据团队介绍,该模型基于GLM-5.3,总参数量约为753B,通过全参后训练引入化学、材料科学与生命科学知识,以及实验记录和多轮研究过程数据。
                    科研任务中的判断往往需要结合具体条件。例如,分子模拟得出异常的材料密度后,研究者需要判断问题来自哪里,再决定下一步如何处理。这类判断非常依赖专业知识和研究经验。
                    深度原理将这类经验的总结纳入模型训练。团队使用的自有科学数据,比如实验室记录和多轮材料探索过程,让使用模型的研究者了解如何适时调整方案。

                    Hydrogen-1.0发布图

                    01

                    利用研究过程数据开展全参后训练

                    科学知识可以为研究提供依据,但具体怎么做,还要看任务条件。比如,一个计算结果看起来合理,背后的假设却未必适用于当前实验,因此不能只看结果,还需要检查计算过程。
                    实验方案也受设备和操作条件限制。研究者为什么选择某种方法,又为什么中途调整,这些细节在最终发表的论文中往往没有完整记录。仅凭最终结果,很难还原当时的判断,也不足以为排查异常、调整方向提供参考。
                    深度原理将研究过程记录纳入训练,希望模型学到研究者如何分析结果、决定下一步行动。据团队介绍,Hydrogen-1.0 在 GLM-5.3 上进行了全参数后训练,训练内容覆盖化学、材料科学和生命科学,并加入了自有科学数据及科研人员反馈。
                    数据不仅记录实验的完整过程,也包含研究者调整方案时的考虑。其中,材料研发数据保留了连续多轮的推荐与评估记录,可以看到前一轮的反馈如何影响下一轮选择。训练时,模型先学习任务范例,再根据反馈进行优化。
                    考虑到科研任务的推理过程通常较长,团队调整了长文本训练方式,以保留更完整的推理记录。团队还介绍,强化学习阶段可以保存尚未完成的生成进度,后续接着生成,减少重复计算。

                    02

                    公开基准评测成绩

                    FSR 用于评估模型解决物理、化学和生物领域中陌生、多步骤研究问题的能力。在团队公布的本次FSR评测中,Hydrogen-1.0 的解题成功率为 38.3%,GPT-6-Astra 为 33.3%;Hydrogen-1.0 较基础模型 GLM-5.3 提高 13.9 个百分点。

                    图 1  FrontierScience Research 评测。纵轴为解题成功率,横轴为每道题的平均输出 API 成本(美元)。Hydrogen-1.0 为 38.3%,GPT-6-Astra 的 max 为 33.3%。

                    GPQA Diamond 采用专家编写的高难度科学选择题。在团队公布的结果中,Hydrogen-1.0 的准确率为 93.0%,Kimi-K3 为 93.5%;图中 GPT-6-Astra 所列推理设置下的准确率均高于 Hydrogen-1.0。

                    图 2  GPQA Diamond 评测。纵轴为答题准确率,横轴为每道题的平均输出 API 成本(美元)

                    团队还公布了科学计算、单步反应预测、核磁共振结构解析等任务的内部测试结果。不同任务中的相对表现有所差异:Hydrogen-1.0 在科学计算和单步反应预测中的平均回答得分高于图中所列 GPT-6-Astra 的结果。

                    图 3  实验设计与规划内部测试。纵轴为回答得分(满分 10 分),横轴为每道题的平均输出 API 成本(美元)

                    图 4  单步反应预测内部测试。纵轴为平均回答得分,横轴为每道题的平均 API 成本(美元)

                    图 5  核磁共振结构解析内部测试。纵轴为平均回答得分,横轴为每道题的平均 API 成本(美元)

                    图 6  科学计算内部测试。纵轴为平均回答得分,横轴为每道题的平均 API 成本(美元)

                    在实验设计与规划测试中,团队同时比较了回答得分与平均输出API 成本。图中Hydrogen-1.0相较 Kimi-K3 得分较高,输出API成本较低。

                    03

                    科学研究任务中,Hydrogen-1.0能帮助做什么?

                    除了基准评测,团队还展示了若干模型与工具配合完成科研任务的案例,涉及实验过程的异常排查、反应路线分析、候选搜索和实验操作检查。
                    比如,在聚乙烯材料模拟中,Hydrogen-1.0得到了异常的材料密度,随后检查程序并发现重复计算的问题。修正后,模型重新运行了模拟。展现了对异常结果进行排查和修正的能力。

                    在反应路线分析中,Hydrogen-1.0可以根据已有计算记录自主梳理路线步骤,分析可能的推进难点,并提出替代选择。

                    在金属配合物搜索任务中,各个候选模型从同一批初始候选出发,每轮只推荐一个新候选,且只能看到自己所选候选的评估结果。
                    经过五轮探索,Hydrogen-1.0 找到的最佳 HOMO–LUMO 能隙的平均值为4.318 eV,GPT-6-Astra 与 Kimi-K3 分别为 3.689 eV 和 3.353 eV。
                    这一结果反映了模型在同一候选范围和反馈规则下调整搜索方向的优异表现。

                    在一项探索能否减少钯催化剂用量的演示中,Hydrogen-1.0 生成了实验操作方案。虚拟编译环境 Lab Compile能够检出实验室不满足条件的操作,可以自动拦截不当步骤。在这一过程中,模型确保了实验流程的可执行性。

                    这些案例展示了模型如何利用反馈调整输出,也展示了外部工具如何对模型方案进行检查。团队通过完整的研究记录训练相关能力,提升了模型科研任务的表现。

                    04

                    模型权重开放与获取方式

                    不同实验室的任务、设备和操作条件存在差异,即使研究对象相同,可行方案也可能不同。深度原理希望通过开放模型权重,让更多研究者在各自的任务中评估模型,并提供反馈。
                    研究者可结合本领域的问题,评估模型表现并开展针对性的改进。
                    Hydrogen-1.0 模型权重已在魔搭ModelScope 发布,开发者可根据模型页面的说明下载和部署,并结合自身科研任务开展验证。据团队介绍,研究者也可在深度原理的AI Scientist产品Mira中调用该模型。
                    ModelScope 模型页面:

                    https://www.modelscope.cn/models/deep-principle/Hydrogen-1.0
                    Mira平台:

                    https://mira.deepprinciple.com/
                    技术介绍:

                    https://blog.deepprinciple.com/introducing-hydrogen-1.0/

                    点击阅读原文,即可跳转模型链接~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    开源版Muse来了:浙江大学团队开源nanoMuse,覆盖 6 类平台,手机电脑协同执行任务

                    2026年11月3日 17:30

                    魔搭ModelScope社区 2026-11-03 17:30 浙江

                    浙江大学团队开源跨平台个人智能体 nanoMuse,支持 Android、iOS、macOS 等六大平台协同执行任务,实现手机与电脑间的无缝联动。

                    浙江大学研究者 Guangyi Liu、Yong Liu、Jiangning Zhang 开源了个人智能体 nanoMuse。它希望把分散在手机和电脑上的任务串联起来:用户可以从手机发起请求,把任务交给电脑继续执行;即使 App 退出,任务也能在后台运行,遇到删除、付款等难以撤销的操作时,再停下来等待确认。
                    nanoMuse 覆盖 Android、iOS、macOS、Windows、Linux 和网页 6 类平台,手机端、桌面端、网页控制台及设备中继均以 GPL-3.0-or-later 协议开源。用户既可以使用社区中继和免费模型额度,也可以接入自己的 API Key、自建中继。当前最新版本为 1.0.9 Tiller, GitHub Star 数已超过 3.1k。

                    开源地址:

                    论文链接:
                    https://modelscope.cn/papers/2610.08699
                    代码仓库:
                    https://github.com/nano-muse/nanoMuse
                    项目主页:
                    https://nanomuse.cn/

                    01

                    不只连接云电脑,让智能体用上自己的设备

                    许多 Agent 可以在云端通过浏览器和 API 完成任务,但无法直接操作用户手机中的原生应用。如果订单信息在手机里、表格在电脑上,用户仍需要手动搬运信息,或者向不同助手重复描述需求。
                    nanoMuse 解决的是这种跨设备断点。例如任务需要“从手机找到订单号,再填入 Mac 表格”:手机读取信息,电脑处理文件,其他设备查看结果。下图中的手机、电脑和网页共享对话,分别承担不同步骤,不同端上的聊天窗口相互关联。
                    多设备协同示意:

                    多设备之间的系统实现:Android 和桌面端各自携带智能体、工具和权限检查模块,通过Hub 与中继交换消息和委托任务,网页连接后端运行时,iPhone 和 iPad 可以参与对话及审批,但受 iOS 限制,不能操作其他应用的屏幕。
                    下图nanoMuse的系统设计,图中上半部分是各设备的执行环境,中间是连接设备的中继,底部是可选择的模型服务。单设备可以使用自己的模型密钥独立运行,多设备协同则需要中继;中继代码同样开放,可以自行托管,模型可以自由选择。

                    和Muse、OpenMinis的对比:

                    02

                    本地部署与手机联动

                    推荐使用 nanoMuse 桌面客户端搭配手机应用:电脑负责执行本地任务,手机用于提交指令、查看结果和处理授权确认。以下以魔搭 API-Inference 提供模型推理,无需在本地下载模型或配备推理 GPU;设备联动使用 nanoMuse 的账号与中继服务,与模型接口分别配置。

                    电脑与手机安装

                    电脑端从官网下载对应安装包,支持 Windows 10 及以上、macOS 12 及以上和 Linux x64。桌面客户端已打包运行依赖,无需另外安装 Python 环境。
                    手机端通过官网入口安装 Android APK,或通过 TestFlight 安装 iOS 版本。需要操作电脑桌面时,优先使用桌面客户端,而不是 Docker 容器。
                    客户端下载:

                    接入魔搭 API-Inference

                    使用魔搭 API-Inference 前,按平台要求完成阿里云账号关联与实名认证,并在魔搭个人中心创建 Access Token。模型是否支持 API-Inference、调用额度及限制,以模型页面和平台说明为准。
                    访问令牌:

                    示例模型:

                    在 nanoMuse 的模型连接设置中添加自定义 OpenAI 兼容接口,填写以下配置:

                    接口类型:OpenAI 兼容 / Chat Completions

                    Base URL:https://api-inference.modelscope.cn/v1

                    API Key:你的魔搭 Access Token

                    模型 ID:Qwen/Qwen3.5-35B-A3B

                    这里的 OpenAI 表示接口协议,实际请求发送到魔搭 API-Inference。
                    电脑和手机需要独立调用模型时,应分别配置接口和访问令牌。API Key 不会随 nanoMuse账号自动同步,也不要把令牌放进聊天消息或任务正文。

                    登录账号并连接设备

                    在电脑和手机上登录同一个 nanoMuse 账号,并使用同一个中继服务。使用官方服务时,无需额外部署服务器;仅填写相同的魔搭模型接口,并不能让两个设备自动连接。
                    登录后打开 Devices(设备)页面,确认电脑和手机均出现在设备列表中,并检查目标设备的在线状态。后续通过设备页面的“Ask this device”入口,或在消息中使用 @设备名 ,即可把任务交给指定设备执行。

                    从手机向电脑提交任务

                    假设设备列表中电脑的名称为 Mac ,可以在手机上发送:

                    @Mac 计算每月储蓄 3000 元、一年的累计储蓄,

                    并把计算过程和结果写入你的工作目录 savings.txt。

                    电脑会在自己的会话中执行任务。需要授权的操作会出现确认请求,手机端可以查看任务回复并处理授权;电脑端也可以查看或停止任务。
                    生成的 savings.txt 保存在电脑的工作目录中。会话同步主要传递文本,不代表生成的文件或图片会自动复制到手机,需要文件时应另行传输。
                    电脑执行任务期间应保持开机、nanoMuse 在线,并具备任务所需权限。如果手机作为被调用的目标设备,应用需要保持前台打开,不能依赖后台持续在线。
                    Android 在开启 Hands 并授予相应权限后,可以执行手机屏幕操作。iOS 不支持自动操作自身屏幕,但可以向电脑提交任务、查看结果和处理授权确认。普通任务委派不需要一开始就开放全部远程控制权限。

                    可选:Python 源码运行

                    如果需要修改代码或运行 Web 界面,也可以使用 Python 源码方式。这是桌面客户端的替代方案,不是电脑与手机联动的必装步骤;需要完整电脑桌面操作体验时,仍优先使用桌面客户端。
                    准备 Python 3.11 及以上环境,安装项目:

                    pip install uv

                    git clone https://github.com/nano-muse/nanoMuse.git

                    cd nanoMuse

                    uv venv

                    source .venv/bin/activate

                    uv pip install -e ".[dev]"

                    nanomuse config init

                    以上为 macOS/Linux 激活方式;Windows PowerShell 使用:

                    .\.venv\Scripts\Activate.ps1

                    在已激活的环境中配置魔搭接口并启动。以下环境变量写法适用于 macOS/Linux:

                    export NANOMUSE_LLM_PROVIDER="openai"

                    export NANOMUSE_LLM_BASE_URL="https://api-inference.modelscope.cn/v1"

                    export NANOMUSE_LLM_MODEL="Qwen/Qwen3.5-35B-A3B"

                    export NANOMUSE_LLM_API_KEY="替换为你的魔搭 Access Token"

                    export NANOMUSE_LLM_TOOL_MODE="auto"

                    # 允许未登录时使用,但跨设备联动仍需登录

                    export NANOMUSE_CLOUD_REQUIRED=0

                    nanomuse serve

                    打开终端输出的 Web 地址,登录与手机相同的 nanoMuse 账号,再按前面的 Devices 流程进行联动。手机通过中继服务发现电脑,不需要把电脑的本地 Web 端口直接暴露到公网。

                    点击阅读原文,即可跳转论文详情~


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    阅读原文

                    跳转微信打开

                    「AI 造游戏」创作大赛开启,赢最高 15000 元现金及硬件大奖!

                    2026年11月3日 17:30

                    魔搭ModelScope社区 2026-11-03 17:30 浙江

                    本期以「AI 造游戏」为主题,由魔搭社区、Qoder 和盛趣游戏联合发起。

                    AI+∞ 开发者创作大赛 每月围绕一个主题,邀请开发者用 AI 把灵感变成作品,让创意被真实体验与分享。

                    第一期「AI+运营」,我们邀请运营人造自己的工具;

                    第二期「AI+影视流」,我们一起用 AI,提前看见未来。

                    第三期,想邀请大家一起造游戏

                    本期以「AI 造游戏」为主题,由魔搭社区、Qoder 和盛趣游戏联合发起。

                    邀请你用 AI 创作一款原创游戏,发布到魔搭创空间,让大家点开就能玩;
                    也欢迎在创作手记里,聊聊它是怎么从一个想法变成作品的。

                    休闲小游戏、策略解谜、AI NPC......玩法由你探索。

                    这次,除了 Qoder Credits,还有赞奇科技与华硕提供的 DGX Spark 云端算力支持,以及现金、NVIDIA DGX Spark、华硕 ROG 设备等奖励,为你的游戏创作提供支持。

                    从「我想玩」到「我来做」,人人都是游戏制作人。

                    参赛方式、比赛日程与奖项设置,详见下方海报👇


                    👇点击关注ModelScope公众号获取

                    更多技术信息~

                    跳转微信打开

                    ❌