Haru-4B开源:边听边说的全双工语音模型,支持160多种语言,MacBook 延迟仅 65 毫秒
魔搭ModelScope社区 2026-11-16 17:30 浙江
Higurashi AI开源Haru-4B全双工语音模型,基于4000万小时真实语音训练,支持160+语言,MacBook延迟仅65毫秒。
Higurashi AI 开源了 4B 参数的 Haru-4B,这是一个能够同时听和说的全双工连续语音对话基础模型,无需等待用户说完再开始回应。模型从 4,000 万小时真实语音中学习附和、打断和话轮交替等对话行为,不依赖 LLM 或 TTS 生成的轮流发言式合成对话,训练数据覆盖 160 多种语言。Haru-4B 在 MacBook 上的端到端延迟约为 65 毫秒,并支持通过文本提示和参考音频控制角色人设、说话风格与声音特征。
比如,在下面的英语投资话题对话中,Haru 能结合用户的发言与上下文作出连贯回应,同时保持自然的对话节奏:
本次开源的权重包括 Haru-4B 预训练基础模型,以及配套的语音分离与修复模型 FastDialogueSidon。其中后者可将单声道混合对话录音重建为时间对齐的全双工语音流,为 Haru 的训练提供数据。
开源地址:
● 语音对话模型 Haru-4B
https://modelscope.cn/models/higurashi-ai/Haru-4B
● 语音分离与修复模型 FastDialogueSidon
https://modelscope.cn/models/higurashi-ai/FastDialogueSidon
体验链接:
https://modelscope.cn/studios/AI-ModelScope/Haru-4B
01
模型架构:7.5Hz 原生全双工
Haru-4B 基于 Qwen3.5-4B 构建,旨在通过一个统一的语言模型同时处理输入和输出语音。其架构结合了低频率连续音频表示、同步多流处理和高效的单步生成。
原生全双工多流建模。Haru 处理三条同步的数据流:用户输入音频、模型输出音频和模型文本。三条流的嵌入通过逐元素相加合并,再由共享语言模型处理。这让模型能够同时听和说,而不必将三条流按 token 逐个交错排列 [5][6]。与交错排列相比,这种方式可以将上下文长度缩减至三分之一,同时保持文本流连续。
语音对话的级联式、轮流发言式、交错式与多流建模:
7.5Hz 连续语音 token。大多数语音语言模型依赖离散音频 token,这些 token 通常通过残差向量量化(Residual Vector Quantization,RVQ) 生成,每个音频帧由多个离散码本索引表示。
相比之下,Haru 以仅 7.5Hz 的频率使用 64 维连续声学潜变量,每个 token 表示约 133 毫秒的语音。通过避开离散码本并采用较低的 token 频率,Haru 减少了训练和推理所需的 LLM 顺序建模步骤。
单步连续语音生成。Haru 在下一潜变量扩散(next-latent diffusion)框架中,使用轻量级多层感知机(Multi-Layer Perceptron,MLP),直接从语言模型的隐藏状态生成连续声学 token。
Haru主要使用流匹配(Flow Matching) 训练生成输出头,随后进行 MeanFlow 蒸馏 ,以提高训练和推理效率。在推理时,每个声学 token 只需一步采样即可生成,无需迭代流采样或额外的声学 Transformer。
离散式、迭代流采样式与单步连续语音生成:
分块级文本对齐。Haru 并不在单个 token 层面对齐文本和音频,而是将文本表示为块,后接填充位置和一个专用的填充结束 token,用于预测何时开始说话。这种方式能够适应文本与音频不同的时间分辨率,同时保持各条流之间同步,并减轻预训练语言模型知识的灾难性遗忘。
token 级与分块级文本对齐:
这些设计共同实现了高效的大规模语音预训练,同时将推理降至每秒仅 7.5 次自回归音频处理,使低延迟实时全双工互动即使在本地硬件上也具备实际可行性。
02
用 4000 万小时真实语音扩展预训练规模
Haru研究团队认为,大规模真实语音对学习自然互动的动态至关重要。与合成对话不同,真实录音包含自发的打断、犹豫、附和、重叠发言,以及不规则的话轮边界。
Haru-4B 使用超过 4000 万小时的语音进行预训练,覆盖 160 多种语言,其中九种为主要语言。为了学习自然的人类对话模式,Haru研究团队有意从训练数据混合中排除 LLM 生成的对话和 TTS 合成的语音。
整个预训练分为两个阶段。
阶段 1:单声道语音预训练
首先通过混合使用以下任务,让 Qwen3.5-4B 适配语音:
自动语音识别,将语音与语言表示联系起来。
语音与文本续写,学习连续语音的建模与生成。
纯文本复习训练,减轻预训练语言模型知识的灾难性遗忘。
阶段 2:全双工预训练
大规模长时全双工训练。使用超过 1300 万小时的、经过分离处理的全双工对话数据。训练样本包括最长达 60 分钟的对话,让模型能够学习长程对话动态,包括持续的话轮交替和重叠发言。
角色与声音条件控制。为每条训练样本生成一个角色提示,并使用同一说话人的参考音频作为语音生成的条件。这使 Haru 能够通过文本提示和参考音频控制角色个性与声音特征。
03
高效的大规模预训练与实时推理
3.1. 预处理与训练优化
加速语音预处理。处理如此大规模的语音需要大量计算资源。Haru 团队使用定制 Triton 内核,优化神经音频编解码器、Sidon 和 FastDialogueSidon 等预处理模型,以加速大规模数据准备。
大规模分布式训练。Haru-4B 使用 256 块 NVIDIA B200 GPU 进行预训练,耗时约 8 天。训练基础设施基于 Megatron-LM,并针对高效的大规模语音预训练进行了优化。
3.2. 实时推理优化
Apple Silicon 上的超低延迟推理。在搭载 Apple M1 Max 的 MacBook 上,原生 Swift 应用使用经过优化的定制 Metal 内核,实现了约 65 毫秒的端到端延迟。
该延迟包括声学编码、语言模型推理、音频解码,以及有线麦克风和耳机的输入输出,但不包括音频分帧。在 7.5Hz 的 token 频率下,音频分帧还会引入最多 133 毫秒的额外算法延迟。
以下为使用 int8 权重时的延迟明细:
阶段 | 延迟(int8) |
输入(麦克风 → 应用) | 5.3 ± 0.0 毫秒 |
一次模型处理 | 34.2 ± 0.5 毫秒 |
Socket 通信与交接 | 4.1 ± 0.3 毫秒 |
输出等待(15 毫秒余量及调度裕量) | 13.3 ± 1.5 毫秒 |
输出(应用 → 耳机) | 8.1 ± 0.2 毫秒 |
总计(p50) | 65.2 ± 1.5 毫秒 |
高性能 GPU 服务。支持通过 vLLM-Omni 在 GPU 上部署。在 NVIDIA B300 GPU 上,音频编码、解码与一次语言模型处理合计约需 15 毫秒。
04
本地部署与推理
Haru-4B 提供 PyTorch、Apple Silicon 上的 MLX,以及 vLLM-Omni 插件三种推理实现,共用同一份模型权重。PyTorch 演示需要约 12 GB 显存的 NVIDIA GPU;MLX 需要 Apple Silicon Mac、macOS 13 或更新版本,建议至少准备 16 GB 内存。
下载模型与代码
pip install modelscope
modelscope download higurashi-ai/Haru-4B \
--local-dir higurashi-ai/Haru-4B
git clone https://github.com/higurashi-ai/Haru.git
以下命令均从当前工作目录执行,按设备选择一种实现即可。
PyTorch:网页语音对话
创建环境、安装依赖,并加载本地模型:
python3 -m venv Haru/.venv
source Haru/.venv/bin/activate
pip install -e ./Haru/haru
python -m haru.server \
--model ./higurashi-ai/Haru-4B \
--device cuda \
--language zh \
--port 8998
浏览器打开以下地址,允许麦克风访问,选择角色并上传参考声音,即可开始对话:
MLX:Mac 本地语音对话
需要 Python 3.10 或更新版本及 Apple Command Line Tools;未安装开发工具时,先执行 xcode-select --install。
安装 MLX 实现,构建原生客户端,并启动本地模型服务:
python3 -m venv Haru/haru_mlx/.venv
source Haru/haru_mlx/.venv/bin/activate
pip install -e ./Haru/haru_mlx
(cd Haru/haru_mlx/swift && ./build_app.sh)
python -m haru_mlx.native \
--model ./higurashi-ai/Haru-4B \
--language zh \
--quantize 8
--quantize 8 对语言模型主干进行 8 位量化。另开终端,在同一工作目录运行客户端,voice.wav 为准备好的参考声音:
./Haru/haru_mlx/swift/.build/haru-client \
--voice "$PWD/voice.wav"
vLLM-Omni:并发语音服务
使用独立环境,安装指定版本与 Haru 插件:
python3 -m venv Haru/.venv-omni
source Haru/.venv-omni/bin/activate
pip install vllm==0.32.0 vllm-omni==0.32.0
pip install -e ./Haru/haru -e ./Haru/haru_vllm
vllm serve ./higurashi-ai/Haru-4B \
--omni \
--deploy-config "$(python -m haru_vllm.deploy)" \
--host 127.0.0.1 \
--port 8000
另开终端,将网页演示连接到 vLLM-Omni 服务:
source Haru/.venv-omni/bin/activate
python -m haru.server \
--backend vllm \
--vllm-url http://localhost:8000 \
--language zh \
--port 8998
浏览器同样访问 http://localhost:8998\。该后端使用实时全双工 WebSocket 协议,不是普通 Chat Completions 接口。
三种方式均需自行准备具有使用授权的参考声音,建议使用单人、清晰的 WAV 音频,时长为 3 秒至 3 分钟。使用有线耳机和麦克风可减少设备延迟与回声。
点击阅读原文,即可跳转模型链接~
👇点击关注ModelScope公众号获取
更多技术信息~