铃阅
❌

普通视图

从“能说话”到“会表达”:Qwen-Audio-3.0-TTS 发布

2026年7月20日 16:54

原创 通义实验室 2026-07-20 16:54 浙江

让语音合成从"能说话"进化到"会表达"

Qwen-Audio-3.0-TTS 实时语音合成模型发布。本次发布包含两个版本:

  • Flash:面向实时交互,首包延迟在 300ms 左右。

  • Plus:面向高质量生成,在自然度和音色还原度上表现更佳。

本次更新,我们把精力放在了开发者在生产环境中真正会遇到的四个问题上:更广的语言覆盖、更自然的指令控制、更精细的标签控制,以及在参考音频不清晰时的鲁棒性。

目前,在全球第三方权威榜单 Artificial Analysis 中,Qwen-Audio-3.0-TTS-Plus 斩获冠军!

以下是具体的更新内容与数据表现。

能力总览

在展开细节之前,先快速看一下 Qwen-Audio-3.0-TTS 的核心能力矩阵:

核心亮点一:多语种与方言全面升级

无论是出海业务还是下沉市场,Qwen-Audio-3.0-TTS都能提供完美融入当地语境的听觉体验。

多语种精准合成,指标全面领先

Qwen-Audio-3.0-TTS 面向全球多语种场景进行了专项优化,覆盖中文、英文、日语、韩语、德语等16 种语言。

🟣 WER/CER(越低越好)

Qwen-Audio-3.0-TTS 系列展现了最强的整体多语言可懂度,在 16 种语言中有 10 种取得了最佳的 WER/CER 表现。Flash 版本的平均 WER/CER 最低,仅为 3.87;Plus 版本也极具竞争力,得分为 3.96。两者在平均表现上均优于其他系统。

评测基于CV3-Eval的multilingual benchmark

🟣 说话人相似度(越高越好)

Qwen-Audio-3.0-TTS 在说话人相似度上展现出了显著且稳定的优势。其中 Plus 版本在所有 16 种语言中均排名第一,平均 SS(Speaker Similarity)达到了 82.75;Flash 版本紧随其后,得分为 80.44。这表明它们在多种语言环境下,都具备极强且鲁棒的音色还原能力。

评测基于CV3-Eval的multilingual benchmark

中文方言正宗度显著提升

通过更高质量的方言数据、更丰富的种类覆盖,以及专门的方言强化训练阶段,Qwen-Audio-3.0-TTS 模型有效缓解了通用语音强化学习中容易出现的“方言特色弱化”问题。

目前模型支持20 种高质量方言(覆盖广东、重庆、东北、甘肃、贵州、浙江、河北、河南、湖北、湖南、江西、宁波、宁夏、青岛、陕西、山西、山东、上海、四川、云南),使合成语音在韵律、声调和口语化表达上更接近母语者,还原各地语言的真实韵味。

核心亮点二:Free-style 自由指令,用自然语言“导演”声音

不同场景对语音风格的需求差异很大——客服需要温和耐心,直播需要热情感染,有声书需要角色代入。

Qwen-Audio-3.0-TTS 支持Free-style 自然语言指令控制。无需掌握专业声学或标注知识,即可通过自然语言灵活定义情绪、角色、场景、语速等维度,让合成结果与预期高度一致。

核心亮点三:细粒度标签控制,精确到呼吸和情绪

除了自由文本指令,模型还支持在文本中直接嵌入结构化标签(如 [gasp]、[giggles]、[angry]),直接对语气、情绪和 breath 类细节进行精准调控。

这种方式特别适合需要精确控制非语言细节的叙事、游戏、影视配音等场景,标签与语音自然融合,可灵活组合构建复杂情感表达。

核心亮点四:复杂声学鲁棒性,无惧嘈杂环境的音色复刻

真实业务中,参考音频往往来自复杂环境。Qwen-Audio-3.0-TTS 对此做了专项优化,通过针对性的真实声学仿真训练,将语音增强能力原生注入复刻流程。

模型能够在嘈杂环境中自动“过滤干扰、保留音色”,复杂场景下的复刻清晰度和感知质量显著提升。即使参考条件不佳,合成语音依然保持高质量。

  • 高混响场景:有效抑制混响干扰,合成更干净清晰。

  • 高噪声场景:抗噪能力更强,语音质量显著优于前代。

Also in this release:精品音色库

Qwen-Audio-3.0-TTS 配套的精品音色库,将模型在多语种、多方言、指令控制和细粒度表达上的能力沉淀为开箱即用的音色资源。音色库覆盖指令风格音色、20 种方言音色、细粒度控制音色以及 14+ 款小语种音色,帮助业务方快速上线不同场景的声音方案。

面向严肃创作场景,我们将音频输出品质从 24kHz 跃升至 48K。同时,单次语音合成支持长达 3 分钟,轻松满足长文本播报需求。

(注:部分方言、小语种精品音色及 48K 高清音频输出功能目前在阿里云百炼平台正陆续上线中,其中 48K 功能预计于 7月24日 正式开放,具体请以控制台实际展示为准。)

核心亮点

  • 可直接用自然语言描述角色、情绪、场景和语气,合成结果会随指令变化。

  • 支持上下文驱动的语气选择,同一句文本在不同场景下可以读出不同情绪。

  • 支持耳语、笑场、情绪转折等细粒度表达,声音更接近真实说话。

  • 长文本中能保持节奏、清晰度和音色一致性。

  • 角色化表达覆盖电台主持、心理咨询、科幻 AI 等场景。

Qwen-Audio-3.0-TTS 现已全面开放。

从“能说话”到“会表达”,技术的边界正在被不断拓宽。我们诚邀广大开发者接入体验,共同探索语音合成的更多可能性。如果您在应用落地中有任何反馈或建议,欢迎通过技术交流群与我们探讨。

推荐内容

跳转微信打开

Wan-Streamer v0.2:响应延迟仅550ms,让 AI 真正与你"面对面"

2026年7月17日 15:14

原创 通义实验室 2026-07-17 15:14 浙江

实时互动,丝滑连麦~

和 AI 打视频电话,卡顿、延迟、声画不同步,是常态。

这本质上就是“语音识别 ➡️ 大模型 ➡️ 语音合成 ➡️ 动画驱动”的流水线拼装。环节越多,延迟越高,割裂感越强。

但真正的自然交流,应该像和朋友打视频一样自然:没有卡顿,没有等待。

它能实时读懂你的微表情,像真人一样点头、做手势,让声音、唇形与神态在毫秒间完美同步。

最新发布的 Wan-Streamer v0.2 让这成为现实。

一分钟认识 Wan-Streamer

它是面向实时双工交互的端到端全模态理解与生成模型,把“听、看、说、演”统一进单个 Transformer 中,让 AI 像真人一样边听、边看、边回应。

  • 极致低延迟:端到端响应延迟 550ms(200ms模型延迟 + 350ms网络延迟),

  • 画质增强:输出分辨率从 v0.1 的 192×336 提升至 640×368 @ 25FPS,微表情场景细节清晰可见;

  • 全模态端到端:原生支持文本、音频、视频的实时理解与同步生成,无需外部模块拼装。

我们对比了市面上主流的实时交互系统。在响应延迟上,Wan-Streamer 的端到端交互延迟在 0.55s 左右(含网络传输),显著快于常见的实时语音对话模型。

在功能覆盖上,Wan-Streamer 同时具备了视频感知、视频输出、全双工交互、端到端架构且响应延迟控制在1秒内。

架构重构:从“流水线”到“原生因果流”

传统的实时数字人系统,底层通常是级联流水线。

“

举个例子:当你说一句话,系统需要等语音转成文字,大模型生成文本回复,再合成语音,最后驱动数字人张嘴。这个过程不仅要等待,而且各个模块独立运行,容易出现声音和嘴型对不上、表情僵硬的问题。

”

Wan-Streamer 将用户的文本、音频、视频输入,与智能体的输出,统一映射到同一条因果时间线(Causal Timeline) 上。

模型无需等待“一整段话”说完,而是引入了流式单元(Streaming Unit) 的概念。大约每160ms就会完成一次完整的闭环:

  • 感知当前 160ms 的用户音视频输入;

  • 更新共享的交互状态与上下文;

  • 生成同步的语音和视频 Latent(潜变量);

  • 解码并输出上一单元的音视频响应。

这意味着,AI 不需要等你说完再想,而是在你说话的每一小段时间里,同步完成“感知 ➡️ 理解 ➡️ 生成 ➡️ 解码”。这种原生流式的建模方式,是实现极低延迟与全双工交互的基础。

从 v0.1 到 v0.2:画质跃升与“场景锚定”

v0.1 验证了端到端原生流式音视频对话的可行性,但 192×336 的分辨率在视觉上局限于近景特写(Close-up),主要聚焦于面部和嘴型。

v0.2 将输出分辨率大幅提升至640×368。这不仅仅是像素的增加,更带来了视觉构图与应用场景的质变。

AI 不再只是一个“悬浮的头部”。在 v0.2 的画面中,你可以清晰看到它的视线方向、身体姿态、自然的手势动作,甚至它面前的桌子和周围的房间布局。

技术解密:Thinker-Performer 双通路与 Ulysses 并行

分辨率的大幅提升,意味着视频 Latent 生成的计算量显著增加。如果将这些计算任务放在原有的低延迟通路中,200ms 的模型侧延迟底线将被突破。

如何在提升画质的同时,不增加用户可感知的延迟?

Wan-Streamer v0.2将模型拆分为两条并行通路,在物理硬件上进行解耦:

思考者:单卡快车道

Thinker 部署在单张 GPU上,负责所有对延迟敏感的任务:流式音视频感知、语言与状态更新、构建 K/V 缓存(让模型记住上下文),以及音频解码。 

它就像对话中的“大脑”,负责快速听懂你的话、记住上下文,并立刻组织语言,保证 200ms 的极低响应。

执行者:多卡 Ulysses 并行

640×368 的高分辨率视频生成计算量极大。在 Wan-Streamer v0.2 中,Performer 被扩展为一个多 GPU 的 Ulysses 式上下文并行集群,专门承担这部分重载计算。 

它就像幕后的“渲染团队”。因为高清画面计算量大,系统采用 Ulysses 序列并行机制,将长视频序列切分给多张显卡分工合作、并行去噪。(注:由于音频 Latent 序列较短,切分反而会增加通信开销,因此音频生成不进行序列切分,直接计算)。

时序重叠

更关键的设计在于时序调度。单卡 Thinker 的工作窗口与多卡 Performer 的计算窗口是重叠的。 当 Performer 集群在后台处理当前帧的高清视频 Latent 时,Thinker 已经在处理下一帧的用户输入,并解码上一帧的音频。

通过这种“快慢分工、时序重叠”的架构,v0.2 将额外的视觉生成成本从延迟敏感路径中剥离。在包含 350ms 双向网络预算的情况下,总远程交互延迟依然保持在约 550ms。

Wan-Streamer v0.2  延迟保持部署拓扑时序图

万物皆可对话:想象力才是唯一边界

只要能用自然语言描述,Wan-Streamer 就能在虚拟世界里把那个"角色"实时呈现出来,和你面对面交流。没有预设剧本,没有固定角色库——你的想象力就是唯一的边界。

你可以和秦始皇聊统一六国,听李白即兴吟诗、让蒙娜丽莎开口说话,和清明上河图里的路人聊聊宋朝生活,还能问问你家猫主子整天都在想什么......

基于这种高度自由的角色生成能力,Wan-Streamer 典型的应用场景包括:

  • 视频通话式 AI 助手:打开摄像头即可面对面交流,适用于口语陪练、面试模拟、心理咨询等需要“在场感”的场景。

  • 场景化陪伴与教育:AI 老师可以通过画面“看着”学生的表情判断理解程度;AI 可以在厨房里实时指导做菜的步骤。

  • 沉浸式游戏 NPC:游戏中的角色可以拥有表情、肢体语言和实时反应,与玩家进行真正的“面对面”对话。

  • 无障碍交互:为听障用户实时生成带精确唇语和手势的视频回应;为视障用户实时描述摄像头捕捉到的周围环境。

让 AI 能够自然地参与实时对话,需要它真正理解用户的话语、读懂表情,并在几百毫秒内给出综合反应。

Wan-Streamer v0.2 是我们在这一方向上的持续探索:通过原生流式架构与分布式推理拓扑,在单一模型的交互循环中同时完成理解与生成,让 AI 的沟通方式进一步逼近真人。

这是一条长期的研究路线,我们将持续迭代 Wan-Streamer,敬请期待。

推荐内容

Qwen-Audio-3.0-Realtime 如何让语音交互“懂倾听,更聪明”?

跳转微信打开

Qwen-Audio-3.0-Realtime 如何让语音交互“懂倾听,更聪明”?

2026年7月15日 10:31

通义实验室 2026-07-15 10:31 浙江

脑子快、情商高、耳朵灵

语音交互的下一个形态是什么?

是毫秒级的快速响应?是深度思考的逻辑推理?还是能够感知情绪、像真人般对谈的情感共鸣?

如何让语音交互跨越“机械感”走向了“自然和智能”?我们也在持续探索。

今天,我们想和大家分享阿里语音交互模型 Fun-Realtime-AudioChat 的全面升级(现已更名为 Qwen-Audio-3.0-Realtime),为大家带来这套完备的实时语音交互对话方案。

Qwen-Audio-3.0-Realtime 亮点速看:

1、根据语境动态调整语气与情感表达,支持音色克隆,告别机械朗读感;

2、内置多模态双工控制模型,支持声纹级背景过滤,嘈杂环境下对话依然流畅,不易被打断;

3、Artificial Analysis 子项中综合排名第一,超越 OpenAI GPT-Realtime-2。

4、支持动态工具调用,可完成路线规划、信息查询等任务,不止是聊天。

我们先通过几个真实的交互切片,看看 Qwen-Audio-3.0-Realtime 在实际对话中的表现。

一、高表现力与共情对话

Qwen-Audio-3.0-Realtime 突破了传统语音助手"机械朗读"的局限,具备高表现力的音频回复与共情对话能力。

模型能够根据对话语境动态调整语气、节奏、音调和情感表达,实现真正拟人化的语音交互。

同时针对自定义音色需求,也提供了音色克隆能力配置用于实际业务应用。在 S2S 语音指令遵循公开 Benchmark VStyle 上取得 SOTA 效果。

在多种复杂语境下,Qwen-Audio-3.0-Realtime 也能轻松应对~

  • 在激烈的辩论场景中,准确理解对方论点、快速组织反驳逻辑,同时保持口语化表达和适当的语气强度。

  • 角色扮演时,能根据设定的角色(如历史人物、职业身份等)调整说话风格、用词习惯和情感表达,并响应显式指令进行风格切换。

  • 在情感陪伴中,当你倾诉烦恼或分享喜悦时,通过语调、节奏和内容表达共情,提供温暖的情感支持。

这些表现的背后,是我们在生成侧的深度优化:

  • 情感感知生成:识别你的情绪状态,并给予有温度的共情回应。

  • 韵律动态调整:根据语义重点与对话节奏,自动调整语速、停顿、重音等韵律特征。

  • 副语言信息处理:能够理解和生成笑声、叹息、犹豫等非语言声音信号,还原真人交流的细腻。 

  • 个性化风格适配:一秒切换专属说话风格,完美演绎你设定的任何角色。

你可以让它做懂你的 AI 伴侣,提供情感陪伴;也能化身专业的智能客服,随情绪调整策略。 化身教育助手,用鼓励的语气激发学习动力;变身娱乐搭子,陪你角色扮演、沉浸式讲故事。

二、流畅双工交互

真实的对话往往发生在开放且复杂的环境中。为了让交互更加自然流畅,Qwen-Audio-3.0-Realtime 内置了“多模态感知的双工控制”模型,能够感知语音、环境、背景、说话人等丰富的音频和语义信息,进行精准的双工节奏判断。

无论身处何种复杂声场,它都能保持从容:

  • 嘈杂背景环境下的双工对话:在餐厅、开放工区等嘈杂环境中,不受干扰,精准锁定你的声音。

  • 多人交谈不打断:在多人讨论中,准确识别主对话对象,不被旁听者干扰。

  • 多说话人智能切换:根据上下文和语义线索,智能判断当前对话对象,在不同说话人间自然切换。

这些自然倾听的背后,是我们在控制侧的重构:

多模态感知与智能打断检测:同时分析音频、语义与声纹特征,敏锐分辨“环境杂音”与“你的真实插话”,避免误判。

声纹级抗干扰(开发者进阶能力):除了环境噪声鲁棒性,我们还在 Realtime-API 中预留了 audio_prompt 字段。开发者可传入特定用户提前录制的音频列表,使模型在双工对话中实现“声纹级”的精准锁定,忽略其他人声和背噪,达成极致开放场景下的流畅双工。

凭借上述技术,Qwen-Audio-3.0-Realtime 在 Artificial Analysis 对话动态子项中取得 SOTA 成绩,打断检测准确率、响应时延等关键指标全面领先。

注:上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

无论是在喧嚣的咖啡厅或交通工具上,它都能为你保持流畅对话;在多人会议或家庭聚会中,它能精准锁定主对话对象,从容应对旁人干扰与自然插话;即使在高并发的客服呼叫中心,它依然能保持稳定的对话质量。

三、不止于聊天:Agentic 与动态工具调用

Qwen-Audio-3.0-Realtime 具备强大的 Agentic 能力和动态工具调用机制。它能根据对话上下文智能判断何时调用工具、何时日常聊天,实现无缝的任务执行与对话切换。

为了验证模型在复杂业务中的工具调用与任务执行能力,我们在 TauBench(涵盖零售、航空、电信等真实业务领域)进行了测试(注:Audio 模型将 UserSimulator 改为语音输入)。

面对你包含多重约束的复杂口语指令,Qwen-Audio-3.0-Realtime 能准确拆解意图,自动调用外部工具,进行多步推理与计算,最终给出完整、可行且时间精确的行动方案。

让语音长出“手脚”,得益于以下核心特性的支撑:

  • 动态工具路由:深刻理解你的意图,无需显式指令即可自动调用合适工具。

  • 多工具协同:支持同时注册多个工具,根据任务复杂度灵活组合。

  • 统一能力接入:基于 FunctionCall 标准协议可以完成 MCP、API、知识库的引入。

  • 上下文感知:工具返回的结果自动融入对话记忆,让多轮辅助对话如丝般顺滑。

只需一句话,它就能帮你搞定本地生活的路线规划与餐厅推荐,或是查询实时新闻与股票行情;它甚至能直接接管复杂的任务执行与数据分析,如日程安排、表格查询,让语音真正成为你的超级助理。

四、底座支撑:同时兼顾“快”与“聪明”

为了兼顾复杂推理与快速对话,同时解决“语音模型智商衰减”这一痛点,我们在底层架构上进行了创新。

On-Policy Distillation 与多教师蒸馏

我们采用 On-Policy Distillation 框架,将文本大模型的完整推理能力蒸馏至语音模型。同时引入多教师蒸馏策略,确保模型在各个维度“不偏科”:

  • 口语多轮偏好教师保证口语化表达偏好与指令遵循;

  • 通用教师保证基本问答和推理能力;

  • Agentic教师保证工具调用与复杂任务执行;

  • 音频理解教师负责音频及副语言信息对话及推理。

此外,Qwen-Audio-3.0-Realtime 提供了针对日常问答等极度敏感时延的场景,直接生成回复,实现毫秒级响应。 

得益于此,Qwen-Audio-3.0-Realtime 在全球权威评测 Artificial Analysis 的Speech Reasoning(语音推理) 子项中取得了综合排名第一的成绩。 

注:上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

在 VoiceBench(验证事实准确性与知识检索)和 AudioMultiChallenge(验证多轮指令遵循)等主流基准测试中同样表现优异:

  • VoiceBench:在业界主流的语音问答基准测试中表现优异,验证了模型在开放域问答、知识检索、事实准确性等方面的能力。(plus:标准prompt-92.5,口语prompt-90.5 ,下降2.0;flash:标准prompt-89.8,口语prompt-87.5,下降2.4)

  • AudioMultiChallenge:在多轮音频对话挑战赛中展现出色的指令遵循能力和上下文理解能力(plus:标准prompt-44.0,口语prompt-37.6,下降6.4;flash:标准prompt-43.6,口语prompt-38.1,下降5.5)

这证明了它不仅能“听见”,更能“听懂并深度思考”。

目前,Qwen-Audio-3.0-Realtime 已上线,你可以进入阿里云百炼体验!

体验地址

推荐内容

小有可为AI向善创新挑战赛,启程!

Qwen-AgentWorld 开源:让 Agent 学会“先预测,再行动”

跳转微信打开

Qwen-AgentWorld 开源:让 Agent 学会“先预测,再行动”

2026年6月24日 11:32

通义实验室 2026-06-24 11:32 浙江

Agent 开发太难?试试让 AI 自己“预测环境”

Agent 开发离不开真实环境,但真实环境:成本贵、响应慢、控制难。

搭沙箱环境成本高、真实的边缘 Case 难收集。而在真实环境里做强化学习,一旦 Agent 执行了不可逆的“危险操作”,整个环境就崩溃了。

所以我们换了个思路:与其在真实环境里试错,不如先让 AI 学会“预测环境会发生什么”。

这就是 Qwen-AgentWorld —— 首个原生语言世界模型。

🔥 核心亮点速览

原生世界建模:环境建模从继续预训练(CPT)阶段起即为训练目标,贯穿 CPT → SFT → RL 全流程,而非对通用大语言模型的事后适配。

七大领域,一个模型:单一模型同时覆盖文本类环境(MCP、Search、Terminal、SWE)与 GUI 类环境(Web、OS、Android),实现跨领域知识迁移。

我们想解决什么问题?

语言智能体被训练在交互式环境中执行动作,但此前从未有语言模型被显式训练来对环境本身进行建模——即在给定当前状态与智能体动作的条件下,预测环境的下一步响应。

Qwen-AgentWorld 的核心探索是:语言世界模型能否拓展通用智能体的能力边界?

为此,我们从两个方向推进:

构建基础模型

Qwen-AgentWorld 是首个覆盖七大领域的语言世界模型,基于超 1000 万条真实交互轨迹,经由 CPT → SFT → RL 三阶段训练而成。在 AgentWorldBench 上超越 GPT-5.4、Claude Opus 4.8 与 Gemini 3.1 Pro。

验证两种应用范式

作为解耦的环境模拟器,可控 Sim RL 能以真实环境无法实现的方式塑造智能体行为,效果优于真实环境 RL;作为统一的智能体基础模型,LWM 预热训练可迁移至七个基准(其中三个完全未出现在训练集中),无需额外 RL 微调即有显著增益。

Qwen-AgentWorld:原生语言世界模型,统一覆盖七大 Agent 领域,通过两种互补方式提升通用智能体能力。

由 Qwen-AgentWorld 模拟的 SWE 场景示例。更多例子可以查看 https://qwen.ai/blog?id=qwen-agentworld#interactive-demo-interactive-demo

Part I: 构建智能体环境模拟的基础模型

七个领域,一个模型

Qwen-AgentWorld 覆盖七类交互式环境。对于三个 GUI 领域,环境观测以可渲染代码(无障碍树 XML、HTML、UI 层级标记)而非像素帧的形式呈现,使得纯文本世界建模即可涵盖视觉环境。

训练流程

Qwen-AgentWorld 自继续预训练阶段起,便将环境建模作为显式目标进行端到端训练。三阶段流水线遵循一个核心原则:CPT 注入,SFT 激活,RL 精炼。

三阶段训练流程:CPT(继续预训练)注入环境知识,SFT(监督微调)激活带思维链的下一状态预测,RL(强化学习)提升模拟的真实性

阶段一:继续预训练(CPT)

通过学习不含思维链的交互轨迹,向模型注入环境知识。数据来源涵盖专用智能体基础设施(容器化执行沙箱、MCP 服务器、Android/Web/OS 模拟器)、开源环境交互轨迹以及内部智能体轨迹。

除环境数据外,我们还引入了覆盖工业控制、网络安全、法律、医学、金融和时事等领域的专业知识语料。

本阶段的一项关键贡献是轮次级别的信息论损失掩码:通过 4 个表层统计量识别每个(动作, 观测)对中真正承载环境信息的对话轮,对其余轮施加掩码,使其不参与 loss 计算,但仍保留为上下文输入。

阶段二:监督微调(SFT)

通过 <think>...</think> 包裹的思考过程,将下一状态预测激活为显式的思维链推理模式。我们采用拒绝采样(rejection sampling)筛选高质量思维链轨迹,最终获得 7,094 条训练样本。

阶段三:强化学习(RL)

以混合奖励信号精炼输出质量。我们基于 GSPO 算法进行 RL 训练,奖励信号由两部分组成:评估多维质量的基于评分准则的 LLM 评判器(rubric-based LLM judge),以及针对可客观验证正确性的基于规则的验证器(rule-based verifier)。

AgentWorldBench

为系统评估语言世界模型,我们推出AgentWorldBench一个综合性评测基准。

AgentWorldBench 概览:领域分布、来源基准、评估维度及各领域轨迹统计。

该基准基于 5 个前沿模型在 9 个成熟评测集(如 Tool Decathlon、Terminal-Bench 1.0 & 2.0、OSWorld-Verified 等)上的真实环境交互观测构建而成。每条评测样本均配备真实环境执行所得的 ground-truth 观测,支持基于参考的精确评分。

AgentWorldBench 采用开放式评分准则(rubric),从格式、事实性、一致性、真实性和质量五个维度全面评估世界建模能力,深入考察模型的推理能力、领域知识以及长上下文处理水平。

性能表现

AgentWorldBench 评测结果:各领域五维评分准则均值。Qwen-AgentWorld-397B-A17B 取得最高整体得分(58.71),超越 GPT-5.4(58.25)及其他前沿模型。

Qwen-AgentWorld-397B-A17B 在 AgentWorldBench 上取得最高的整体均分(58.71),超越 GPT-5.4(58.25)及所有其他前沿模型。优势在 Terminal 和 SWE 两个领域最为显著,这两个领域的预测需要准确建模代码执行状态和工具 API 行为。

在 35B-A3B 规模上,三阶段训练流水线将整体均分提升了 +8.66(47.73 → 56.39),使 Qwen-AgentWorld-35B-A3B 超过 Claude Sonnet 4.6(56.04)。这一提升在文本类和 GUI 类领域上均保持一致。

Part II:探索世界建模在智能体训练中的作用

我们通过两个互补范式探索世界建模如何增强通用智能体。

范式一:解耦的环境模拟器

将策略智能体与世界模型解耦为两个独立模型,Qwen-AgentWorld 作为环境模拟器在智能体强化学习训练期间替代真实环境:智能体执行动作,世界模型预测下一步观测,智能体则从这些模拟轨迹中学习。

核心发现如下:

  • 零样本环境泛化。Qwen-AgentWorld 成功模拟了训练数据中完全不存在的 4,000 个 OpenClaw 环境,在 Claw-Eval 和 QwenClawBench 上分别取得 +4.3 和 +7.1 的 Sim RL 增益,且无需任何领域适配。

  • 可控模拟至关重要。不施加控制的 Sim RL 几乎无法带来提升;而可控扰动则将 MCPMark 提升 +12.3、WideSearch 提升 +16.3。

  • 超越真实环境训练。通过对抗性摘要设计塑造出更具针对性的智能体行为,可控 Sim RL 在 WideSearch 上超越了使用真实搜索引擎训练的 Real RL(F1:50.3% vs. 45.6%)。

  • 虚构世界同样有效。在完全虚构但自洽的世界中训练的智能体,能够成功泛化至真实搜索任务,同时有效防止智能体将模拟事实与真实世界知识相混淆。

  • 初始状态是关键瓶颈。Sim RL 的有效性取决于一个前提:必须为世界模型提供足够详尽的初始状态描述。如果初始状态信息不完整,后续模拟会逐步偏离现实,最终削弱智能体从模拟训练中获得的收益。

可泛化的环境扩展

我们验证世界模型能否泛化到训练中完全不存在的环境。

OpenClaw是一个开源智能体平台,其任务涵盖日程管理、编程、邮件分类、浏览器自动化和文件管理——完全不在 Qwen-AgentWorld 的训练分布内。

我们模拟了 4,000 个 OpenClaw 环境用于智能体 RL 训练,无需任何领域适配,并消融了模拟器本身的影响:使用 Qwen3.6-Plus 作为模拟器几乎没有提升,而 Qwen-AgentWorld-397B-A17B 带来了显著增益——确认世界模型质量是 Sim RL 的瓶颈。智能体无法从与不忠实的模拟器的交互中有效学习。

可控模拟

Qwen-AgentWorld 的核心优势在于其可控性:训练过程中,可通过自然语言指令精确调控模拟器的行为。我们验证了以下两种模式。

MCP:环境自适应。 我们从真实的 MCP 工具调用轨迹中合成模拟系统提示词:每条提示词明确指定工具 Schema 与服务器配置,概括隐藏的环境状态(如数据库内容、权限设置、服务可用性),并定义可控的模拟指令,以调控模拟器在每一轮交互中的响应行为。

控制指令通过注入定向扰动——间歇性 API 错误、需要后续调用的分页响应、迫使多步检索的不完整中间结果,以及批量操作中的部分失败——系统性地暴露智能体在真实部署中极少遭遇的薄弱环节。

实验结果呈现出鲜明对比:不含控制指令的标准 Sim RL 未带来任何实质性提升(Tool Decathlon 甚至从 32.4 下降至 31.5),原因在于模拟器缺乏充分的依据来生成忠实可靠的响应。而引入可控模拟后,Tool Decathlon 提升了 +3.7,MCPMark 提升了 +12.3。可控性不仅影响提升幅度,更是 Sim RL 在该领域得以奏效的先决条件。MCPMark 上更大的增益(+12.3 vs. +3.7)进一步表明,可控模拟在需要大量顺序工具调用及精细处理中间结果的任务中尤为有效。

Search:虚构世界构建。我们构建了 1,000 个自包含的虚构环境,每个环境都以一个关系型数据库为核心,其中包含 300–500 条内部自洽的虚构事实。例如,一个"虚拟环境"可能包含 2029 年的智能手机市场排名——品牌名称是真实的,但型号是虚构的。这种设计有两层用意:首先,正确答案只存在于虚构环境中,智能体无法靠自身记忆绕过搜索工具直接作答;其次,所有事实都是虚构的,智能体不会把模拟中学到的内容与真实世界知识搞混。

Sim RL vs. Real RL

在 WideSearch 任务上的 Sim RL 与 Real RL 对比:可控的 Sim RL 能够追平甚至略微超越使用真实搜索引擎训练的 Real RL。

🟣性能 我们在 WideSearch 上直接对比可控 Sim RL 与 Real RL(使用真实搜索引擎训练)。Sim RL 全程追平或略超 Real RL:F1 by Item 在第 60 步达到 50.3%,Real RL 为 45.6%。

工具使用分化:经 Sim RL 训练的智能体增加了 `web_extractor` 的调用次数,而经 Real RL 训练的智能体则减少了该调用——这反映出可控模拟能够塑造出截然不同的智能体行为模式。

🟣行为更具信息量的信号来自智能体行为。两种训练模式都将 web_search 调用从约 5 次减少到约 3.5 次,但 web_extractor 调用出现了明显分化:Sim RL 将使用量从 2.5 增加到 4.0,而 Real RL 从 2.5 降低到 1.5。由于模拟搜索摘要刻意省略详细内容,Sim RL 训练的智能体学会了提取完整页面是组装完整答案的必要步骤。可控模拟以真实环境无法实现的方式定向塑造智能体行为。

范式二:智能体基础模型

在范式一中,智能体和世界模型是不同的模型。在这里我们将它们统一:同一个模型既选择动作也预测环境状态。LWM 训练将下一状态预测植入为一种内化的推理能力。核心发现:

突破性的跨任务泛化

单轮、非智能体的 LWM RL 预热(无工具调用)迁移到了跨 5 个领域 7 个基准的多轮、工具调用智能体任务。

领域泛化

在 LWM 训练完全不涉及的领域上涌现增益(Claw-Eval +11.3、QwenClawBench +9.7、BFCL v4 +9.0),证实这是可迁移的能力而非领域特定的捷径。

下一状态预测作为元推理模式

LWM 训练教会智能体在行动前模拟环境响应,这种模式在不同任务格式和领域中均可泛化。

我们在 Qwen3.5-35B-A3B-SFT 上运行 LWM RL —— 一个无工具调用的单轮任务。然后直接在跨 7 个基准的多轮工具调用智能体任务上评测,无需额外微调,其中 3 个基准完全不在 LWM 训练范围内。

域外泛化结果尤为亮眼:LWM 的训练数据中未包含任何 Claw 或 function-calling 相关数据,却在这两个完全未涉足的领域上分别涌现出 +11.3、+9.7 和 +9.0 的显著提升。

使用 Qwen-AgentWorld

目前 Qwen-AgentWorld 与评测基准AgentWorldBench 均已开源,欢迎下载体验:

推荐阅读

统一科学大模型 LOGOS 正式开源

Qwen-Robot 发布:打通大模型到物理世界的最后一公里

跳转微信打开

统一科学大模型 LOGOS 正式开源

2026年6月18日 10:32

通义实验室 2026-06-18 10:32 浙江

用一个“科学语法”打通科学语言与自然语言的边界

在 AI for Science 领域,我们一直在思考:蛋白质、小分子、材料和化学反应等科学对象,能不能像人类语言一样,被一个模型统一建模和生成?

现状是,AI4S 的主流路径是为每个问题训练一个专家模型。结构预测有专门的模型、分子生成有专门的模型、逆合成规划又有专门的模型。它们各做各的,跨领域知识很难迁移复用。

更关键的是,它们大多构建在一套独立于大语言模型的技术栈之上:依赖稀缺的 3D 坐标数据和专用的几何网络,与 LLM 生态已有的成熟工程基建也是完全割裂的。

但 LLM 已经在自然语言领域证明了"一个模型解决万千任务"的可行性。AI for Science 能不能也走通这条路?

LOGOS(Language Of Generative Objects in Science) 给出了一条具体路径:设计一套"科学语法",让多领域科学数据原生地运行在大语言模型框架之内。

LOGOS是什么?

它是由 ATH-Token Foundry 联合中国人民大学高瓴人工智能学院开源的基于统一“科学语法”的多领域科学生成基础模型。

核心洞察在于:蛋白质、小分子、材料虽然表面各异,但底层遵循着相似的组成规则、结构约束和相互作用语义。它们本就是同一种“科学语言”的不同方言。统一语法的价值也正在于此,跨领域知识迁移、多任务协同优化、预训练与下游目标对齐,都因为有了共同的语言基础而成为可能。

性能总览:六个任务一图看懂

在深入技术细节前,我们先看看 LOGOS 的“实战成绩单”。在六大代表性科学任务上,LOGOS 以纯序列建模范式,一致性地匹配或超越了领域专用方法。

尤其值得关注的是它的参数效率。LOGOS-1B 仅用 1/56 的参数量(1B vs 8×7B),就在多个任务上超越了 NatureLM,展现了极高的参数效率。

实验亮点:几大任务逐一解读

🟣 任务1:口袋条件配体生成 —— 纯序列首次打败3D扩散模型

这是 AI 制药最核心的应用场景:给定一个蛋白质口袋,生成能精准结合的小分子药物。

LOGOS-1B 仅用约 1/56 的参数量就超越了 NatureLM(8×7B),展现出极高的参数效率。

在纯序列范式下,它的表现超过了依赖 3D 坐标的扩散模型,这说明将空间结构转化为序列的方案确实有效。生成的分子同时满足了结合亲和力、药物相似性和合成可行性三重要求,具备了实际药物设计的潜力。

🟣 任务2:逆合成预测 —— 直接辅助化学合成路线规划

给定一个目标分子,预测出合成它所需的前体分子。这是化学家设计合成路径时的核心工具。

LOGOS 的 Top-1 准确率达到 74.8%,全面超越所有基线方法。这意味着化学家可以直接用 LOGOS 来辅助设计合成路线,减少试错成本。

🟣 任务3:口袋位点识别 —— 仅靠序列预测蛋白质结合位点

预测蛋白质表面哪里能结合小分子,是药物发现的起点。传统方法必须依赖 3D 结构数据,但大量蛋白质根本没有可用的 3D 结构。

LOGOS 仅用氨基酸序列,就在 HOLO4K 数据集上达到 58.5% 的 Top-n 准确率,超越所有传统 3D 方法(除P2Rank外)。这一结果将口袋识别从“依赖3D结构”扩展至“仅需序列信息”的新范式。

🟣 任务4:MOF材料生成 —— 探索未知化学空间

生成新型金属有机框架材料,这类材料在气体存储、分离、催化等领域有重要应用。

LOGOS 生成的 NBB(新型构建单元比例)从 MOFFlow-2 的 10.10% 提升至 17.78%,提升幅度达 76%。模型具备超越训练数据已有组分、生成全新分子构件的能力。AI对科学的推动,不应止步于再现已知,更应面向未知空间的生成与创造。

另外两个任务:蛋白质编辑(Hard 难度 Fitness 达 0.93,相比基线 0.34 提升 174%)和抗体 CDR 设计(AAR 达 79.82%,超越结构依赖的逆折叠方法 RADAb)同样优于现有最强基线,进一步验证了 LOGOS 在更广泛场景下的泛化能力。

核心突破在哪,三个关键设计

LOGOS 严格按照科学界的“知识体系”来挑选模态的。

核心主干

蛋白质是生命活动的核心执行者,小分子是调控蛋白质功能、干预生命过程最重要的化学手段。它们是科学界的两大核心。

家族扩展

抗体是具有高度序列多样性与特异性识别能力的特殊蛋白质,是生物大分子家族中不可忽视的成员;化学反应与功能材料则从转化过程与物质组成的角度,进一步拓展了小分子化学空间的知识覆盖。

界面互作

蛋白质与小分子并非孤立存在,二者之间的界面互作——尤其是蛋白质结合口袋对小分子配体的选择性识别——构成了连接生物大分子与化学实体的关键纽带,也是理解分子识别机制与药物作用机制的基础。

基于这套逻辑,LOGOS 构建了涵盖 7 类模态、总计 44.87B tokens 的庞大预训练语料库:

  • 生物大分子层 蛋白质(28.9B tokens)+ 抗体(3.0B tokens)

  • 化学实体与转化层 小分子(2.1B tokens)+ 化学反应与MOF材料(0.47B tokens)

  • 界面互作层 蛋白质口袋(5.8B tokens)+ 蛋白口袋-配体复合物(4.6B tokens)

这就确保了这本“字典”不仅词汇量大,而且符合真实的科学规律。

🟣 创新点一:统一"科学语法" + 空间交互的离散化

这是 LOGOS 最具突破性的设计,由两个相辅相成的部分构成。

技术A:统一词汇表,万物皆可 Token

LOGOS 设计了一套共享词表,把蛋白质、小分子、材料等原本“鸡同鸭讲”的异构对象,全部编码成统一的离散 Token 序列。这让它们得以在同一个生成空间中被大模型“自回归”地理解和生成。

技术B:无需3D坐标,用序列读懂空间

传统 AI 要看懂蛋白质和小分子怎么结合,须依赖显式 3D 坐标和复杂的几何神经网络。LOGOS 发明了一种“文字描述法”:它把 3D 空间接触模式直接“语法化”为离散 Token。

把蛋白质口袋的三维关系写成了三种递进的“文字序列”:残基-口袋标注序列:先标出氨基酸级别的基本信息;残基-口袋-小分子展开序列:加入表面接触信息,让结构更立体;残基-口袋转换序列:通过一个特殊的标记,把氨基酸和分子结构在序列里强行“对齐”。

结果就是:LOGOS 完全不需要输入 3D 坐标,仅靠“读文字”(序列预测),就能在脑海里构建出复杂的 3D 空间互作规律。

🟣 创新点二:预训练和下游任务,形式和目标完全一致

传统范式中,换一个研究环节(比如从结构预测换到分子生成),往往就得换一套新模型和新假设。 同时,预训练目标与下游任务之间存在显著的"目标偏差",这种“学用脱节”导致模型落地时需要大量微调。

LOGOS的科学语法设计彻底解决了这个问题:

  • 形式一致:预训练数据的序列形式等于下游任务的输入输出形式

  • 目标一致:预训练的 next-token prediction(预测下一个词)等于下游的条件生成目标

这种 form-objective alignment 有效消除了预训练与下游应用之间的 gap,无需复杂的适配层或大量微调即可激活生成能力。

🟣 创新点三:跨领域知识正向迁移,实验证实有效

统一语法不仅让科学对象们“语言相通”,更让它们在底层“知识共享”。为了验证 LOGOS 是否真的学会了跨领域的知识,团队进行了深入的探究。

验证“跨语言翻译”能力

模型看到蛋白质的“方言”(氨基酸口袋序列),能直接“翻译”出小分子的“方言”(SMILES结构)。这证明它真的学会了两者之间的对应关系。

验证统一语法组分的必要性

团队做了一个“拆解实验”来验证每个设计环节的价值:如果去除口袋与复合物数据,模型性能接近随机(Vina -3.57);加入全部语法组分后性能大幅跃升(Vina -7.64)。

验证“1+1>2”的协同效应

让模型同时学四个任务,效果反而比各自独立训练更好,证明了跨领域的正向知识迁移。

“

LOGOS 的实践证明了:AI for Science 的发展不在于重新构建与 LLM 割裂的独立技术栈。而在于让科学基础模型与大语言模型深度对齐——共享架构、共享训练范式、共享推理基础设施——从而使基础模型真正成为 AI4S 的新入口。

”

通过继承 LLM 的预训练权重,科学模型能够直接复用 vLLM 推理加速、模型量化等成熟的工程基建,大幅降低训练与部署成本。同时,统一的语法空间打破了学科壁垒,使得生物、化学、材料等不同领域的数据能够在同一个模型框架内回流训练,形成跨领域的知识闭环。

从“筛选已知”到“设计未知”,LOGOS 正在推动自然科学研究向“设计驱动”与“发现驱动”转变。未来,团队将进一步把这套“科学语法”扩展至基因组等更多领域,并探索科学语言与自然语言的深度融合,致力于构建一个真正通用的科学基础模型。

现在,欢迎体验与使用 LOGOS。我们完整开源了模型权重、推理代码与技术报告,获取方式如下:

🤗 HuggingFace:https://huggingface.co/LOGOS-Hub

💻 GitHub:https://github.com/LOGOS-Hub/LOGOS

📄 技术报告 (Paper):https://arxiv.org/abs/2606.16905

推荐阅读

Qwen-Robot 发布:打通大模型到物理世界的最后一公里

只给一份文档,Qwen3.7-Max 从 0 交付双端应用

跳转微信打开

Qwen-Robot 发布:打通大模型到物理世界的最后一公里

2026年6月16日 14:14

通义实验室 2026-06-16 14:14 浙江

给机器人装上“大脑、小脑与直觉”

在具身智能的探索中,我们常面临一个共同的困境:为什么大语言模型能写诗、能 coding,却很难让一台机器人稳稳地拿起一个杯子,或者在陌生的走廊里找到一家咖啡店?

因为物理世界是连续、复杂且充满不确定性的。Qwen-VL 等基础模型已为物理智能体奠定了强大的认知基础,但认知到行动的跨越仍是一道核心鸿沟。这本质上是一个对齐难题:语言指令与物理动作处于不同的表示空间,且具身数据(如导航轨迹、遥操抓取、行车记录)天然异构、采集成本极高。简单混合只会产生冲突,而非协同。

今天,我们正式推出 Qwen-Robot,通过模块化协同,用三个专业的基础模型来弥合从“看懂”到“行动”的鸿沟:

Qwen-RobotNav:物理智能体的行动入口

通过自适应的视觉分配策略和工具接口,把视觉语言能力接入移动控制,统一了指令跟随、点/目标导航、目标追踪和自动驾驶四类任务。

Qwen-RobotManip:物理智能体的交互基石

通过规范状态-动作空间和相机坐标系下的末端执行器增量位姿,把视觉语言能力接入操作控制,基于完全由开源数据构建的 >38,100 小时操作数据实现了大规模多机型训练。

Qwen-RobotWorld:物理智能体的无限世界

通过自然语言动作接口,把视觉语言能力接入世界动力学预测,让同一个世界模型能够跨操作、驾驶和导航场景预测符合物理规律的未来。

Qwen-RobotNav:物理智能体的行动入口

智能体要操作任何物体,首先得能到达目标位置。然而不同导航任务对历史信息的需求差异巨大——指令跟随需要保留长程上下文,目标追踪则几乎只关注最近几帧。任何固定的视觉分配策略都无法同时满足这两类需求。

Qwen-RobotNav 的核心思路是将视觉分配策略本身参数化:任务模式选择导航行为(指令跟随、目标搜索、目标追踪、自动驾驶),可调节参数(视觉 token 预算、时间衰减、单相机权重、帧采样模式)决定视觉历史的编码方式。模型在1560 万条样本上训练,同时联合视觉语言数据以保留感知能力,一套权重统一五类导航任务。

这套参数化接口也使 Qwen-RobotNav 天然适合作为智能体系统中的导航模块——上层规划器将长程目标分解为子任务,在执行过程中动态切换任务模式和上下文策略,通过反复调用同一模型来组合复杂行为。由此,整个系统具备了持久记忆与长程推理能力,可处理多步导航、环境取证和循证问答等复杂任务。

统一多域导航:单一模型、单组权重,在 5 个导航领域达到 SOTA — VLN-CE RxR 76.5% SR、HM3Dv2 目标搜索 75.6% SR(仅 RGB,超越所有深度方法)、EVT-Bench 90.0% 跟踪率、NAVSIM 91.4 PDMS,以及 3 个 EQA 基准新纪录 — 2B 到 8B 参数一致提升;

可控观测协议:四个控制轴(视觉词元预算、时间衰减、逐相机权重、帧采样模式)作为推理时参数暴露,训练时逐样本随机化,无需重新训练或修改 Qwen3-VL 架构即可适配任意配置;

智能体导航系统:作为双层系统中可重配置的导航原语,上层规划器(Qwen3.6-Plus)分解长时序目标并调度可配置的导航调用,配合双层记忆机制 — 在 EXPRESS-Bench 上提升 15.4%,导航步数减少 77%;

开放环境泛化:在 Unitree Go2 四足机器人上零样本部署,仅使用单个低分辨率相机,在开放真实环境与自由自然语言指令下展现出强大的泛化能力,无需任何环境特定微调。

Qwen-RobotNav 基准测试结果

真实部署

零样本部署在宇树 Go2 四足机器人(NVIDIA Jetson Thor,推理延迟 196ms),仅使用机器人自带的低分辨率摄像头。机器人在一套从未见过的公寓中,根据逐步的语言指令跨多个房间执行任务。

指令跟随

我们在一个从未见过的展览馆中评估往返导航任务:机器人首先根据语言指令从客厅导航 21.78 米至病房,随后接收反向指令,要求精确地沿原路返回。这一任务极具挑战性,因为模型需要在长距离中保持空间感知,在正向和反向两个方向上识别多样的视觉地标,并仅凭语言实现精准的双向位置控制。

Qwen-RobotManip:物理智能体的交互基石

物理智能体需要与真实世界交互,例如通过机械臂完成操作任务。然而,产线上的工业臂与厨房中的服务臂,执行的抓取动作视觉上可能非常相似,但关节配置和动作空间却截然不同。核心挑战在于让形态各异的机器人在表示层面实现兼容,使跨机器人、跨数据源的大规模训练产生协同效应而非相互冲突。

Qwen-RobotManip 以 Qwen3.5-4B VL 为骨干、结合流匹配 DiT 动作头,通过三种机制解决这一问题。统一的 80 维状态-动作表示在单臂、双臂、灵巧手和移动平台等本体间共享。相机坐标系下的末端执行器增量位姿动作,使视觉上相似的运动在不同机器人之间数值上也相近,从而屏蔽形态差异。上下文策略自适应将执行历史视为隐式的本体标识,实现推理时在线行为校准。

一旦表征体系统一,数据壁垒随之降低。我们利用开源的11,320小时的机器人数据、 开源的 1,933 小时 第一人称人类视频,以及 人-机迁移数据合成管线从人类视频合成的跨 15 个本体的24,808 小时 机器人数据(共计 >38,100 小时 )训练VLA模型。仅依靠开源数据,模型即涌现出对扰动的鲁棒性、零样本指令跟随、自主错误恢复和跨本体迁移等泛化能力。

统一跨本体对齐框架-统一的 80 维状态:动作表示兼容多样化本体,相机坐标系末端执行器增量位姿使视觉相似运动数值相近,上下文策略自适应将执行历史作为隐式本体标识——三者共同实现跨本体一致信号提取。

大规模人-机迁移数据合成:管线将 1,933 小时第一人称人类视频,经由动作重定向、手部去除与补绘、仿真渲染及深度辅助融合,转化为跨 15 个本体的 24,808 小时机器人演示,配合多阶段数据策划管线确保数据质量。

分布外泛化: LIBERO-Plus 91.4%(超越 π0.5 +7.0),RoboTwin-C2R Hard 69.4%(超越 π0.5 +21.5),RoboCasa365 Composite-Unseen 14.9%(第二名的 3 倍),EBench 45.6%(超越第二名 +18.5);RoboTwin-IF 72.0%(超越 π0.5 +22.4),证实了可靠的语言条件控制能力;RoboTwin-XE 零样本跨本体迁移性能达到先前最优的 3 倍。

真实环境表现: RoboChallenge Table30 v1 通用赛道以 45% SR 排名第一,领先亚军 20%;在真实机器人平台上的域内与域外任务、少样本适应及跨本体技能迁移中达到先前最优的 2 倍。

“

关键发现:对齐是规模化的前提。只有具备统一跨本体表示的模型(UnifiedSpace + UnifiedEEF)才能展现出稳定的对数线性数据规模化曲线。没有对齐,增加更多数据只会产生抖动或持平的曲线——规模化无法弥补未对齐表征框架的固有缺陷。

”

跨本体迁移

在其他本体上训练的任务可零样本迁移至新本体执行,并通过少量示教快速适应全新任务。

指令跟随

在真实环境(第一排)和仿真(第二排)中执行多样化的未见指令。

Qwen-RobotWorld:物理智能体的无限世界

真实世界的经验是机器人领域最稀缺的资源。

Qwen-RobotWorld 通过直接学习世界的状态转移函数来解决这一问题:给定当前观测和一个自然语言动作,预测世界接下来将呈现的样子。

关键的设计选择是将所有动作以自然语言表达——这将末端执行器位姿、转向指令和导航路标点统一为单一接口,使 20 余种本体类型和 500 余个动作类别得以在具身世界知识语料库(860 万视频-文本对,逾 2 亿帧)下协同训练。

60 层双流 MMDiT 将 Qwen2.5-VL 的语义表示与视频隐变量深度耦合。将完整的多模态大语言模型作为动作编码器——而非轻量级文本编码器是关键所在:

它带来了内化的世界知识:手臂是刚体、液体会扩散、物体会下落,从而隐式地将生成约束为物理上可信的未来。

每个领域相互强化:操作教会接触物理,驾驶教会大尺度三维几何,导航教会房间级别的空间推理。

语言驱动的统一动作接口 :自然语言将 20 余种机器人本体和 500 余个动作类别标准化为统一的训练接口,使操作、驾驶、导航和人机迁移得以联合训练;每个领域互相强化。

双流 MMDiT + Qwen2.5-VL 动作编码器:以完整的多模态大语言模型(而非轻量级文本编码器)作为动作编码器,将复杂的组合指令解析为精确的生成信号,并内化物理世界知识,可作为合成数据引擎、闭环策略评估器和动作规划器。

榜单排名: EWMBench 总分第一(运动保真度超越亚军 33%)及 DreamGen Bench 第一;开源模型中 WorldModelBench 第一(牛顿定律、质量守恒、流体动力学等物理规律遵循完美)及 PBBench 第一。

核心能力: 细粒度语言控制(改变单个关键词即产生不同的未来);跨 8 种以上本体的人机迁移,具备多视角一致生成;在 RoboTwin-IF 上的零样本鲁棒性。

任意指令跟随

改变单个关键词,物体、目标或动作动词,即可产生相应不同的未来。世界模型真正理解语言,而非仅仅进行模式匹配。

人机迁移

给定人类演示,Qwen-RobotWorld 能够跨多种本体生成真实的机器人执行效果——无需遥操作。

从模型到智能体:形成闭环

三个模型各自独立可用——但由于它们都提供语言优先的接口,通用 Qwen 模型可以将它们作为物理世界工具进行组合,将通用智能直接连接到物理行动。我们还有一个内部项目Qwen-RobotClaw——一个机器人智能体框架,使 Qwen VLM 智能体能够将 Qwen-Robot Suite 模型作为物理世界工具调用,同时妥善管理长程任务所需的上下文与记忆,推动物理智能走向更通用、更复杂的真实应用场景。以下是目前已实现的早期示例。

开放式任务执行

Qwen-Omni 观察场景,通过语音随机提出操作任务,并对执行结果进行实时评判。每段视频展示了 Qwen-RobotManip 即时完成任务的过程,无需预定义的任务列表——这证明了通用多模态模型完全可以充当任务提出者与评估者的角色,而套件模型则负责物理执行。

智能体导航与具身问答

通过工具调用,将智能体系统与Qwen-RobotNav结合起来,我们在长程 3D 物理世界探索任务上相较于先前最优取得了显著提升,包括 HM-EQA、MT-HM3D 和 EXPRESS-Bench 等具身问答基准。同时,这种开放世界探索能力也已经可以部署到真实环境中。

第一个 demo 中,用户要求智能体在真实建筑中找到一个可用的卫生间。智能体首先扫描周围环境,沿走廊线索寻找卫生间标识;发现第一个卫生间旁贴有清晰的 "Cleaning in Progress / 暂停使用" 标牌后,判断该卫生间不可用,随即重新规划路线前往建筑另一侧寻找替代选项。在通过视觉证据确认第二个卫生间开放且可进入后,智能体返回了一个有实证支撑的答案。

第二个 demo 则是我们此前随 Qwen3.7-Max 一并发布的一镜到底演示:智能体通过调用 Robot-Nav,在开放园区环境中进行自主探索,在过程中修正偏差,并最终找回丢失的雨伞。后续我们将发布更多技术细节。

Chat2Robot

我们提供了一个实验性功能——Chat2Robot——您可以直接在浏览器中与机器人对话。只需输入自然语言指令,即可观察机器人的实时响应。欢迎体验!

注意: Chat2Robot 目前仅支持 Qwen-RobotManip。当前部署的策略仅使用 RoboTwin-Clean 数据集进行训练,该数据集仅包含 50 个任务,因此它并非一个完美的策略。我们希望借此展示模型一定程度的零样本指令跟随能力。该功能仍在持续开发中,可能尚不完善——欢迎反馈与建议!

具身智能还在起步阶段,离真正的“通用机器人”还有很长的路要走。但方向已经清晰:用更强的多模态理解去桥接物理行动,用更大的数据规模去换取泛化能力。QwenRobot 只是第一步,我们期待与开发者一起,让 AI 真正走进物理世界。

推荐阅读

端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

只给一份文档,Qwen3.7-Max 从 0 交付双端应用

查看更多demo,点击阅读原文

阅读原文

跳转微信打开

端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

2026年6月11日 19:44

原创 王召德、潘逢治 2026-06-11 19:44 浙江

当我们谈论“把大模型跑在手机上”时,速度始终是绕不开的核心问题。模型越大、参数越多,推理时的矩阵乘法运算量就越大。

随着 Arm 第二代可伸缩矩阵扩展 (SME2) 技术的普及,以及 MNN 推理引擎的深度适配,我们找到了一把打开端侧性能天花板的钥匙。只需在编译时开启一个开关,就能让 Qwen3-VL-4B 这样强大的多模态模型,在支持 SME2 的旗舰手机(如 vivo X300 等)上实现实时流畅推理。

本文,我们直接从工程落地的角度,手把手带你完成从引擎编译、模型部署到 APP 构建的完整流程,并用实测数据告诉你:为什么这套组合拳能让 Qwen 在端侧起飞。

什么是 SME2?

SME2 是 Armv9 架构中的一组高级 CPU 指令,它基于 SME 升级,核心突破在于引入了 ZA 矩阵累加器寄存器和流式模式。传统 Neon 做矩阵乘需要手工将外积拆成向量乘再累加,而 SME2 中的 FMOPA 等指令可以一条指令完成一个矩阵 tile 的外积累加。

通过引入 SME2 指令集,Armv9 架构 CPU 能够在 AI 异构计算框架下,高效支持大语言模型推理、图像处理、自然语言处理、语音生成等实时移动端推理任务。

认识我们的工具箱

在开始实战前,我们先了解一下本次部署的核心组件:

MNN:阿里巴巴开源的端侧推理引擎,具备高性能、轻量级、高通用性的特点。支持 CNN、Transformer、LLM、扩散模型等多种架构。

MNN-LLM:MNN 中专为大语言模型设计的模块,提供了从模型转换、量化到推理部署的全链路工具。

Qwen 模型:本文以 Qwen3-VL-4B-Instruct 为例——一个 4B 参数的视觉语言模型,支持图文理解和对话,体积适中,模型能力较强。

MNN 模型仓库:MNN 官方已经为大家转换和量化了多款 Qwen 模型,可直接下载使用。

MNN 的 SME2 适配:MNN 对 SME2 的支持采用编译时内建 + 运行时自动检测的设计,用户无需手动配置:

  • 编译时:通过 MNN_SME2 开关(默认 ON)控制是否编译 SME2 优化内核

  • 运行时:启动时自动检测硬件是否支持 SME2,支持则走 SME2 加速路径,不支持则回退到 i8mm → Neon,不会崩溃

  • 三精度覆盖:FP32、FP16、INT8/INT4 量化均有手写 SME2 汇编内核

  • 大小核调度:感知 SoC 大小核拓扑,SME2 大核用大 tile 处理主体计算,Neon 小核处理剩余部分,并行工作

  • KleidiAI 集成:集成 Arm 官方 KleidiAI 加速库,提供更多 SME2 微内核

实战演练:从零构建 SME2 加速的端侧大模型

接下来我们从源码开始,手把手走一遍开启 SME2 加速的完整端侧大模型部署流程。

前置准备

请确保以下环境已就绪:

  • Android NDK:推荐 r27+,需设置 $ANDROID_NDK 环境变量

  • ADB:用于与手机通信,adb devices 可正常发现设备

  • JDK 17:Gradle 编译 APP 所需

  • 手机:开启开发者模式和 USB 调试,通过 USB 连接电脑

Step 1:编译推理引擎

🟣 为 Android 编译 MNN 引擎的动态库(.so 文件)和命令行推理工具。 

SME2 功能默认开启,可以通过 -DMNN_SME2=ON/OFF 显式控制开关。

    # 1. 进入 MNN 的 Android 工程目录
    cd MNN/project/android


    # 2. 创建编译目录
    mkdir build_64 && cd build_64


    # 3. 执行编译(SME2 默认开启,可通过 -DMNN_SME2 控制)
    ../build_64.sh "-DMNN_SME2=ON -DMNN_KLEIDIAI=ON -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=OFF -DCMAKE_SHARED_LINKER_FLAGS='-Wl,-z,max-page-size=16384' -DCMAKE_INSTALL_PREFIX=."


    # 4. 整理编译产出
    make install

    💡 make install 是必要的——它会将 libMNN.so 拷贝到 build_64/lib/ 目录,后续 APP 编译时会从这个路径引用动态库。

    编译完成后,build_64/ 目录下会生成以下关键文件:

    • libMNN.so:MNN 核心引擎库

    • llm_demo:命令行推理工具

    • llm_bench:性能基准测试工具

    Step 2:准备模型

    🟣 方案一:直接下载 MNN 格式的模型(推荐) 

    MNN 官方已提供转换和量化好的模型,可一步到位:

      cd MNN/transformers/llm/export
      pip install modelscope
      modelscope download --model MNN/Qwen3-VL-4B-Instruct-MNN --local_dir Qwen3-VL-4B-Instruct-MNN

      🟣 方案二:使用 MNN 的模型转换工具自行转换 

      如果需要自定义量化参数或使用其他模型,可以手动转换:

        # 1. 进入 MNN-LLM 的 export 目录
        cd MNN/transformers/llm/export


        # 2. 安装 Python 依赖
        pip install -r requirements.txt


        # 3. 从 ModelScope 下载原始模型
        modelscope download Qwen/Qwen3-VL-4B-Instruct --local_dir Qwen3-VL-4B-Instruct


        # 4. 执行转换(HQQ 量化)
        python llmexport.py --path Qwen3-VL-4B-Instruct --dst_path Qwen3-VL-4B-Instruct-MNN --export mnn --hqq

        💡 提示:--export mnn 代表导出为 MNN 格式,--hqq 是推荐的量化选项,可以有效提升模型精度。

        Step 3:推送到手机,命令行验证

        🟣 将引擎和模型推送到手机,通过命令行快速验证推理是否正常。

          # 1. 推送引擎文件到手机
          adb push project/android/build_64/llm_demo /data/local/tmp/
          adb push project/android/build_64/llm_bench /data/local/tmp/
          adb push project/android/build_64/libMNN.so /data/local/tmp/


          # 2. 推送模型到手机
          adb shell mkdir -p /data/local/tmp/mnn_models
          adb push Qwen3-VL-4B-Instruct-MNN /data/local/tmp/mnn_models/


          # 3. 进入手机 shell
          adb shell


          # 4. 赋予执行权限
          chmod +x /data/local/tmp/llm_demo /data/local/tmp/llm_bench


          # 5. 创建 prompt 文件
          echo "你好" > /data/local/tmp/prompt.txt


          # 6. 设置动态库路径并运行推理
          cd /data/local/tmp
          export LD_LIBRARY_PATH=/data/local/tmp:$LD_LIBRARY_PATH
          ./llm_demo /data/local/tmp/mnn_models/Qwen3-VL-4B-Instruct-MNN/config.json /data/local/tmp/prompt.txt

          💡 知识点:为什么要设置 LD_LIBRARY_PATH?llm_demo 动态链接了 libMNN.so,Android 系统默认只在 /system/lib64 等系统目录搜索动态库,不会搜索 /data/local/tmp/。设置此变量告诉链接器也去指定目录查找。

          当你看到模型流畅地回复时,恭喜,推理引擎已经跑通了!

          🟣 确认 SME2 硬件支持 

          在电脑上另开一个终端窗口,运行:

            adb logcat | grep "device supports"

            会看到类似输出:

              The device supports: i8sdot:1, fp16:1, i8mm: 1, sve2: 1, sme2: 1

              其中 sme2: 1 表示手机的 CPU 硬件支持 SME2 指令集,MNN 引擎会自动使用 SME2 加速路径进行推理。

              💡 这行日志反映的是硬件检测结果,与编译选项无关。-DMNN_SME2=ON/OFF 控制的是编译产物中是否包含 SME2 优化代码——即使硬件支持,如果编译时关闭了该选项,引擎也不会走 SME2 加速路径。

              Step 4:构建端侧 AI 应用

              🟣 命令行验证成功后,我们可以将推理能力集成到一个完整的 Android APP 中。本文以 MNN 自带的 MNN Chat 示例应用为例:

                # 1. 进入示例应用目录
                cd MNN/apps/Android/MnnLlmChat


                # 2. 编译 APK
                ./gradlew assembleStandardDebug


                # 3. 安装到手机
                adb install app/build/outputs/apk/standard/debug/app-standard-debug.apk

                💡 提示:APP 编译时会自动从 project/android/build_64/lib/ 引用 libMNN.so 并打包进 APK,所以不需要再手动推送 .so 文件到手机——安装 APK 即完成了引擎的部署。

                安装完成后,如果之前 Step 3 已将模型推送到 /data/local/tmp/mnn_models/,打开 MNN Chat 即可在"我的模型"中找到 Qwen3-VL-4B-Instruct 模型。你也可以通过 APP 内的模型市场直接下载其他模型。

                以下是 MNN Chat 在手机上进行多模态问答的实际演示——用户拍照后,模型即可理解图片内容并流畅回答:

                性能测评:SME2 带来多大提升?

                为了验证 SME2 带来的实际性能收益,我们分别编译了 SME2 开启 和 SME2 关闭 两个版本的引擎,在同一台设备上使用 llm_bench 进行对比测试。

                测试环境

                • 设备:vivo X300

                • 模型:Qwen3-VL-4B-Instruct-MNN

                • 测试工具:llm_bench

                Prefill 阶段提升最为显著(+81%):因为 Prefill 需要一次性处理整段输入 token,是计算密集型任务(大批量矩阵乘),能充分利用 SME2 的矩阵外积指令和大 tile(HP=128)内核。这直接意味着更短的首字等待时间。

                Decode 阶段提升相对较小(+13%):因为 Decode 是逐 token 生成,矩阵乘退化为矩阵×向量运算(batch=1),瓶颈在内存带宽而非计算吞吐,SME2 的优势相对有限。

                进阶调优

                在完成基本部署后,你可以根据自己应用的需求,通过以下手段进一步提升性能和精度: 

                🟣 模型导出参数调优 在执行 llmexport.py 时,可以附加不同参数:

                🟣 运行时参数调优 模型导出后,可以通过修改 config.json 控制运行时行为:

                通过本文,我们完成了一条完整的端侧大模型部署路径:编译 MNN 引擎 → 准备模型 → 命令行验证 → 构建 APP → 性能测评。

                SME2 作为 Arm 最新的矩阵加速指令集,在 MNN 的深度适配下,为端侧大模型推理带来了实实在在的性能提升——Prefill 阶段提速超过 80%。而 MNN 的"编译时内建 + 运行时自动检测"设计,让开发者无需额外配置即可享受硬件加速红利。

                随着SME2技术的进一步广泛采用,端侧 AI 的性能天花板正在被不断抬高。期待看到更多创新的端侧 AI 应用!

                你在端侧部署中遇到的最大“坑”是什么?欢迎在评论区分享,我们将选取三位同学送出定制周边一份。

                推荐阅读

                Agent 辅助开发,一站式打通 Qwen3-VL Android 端侧推理

                教程首发|让手机拥有视觉感知能力

                跳转微信打开

                只给一份文档,Qwen3.7-Max 从 0 交付双端应用

                2026年6月9日 17:28

                原创 通义实验室 2026-06-09 17:28 浙江

                实践经验详解

                让 Agent 改一个按钮、修一个 Bug,今天已不算新闻。

                但只给它一份调研文档,让它从 0 写出高度还原的完整应用呢?

                这是一条横跨规划、架构、十几个模块编码、验证、修复的超长程任务:几个小时、成百上千个决策、前后强依赖,错一步就会沿着后面几十步一路放大。这正是今天大多数 Agent 最容易翻车的地方。

                最近,我们和 Efflora 团队基于 Qwen3.7-Max 模型,做了一场实验:仅凭一份产品调研文档,在隔离环境中从 0 交付了移动端和 Web 端两套可运行应用。

                这场实验也揭示了一个被忽视的工程真相:质量不是模型一次「生成」出来的,是被闭环「收敛」出来的。

                我们用 Qwen3.7-Max 做了啥

                给 Qwen3.7-Max 一份产品调研文档,让它在隔离环境里,从 0 交付能真实跑起来的应用——而且移动端、Web 端各一套,发现页瀑布流、商城分类与商品卡、内容详情页的图文与评论流,核心界面与主要交互都被几近还原。

                • 唯一输入:「图文社区 + 商城」形态产品的用户流程文档 + 关键页面拆解报告,合计 约 15 万字、拆解 12 个核心页面(覆盖 8 大功能模块、7 条用户流程);

                • 没有给的:设计稿、现成代码、分步骤的人工拆解、后端逻辑;

                • 耗时:单端从 0 到可运行 约 4 个多小时全自动完成,中途无人工接管。

                本次实验亮眼的地方在于:

                1、它没「看」过任何一张图,却把界面还原了。

                Qwen3.7-Max 不具备图像理解能力,整个过程它没有看过任何一张设计稿或截图——还原靠的不是模型的眼睛,是约束。

                2、它写的是真应用,不是点击演示。

                在未提供后端逻辑的前提下,模型自行设计了一套完整的关系型数据模型(近 20 张表,含多对多关联表与索引),并写出带字段校验、分页过滤、错误处理的真实接口逻辑;前端则真实调用这些接口取数据、刷新、给用户反馈,而不是把数据写死在页面里。这是有建模意识、有副作用、有错误处理的真实工程,不是占位桩。

                ⚠️ 本次仅作为技术能力验证,目标 App 为一款图文社区 + 商城形态的生活方式产品(已匿名化)。文中界面均为模型自主复刻的还原效果,数据为预置的种子数据,不含任何真实用户数据,不作商业用途。

                怎么做到的:分阶段注入约束 + 分层验收

                与其说我们让模型写了应用,不如说我们设计了一套约束闭环:把整个 0→1 过程拆成有序的阶段,在每个阶段把「要做成什么样」翻译成机器可校验的硬约束,再用一道比一道更严的验收机制,把模型逐步逼到达标。标准的制定与验收,全部不交给模型——它只负责在每一格里做决策。

                值得强调的是:移动端和 Web 端用的是同一套方法论。技术栈不同,约束闭环不变——这恰恰说明,决定交付质量的是这套控制方法,而不是某一种框架、或某个模型的单点能力。

                这套约束闭环控制系统,不是「给模型一个写代码的地方」,而是一条「分阶段注入约束 → 逐层验收 → 带错纠正」的可收敛流水线。

                1️⃣ 分阶段,把约束「种」进每一步

                约束不是一次性丢进去的,而是跟着阶段逐层加码:规划阶段约束目标边界(从调研结论先推出页面 / 模块清单,想清楚「做成什么样」再动手);架构阶段约束技术选型与数据建模,并把真实 UI 的像素坐标反推成布局约束;编码阶段约束实现规则,并要求每个模块写完先自查、逐条指认「哪行代码落地了哪条约束」。

                不让模型看一段「页面描述」就拍脑袋,而是把真实界面的像素事实,直接翻译成它必须遵守的布局约束。

                但约束能落地,有一个隐含前提——模型得真的守规矩。我们给的硬规则(长文件分段读取、动手前先用 Glob 探查、改文件前先读原文)Qwen3.7-Max 在近 30 分钟、数百次工具调用里逐条照做,而不是盲写;它甚至会按真实依赖关系重排执行顺序(先把所有页面建好,再回头补路由),而非机械按编号推进。一个不守约束的模型,再好的约束工程也落不了地。

                2️⃣ 分层验收,一道比一道更接近「人」

                写完不算交付。我们架了一条逐级加码的验收阶梯,失败时把上一步的报错原文喂进下一次重试,让偏差当场收回:

                • 静态检查(命名、未用引用、空安全等)

                • 编译自检(必须 0 error 才算过)

                • 路由完整性(每个页面都接得上、点得到)

                • 功能扫描(空按钮、占位页、假加载等交互缺陷)

                • 部署到真实运行环境,冷启动,像人一样跑起来看

                这一步,是我们最想强调的认知

                机器可验 ≠ 应用可用。编译通过、0 error、路由齐全、功能扫描干净,这些只证明「代码成立」,不证明「应用可用」。一个真人怎么评价一个 App?他不会去看你静态检查过没过,他会打开它、在真机上点一遍、看顺不顺、像不像。所以验收标准必须贴近人——闭环的终点,是把应用装进真实运行环境冷启动、像人一样用一遍。

                3️⃣ 确定性兜底,长程里别丢步

                整条阶梯由一层确定性调度兜底:每个模块必然被执行、失败必然重试、中断可断点续跑。模型负责「智能」,调度负责「可靠」——用确定性的脚手架,包住非确定性的 Agent。

                细节 / 日志:约束是怎么被「执行」和「判定」的

                方法论容易说漂亮,真正可复现的是工程细节。以下两点,是整套约束闭环里最硬核的部分:

                • 解决「模糊的审美要求,怎么变成机器能逐条核对的事实」

                • 解决「怎么客观判定一个自由发挥的模型,到底成没成」

                细节一:让模型照着真实 App 的「像素坐标」写布局,而不是照着文字描述 

                问题:文字描述是有损压缩 

                复刻一个界面,最自然的做法是把调研报告喂给模型:「首页是两列视频网格,顶部有个推荐位」。它照着做出来,往往是——看着像、处处不对:列宽不对、卡片忽高忽矮、顶部那张大图被硬塞进了两列网格里。

                根因在于:这种文字描述本身是一次有损压缩。「两列网格」四个字,把列宽、卡片宽高比、有没有通栏大图、图标排几个这些可量化的事实全丢了,模型只能靠脑补补齐——而脑补基本不会对。(更何况 Qwen3.7-Max 看不懂截图,文字描述几乎是它唯一的视觉线索。)

                洞察:坐标是跑不掉的事实 

                但在真机界面里,每个元素的像素坐标是确定的、无损的。我们的调研产物里就躺着这样一份东西:ui_summary.txt——从真机界面 dump 出来的元素清单,一行一个控件,带着它的精确边界框。一行长这样(已简化,只留关键字段):

                  ... clickable="true"  bounds="[17,436][1423,1358]"

                  bounds="[左,上][右,下]" 就是像素级的事实——这一行说的是:一个可点击的卡片,左上角在 (17,436)、右下角在 (1423,1358),也就是宽 1406px。所以流水线立了一条原则:

                  bounds 是真相,描述是衍生物。布局必须由坐标反推,而不是由文字描述拍板。 

                  做法:把坐标换算成几条「不许违反」的事实

                   任务拆分完成后,一段程序会自动扫描这些坐标、做纯几何换算,把结果直接写死在每个页面的任务卡末尾。它本质上是在替设计师回答几个本该拍板的问题(括号里是判断依据):

                  这页是网格还是列表?(取面积最大的那个可滚动容器,看它的类型——决定该用网格还是列表来实现) 

                  一行排几列?(把可点击卡片按纵坐标聚成一行,容差 ≈ 50px,同一行里有几张就是几列) 

                  顶部那张大图要不要单独做?(宽度 ≥ 90% 屏宽的卡,就是一张通栏「头卡」,必须单独处理,不能塞进 N 列网格) 

                  所有卡能不能套同一个模子?(同一页若出现多种宽高比,如 0.55 瘦长、0.85 近方,就禁止用单一比例一压到底,必须分类型或上瀑布流——这恰恰是模型最爱犯的错) 

                  这个小方块是图标还是图片?(又小、又接近正方、还成排出现,同排 ≥ 3 个的,判定为图标位,强制用矢量图标,而不是拿照片去凑) 

                  最终产出,是一段叫「布局硬约束」的清单,长这样:

                    - 滚动根容器:网格 → 实现时用网格组件
                    - ⚠️ 检测到 1 张通栏头卡(宽度 ≥ 90% 屏宽)→ 必须含全宽头卡
                    - ⚠️ 混合宽高比:{0.55 瘦长卡, 0.85 近方卡} → 禁止用单一比例
                    - 图标位:1 行 6 列,边长 ≈ 168px → 必须用矢量图标

                    于是写代码的模型拿到的,不再是「做个好看的首页」这种含糊要求,而是一份可以逐条对照检查的事实清单——它在自查时甚至要指出「通栏头卡 → 首页第 42 行的 _LeaderCard」。我们把模糊的审美问题,压成了确定的几何约束。

                    细节二:怎么知道一个 Agent「到底成没成」 

                    一个被低估的难题 流水线是 Harness 调度 + 模型干活。Harness 要根据 Agent 的执行结果决定下一步:通过了就标记完成往下走,失败了就重试或回退。问题是——怎么判断一个自由发挥的语言模型「成功」了没有?模型不会返回 exit code 0,它返回的是一大段自然语言。

                    三层判定,逐层兜底

                    编排层:CLI 异常退出、撞上轮数上限(max_turns),直接判失败,异常被 try/except 兜住、转成「(错误文本, False)」。 

                    产物层:很多阶段不信 Agent 的「我做完了」,而是亲自查文件存不存在——规划阶段查开发指南、拆分阶段查有没有任务文件、打包阶段查 APK。说成功但文件没生成,照样算失败。 

                    协议层:对「修到没问题为止」这种没有明确产物的阶段,约定一个文本暗号——Agent 被要求在输出里打 ANALYZE_RESULT: PASS 或 VALIDATION_RESULT: PASS,再用字符串匹配判定。 

                      if"ANALYZE_RESULT: PASS" in result_text:
                            await mark_phase_done(PHASE_ANALYZE)
                            return True
                        prev_errors = result_text  # 没 PASS,把整段输出当作下一轮的输入

                      注意最后一行:失败时,Agent 这一轮的全部输出会原样变成下一轮的 prompt 上文。于是「剩余的 error 列表」自动传给下一轮去修——重试不是从头再来,而是带着上次的残局接着打。模块开发的重试同理:上次报错被截断后注入下一次(「【重试注意】上一次执行失败,错误信息如下……」),并且重试前先把上次可能写歪的文件清掉,避免脏文件干扰。

                      不止外层在收敛,模型自己也在收敛:带着上一轮的残局,Qwen3.7-Max 反复「生成 → 编译自检 → 读报错 → 修复 → 再编译」,把报错数一轮轮压下去(如 43 → 38 → 20 …)直到能成功构建。内层(模型自查)与外层(Harness 判定 + 带错重试)同频收敛——这正是它能独立交付可构建工程的关键。

                      结果与边界

                      先说结果

                      •  双端(移动端 + Web)从 0 交付,核心界面与主要交互几近还原。 

                      • 交付质量:功能验证 / 静态分析 / 打包 / 启动冒烟 4 道自动化关卡全部通过——移动端产出可安装 APK 并通过启动冒烟,Web 端 typecheck + 构建通过、34 条路由全部可达。 

                      • 整个过程跨越数小时、涉及大量长程依赖,由模型独立完成,中途没有人工接管做分步拆解。 

                      再说边界

                      •  「几近还原」不是「逐像素一致」:还原的是页面结构与主要交互路径,细节排版、边缘交互仍有出入。例如:评论区暂为平铺、未实现「展开 N 条回复」的分层视图;二维码为占位图、非真实可扫码;部分边缘入口(设置 / 收藏 / 直播创建等)仍是「敬请期待」占位提示。 

                      • 数据是 mock,不是真实后端:界面跑得起来,但不含真实用户数据,也不等于一套生产级后端。 

                      • 复现性依赖环境与输入质量:调研文档颗粒度、Sandbox 反馈信号是否到位,会直接影响产出稳定性——换一份模糊的输入,结果会明显退化。 

                      这是单次实验,不是统计意义上的稳定结论:它证明了「能做到」,「每次都稳定做到」还需要更大规模的验证。 

                      从这个实验我们发现了什么?

                      一、没有「自动判据」的闭环,只是伪闭环

                      遇到的问题: 起初,我们以为只要让模型写完代码、编译通过就算成功。但在长程任务中,错误会沿着链条累积:一个微小的命名规范错误,可能在几十步之后导致路由失效。如果没有自动化的判定机制,这些错误会被掩盖,直到最后真机运行才爆发。

                      我们的发现: 同一个模型,放进「能自动判定成败」的闭环里,长程交付的成功率明显高于「只给它一个编辑器」。

                      • 原因:没有可验证反馈时,错误是隐性的;有了硬信号(如编译报错、路由缺失),错误能被当场截断、回灌纠正。

                      • 关键点:判定能力必须一路建到贴近人的真机层。别停在编译过、单测通过就以为交付了——那是给机器看的,不是给用户用的。

                      二、约束越多,模型越爱「哄骗」校验

                      遇到的问题: 为了追求完美,我们一度加了多层质量校验循环,包括语义相似度匹配、风格一致性检查等模糊规则。结果发现,产出反而不稳定:模型开始花大量精力去生成那些能“骗过”校验器的关键词,而不是真正写对代码。

                      我们的发现: 约束要做减法,不要做加法。 当我们删掉模糊的关键词校验,换成可被字面匹配的硬规则(如“必须包含某函数名”、“文件行数必须大于X”)后,产出反而更稳。

                      • 原因:校验越模糊、越冗余,模型越容易把精力花在「通过校验」上,且校验自身的误判还会污染重试上下文。

                      • 关键点:只保留「能被机器明确验证」的约束。一条可字面校验的硬规则,胜过一堆似是而非的提醒。

                      三:工具层能补位,但补不了「地基」

                      遇到的问题: Qwen3.7-Max 不具备图像理解能力,这曾是我们担心的短板。我们试图通过工具层拦截截图、转化为文字描述来弥补。但我们发现,即便有了这些辅助,如果模型本身在长程指令遵循上漂移,整个工程依然会崩塌。

                      我们的发现: 模型的「长程指令遵循稳定性」是地基,工具层只是装修。 看不懂图可以靠工具层拦截 + 文字化补上;但要在近 30 分钟、数百次调用、上百个文件里守约束不漂移、按真实依赖排序、还能收敛式自我纠错,这件事约束工程替代不了——这正是 Qwen3.7-Max 这次顶住的地方。

                      • 原因:约束再好,也要有一个能稳定理解并持续遵循它的模型来执行;长上下文一旦跑偏,再多验收机制也救不回来。

                      • 关键点:选模型别只看单点跑分,重点看它在「长上下文、强指令、多轮自洽」下掉不掉链子。

                      推荐阅读

                      Agent 辅助开发,一站式打通 Qwen3-VL Android 端侧推理

                      Qwen3.7-Plus:把多模态AI变成“实干家”

                      跳转微信打开

                      ❌