铃阅
❌

普通视图

Hy4 flash 发布:日常工作的极致性价比模型

2026年11月16日 13:06

腾讯混元 2026-11-16 13:06 广东

今天,我们正式推出 Hy4 flash,这是迄今为止最高性价比的 Hy 模型,总参数量为 224B(其中 64B Engram 参数),激活参数 12B,支持多模态和 1M 上下文长度,API 价格相比 Hy4 大幅降低。

我们通过一系列工作在极致优化成本的同时兼顾智能水平和实用性:

  • 在预训练阶段,Hy4 flash 加入了混合注意力、LatentMoE、Engram 等架构特性,KV cache 大小仅为 Hy3 的 1/24、Hy4 的 1/6,且通过大量 scaling ladder 实验确保效果符合预期;

  • 在后训练阶段,我们通过自蒸馏 Hy4 获得了较强的综合智能水平,再通过强化学习使端到端任务输出长度降低 50%;

  • 在评估阶段,我们构建基于 WorkBuddy 典型任务的内部评测集 WorkIndex,并结合人评,聚焦日常工作的产物效果、单轮输出长度、端到端用时,而非远离日常工作的公开榜单分数;

  • 在推理阶段,我们结合 megakernel、4bit 量化、DFly 等手段极致优化,使 Hy4 flash 解码速度超过 150 tps,且可以大规模低成本部署运营。

最终,Hy4 flash 在综合效果上略优于 Hy4 preview;在 WorkIndex 上单任务成本仅为 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1017( max 档位,忙时价格)的 1/8。

图 1:内外部任务上的性能和成本。其中 WorkIndex 包含 8 个内部评测集( PPT 制作、PPT修改、PPT 人机双写、Markdown 人机双写、文档编辑、表格修复、音视频处理、视觉理解);Open Benchmarks 包含 7 个公开 Agent 评测集( DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE、OSWorld 2.1)。

图 2:在 WorkIndex 上的平均任务花费对比。

为了衡量真实使用体验,我们邀请了 85 位 WorkBuddy 内部用户在 27 类共 259 个日常工作任务上进行盲测。结果显示,Hy4 flash 的用户满意度接近 Claude Haiku 5.5,且单任务成本显著低于其他所有模型,任务时长也最短。

Hy4 flash 已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线,即将接入 OpenRouter。11 月 30 日前,用户可在 WorkBuddy 限时免费使用,腾讯云 TokenHub API 限时 5 折使用。我们推荐在深度搜索、文档处理、PPT生成、简单前端展示、Computer Use 等大部分日常任务中使用 Hy4 flash,在长程软件工程等复杂任务中使用智能上限更高的 Hy4。我们计划开源 Hy4 flash 并高频迭代,不断提升真实工作的实用性和效率。

附录:模型得分

阅读原文

跳转微信打开

实时语音模型 Hy Realtime 发布:能说会唱、还能调用工具

2026年11月13日 16:32

腾讯混元 2026-11-13 16:32 广东

Hy Realtime

今天,我们发布全新实时语音模型 Hy Realtime。模型在语音理解、指令遵循、拟人化表达等基础对话能力上有优异表现,同时新增 Agentic 工具调用与唱歌能力。

Hy Realtime 已在元宝语音通话、腾讯客服等产品上线,近期也将上线腾讯云,对外提供 API 服务。

智商情商双在线,能说会唱还能调用工具

Hy Realtime在理解用户意图和指令遵循方面表现出色。现实交流中,用户交互可能会口齿含糊、话说半截,或者中途改口纠正自己,模型可以结合对话上下文,对这类不完整输入进行意图还原,理解准确率显著提升。同时,模型的多轮指令遵循与上下文管理能力进一步增强,在较长的连续对话中依然能够稳定理解用户意图,保持对话流畅。

除了基础对话功能,Hy Realtime 还具备工具调用能力,它能根据对话上下文、用户意图准确判断是否执行联网搜索,统一搜索决策、调用工具与生成回答。

除了“听力理解”的大幅提升,Hy Realtime 的口语表达能力也进一步升级。在音质、发音、韵律、情感各维度上全面优于上一代模型,对话内情感的变化和递进更加自然,韵律语调处理也更具多样性,与用户的共情能力进一步提升。

依托与腾讯音乐 TME 灵音 AI 团队的深度 Co-Design,Hy Realtime 新增唱歌能力,将自然语言点歌与富有表现力的歌声融入对话,让交互从“能说”走向“会唱”。

用户可以按歌手、专辑、曲风、语种、发行年份和热度组合点歌,也能承接前文继续选择。例如,当用户说“来首 2010 年到 2020 年之间的英文民谣”,模型即可结合多轮上下文,理解点歌意图、匹配歌曲并演唱。

在演唱表现上,混元团队围绕表现力、自然度和音乐性持续打磨,让演唱情绪更有层次,咬字、气息衔接更加自然,旋律与节奏表达更加协调。在内部专家 A/B Test 评测中,Hy Realtime 在核心体验维度中呈现出显著优势。

在中文/中英混为主的应用场景上,混元语音构建了体验向的真实产品评测体系。在内部专家盲评的结果上,基础搜答类体验上有了显著提升。 

在覆盖数学、科学、逻辑推理、知识问答、复杂指令、文本理解、多轮等多个维度的内部自建基础智商测试集上,非思考模式的中文表现不俗。

在语音交互领域多个公开 Benchmark 上,综合客观表现处于领先水平。

为了进一步提升用户体验,混元语音团队对语音实时交互模型进行了全面的重构

通过优化算法框架、严控数据质量、完善评测方案以及搭建高性能训推 Infra 设施,Hy Realtime 的实时语音通话能力显著提升达到行业较高水平。

预训练和后训练跨模态对齐

在语音通话模型的演进中,跨模态对齐决定了能力上限。文本世界的知识、逻辑与推理能力,能否完整无损地迁移进语音世界,而不在“口语化”的过程中被稀释,是提升模型能力的关键。Hy Realtime 通过预训练与后训练的协同设计实现了系统性突破。

在预训练阶段,模型沿递进路径完成了从“模态连通”到“深度融合”、再到“全场景感知”的能力跃迁。感知维度不再局限于语音到文本的语义转写,而是延伸至情感、语调、环境音等副语言特征,使模型真正具备对完整声学场景的解析力,不仅能听清字面内容,还能捕捉语气中的情绪与言外之意,从而在真实、嘈杂、多变的通话环境中保持稳定与准确。

后训练阶段,Hy Realtime 通过重构面向真人交流场景的高质量数据生产与门控体系,文本智能向语音任务迁移的保留率实现数倍跃升,在精炼口语表达的同时完整保留复杂逻辑推理链条,让模型“说人话”而不“掉智商”。

构建专项数据体系

与此同时,Hy Realtime 围绕 CT、SFT、OPD 与 RL 四个阶段,构建多个专项数据体系,为模型能力的逐级跃升提供了坚实底座。

CT 预训练数据以规模化清洗采集与严格质量把控为核心,从海量多源语音中层层收敛出高质量数据资产,任务形态从单一 ASR 拓展至音频理解、音乐理解、语音翻译等通用音频理解,达到千万小时级规模,并配合 51 套纯文本集与 50+ 套语音评测集的多领域评测矩阵,实现文本智商不降、语音能力全面跃升。

SFT 数据则解决了端到端语音模型长期存在的跨模态智商折损难题,通过重构口语化改写生产链路,将高质量文本数据向语音任务的有效迁移保留率从 21% 大幅提升至 69%,在精炼口语表达的同时完整保留复杂逻辑推理链条;同时系统性构建了 Context-ASR、长程多轮、指令遵循、逻辑推理、需求理解、情感共情、工具调用等多维专项数据,结合 MinHash LSH 多样性去重、Topic 均衡分布及人工抽检,构建起严密的数据门控与十维刚性评测护栏。

MOPD 数据打通语音与文本双通路,以文本教师语料承载知识、推理与指令遵循,以 Voice Agent 教师语料覆盖多轮对话、实时联网与工具调用的完整链路,并使语料分布与真实通话场景对齐,支撑 on-policy 逐 token 反馈的精准监督。

RL 数据则围绕基础能力、专项能力与 Agentic 能力三类配比协同组织,在保障对话基础与智力上限的同时定向提升回复多样性、多轮上下文记忆与人设一致性,并配套偏好样本与规则清单校验集,为双轨奖励与底线门控提供可靠的信号来源。

多奖励强化

在强化学习阶段,模型团队围绕奖励算法与 RL Infra两个方面进行全链路优化。算法侧引入多元奖励信号:针对不同场景,以自研的通用偏好奖励模型提供平滑的全局信号,以规则清单提供确定性的逐项约束信号,构建双轨奖励机制并实现相互校正;同时引入覆盖安全、格式、风格与逻辑等维度的底线门控机制,通过一票否决严格守住关键红线。在智能体场景中,进一步将奖励目标从最终答案的正确性扩展至工具调用的完整过程,并对冗余检索实施阶梯式降权。RL Infra 侧则重点围绕 Rollout 训练效率、音频计算与显存占用、训推一致性等关键环节进行系统优化。

MOPD

在后训练中,模型引入了多教师、跨模态的 OPD 训练。训练同时打通语音与文本输入两条通路,将教师模型的能力迁移进 Realtime 模型的多模态表征中。具体来说,使用混元文本模型作为通用能力教师,负责知识、推理、指令遵循与多轮能力的迁移;混元语音 Agent 教师则将能力范围从单轮问答扩展至真实交互场景,覆盖多轮对话、实时联网与工具调用,使模型在完整的“思考—调用—作答”链路上同步获得提升。两者以受控配比共同指导同一模型,使“能力增强”、“表达自然”与“任务可执行”不再相互妥协。

低延迟语音生成

语音生成模块采用低延迟方案,与大脑协同,实现“边生成文本、边合成语音”。其核心是对文本与语音进行协同序列建模,以及采用高效声学生成技术,使语音生成不必等待大脑输出完整文本后再“说话”,从而显著降低首响延迟,满足流式交互要求。训练上采用三阶段模式:文本模型预训练打好语言基础;大规模语音数据预训练学习语音时序、韵律及文本对齐,并在此阶段注入 TN 相关数据,缓解流式场景下传统TN模块难以直接使用的问题;精品发音人微调进一步收敛特定音色、发音、韵律与情感。整体遵循先通用、后专用的思路:前两阶段解决低延迟流式场景下“能说、会说”,第三阶段解决“说得好、有情感”。

Hy Realtime 仍在不断迭代,下一步将重点在双工交互、长期个性化记忆、前后台 Agent 交互上等方面不断提升,为用户带来更好的交互体验。

当前版本可通过最新版元宝 App(下载地址:https://yuanbao.tencent.com/download)体验,在语音通话功能中选择“初语”音色。

也可访问网页 Demo 进行部分能力体验:https://rtcube.cloud.tencent.com/component/hunyuan/index.html

点击👇阅读原文可直达体验地址。

阅读原文

跳转微信打开

Hy4 正式发布,为真实生产力而生

2026年11月4日 12:43

腾讯混元 2026-11-04 12:43 广东

首次跻身最强开源模型之列

今天,我们发布 Hy4 正式版。随着模型能力的再次全面跃升,Hy 首次跻身最强开源模型之列。

相比于 Hy4 preview,Hy4 显著扩展了预训练和后训练规模,首次引入了视觉能力,并大幅提升了指令遵循、长文理解、长程任务、深度研究等各项综合能力。 

持续解锁的真实生产力

基础能力的全面提升以及和腾讯内部众多产品与业务的持续合作,让 Hy4 解锁更多真实生产力场景。

视觉与电脑任务

Hy4 首次引入视觉能力,可以结合感知、推理和工具调用,进行细粒度图像处理、复杂图表分析和数学视觉推理等任务。Hy4 也首次支持电脑操作,可以灵活地结合使用命令行和图形界面。我们针对 Blender、CAD 等专业软件和跨应用长程任务开展了专项训练,持续优化专业任务的规划与执行力。

· 通过随拍照片,确定地理位置并核实信息

· 跨软件实现DIY装修程序

前端与游戏开发

视觉理解的引入也使 Hy4 的前端与游戏开发能力显著提升。我们对前端的复杂交互、业务逻辑、状态管理、前后端联动等方面进行了针对性优化,让模型生成的界面除了好看也功能完整且可用。在游戏开发场景,我们与腾讯 IEG 专业游戏开发者合作,持续优化数据和评测质量,重点提升了游戏功能实现、玩法逻辑、状态理解和资产处理等能力,实现了对 UE、Unity、Godot 等主流引擎的深度适配,并开始扩展至多人联机游戏开发。相比 Hy4 preview,Hy4 在 GameDev 和 GameLogic 评测中分别提升 19.1% 和 9.8%。

· 用 Three.js 构建一个「腾讯企鹅岛 3D 数字沙盘」

· 制作一个可实际游玩的「QQ 欢乐街机厅」

· 给一张生物课本图片,生成3d的讲解网页,清晰展示与讲解知识点

金融与办公场景

我们基于真实金融场景构建了数千个工作空间和上万个高质量任务,让模型充分学习基金研究、证券分析、量化策略、资产配置、公司金融、财税会计等方向的专业流程与规范。我们联合腾讯金融科技 FiT 开展了 213 位专家的金融众测,其中 153 位来自外部的头部金融机构,且七成拥有五年以上工作经验。基于 579 个真实金融任务的结果显示,Hy4 综合表现位居开源模型第一(众测得分:Hy4 3.04、Kimi K3.1 Pro 2.68、GLM-5.3 2.68、DeepSeek-V4.1-Flash-1017 2.97)。此外,在金融智能体公司讯兔科技的内部评测 IRAB 中,Hy4 较 Hy4 preview 提升 12.03 个百分点。

为了提升金融等各类办公场景的实用性,我们还启动了针对时效检索、多源信息整合与事实一致性校验的专项搜索优化。在自建测试中,Hy4 的幻觉率从 preview 的 15.76% 降至 5.45%,猜测导致的错误率从 23.1% 降至 5.6%。此外,Hy4 还重点提升了办公场景中的人机双写能力,支持用户与 Hy 实时协作编辑 Word、Excel、PPT 等办公文件。盲评显示 Hy4 相比 Hy4 preview 在文档美观度、稳定性和可用性上均有明显提升。

· 金融估值建模及个股研究报告

· 出差后的发票整理和稽查

科研与模型研发

Hy4 将复杂推理、科学编程与长程任务执行相结合,进一步提升端到端推进科研工作的能力。在涵盖 7 大学科、123 项可执行研究任务的 TenureTrail 内部评测中,Hy4 在数学构造、物理建模、地球环境、系统工程和社会经济决策等领域展现出扎实的科研能力,位居开源模型第一。

Hy4 也在为递归自我改进(RSI)做准备,提升各种模型研发任务的能力。结合 Hyra2.0 脚手架,Hy4 优化了内部同架构小模型的预训练基础设施,并自动训练出在多项评测中优于官方的 Jev 模型。同时,我们也开源了由 Hy4 协同 Hyra2.0 研发的单细胞表征基础模型 HyCell 和物理场基础模型 HyPDE,希望将模型辅助科研的成果转化为社区可复用的工具。

以下是 Hy4 在科研场景下的初步成果展示:

在小鼠胚胎三维重建任务中,面对包含 699 万个细胞的 84 张无序二维切片,以及其中的镜像翻转问题,Hy4 在离线、无专用配准工具、无细胞类型标注的条件下,于 1.5 小时内完成了切片对齐与三维重建,全程无人干预,效果优于常用配准工具的默认流程,展现了在复杂数据与受限工具环境下自主推进科学计算任务的能力。

· Hy4 单机 1.5 小时完成 700 万细胞小鼠胚胎三维重建

· Hy4 完善数学猜想

在与北京大学数学团队合作的研究中,Hy4 成功找到了 Méndez–Pinto–Villarreal 猜想的反例,并进一步提出新的条件完善了该猜想,并对相关证明进行 Lean 形式化验证,完成了从反例发现、命题修正到证明验证的完整研究流程。

· Hy4 定位模型训练性能瓶颈,完成模型训练

在内部缩小规模的 Hy4 模型上,Hy4 自主定位预训练系统中的性能瓶颈,并围绕多个方向开展多轮基础设施优化,最终实现端到端训练吞吐提升 20.1%。

配合 Hyra 2.0,Hy4 自动完成了 Jev 模型的训练,得到的 Hyra-Jev 在 8 项基准评测中有 6 项优于官方 Jev。

· Hy4 参与细胞和物理模型研发

借助 Hyra 2.0,Hy4 研发了单细胞表征基础模型 HyCell。在 7 个未参与训练的细胞图谱上,仅有 1600 万参数的 HyCell 以约 1/14 的参数量达到与当前SOTA模型 Stack 相当的综合性能,并取得参评模型中最高的平均生物学保真度得分。

在物理场建模方向,Hy4 配合 Hyra 2.0 研发了物理基础模型 HyPDE。与当前 SOTA 模型 Walrus 相比,HyPDE 在 13 个物理仿真数据集上的单步、短期(1–20 步)和长期(21–60 步)预测中,分别有 9、10、8 个数据集取得更低的预测误差。

长期个人助理

Hy4 的上下文学习能力持续提升,能更好地理解多源复杂信息。借助 WorkBuddy的企业微信套件,Hy4 可以连通聊天记录、邮件、文档、日程与会议等日常工作信息。多个项目并行推进时,Hy4 能理清各项目的推进历史与最新进展,识别待跟进的任务、需要准备的会议和临近截止的事项,及时提醒用户并协助安排优先级。此外,由 Hy4 支撑的团队协作功能将随新版「项目」在 Workbuddy 上线。

· 从各类信息源整理关注事项

· 综合多年记录分析健身情况

产品应用反馈

在正式发布之前,不少伙伴提前测试体验了Hy4。

外部产品反馈(左右滑动查看更多):

图片

图片

图片

图片

图片

☜左右滑动查看更多

腾讯司内产品反馈(左右滑动查看更多):

图片

图片

图片

图片

图片

图片

图片

图片

图片

☜左右滑动查看更多

负责任的开源和发布

我们充分意识到模型的网络和生物等能力潜在的安全风险,并致力于以更负责任的方式进行训练、开源与发布。

在 Hy4 训练阶段,我们仅纳入与 PoC 生成、漏洞修复相关的防守性网络安全数据,同时剔除漏洞利用、逆向、渗透等攻击性训练内容,力求避免潜在进攻性能力的提升。我们组织来自腾讯玄武和科恩实验室的内部安全专家,围绕密码分析、逆向工程、漏洞利用等方向进行审计,结果表明:Hy4 在加密算法的逆向求解、对抗二进制混淆、漏洞利用等进攻性能力上未展现出突出风险。

在生物方面,Hy4 的开放式实验设计能力与前沿模型存在明显差距(Hy-BioExperimentBench: 30.4/100),我们组织了内部专家对轨迹进行审计,发现模型基础生物知识的掌握能力较强,但将知识转化为可执行实验方案的能力仍然有限,尚未发现其能够显著降低实施生物化学危害行为的门槛。

Hy4 已在腾讯云和 OpenRouter 上线,并可在 CodeBuddy / WorkBuddy、元宝、ima 等产品上体验,性能显著超过 Hy4 preview 的同时维持相同 API 价格。

我们计划开源模型权重,并已联合 vLLM/SGLang 社区以及 Inferact Inc. 提供开源生态支持。我们计划届时也发布模型系统卡片,包括更全面的安全评估等细节。

局限性和未来展望

尽管 Hy4 已经是目前最强的开源模型之一,其与顶尖闭源模型仍然存在较大差距,尤其在我们内部构建的前沿数学、长程开发、模型迭代、视觉问答等领域的高难度测试集上。我们将持续稳健地扩展预训练和后训练规模,努力缩小和顶尖闭源模型的差距。

另一方面,我们计划近期发布 Hy4 flash,会显著提升模型性价比和推理速度,并更加高频地和产品协同迭代,不断提高实用性。


Bench 附录:

跳转微信打开

Hyra 2.0 发布:为模型研发打造可复用工具

2026年11月2日 18:06

腾讯混元 2026-11-02 18:06 广东

AutoResearch 从「抽卡刷题」转向「工具升级」。

三个月前,我们发布了 Hyra 1.0⁽¹⁾:一套面向通用科研问题的、极简的 agent 循环。发布一周后,在开源模型 Hy3 的驱动下,Hyra 解决了加法组合学中一个悬而未决五十多年的问题:和集与差集的最优指数⁽²⁾。这是国产开源模型首次全自动解决数学开放问题。

Hyra 1.0 发布 11 天后,OpenAI 公布了下一代模型 Astra 的内部版本在 10 个长期开放问题⁽³⁾上取得的新结果。随后的两个多月里,OpenAI 又宣布给出了 Navier–Stokes 千禧年问题的解答⁽⁴⁾,并公开了 722 篇由内部模型产出的数学手稿⁽⁵⁾。AI自动化科研一路疾驰。

Hyra 1.0 说明:给 AI 一道有明确评判标准的难题,让它循环尝试,就有机会超过已有的最好成绩。过去三个月,社区继续沿着这条路线探索,投入大量 token,在更多难题上取得了新进展。

既然路已走通,我们更想抬头看看前方:自动化科研的下一步是什么?

  • 当 AI 已经能攻克许多人类未解的难题,科研的范式将走向何处?

  • 怎样让 AI 更经济、更可持续地解决科研问题?

  • 目前仍然很多难题无法被 AI 解决,瓶颈在哪里?

三个问题看似各有所指,我们的回答却是同一个:工具升级。

近年来,AI4Science 经历过几次范式上的革新:以 AlphaFold⁽⁶⁾,AlphaEarth⁽⁷⁾,AlphaGeometry⁽⁸⁾ 为代表的面向特定问题的模型或系统;到以  AlphaEvolve⁽⁹⁾,Hyra 1.0⁽¹⁾ 等为代表的基于通用模型驱动 agent,直接解决科学问题的范式。Hyra 2.0 希望再向前一步,让通用 agent 参与科学工具与模型的研发和升级,让一次研发的成果在后续研究中被反复使用。

图 1:从解题到造工具。上方展示研究者研发专用科学模型、通用 agent 直接解决科研问题两种方式;下方展示 Hyra 2.0 的目标:由 agent 研发和升级科学模型、研究工作流与软件工具,让成果被后续研究反复使用。

从答案到工具

风靡社区的刷题抽卡的突破固然可贵,但它的成果,并不会自动提升下一次研究的能力,形成智能复利。

工具则不同。升级一件工具,所有用到它的下游任务都会随之受益。

荀子说:“君子生非异也,善假于物也。”

这里的「物」,即为工具,是能被人类或 agent 反复使用、帮助完成一类任务的方法与系统。按能力的载体,工具大致分为两类:

  • 符号化工具将方法显式地表达为代码、规则或流程,例如搜索算法、验证程序、数据处理管线和研究工作流。它们把“如何完成任务”写成可执行的操作或可遵循的步骤,改进这些方法,就能改变工具的能力与效率;

  • 参数化工具则通过训练,将从数据与反馈中学到的规律保存在模型参数中,例如用于理解、生成和推理的通用语言模型以及用于蛋白质设计的科学模型。

工具的最大价值在于可复用,agent 调用的工具更好了,动作空间和效率也随之提升,在各种基准测试里的表现和效率也会提升(例如用更好的工具解决一个 Terminal Bench⁽¹⁰⁾的任务)。

工具也有高阶与低阶之分。以数学为例:解出一道题,收获的是一个答案;做一套适合解这类题的工作流,或训练一个数学推理更强的模型,就有机会裨益无数题的解决;再往上,是一个能自动训练出这种模型的系统;最高处,则是一个能自动做任何任务的系统(AGI)。

越往上,工具越通用,惠及的任务越多,工具的研发周期更长,研发环境更复杂,研发难度更大。

工具升级已经在逐渐发生。8 月底发布混元 Hy4 preview 时,我们在博客⁽¹¹⁾里展示了 Hyra 与它一同加速分子动力学力场模型;三周后,Anthropic 披露  Claude 在不到四周的时间里加速了 30 多个开源生物分子模型⁽¹²⁾。不过,由于反馈速度快,加速一个现成的模型相对容易。更难的是端到端地做出一个新模型,从设计、实现到部署。Hyra 2.0 想攀登的,正是这级更难的台阶:成为最会创造工具的系统。

在递归自我改进(RSI)的语境里,研发大模型,本身就要用到许多工具:训练基础设施、数据合成管线、推理系统。我们希望 Hyra 2.0 参与升级这些工具,帮助训练出更好的下一代 Hy 模型;而下一代 Hy 模型,又可以成为 Hyra 2.0 手里的工具。倘若如此,工具造得越好,造工具的系统就越强;系统越强,下一件工具又能造得更好。

为升级工具而生的 Harness

研发工具,对 Harness 提出了不同于解题的要求。训练一个模型,要经历方案设计、代码实现、训练、评估和反复修改,整个过程可能持续数天甚至数周。几个项目同时推进时,还要处理实验等待、资源分配和研究方向的调整。这些工作很难靠一个不断延长的 agent session 来管理。

我们先把 Hyra 2.0 接入团队的实际研发环境:在企业微信里和研究者对齐需求,在计算平台上提交和管理实验,在代码仓库里实现、验证改动,并保存实验过程和产物。涉及较大算力开销和共享知识同步的操作,需要经过相应的人工审批;已经获准的工作则由系统继续推进。

研究工作由 Overall、Mission和 Worker三层分工。Overall 与人类研究者沟通,管理项目优先级,协调资源和关键决策。每个 Mission 长期负责一个研究问题,决定研究路线、设计实验、组织  Worker,并对结论负责。哪些假设值得继续投入,哪些结果需要复核,什么时候应该换方向,都需要 Mission 判断。Worker 可以独立读代码、做实验、分析失败原因、提出新想法,也可以质疑 Mission。不同  Worker 可以使用不同模型,提供不同的分析和复核意见。

Mission 可以同时安排方向探索、实验执行和独立复核。任务进入持久化队列后,调度系统根据优先级、依赖关系和资源上限启动 Worker。某项任务在等待训练结果或人工审批时,其他任务仍可继续。agent 也可以设置下一次唤醒时间,在实验完成或到达检查节点后接着工作。

并行研究的进展记录在 Research Board 上,包括想法、实验发现、证据和关键决策。普通进展由其他 agent 异步阅读;必须处理的问题通过消息通知,接收方需要明确回应。这样,Worker 可以连续工作较长时间,Mission 也能查到各条研究路线的进展,不必频繁打断正在进行的工作。

图 2:Hyra 2.0 的 Harness。Overall 协调目标与资源,Mission 负责研究路线,Worker 开展探索与实验;持久化队列、协作记录和独立复核支持长期研究。底部分别保存项目状态、agent 记忆与共享知识,并将可复用方法整理为 skill,供后续任务使用。

Worker 报告完成时,需要附上代码版本、实验结果、日志或原始运行轨迹等证据。Mission 可以查看实际操作记录,检查实验是否支持报告中的结论。需要独立验证时,系统会启动新的 Review Worker,让它先接触原始问题和证据,减少执行者结论带来的影响。复核可能发现错误,也可能发现现有证据只支持一个范围更窄的结论,这些都需要如实保留。

工具研发的周期虽然长,却有不少经验可以复用。一次训练失败中有效的排查方法,可以用于后续训练;数值对齐时建立的验证流程,可以复用于其他模型;复核中发现的缺陷,也可以变成工具链里的自动化检查。单次尝试越昂贵,就越有必要留下这些经验,避免后续项目重复摸索。

为此,Hyra 2.0 将项目状态、agent 的工作记忆和可复用经验分开保存。任务队列和 Research Board 记录项目的协作状态;每个 agent 维护自己的分层记忆,保存当前认识、关键假设、已排除的路线和下一步计划;跨任务可复用的经验则进入共享知识库 Books。

Books 中的记录需要说明做法、理由和适用条件,并附上原始证据。这些经验分为「观察」「已验证」和「约定」:单次实验发现的现象可以作为观察,供后续研究参考;经过独立复现的发现才能成为可靠依据;影响团队行为的约定需要人类确认。新证据出现后,已有记录也会随之修正。

项目复盘时,可迁移的方法还会被整理成 skill。例如,训练模型时积累的经验,已经形成了一套 skill,供后续任务使用。这些 skill 本身也是 Hyra 2.0 造出的工具,会在使用中继续修改和完善。我们所说的持续学习,就包括把研究中摸索出的有效方法保存下来,让后续项目能够直接用上,并继续改进。

初步成果

Hyra 2.0 已经完成了一批工具的研发与升级。我们会将相关成果持续公开在 GitHub 仓库(https://github.com/Tencent-Hunyuan/hyra-results/),供社区检验和复用。

HyInv:50 毫秒设计 128 条蛋白质序列

HyInv 和下面介绍的 HyPLM,均由 Hyra 2.0 从头训练。它们对应着前文所说的那级台阶:从加速现有模型,走向完整的新模型研发。

HyInv 处理蛋白质设计中的逆折叠问题:给定一个目标骨架,寻找能够折叠成这一结构的蛋白质序列。这是药物设计、酶工程和文库构建中的基础工具。

HyInv 是一个仅有196 万参数的图神经网络。它的预训练、监督微调、强化学习和推理优化均由 Hyra 2.0 完成。Hyra 2.0 还为它设计了“先起草、再改写”的两步采样方法。

与制药行业常用的 ProteinMPNN⁽¹³⁾相比,HyInv 生成的序列与目标结构的吻合程度更好,生成速度快了 57 倍。

图 3:HyInv 与 HyPLM-Flash 的表现和速度对比。左:横轴为每秒生成的序列数,纵轴为设计质量(scTM);右:横轴为推理吞吐量(千残基/秒),纵轴为平均归一化评测得分。两图均越靠右上越好;圆点大小表示参数量,分别按对数尺度(左)和线性尺度(右)绘制。

HyPLM:从头训练高效的蛋白质语言模型

蛋白质语言模型从序列中学习规律,是判断突变影响、注释蛋白功能和辅助蛋白设计的常用工具。这类模型会被反复调用,训练和推理效率的改进,也就能惠及许多下游任务。

Hyra 2.0 训练的 HyPLM-Flash 有 6.5 亿参数,累计使用 7260 亿训练 token。这一用量是 ESM-2 650M⁽¹⁴⁾ 的 0.73 倍,是 E1-600M⁽¹⁵⁾ 和 ESM C 600M⁽¹⁶⁾ 的五分之一到八分之一。在比较的 12 个蛋白质语言模型中,HyPLM-Flash 的推理速度最快,在 35 个评测任务中平均排名第 3。

HyInv 和 HyPLM 的研发细节将通过技术报告公开,供社区参考和复用。两个模型也可以由 agent 调用,参与药物设计等任务。我们还会继续研发这样的科学模型,全面升级工业制药的现有工具。

HyFF:面向大规模分子模拟的原子级基础模型

HyFF 是面向分子模拟的原子级基础模型,输入原子的种类和坐标,预测体系的能量与每个原子受到的力,可作为机器学习力场驱动分子动力学模拟。这让研究者能够在原子尺度上追踪分子的运动与反应,为药物设计、酶工程和材料研发提供基础工具。

HyFF 提供五种规模,参数量从 230 万到 12 亿,均在大规模量子化学计算数据上训练,覆盖 83 种元素,支持带电和开壳层体系。每个原子只调用与自身元素对应的子网络,在扩大模型容量的同时控制计算开销。我们将 HyFF 与 16 个公开模型进行了比较。五个 HyFF 模型全部位于评测的精度–速度帕累托前沿。HyFF 已用于实际模拟:近 6 万原子的水通道蛋白膜体系模拟了 100 纳秒,可以观察到水分子排成单列、逐个穿过通道;在 4.6 万原子的酶体系中,从选定起点出发,观察到了一次完整的断键、成键反应过程。

图 4:HyFF 与公开模型的精度–速度对比。左为能量预测误差,右为力预测误差;横轴为单步分子动力学模拟耗时,纵轴为平均绝对误差(MAE),越靠左下越好。绿色圆点为五种规模的HyFF,其他标记为公开对比模型。

HyProver:把数学探索组织成可复用的工作流

HyProver 是一套面向纯数学证明的 agent 工作流,保持高 token efficiency 和强探索能力。系统在运行过程中,持续搜索资料、寻找线索、转化问题、提出猜想并产出事实,像真实人类数学家一样,有组织地尝试攻克难题。在尝试潜在路线的过程中,系统并非盲目“摊大饼”,而是会高效地利用 token,通过转化问题来联系不同的数学分支或自主提出中间猜想,沿着 promising 的方向前进。

Hyprover 已经完整解决了许多开放数学问题。其中,我们协同数学家已核验并整理好了丘成桐先生的圆周作用猜想与五维 Petty 等距点猜想⁽¹⁷⁾的证明。

图 5:HyProver 的数学研究工作流。研究 agent 提出中间猜想,证明 Worker 尝试构造证明,再由独立 LLM 在新上下文中复核。待解猜想和通过复核的引理保存在共享研究笔记中,后者可作为后续探索的前提。

HyQEC:构造新量子码,严格验证码距

量子纠错需要用多个物理量子比特保护逻辑量子比特。如何降低这笔开销,是量子码研究的核心问题之一。Hyra 2.0 为此研发了 HyQEC:一套面向量子低密度奇偶校验码(qLDPC)的构造与验证系统,支持新码构造、码距搜索和精确码距证明。

在新码构造上, Hyra 2.0 设计了 Split Pauli-CPM 算法,构造并严格验证了量子码 [488,123,22]。其编码效率指标 kd²/n 达到 122.0,在非 CSS、校验权重不超过 8 的条件下,比 qLDPC Challenge⁽¹⁸⁾原榜首提升约 48%。系统还构造出多种低开销量子码,刷新了相应参数条件下的已知编码开销纪录。

在码距验证上, HyQEC 配备了 GPU 加速的搜索算法和两套独立的精确证明工具。搜索吞吐量达到原有 8 线程 CPU 工具的 8–55 倍。在复核已有结果时,它将原榜首码的码距上界从 95 收紧至 86,并为排行榜 187 个条目中的 178 个完成了精确码距认证。

这套工具既能帮助研究者寻找新码,也能为比较和筛选量子码提供可靠依据。我们后续将发布 HyQEC,供社区使用。

灵巧手:自主设计更高效的机器人结构

灵巧手是机器人操作物体的重要工具。传统方法通常先确定机械结构,再训练控制策略;但不同的手指布局和长度,也会影响机器人的操作能力。Hyra 2.0 尝试将探索延伸到机器人本体设计,自主寻找更好的机械结构。

在一项手内物体旋转任务中,Hyra 2.0 自主发现了一种特别的五指设计:五根手指绕着掌心排列,长度从短到长依次递增,像一段旋转楼梯。我们称它为「旋梯手」。有趣的是,这只手在初始测试中表现并不突出,旋转速度比论文中的最优设计⁽¹⁹⁾慢约 11%。但经过同等预算的策略微调后,它反而实现了反超。

在更严格的 DR5 仿真评测中,旋梯手的旋转速度达到 3.277 rad/s,比同样经过微调的论文最优设计快 28.6%,目标完成数提升 21%,失稳率也更低。

这一结果提示我们,初始表现最好的机械结构,不一定拥有最好的训练后性能。尽管目前的结果还局限于仿真环境,尚未经过真机验证,但它展示了让 AI 自主探索机器人结构与控制策略的潜力。我们希望将 Hyra 2.0 的工具研发能力,从软件和模型进一步延伸到物理世界。

Hyra 2.0 自主设计的「旋梯手」与 Dextra 的结构及性能对比。左:与 House of Dextra⁽¹⁹⁾ 最优五指设计的结构对比;右:与 Dextra Baseline 的物体旋转对比。在相同预算的策略微调后,Hyra Hand 的平均旋转速度提升 28.6%(3.28 vs. 2.55 rad/s)。

图 6:Hyra 2.0 自主设计的「旋梯手」与 Dextra 的结构及仿真表现对比。结构图:与 House of Dextra⁽¹⁹⁾最优五指设计的结构对比;演示视频:与Dextra Baseline 的物体旋转对比。在 DR5 仿真评测中,经相同预算的策略微调后,Hyra Hand 的平均旋转速度提升 28.6%(3.28 vs. 2.55 rad/s)。

香山:提升处理器性能,补强正确性验证

香山⁽²⁰⁾是一个全流程开源的 RISC-V 处理器项目。Hyra 2.0 围绕它开展了两项工作:性能优化与正确性验证,从而升级该芯片设计工具。

Hyra 2.0 修复了 SPEC CPU2006⁽²¹⁾基准测试中暴露的多项问题。结合其他调优,香山每 GHz 得分的几何平均值提升了 5.79%,单核频率保持不变,面积增加 0.3%。按照官方性能看板⁽²²⁾记录的历史迭代速度估算,这一提升大致相当于官方团队 2–3 个月的迭代成果。

Hyra 2.0 新设计的 fuzz 测试发现了 7 个 bug,加上另外 3 个独立发现,共计 10 个,均未出现在官方 issue 列表中。它还使用 TLA+⁽²³⁾进行形式化验证,找到了一个多核缓存一致性的反例,相关修复已贡献给开源末级缓存 OpenLLC⁽²⁴⁾。

图 7:Hyra 2.0 在量子纠错与处理器研发中的工具升级。左:HyQEC 构造量子低密度奇偶校验码,并通过上下界一致来认证精确码距;右:围绕香山处理器开展性能调优与正确性验证,将发现的问题用于改进设计。

下一代  Hy 模型:走进大模型研发的现场

在混元内部,Hyra 2.0 也正在参与下一代 Hy 模型的升级,例如:

· 预训练:优化训练基础设施,参与新训练技术的实验验证,缩短从提出方案到获得实验结果的时间;

· 后训练:搭建自动化数据合成管线,让 Hyra 参与高质量训练数据的生成和处理;

· 推理:优化实际使用的推理镜像和系统,以降低部署成本,以及训练、评测和大规模实验中的开销。

我们希望让 Hyra 通过改进研发工具,帮助训练出更好的 Hy 模型,再借助更强的模型和更好的工具,完成下一轮工具研发与模型迭代。

回到开头的三个问题

科研会怎样变化? 我们认为,AI 的贡献会从解出具体问题,延伸到提高一类问题的研究能力。衡量一次研究的成果,除了看它得到了什么答案,也要看它为后续研究留下了什么:一套证明工作流、一个科学模型,或一种可靠的验证方法。工具越通用,能够支持的研究就越多。

怎样让 AI 做科研更经济、更可持续? 研发工具本身可能昂贵,但这笔投入可以由后续的许多任务共同分摊。更快的模型减少每次调用的开销,更好的工作流减少重复探索,积累成 skill 的经验则让后续任务少走已经走过的弯路。一次改进的价值,可以在反复使用中不断累积。

暂时解决不了的问题怎么办? 先找出限制来自哪里:模型能力不足、搜索效率不够,还是验证和实验反馈太慢?这些具体的限制,可以成为下一轮工具研发的目标。原问题未必立刻有解,但这次探索应尽可能留下可复用的方法和工具,让下一次尝试有更好的起点。

我们希望,今天的研究成果,能成为明天的研究工具,加速拓展科学的边界。

【参考资料】

[1] 腾讯混元,Hyra 1.0,面向通用科研问题的自动化研究框架介绍:https://hy.tencent.com/research/hyra

[2] Haowei Lin 与 Shanda Li,“Settling the Optimal Exponent Relating Sumsets and Difference Sets”,关于和集与差集最优指数的论文:https://arxiv.org/abs/2607.27199

[3] OpenAI,“Ten advances in mathematics and theoretical computer science”,介绍模型在数学与理论计算机科学开放问题上的研究进展:https://openai.com/index/ten-advances-in-mathematics/

[4] OpenAI,“On the Navier–Stokes Millennium Prize Problem”,关于 Navier–Stokes 千禧年问题的研究文章:https://openai.com/index/navier-stokes-solution/

[5] OpenAI,openai/math,公开数学研究手稿与相关材料的代码仓库:https://github.com/openai/math

[6] John Jumper 等,“Highly accurate protein structure prediction with AlphaFold”,发表于 Nature(2021)的 AlphaFold 论文:https://www.nature.com/articles/s41586-021-03819-2

[7] Google DeepMind,“AlphaEarth Foundations helps map our planet in unprecedented detail”,AlphaEarth Foundations 的官方介绍:https://deepmind.google/blog/alphaearth-foundations-helps-map-our-planet-in-unprecedented-detail/

[8] Trieu H. Trinh 等,“Solving olympiad geometry without human demonstrations”,发表于 Nature(2024)的 AlphaGeometry 论文:https://www.nature.com/articles/s41586-023-06747-5

[9] Google DeepMind,“AlphaEvolve: A Gemini-powered Coding Agent for Designing Advanced Algorithms”,官方技术博客:https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/

[10] Mike A. Merrill 等,“Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces”,面向终端环境中真实复杂任务的智能体评测基准:https://arxiv.org/abs/2601.11868;基准主页:https://www.tbench.ai/

[11] 腾讯混元,Hy4 preview,正文所引的模型发布博客:https://hunyuan.tencent.com/research/hy4-preview

[12] Anthropic,“How Claude is uplifting biomolecular modeling”,介绍 Claude 参与生物分子模型加速的官方研究文章:https://www.anthropic.com/research/claude-uplifts-biomolecular-modeling

[13] Justas Dauparas 等,“Robust deep learning–based protein sequence design using ProteinMPNN”,发表于 Science(2022)的 ProteinMPNN 论文:https://www.science.org/doi/10.1126/science.add2187

[14] Zeming Lin 等,“Evolutionary-scale prediction of atomic-level protein structure with a language model”,发表于 Science(2023)、介绍 ESM-2 的论文:https://www.science.org/doi/10.1126/science.ade2574

[15] Profluent,“E1: Retrieval-Augmented Protein Encoder Models”,E1 蛋白质编码模型的研究论文:https://www.biorxiv.org/content/10.1101/2025.11.12.688125v1;包含 E1-600M 的官方介绍:https://www.profluent.bio/showcase/e1

[16] EvolutionaryScale,“ESM Cambrian: Revealing the mysteries of proteins with unsupervised learning”,包含 ESM C 600M 的官方模型介绍:https://www.evolutionaryscale.ai/blog/esm-cambrian

[17] C. M. Petty,“Equilateral Sets in Minkowski Spaces”,关于 Minkowski 空间等距点集的原始研究,发表于 Proceedings of the American Mathematical Society,29(2): 369–374(1971):https://doi.org/10.1090/S0002-9939-1971-0275294-8

[18] Unitary Foundation,QEC Challenge / qLDPC Challenge,量子纠错码挑战、排行榜及码距验证的官方项目:https://github.com/unitaryfoundation/qldpc-challenge

[19] Kehlani Fay 等,“House of Dextra: Cross-embodied Co-design for Dexterous Hands”,发表于 ICLR 2026 的灵巧手结构与控制策略协同设计研究:https://arxiv.org/abs/2512.03743

[20] OpenXiangShan,XiangShan(香山),开源高性能 RISC-V 处理器项目:https://github.com/OpenXiangShan/XiangShan

[21] Standard Performance Evaluation Corporation(SPEC),SPEC CPU2006,处理器、内存子系统与编译器性能评测基准的官方说明:https://www.spec.org/cpu2006/

[22] OpenXiangShan,XiangShan Dashboard,香山项目的官方性能看板:https://dashboard.xiangshan.cc/

[23] Leslie Lamport,TLA+,用于描述和验证并发及分布式系统的形式化规约语言;作者主页与工具资料:https://lamport.azurewebsites.net/tla/tla.html

[24] OpenXiangShan,OpenLLC,开源末级缓存项目:https://github.com/OpenXiangShan/OpenLLC

阅读原文

跳转微信打开

腾讯混元同声传译大模型开源,效果跑赢主流商用 API

2026年10月26日 19:53

腾讯混元 2026-10-26 19:53 广东

10 月 26日,腾讯混元同声传译大模型 Hy-SimulMT 发布并开源,具备低时延、高准确率的特点,支持中英语言之间语音到语音实时翻译——说话人的音频可以实时输入到 Hy-SimulMT 模型中,模型会边听边译,实时给出译文和语音,并支持实时音色克隆,可以高度还原说话人声音和语气。该模型在腾讯 Hy 翻译 APP 首发,免费提供服务体验。

低时延是模型的一大亮点,混元同声传译大模型 Hy-SimulMT 的响应时间实测在 3 秒左右,人类专业译员平均水平在 4-5秒。测评结果显示,该模型的翻译效果超过了市面上主流的开源同传模型,甚至超过大部分的商用同传 API。

中文—英文的同传视频示例

英文—中文的同传视频示例,涉及三个说话人,不同说话人的音色可以克隆

横向对比:开源同传模型最佳,超越部分商用 API

在业界常用的长音频开源评测集 RealSI 上,Hy-SimulMT 展示出了较好的同传翻译效果,见下图:

横轴里的 StreamLAAL 表示同传翻译的延迟指标,反映的模型输出翻译结果相比输入音频的延迟秒数,越低越好。纵轴表示翻译质量,使用 GPT6.1-Sol 进行打分,越高越好。Hy-SimulMT 能做到延迟最低的情况下,效果达到开源模型最佳,甚至超过大多数商业 API。

在短音频测试集上,Hy-SimulMT 也有较好表现,见下图:

实验:相比人类同传专家水平如何?

为了更准确评估 Hy-SimulMT 的真实水平,我们在合规允许范围内,广泛收集了互联网上新出现的中文和英文音频,包含软件AI、医学、制造能源、自然科学、农业食品、商务管理、法律、教育、文化文旅、体育生活共十个领域,涉及演讲、访谈、会议等多个场景。

在这份数据上,我们不仅测试了 Hy-SimulMT 的效果,也请多位人类同传专家对这些音频进行同声传译。

人类同传专家一共 6 位,其中 3 位拥有 CATTI 一级口译证书,3 位拥有 CATTI 二级口译证书,所有专家都有多年的同传实战经验。测评对 Hy-SimulMT 和人类同传专家的翻译内容在延迟和翻译质量上对比,其中人类同传专家选取的是 3 个人中的最高分,在这次能力定位测评中,Hy-SimulMT 在翻译的质量达到人类同传专家水平,速度更快(时延更低)。

 

在实际场景测评中,腾讯混元同声传译的译语听感自然,常规陈述的主干信息传达准确。为控制延迟,系统先开口、后修补,修补的听感接近译员的自我修正。这标志着国产AI同传(自动语音翻译,AST)能力迈上了新的台阶。随着技术的持续打磨,AI同传正从“辅助理解”走向低风险场景“可用沟通”,为推动人机协同的翻译新范式提供了重要的技术支撑。

广外高翻学院副院长王巍巍

同声传译是语言服务中最具挑战性的领域。通过系统测评,腾讯混元同传大模型在语音识别稳定性、同传响应速度与译语播报质量上均展现出不俗的实力,其研发成果体现出AI同传技术持续向好的进步态势,为推动机器同传走进真实场景提供了有力的技术支撑。

广东外语外贸大学原校长、澳门中西创新学院校长、中国翻译协会原常务副会长、口译专业委员会主任委员 仲伟合教授 

同声传译就像人类语言能力的极限运动。优秀的同传译员要在说话人尚未落音时,就抢进意义的缝隙里完成理解、转换与表达。

接下来,混元Hy-SimulMT 会继续把时延一毫秒一毫秒地压下去,把准确率一个百分点一个百分点地提上来,让机器的节奏无限逼近人类同传的同步感。我们希望技术足够可靠,翻译就能从机械的字词搬运里抬起头来,去做更多工作——听懂言外之意,传递语气里的温度,在两种文化之间架起沟通的桥梁。

【开源地址】 

One more thing。

11月,APEC会议将在深圳举行。随着腾讯正式成为亚太经合组织(APEC)第三十三次领导人非正式会议战略合作伙伴。支持 33 种语言互译、全新上线同声传译模型的「腾讯Hy翻译」,将成为深圳志愿者及基层服务人员的官方 AI 翻译应用。

跳转微信打开

大模型如何胜任职场?WorkForge让大模型进入真实职场工作流

2026年10月22日 17:05

腾讯混元 2026-10-22 17:05 广东

大模型离真正走进职场,还有多远?

AI 智能体正在成为劳动力,改变企业的产出。越来越多的大模型正从对话助手,转变为能在数字工作区中执行任务的“数字员工”,这使得优质环境的产出变得更加紧迫。

要真正实现这样的目标,工作智能体在回答问题之外,更需要有能力完成专业工作流。在真实的工作场景中,员工可能需要翻阅大量文件、交叉核对证据、处理缺失和混乱的数据,最终交付报告、表格或演示文稿。专业能力不只体现在语言回答中,也体现在探索、取证和交付的过程中。

正是在这一背景下,腾讯混元与复旦大学的研究团队共同提出WorkForge,一个从真实世界资源出发、规模化构建可验证智能体工作环境的框架。

WorkForge:为工作智能体搭建真实可验证的工作环境

WorkForge 的出发点很朴素:一道工作任务怎么出、做得好不好怎么判,都取决于工作区里实际有什么。所以它先把工作区搭起来、摸清楚,再从里面出题、定标准,整个过程分四步。

首先,请专家把经验写成“场景蓝图”。专家把熟悉的一类工作梳理清楚:交付什么、需要哪些材料、要做哪些关键判断。比如老师可以写下“测验后归类错题、再针对性讲解”的流程,换一套试卷和教材,就是一个新的工作区和新的任务。

其次,去真实世界找材料,搭出工作区。一个获取智能体按蓝图去搜索、下载代码仓库、数据集和网页资料,确认用得上后放进工作区,并保留原有的目录结构。坚持用真实材料,是因为工作中的线索从来不整齐:一个软件项目里,源码、文档、测试和配置散落在各个目录;合成环境往往只有一份 README、一个脚本和一份示例数据,答案几乎摆在眼前。

再次,先给工作区“体检”,再出题、定标准。WorkForge 会先摸清每个文件是做什么的,并记下一批能直接核对的具体事实,作为“事实支撑”。任务、参考解法以及核验标准都从这些“支撑”推出来,参考解法里的关键事实还会回到工作区复核。验收分两种:数值对不对、文件有没有生成,交给程序化检查自动核对;分析是否到位,由 LLM 评委按评分细则打分,也就是语义评分。

最后,让智能体完整做一遍任务。它只能看到工作区和任务说明,要自己探索、交互,直到给出最终成果。打完分后,整段操作过程连同分数一起保存下来,成为训练数据。

这样一来,题目出自工作区里真实存在的内容,评分也有据可查。智能体想完成任务,就得自己翻目录、理清文件关系,把散落的证据拼成一份经得起核查的交付物。

图:WorkForge 总体框架,对应上文四步:写蓝图、搭工作区、出题定标准、执行并打分。

WorkForge-16K:1.67 万个来自真实世界的工作环境

框架搭建完毕后,下一个待探究的是:这条管线生产出的环境,究竟有多真实、多复杂?

WorkForge-16K 正是这条管线的产出。它包含 16,665 个可验证的工作环境,横跨 40 个专业领域、60 种文件类型。这些工作环境真正要求智能体在复杂环境中持续不断的探索,以此来处理长距离任务。

为了刻画数据的复杂度,论文从任务、工作区和轨迹三个维度进行了统计。

任务层面,每个任务平均包含 21.9 条验证标准,既有精确的数值检查,也调用大模型进行语义评估。

工作区层面,每个工作区平均包含 42.3 个文件、约 279 KB,线索分散在多级目录中。

轨迹层面,智能体完成一个任务平均需要 31.8 步、33.8 次工具调用,单条轨迹平均约 7.6 万 tokens,是典型的长程任务。

此外,文件类型十分多样:表格数据占 53.3%,图像占 18.7%,结构化文本、代码乃至音频均有涉及。这也很贴近真实工作场景:员工往往需要同时理解表格、图片、文档和代码。

图:WorkForge-16K 数据分布,依次为专业领域、文件类型、任务得分和工具调用。

那么真实资源合成和 LLM 合成工作区究竟有多大差别?研究团队用同一批蓝图,分别以真实资源和 LLM 合成资源搭建工作区。结果显示,真实工作区的文件数是合成工作区的5.4 倍,文件类型是2.4 倍,平均体积从 21.5 KB 增至 279 KB。合成工作区经过“过度整理”,关键信息集中在少数文件里;真实工作区的证据则分布在整个目录树中,智能体必须先探索、再判断。

图:合成工作区与真实工作区对比。真实工作区文件更多、类型更丰富,证据分散在目录各处。

论文还给出了一个金融领域的例子:智能体扮演量化策略师,基于因子数据库评估各地区的因子溢价,交付 PPT 简报、Excel 分析表和清洗后的 CSV。工作区的 297 个 CSV 文件分布在 16 个目录中,其中隐藏着不少“坑”:月度与年度数据混排、缺失值以 −99.99 标记、同一因子在不同文件中命名不一致,充分模拟了真实工作环境中的复杂工作条件。

模型:让智能体从真实工作环境中学习

在构建出大规模真实环境之后,论文进一步用这些轨迹训练模型,检验数据能否转化为工作智能体的能力。

WorkForge 的基本思路是,工作智能体需要学习的不只是最终交付物,还包括完成工作的全过程:浏览目录、定位关键文件、交叉核对证据、处理异常数据,并在出错时重新规划。

围绕这一点,研究团队让智能体在不同 Agent Harness下执行任务,分别训练得到 WorkForge-A3B 与 WorkForge-27B。

评测覆盖五个主流基准:WildClawBench 和 Claw-Eval 侧重长程执行与多文件交互;GDPval 和 APEX-Agents 关注专业交付物与职场工具编排;Agents' Last Exam(ALE)考察长时间自主解决问题的能力。

图:在五个工作智能体基准下的测试结果。

实验结果显示,WorkForge 数据带来了显著提升。以 A3B 模型为例,训练后其 GDPval 得分从 45.5 提升到 73.6,APEX 从 5.0 提升到 21.3。与 ClawGym、EnvScaler 等 100B 以下的专用智能体模型相比,WorkForge-A3B 在五个基准上全面领先,GDPval 比此前最优的 ClawGym 高出 38.6 分;在更严格的 ALE 通过率上,二者分别为 12.4% 和 2.9%。

但更值得注意的是,WorkForge 数据在已经过后训练的强模型上依然有效。WorkForge-27B 在五个基准上全部提升,其中 WildClaw 提高 8.0 分。在 GDPval 上,它达到82.4分,超过总参数量约为其 15 倍的 397B-A17B(79.7),与 Claude Opus 4.8(89.1)、GPT-5.6 Sol(90.1)等前沿模型的差距进一步缩小。

这说明,真实工作区中的长程轨迹能够有效迁移到不同的评测场景。WorkForge 的每个任务都要求智能体在复杂文件结构中探索,并把分散的证据整合进交付物,而这正是专业工作的核心能力。

论文还考察了规模效应。训练轨迹从 1K 增加到 16K,模型在 ALE 和 WildClaw 上分别提高 13.0 和 8.4 分,并在 ALE 上超过了 DeepSeek-V3.2 和 MiniMax-M2.7。轨迹长度同样重要:同样使用 1K 条数据,用 41 至 60 轮长轨迹训练的模型,比用 20 轮以内短轨迹训练的模型在 ALE 和 WildClaw 上分别高出 4.2 和 5.0 分。

图:WorkForge 规模化分析。左侧为训练数据量的影响,右侧为轨迹长度的影响。数据越多、轨迹越长,模型表现越好。

在验证机制上,研究团队对比了三种轨迹筛选方式:只看程序化得分、只看语义得分,以及两者结合。结果显示,混合筛选的效果最好,ALE 得分达到22.11,明显高于单用语义评分的 15.62 和单用程序化检查的 14.89。两类验证信号相互补充,才能提供更可靠的监督。

论文还观察到一个很有意思的现象:经过训练后,模型的工作方式发生了明显变化。

以 WorkForge-27B 为例,它在 GDPval 的每个任务中平均访问 6.52 个外部网站域名,是基座模型的 5.3 倍;工作区内定向检索证据的调用占比也从 5.9%提升到16.2%。更重要的是,工具调用失败后,模型的推理长度从144个字符增加到 614 个字符。它不再急于重复尝试,而是先诊断问题、再重新规划。

图:GDPval 上的执行行为与评分细项分析。左侧为训练前后的外部探索与工作区取证变化,右侧为五类评分标准的通过率。

这些变化最终体现在交付质量上。在 GDPval 的五类评分标准中,WorkForge-27B 的通过率提升了 4.5 至 13 个百分点,其中视觉排版和数值准确性分别提高 13 和 8.2 个百分点,而这两项恰恰最依赖充分的调查与细致的核对。

这一结果说明,对于工作智能体而言,真实工作区中的过程数据非常重要。长程轨迹为模型提供了探索目录、追踪依赖、整合证据和核对结果的完整经验,使模型能够在训练中接触更接近真实职场的任务结构。

展望:AI 同事

真正进入职场后,智能体面对的不再是精心整理的考题,而是杂乱的文件、分散的证据和需要负责的交付物。

面向真实的知识工作,让智能体先在可验证的真实工作区中学会探索、核查与交付,再逐步承担更复杂、更开放的专业任务,可能是一条很有潜力的路径。我们期许未来的 AI 同事能在这种交互中逐渐成形。

跳转微信打开

Hy Memory 2.0 发布:模型、框架、应用三层全开源

2026年10月16日 17:15

腾讯混元 2026-10-16 17:15 广东

打造私人记忆管家

10 月 16 日,腾讯混元宣布智能体记忆框架 Hy Memory 升级到 2.0 版本,并开源专用模型、记忆框架和 MemHub 应用,三层能力既能独立使用,也能组合成一套完整的 Memory 解决方案,打造私人记忆管家。

图 1 · Hy Memory 2.0 三层开源架构

Hy Memory 框架负责聊天、工作、代码三类记忆的存储、更新与进化,开发者可通过 SDK 将其接入 Agent;在覆盖聊天、工作、代码场景的 4 个 Benchmark 上均为开源记忆框架第一名。

Hy-Memory-30A3B 模型专为记忆场景训练,具备很强的记忆更新、管理等能力,在多个主流记忆框架(Hy Memory、Mem0、MemOS等)上效果均超过 Opus5。

MemHub 是本地记忆管理应用,CLI 和 Mac端 APP 均可使用,可连接 WorkBuddy、Cursor、Codex 等 10 种 AI 工具,内置 Hy Memory SDK,提供历史记忆导入、跨工具实时记忆同步功能。在 AI 时代,无论技术如何演进,属于每个人的记忆应当始终完整、连续。使用 MemHub,让“ 对话常新,默契常在 ”。

图 2 · Hy Memory 2.0 使用方式

目前,Hy Memory 已在腾讯内部金融、资讯、知识管理、办公 Agent、社交娱乐和游戏等领域的多个业务中使用。

腾讯自选股 AI 助手中使用 Hy Memory 后,多跳召回率从 50% 升至 90%,综合得分提升 23.8%,整体通过率从 64% 升至 81%;腾讯新闻在智声、新闻妹两个 AI 助手场景的长期偏好评测中,平均得分 91.68,其中 87.8% 的案例超过 90 分;iWiki 仅用 Hy Memory 召回的记忆作答,正确率比提供全部原始对话相对提升 48.6%。

从 1.0 到 2.0:聊天记忆升级,新增工作记忆与代码记忆

聊天记忆,从零散事实升级为完整的事件脉络。当遇到跨时间、跨对话的聊天场景时,Hy Memory 2.0 能够把分散的内容关联整理,以事件为主体梳理出时间、地点、人物等关键要素,并关联事件的后续发展。当遇到一个问题需要结合多条线索才能回答时,Hy Memory 会围绕问题整理相关内容,先合并重复信息、剥离前后冲突,然后再把清晰的记忆交给模型。 

新增工作记忆与代码记忆。针对工作和代码场景,Hy Memory 2.0 使用多个维度记忆一项任务,并按时间规整所有信息更新。其中包含:

  • 任务目标、已确定的做法和阶段结果

  • 可复用的经验、经验适用条件等

当复用过往经验时,Hy Memory 会先判断当前是否符合该条经验的适用条件,只在符合的情况下,精准采取对应经验作为辅助。针对长程任务,每次继续开启任务前,Hy Memory 会先判断当前在处理哪一件事,再找回相关决定、仍然适用的经验以及历史工作过程。从而精准获取最相关的记忆、辅助任务执行。

图 3 · Hy Memory 1.0 与 2.0 对比

三类记忆场景占用很少存储空间,效果达到开源框架第一

Hy Memory 是业界首个提出工作记忆与代码记忆的记忆框架。在聊天、工作、代码三类场景的4个Benchmark上,对比 Mem0、MemOS、EverOS、OpenViking、RepoMemory 和 Simple RAG,Hy Memory 为开源框架第一。

工作记忆。 在 MemoryArena 的旅行规划与组合购物任务上,平均分为 55.31%,领先次优的 EverOS 10.2 个百分点。

图 4 · 工作记忆评测结果

代码记忆。 在 CodeMemoryBench 上,代码问答准确率 64.2%,代码任务解决率35.6%,均为记忆框架第一。在 SWE-ContextBench 上,代码任务解决率 28.3%,高于 MemOS 和 Mem0 的 25.3%。

图 5 · 代码记忆评测结果

聊天记忆。 在 LoCoMo 上,准确率 72.6%,高于 EverOS 的 71.9%。同时,每题使用的 Token 从 1,159 降至 703,减少 39.3%,以更少的上下文取得更高的准确率。

图 6 · 聊天记忆评测结果

更重要的是。在工作、代码、聊天三个场景中,Hy Memory 占用的存储空间均很小。

图 7 · 工作记忆效果与 Memory 存储占用

图 8 · 代码记忆效果与 Memory 存储占用

图 9 · 聊天记忆效果与 Memory 存储占用

约 3B 激活参数,平均分超过 Opus5

接入 Hy Memory、Mem0、MemOS、EverMemOS 四套记忆系统测试,Hy-Memory-30A3B 得分 55.49,高于 Opus5 的 54.62、DeepSeek V4.1 Flash 的 53.64,以及 Qwen3-30B-A3B 的 44.37。

图 10 · Hy-Memory-30A3B 跨四套记忆系统评测结果

10 种 AI 工具,共享一份个人记忆

用户逐渐在日常中同时使用多个 AI 工具,记忆也随之分散在不同场景。在 Cursor 中交代过的偏好,Codex 并不知道;在 OpenCode 中定下的规范,到了 WorkBuddy 又要重新说明。每切换一次工具,上下文就要从头补齐。

MemHub 希望让记忆成为用户的长期资产,不应被任何单一工具限定,让每次开口,都从懂你开始。所以 MemHub 把不同工具中的会话汇聚成全局的个人记忆,并持续更新。用户无需改变使用习惯,也无需切换正在使用的工具,只需要在MemHub 中授权关联应用,即可导入各工具的历史会话,并通过内置的 Hy Memory SDK 沉淀为本地记忆。此后,各工具中产生的新会话都可实时同步,汇入同一份记忆。同时,MemHub 还支持以插件形式一键接入各个 AI 工具:用户在任何一个已关联工具内发起任务,MemHub 都可管理和使用相关记忆,作为上下文补充给当前工具。

目前已覆盖 WorkBuddy、Cursor、Codex、Pi、Qwen Code、Hermes、DeepSeek Harness 和 OpenCode 等 10 种 AI 工具,涵盖商业编程工具、开源 Agent。 

已接入腾讯多个业务,专项评测表现出色

目前,Hy Memory 已接入腾讯自选股、iWiki、腾讯新闻等多个业务。在各业务的专项评测中,Hy Memory 显著提升了记忆召回与回答的准确性,让 AI 助手更好地理解并延续用户的长期偏好。

腾讯自选股:多跳召回提升 40 个百分点。 自选股 AI 助手需要跨天、跨会话记住用户主动提供的关注方向、分析习惯和规则,例如“这周只盯有色和半导体”“分析先报 PE 历史百分位”。在 A 股投研记忆专项评测中,接入 Hy Memory 后,综合得分从 64.3 提升至 79.6,整体通过率从 64% 提升至 81%,多跳召回从 50% 提升至 90%,冲突消解从 67% 提升至 83%。用户调整关注方向后,旧方向归档但可追溯,助手不会再把已放弃的板块推回来。

图 11 · 腾讯业务专项评测结果

iWiki:只用记忆,回答正确率高于完整原文。 iWiki 基于 Hy Memory 推出 CTX 记忆插件,让多个 Agent 共享同一份长期记忆。在 251 道问题的评测中,使用同一模型和同一套提示词,只提供 Hy Memory 检索出的记忆,正确率为 36.7%;提供全部原始对话,正确率为 24.7%,相对提升 48.6%。

腾讯新闻:长期偏好理解评测平均 91.68 分。 腾讯新闻将 Hy Memory 引入智声、新闻妹两个 AI 助手场景。AI 能记住用户关注的话题和偏好的称呼,开场时主动提及用户关心的内容,多轮对话中延续上次聊过的话题。在智声场景的离线评测中,10 位用户的 41 个复杂对话案例平均得分 91.68(满分 100),87.8% 的案例得分在 90 分以上。

除金融、知识管理与资讯外,Hy Memory 也已在办公 Agent、社交娱乐和游戏等领域的业务中完成接入与评测。

接下来,腾讯混元将继续和更多业务深度协同,在真实场景中打磨记忆能力,让 Agent 在更长的任务、更多的工具之间保持连续。

开源与使用地址

跳转微信打开

腾讯 Hy 翻译 APP 上线

2026年9月24日 14:04

腾讯混元 2026-09-24 14:04 广东

基于Hy-MT2 翻译模型

混元 Hy-MT2 翻译模型发布后,受到开源社区和用户的广泛好评,为了让更多用户直接可以体验到混元翻译模型的能力,我们最近做了一个“腾讯Hy翻译” APP(同步支持小程序、插件、PC 端体验,直接搜索“腾讯混元翻译”即可)。

它基于腾讯混元 Hy-MT2 翻译模型打造,支持 33 种语言互译,并覆盖 5 种中国少数民族语言及方言,提供语音翻译、拍照翻译以及离线翻译等多种体验方式。

离线翻译模式下,用户通过提前将翻译模型下载至手机上,进而在没有网络或者信号不好的地方依然能稳定使用。

“腾讯Hy翻译” APP 现已在 12 个国家和地区上线,包括美国、日本、韩国、新加坡、马来西亚、泰国、越南、缅甸等国家及中国港澳台地区。

这个中秋和国庆假期,带上“腾讯Hy翻译” ,畅游异国,放心吃喝。

左右滑动查看更多

🎁🎁🎁

 图片翻译、个性化翻译、离线翻译、实时翻译 

这个长假你最想带着腾讯Hy翻译 App去哪儿撒欢?

🌕 评论区聊聊你的"出游畅想"或"翻译名场面"

我们将抽 6 位幸运观众送出【腾讯视频季卡】

9 月 28 日开奖,欢迎分享 🎉🎉🎉

扫码直接下载体验腾讯 Hy 翻译

ios 下载

Android 下载

跳转微信打开

Hy Image3.5 preview 发布,为专业创作提供高性价比模型

2026年9月22日 10:36

腾讯混元 2026-09-22 10:36 广东

专业级生图模型

今天,我们正式发布混元图像 3.5 预览版(Hy Image3.5 preview)。

这是一款高性价比的专业级生图模型,经过数百名内部专业设计师GSB盲测,模型能力对比 Hy Image3.0 显著提升约30%,通过与元宝、WorkRally、OnSolo、Miora、WorkBuddy、ima等产品深度协同,大幅提升面向生活、学习和生产力等场景的效果与能力。

Hy Image3.5 preview 模型支持文生图和图生图,单次最多可上传 5 张图作为参考,并支持多种尺寸比例输出,能实现最高 2K 分辨率输出,模型支持多轮对话创作,可基于历史上下文进行连续创作和编辑。

综合能力显著提升

Hy Image3.5 preview 继续沿用 Hy Image3.0 系列的设计思路,在文本渲染与布局、真实感与风格表现力、编辑一致性等方面显著提升,以极具吸引力的性价比为日常创作和专业视觉生产提供效果卓越的图像生成能力,对比上一代模型综合能力显著提升。

Hy Image3.5 preview 在元宝 APP 提前 2 个月就已开始逐步灰度上线,模型显著提升了端内用户的生图体验,带动用户需求的大幅增长。据元宝的数据显示,灰度测试期间生图整体请求量提升超过50%。

在腾讯内部组织数百名专业设计师的 GSB 盲测中, Hy Image3.5 preview 与 Seedream 5.0 pro 持平,略优于 Nano-Banana Pro 和 Qwen-Image-3.0 Pro。

提供极致性价比

简化的架构结合高效蒸馏算法和文本与图像分支的解耦部署、注意力算子适配等系统优化,我们进一步提升推理资源利用率,为高性价比的图像生成提供基础。

Hy Image3.5 preview 腾讯云 API 2K 图像定价为 0.15 元/张图,性价比极具竞争力;同时,Hy Image3.5 preview 仅针对输出图片进行收费。

目前,模型已经上线腾讯 AI 助手元宝、专业影视智能平台 WorkRally、专业剧集及游戏内容制作工具 OnSolo、创意智能体 Miora、办公智能体工作台 WorkBuddy、AI 知识管家 ima 等多款原生 AI 应用,API 能力同步上线腾讯云TokenHub、腾讯云媒体处理MPS、云点播VOD。

企业与开发者可通过腾讯云 API 调用 Hy Image3.5 preview 模型;普通用户可直接通过元宝体验人像编辑、智能 P 图、旅游规划图、知识信息图等场景;知识管理用户可以通过 ima 的 copilot 把自己的专业知识变成可视化的精美网页、PPT 等;创作者欢迎通过 Miora、WorkRally 和 OnSolo 进行专业级美学与影视物料创作,Miora、WorkRally、OnSolo 将同步推出限期两周的免费体验。

专业级生图模型

Hy Image3.5 preview围绕“从意图理解到视觉表达”进行了系统性升级,既能服务日常修图、人像美化、知识卡片等生活娱乐与学习场景,也能支撑商业海报、剧集分镜、影视物料、UI 设计、创意插画、品牌视觉、电商物料等专业级别场景,让生成结果从“好看”走向满足“专业级美学场景需要”。

文生图

  • 文本渲染与布局

  • 真实感

图生图(编辑一致性)

  • 多主体编辑

输入

输出

  • 风格转换

输入

输出

生活场景

  • 换装试穿(元宝端内模版“自由换装")

输入

输出

  • 局部风格化(元宝端内模板“当漫画住进现实”)

输入

输出

  • 局部风格化(元宝端内模板“照片小画本”)

输入

输出

影视场景

  • 局部编辑:为角色添加上一副茶色的墨镜

输入

输出

  • 局部编辑:增加积雪覆盖

输入

输出

信息图

电商场景

输入

输出

海报设计

UI 设计

Co-Design团队反馈

在元宝灰度测试中,新模型显著激发了用户生成需求,生图整体请求量提升超过 50%;在人像修图等对精准编辑要求更高的场景中,请求量提升 100%。与此同时,模型在小字渲染上的能力提升明显,带动海报制作、Logo 生成等生产力场景请求量提升 80%。

内部评测显示,相比 Hy Image3.0,Hy Image3.5 preview 在语义遵循、美感、参考图保持和清晰度等核心维度均实现显著提升,整体生成与编辑能力进一步迈上新台阶。

——元宝产品经理

上线内测快速达到生图模型调用量 TOP 5,漫剧工作室反馈良好,尤其是在批量生成上,能够快速为剧本建立道具、人物、场景资产图,价格远低于 Nano-Banana Pro 但整体指令遵循能力、人物一致性等要求大多能够满足需要,大大降低了漫剧工作室的抽卡率。同时有算法团队支持,能够针对性解决漫剧用户们的人物风格化、人像感(去 AI 味)的需求,相信在算法团队配合与优化下,Rally-Image-3.5(即 Hy Image3.5 preview) 将成为 WorkRally 为漫剧工作室提供生图服务的重要模型。

——WorkRally产品经理

Hy Image3.5 preview 相比上一版本,在指令遵循、图像编辑和文字生成上提升明显,在影视人物与场景生成、营销创意、信息图和游戏素材等场景更加强大。对于 Miora 或 WorkBuddy 平台创作者来说,它让创意表达或日常工作更加高效。

——Miora&WorkBuddy产品经理

ima 提前一个月接入 Hy Image3.5 preview,并结合产品形态与实际任务和混元深度 Co-design,重点打磨配图、海报、信息图和图片编辑等场景。模型上线后,补齐了 Copilot 的图片生成与编辑能力,进一步拓展了可承接的任务类型和产物形态。

生图功能上线后增长迅速,目前调用量已达到上线初期的3倍。

在 ima 场景评测中,Hy Image3.5 preview 相较上一代模型整体表现有所提升,尤其在复杂指令理解、文字渲染、画面质量和美感等方面均有更好表现,使 Copilot 能够更稳定地完成从内容生成到视觉产物交付的完整任务。

——ima产品经理

在图生图场景下,Hy Image3.5 preview 相比 Hy Image3.0 整体效果有明显的提升。模型能够更好理解用户指令,指令达成性更强;文字乱码和图片重绘异常等 badcase 率下降 7%,有效减少了素材瑕疵,广告图片生产质量更高,输出效果也更加稳定可靠。

——腾讯广告产品经理

使用混元生图模型最大的体验是生成图片的速度快,而且性价比很高。我们比较多客户是用在 AI 短剧制作,电商视频生成的场景,这两个场景对于参考图的一致性,生成速度都有要求,大量的资产生成也使他们对于价格额外敏感。Hy Image3.5 preview对腾讯云服务是一个很好的补强。

——腾讯云产品经理

上下滑动阅读更多内容

更多资料

跳转微信打开

WebCraftBench:给 AI 生成的网页来一场「实测大考」

2026年9月20日 15:58

腾讯混元 2026-09-20 15:58 广东

如何评价 AI 写出的网页?我们尝试让 AI 自己来打分。

腾讯混元团队联合清华大学、北京大学的研究者提出 WebCraftBench ,把软件测试的方法引入网页生成评测:让智能体真正操作网页,用代码覆盖率帮助查漏,再从美观度、易用性和需求符合度三个维度打分。在 197 组经复核的应用对比中,它与人类偏好的判断一致率达到 85.3%。

让 AI 帮你做一个网页应用,本以为交代完需求,就可以等着验收。可真正打开交付结果时,却可能遇到这样的场景:

  • 页面做出来了,设计却没跟上。内容一股脑堆在屏幕上,字号、间距毫无章法,甚至输入框和按钮互相重叠,看不清,也点不准。
  • 勤勤恳恳忙了两小时,主页面却一打开就报错。AI 反复写代码、修问题,功能写了一大堆,终于宣布「已完成」。可用户连首页都进不去,更别说体验后面的功能。
  • 功能加了一大堆,用户的需求却走了样。你只想要一个无需登录、打开就能记的待办清单,AI 却擅自加上账号体系和复杂的管理后台,把简单工具做成了另一套产品。

这些问题分别指向美观度、易用性和需求符合度,也正是 AI 网页生成评测绕不开的三个维度:页面看起来怎么样,操作起来顺不顺,以及用户交代的事情有没有做到,都需要分别检查。

WebCraftBench 给出的思路,是让评测先经历一遍真实使用过程,再根据留下的证据判断质量。这场「实测大考」包含:

  • 369 条真实用户需求,保留口语表达、需求模糊和复杂度差异;
  • 5,088 条验收标准,覆盖功能、内容和视觉要求;
  • 17 个前沿模型、6,273 个生成应用,统一经过交互探索与评分。

在独立的人类偏好验证集上,197 组对比中有 168 组判断一致,一致率为 85.3%。

图:WebCraftBench 与 Code Arena 的共有模型排名对比,Spearman 排名相关系数为 0.890。两侧分数的量纲不同,部分模型的运行框架和推理强度也存在不同。来源:论文图 1。

AI 生成网页,为什么越来越需要「实测」?

评价一张图片,主要看最终画面;评价一个网页应用,还需要知道点击、输入、切换页面之后会发生什么。

如果只看源代码,评测可能发现「这里实现了一个排行榜」,却看不到入口按钮已经坏了,用户根本进不去。如果只看首页截图,也很难判断表单能否提交、游戏能否运行、出错之后能否恢复。

代码里有某个功能,不等于用户能到达并使用它。

让智能体实际操作网页,能补上这部分证据,但又会遇到一个新问题:如果它判某项检查 fail 了,到底是网页没做好,还是测试智能体没找到入口、没点对地方?

预先写好的验收清单也有边界。智能体围绕清单逐项检查,可能忽略清单之外的交互;探索不充分,则可能把尚未发现的功能当成没有实现。

因此,WebCraftBench 把问题再往前推了一步:评测不仅要记录「测出了什么」,还要了解「实现中的哪些部分已经被测到」。

核心揭秘: WebCraftBench 如何组织这场「实测大考」

先从真实需求里出题

WebCraftBench 的需求来自企业内部一个参照 Code Arena 搭建的平台的实际使用流量。研究者先匿名化,再由人工筛选,移除无法理解、依赖缺失素材或超出网页应用范围的请求,并进行文本和语义去重,最终保留 369 条纯文本需求。

这些需求很像用户日常会说的话:60.2% 使用口语表达,63.4% 并未把需求完整说清楚。有的只有 7 个字符,有的长达 37,903 个字符;既有娱乐应用,也有科学演示、在线办公和数据可视化等任务。

每条需求还配有一份验收清单,由三个模型独立生成、经过合并,再由人工专家核验。清单描述用户应该能看到、用到的属性,不限定唯一的代码实现,也不额外塞入原需求没有提出的要求。

全数据集共有 2,706 条功能标准、1,447 条内容标准和 935 条视觉标准,平均每个任务约 13.8 条。

关键设计是:验收标准只在评分阶段使用,探索阶段看不到这份清单。 系统先收集运行证据,再依据需求检查交付结果。

图:自动插桩 → 覆盖率引导探索 → 状态抽象 → 多维评分。前三个阶段收集、整理运行证据,最后一个阶段使用验收标准。来源:论文图 2。

第一步:给代码装上「运行计数器」

「插桩」听起来很技术化,作用其实很直观:在程序中加入计数器,记录哪些语句在运行时被执行过。

WebCraftBench 基于 JavaScript 测试工具 Istanbul 实现自动插桩工具完成这一步,支持静态 HTML、Vite、Next、Create React App 和 Astro 等框架。应用启动后,每一次交互都可以带回覆盖率及其增量,帮助系统了解探索触达了多少实现。

这套工具在主实验的 6,273 个应用上,插桩成功率为 99.89%。失败的 7 个应用仍继续接受交互探索与评分,只是不再获得覆盖率反馈。

第二步:让智能体像测试人员一样操作网页

探索智能体按照软件测试中 GUI 测试的流程,通过 Playwright MCP 操作网页,阅读简化后的页面结构,发现功能、尝试交互,并测试边界情况。

它不能直接查看源代码,也看不到验收标准或参考答案。探索过程中,系统持续监测覆盖率;如果连续三次交互都没有带来新增覆盖,就请另一个模型分析尚未执行的代码,把建议转成自然语言,交给探索智能体继续尝试。

可以把这种分工理解为:前台测试人员负责实际操作,后台分析员查看哪些代码还没有触达,再提示下一步值得检查的方向。执行操作的智能体收到的是测试建议。

探索最多进行 100 步,也可以由智能体提前宣布完成。最后,系统保留交互轨迹、页面结构、截图,以及对已发现功能和故障的总结。

覆盖率在这里是查漏的线索。某段代码执行过,仍然需要结合运行结果判断功能是否正确。

第三步:把长长的操作记录整理成一张「路线图」

网页被点来点去之后,可能留下大量近似截图和页面记录。如果把它们全部交给评分模型,重复信息很容易挤占上下文,真正重要的故障反而被淹没。

WebCraftBench 会对页面结构进行状态抽象、做规范化处理,例如移除脚本、样式和易变属性,把时间戳替换成固定占位符。规范化表示相同的页面会合并为同一个状态,点击、输入、拖动等操作则连接这些状态。

这样,一段冗长的操作序列就变成了状态转移图:从哪里出发,经过哪一步到达哪里,哪些路径发生了变化。评分模型可以先看这张图,再查阅对应的运行记录。

第四步:分别评「好不好看」「好不好用」「有没有做到」

🎨 美观度:看实际页面的视觉质量。 系统从探索截图中筛选最多五张有代表性的画面,检查布局、信息层次、字体、图形质量和完成度。

🖱️ 易用性:看实际操作体验。 根据交互轨迹和状态转移图,检查核心操作能否完成、反馈是否及时、导航是否清楚、能否恢复状态,以及出错时是否有合理处理。

这两项采用三轮评议:先由一个角色找出优点,再由另一个角色指出缺陷,最后由裁判核对证据、给出分数。最终评分独立进行五次,去掉最高分和最低分后取平均,以减少采样波动。

✅ 需求符合度:逐条查验用户的要求。 评分智能体可以检索交互记录、阅读页面结构和查看截图,但每条判断都要引用运行证据。单条标准只有「满足」或「不满足」,功能、内容、视觉三个子项分别按满足比例计分。

这里的「视觉要求」与「美观度」也有区别:用户要求深色背景,做成深色属于遵守要求;深色界面是否精致、协调,则属于美观度。

三个大维度的原始分数均在 0–100 范围内。汇总榜单时,研究者先对各项分数做标准化,再按美观度、易用性、需求符合度各占三分之一合成总分;需求符合度内部三个子项等权。

因此,榜单里的 +1.326 是相对这批参评模型的综合表现,不是成功率,也不是百分制得分。

17 个前沿模型的测评结果和关键发现

发现 1:三项能力的第一名,各有其人

在论文配置下,Claude-Opus-5 综合排名第一,GPT-5.6-Sol 第二,Qwen3.8-Max 第三,Kimi-K3 第四,Hy4 preview 第五。

拆开维度看,模型的优势更加清楚:

表:17 个前沿模型在 WebCraftBench 上的主实验结果,包含运行框架、推理强度、各维度得分与综合分。分数为相对本次参评模型池的标准化结果。来源:论文表 3。

没有一个模型同时包揽三个维度的第一名。GPT-5.6-Sol 的美观度第一,但易用性排名第六。把所有能力压成一个总名次,会隐藏这类差异。

发现 2:一份网页的「颜值」,很难替它的交互作保证

按模型平均表现看,美观度与易用性的相关系数为 0.85;但具体到一个个生成应用,这个相关系数降到了 0.36。

这意味着,即便一个模型整体上更擅长做出好作品,也不能仅凭某次生成结果的截图,就判断那份网页一定顺手、稳定。

论文附录还给出了一个具体案例:两份数独应用中,人工投票偏好界面更精致的一份,但运行测试发现,它进入主要游戏路径后会崩溃;另一份界面更简单,核心数独交互却能工作。WebCraftBench 最终选择了后者。

这份分歧提示我们,美观与功能可靠性如何权衡,会影响对产品的最终判断。单次投票本身不足以解释用户究竟为什么做出选择。

图:左侧是人工更偏好的作品,界面较精致,但主要游戏路径在测试中崩溃;右侧是  WebCraftBench 更偏好的作品,界面较简单,核心交互可正常工作。来源:论文图 4、附录 C。

发现 3:与人类偏好的一致率达到 85.3%,分差越大通常越稳定

研究者另外抽取了 200 个内部平台会话,其中 197 个保留了有效应用对。这批样本独立于前面的 369 条基准需求;原始人工投票经过额外标注人员复核后,用来验证自动评测。

在 197 组对比中,WebCraftBench 有 168 组与经复核的人类偏好一致,一致率为 85.3%。如果只看两份应用的综合标准化分差至少为 0.25 的 132 组样本,一致率为 90.9%;分差至少为 0.75 的 50 组样本中,有 49 组一致,即 98.0%。

表:WebCraftBench 与人类成对偏好的一致率。Δz 为两份应用综合标准化分数的绝对差;左侧按分差区间统计,右侧统计分差不小于该区间下界的全部样本。来源:论文表 4。

相反,在全部 29 组分歧中,有 24 组的分差小于 0.5。分数接近的作品,更容易出现不同判断。

这些结果支持自动评分用于辅助区分应用质量,同时提醒我们:接近的分数需要谨慎解读,85.3% 也仅代表这批经复核样本上的成对偏好一致率。

发现 4:换一个裁判,整体排名仍然较稳定

研究者保留生成应用、探索轨迹、评分流程和提示词,把评分裁判替换为 Gemini-3.7-Flash。

两套结果的 Spearman 排名相关系数达到 0.980。17 个模型两两比较,共有 136 对,其中 130 对保持原有先后顺序,占 95.6%,前四名顺序也没有变化。

不过,裁判更换后,原始分数的高低和分布确实发生了明显变化。例如,模型池的平均易用性分数从 60.1 上升到 75.7。可见,「排序比较稳定」与「绝对评分完全一致」是两件事。这项实验也保留了原有探索轨迹,验证的是评分裁判更换后的稳定性。

发现 5:覆盖率反馈,确实能帮助智能体多测到一些地方

为了验证覆盖率引导的作用,研究者生成 360 个可部署应用,对比了有、无覆盖率反馈的两种探索方式。

  • 函数覆盖率中位数从 91.9% 提升至 94.3%,增加 2.4 个百分点;

  • 覆盖率低于 90% 的任务从 139 个减少到 99 个,数量相对减少约 29%;

  • 达到 100% 函数覆盖率的任务,从 38 个增加到 52 个。

图:覆盖率引导让更多任务进入较高覆盖区间。两组均为同一批 360 个可部署应用上的探索结果;这里衡量的是函数覆盖率。来源:论文图 3。

提升主要集中在中高覆盖区间,低覆盖的尾部改善有限。人工检查发现,一些应用首页就报错,或者关键事件处理函数抛出异常,下游功能因此无法触达。

这时,低覆盖本身也能提供有价值的诊断线索:探索受阻,可能来自用户同样会遇到的产品故障。 但覆盖率升高并不直接等于功能正确率提高,两者仍需结合运行证据分别判断。

关键洞察

第一,网页生成评测需要沿着用户的实际操作路径展开。 从入口按钮,到页面切换,再到输入与反馈,整条使用路径都可能改变用户体验。静态呈现之外,运行证据能告诉我们功能是否真正可达、可用。

第二,「有没有测到」应该成为评测方法的一部分。 测试智能体也会遗漏功能。覆盖率让这种探索不足变得更可观察,还能为下一步操作提供线索,帮助减少把探索失败与应用缺陷混在一起的情况。

第三,把探索与评分分开,有助于扩大观察范围。 先让智能体发现应用的实际行为,再围绕验收标准检索证据,既保留需求约束,也给清单之外的交互留出被观察的机会。

第四,读榜单时要同时看维度、分差和配置。 视觉表现突出、交互稳定、需求完成度高,分别对应不同优势。标准化综合分依赖参评模型池,跨榜单不能直接对比;很小的名次差异,也不宜被放大成明确的能力鸿沟。

欢迎加入我们

混元大模型评测团队实习生密集招聘中,对于LLM/VLM Agent前沿评测、评测分析感兴趣的同学欢迎投递简历至:

maxmpan@tencent.com

islaxia@tencent.com

跳转微信打开

❌