铃阅时讯
❌

阅读视图

让 Token 消费看得见、管得住、省得下 - AI 网关成本治理能力解析

绍玮、鸿杰、渴炜 2026-07-15 15:00 陕西

模型能用,但成本理不清怎么办?腾讯云 AI 网关,帮你看好每一分钱。

一封让 CTO 一夜没睡的邮件

上个月,某公司的 CTO 收到了一封让他睡不着的邮件 - 大模型月账单比上个月涨了 3 倍。

更让他崩溃的是:财务追问 “这些钱花在哪儿” ,工程团队查了半天,只能给出一个模糊的答案: “大概……是这个 AI 助手在跑吧?”

没有多维度的成本拆解、没有多维度的场景分析、没有异常消费的提醒—— 只知道成本多了,不知道花在了哪里。

大模型接入不是终点。当业务真正跑起来以后,另一场硬仗才刚刚开始: 模型 Token 成本怎么观测,模型配额怎么管理 。

解决这样的问题,不止需要一个功能点 — 从实时成本观测到多维配额、从默认策略到配额计数,都需要一整套体系来支持。基于 腾讯云原生智能网关-AI 网关(以下简称 AI 网关)拥有完整的成本治理与配额体系,可以让大模型的每一次 Token 消耗都 “看得见、管得住、省得下”。

开头的情况并非个例

过去三个月,AI 网关团队走访了几十家把大模型接入生产的客户。我们发现: “账单暴涨” 背后不是一个问题,而是同一套结构性漏洞的多种表现。

场景一 | 账单失控,谁花了多少一无所知

月底账单出来,Token 消耗暴涨 300% 。可你不知道:

  • 是哪个团队在花?

  • 是哪个模型在烧?

  • 是哪个时间段异常?

  • 是业务增长,还是有人在 “刷模型” ?

问题本质 :Token 消耗黑盒,缺乏多维度使用量统计与成本溯源能力。

场景二 | 集群配额计数不一致,超限流量溜过去

业务高峰期,网关 A 节点计数到 80%,网关 B 节点才 50%——因为 “已用额度” 各自在内存里维护。

同一个消费者,实际早已超限,但换一个节点还在继续放行。

问题不是没设配额,问题是—— 配额被三个节点分别数了三份 。

问题本质 :本地内存计数无法跨节点共享,集群环境下配额计数不一致。

其他更多问题场景

场景

痛点

新消费者 Token 用量 “裸奔”

管理员忘配配额,月初就把整月的 Token 配额全部使用

配额粒度太粗

大小用户一刀切,大的被限死、小的挡不住,配额运营死板

Token 重复消耗

用户换个说法问同一个问题,每次都花一遍推理成本,极大浪费资源

成本配置太复杂

搭一套完整管控要在 4 个页面间反复跳,容易遗漏

AI 网关是这么解决的 — 一套体系,五项能力

针对以上痛点,腾讯云 AI 网关给出的答案不是 “加个功能” ,而是提供 一整套成本治理体系 。

【能力一:多维度配额治理】Token 不是唯一要关注的指标

每个模型的 Token 价格完全不同,请求次数多起来也会更难处理,只限 Token 远远不够。 除 Token 外也需要关注成本和请求次数 :

维度

管什么

Token

Token 消耗上限

请求次数

模型调用次数

成本

花费的成本金额

三个维度独立计数、独立判定,粒度精细到每一个消费者。同时在时间上,AI 网关支持按照 日、周、月和年 时间维度配置消费者配额,让配额运营更加灵活。

【能力二:默认配额策略】让新消费者 Token 配额不再 “裸奔”

新消费者创建时,AI 网关会 自动注入一条默认配额规则 ——哪怕管理员忘配置,也不会出现 “月初打穿全月 Token 配额池” 的 “惨剧” 。可在配额管理处配置默认配额,设置完成后所有新建消费者都会自动配置一条配额。

(图:默认配额策略配置)

【能力三:语义缓存】Token 消耗的 “沉默杀手”

用户换个说法问同样的问题—— “今天北京天气” 和 “北京今天天气怎么样” ——在传统系统里是两次独立推理,两次 Token 消耗。

语义缓存不是关键词匹配,而是 基于向量相似度 :语义相近就命中同一份缓存,可以极大降低 Token 消耗和工具请求次数。

(图:语义缓存工作示意图)

【能力四:实时成本计量】从 “事后对账” 到 “即刻可观测”

传统方案每小时才统计一次。这意味着 — 9:05 发生的超量流量,你要等到 10:00 才能看到。中间的 55 分钟,系统还在放行。

但是面对 AI 成本黑盒,AI 网关拿出成本观测方案:

  • 分钟级实时:直接从 Redis 读,不再等定时任务获取,两分钟内就可以看到最新的成本情况报表和数据

  • 重启不丢:Redis 配置全局统一管理,配置重启后对应的配额计数仍然完好

展示能力

内容

解决问题

周期总成本

实时展示当前自然累计费用

不用等月底账单,随时知道已花多少

最高成本消费者

标出当月费用最高的消费者(含名称、所属组、已用费用)

快速定位 “谁在烧钱” ——是正常业务增长还是异常调用

最高成本模型服务

标出当月费用最高的模型服务(含服务名、已用费用)

快速定位 “钱花在哪个模型上” ——是否该考虑模型降级

成本趋势图

按日展示输入成本 + 输出成本双柱状对比

看趋势——是平稳消费还是在逐日攀升;输入 vs 输出成本比例是否异常

多维下钻明细

按消费者/消费者组/模型服务/模型 API/路由 5 个维度下钻

账单暴涨时,从总览逐层定位到具体的消费者+模型+API+时间段

【能力五:成本管理大盘】从 “管得住” 到 “算得清”

能观测具体额度后,下一步是算清楚账。多维度使用量统计让每一次 Token 消耗都有迹可循,账单暴涨时,可以极快发现哪里是成本 “漏洞” 。

展示视角

回答的问题

消费者视角

哪个团队/应用消耗最多?钱该算到谁头上?

模型服务视角

哪个模型是成本大头?该不该换便宜的?

模型 API 视角

哪个接口消费最高?是不是有接口被滥用?

(图:成本管理大盘)

技术底气 | 为什么能做到 “分钟级 + 强一致”

整个系统的核心是 两条分离原则 :

  • 配置与执行分离 ——控制面管控不影响调用执行

  • 热路径与分析路径分离 ——统计分析延迟也不影响限流与配额

围绕这两条原则,三条链路各司其职:

链路

方向

关键特征

配置下发

控制面 → 数据面

双写一致、准实时生效

实时计数

数据面 ↔ Redis

原子递增、跨节点共享

统计分析

日志 → 控制面

准实时、与执行解耦

跨节点一致性的核心: 用 Redis 的 INCRBY 原子递增把集群里所有节点拧成 “一个视图” — A 节点数到 80%,B 节点看到的也是 80%。计数偏移的病根一次性除掉!

(图:三条链路架构示意图)

总结

大模型从 “能用” 走向 “生产” 的过程中,成本治理不是可选项,而是必答题。

智能路由解决了 “选最优模型” ,业务连续性解决了 “模型不稳定” ,而 Token 成本治理与配额运营解决的是第三个关键问题 — 模型能用,但成本理不清怎么办 。

AI 网关给出的答案是 “一套体系、多维治理” :

  • 一套体系 :从实时计量 → 多维配额 → 默认策略 → 语义缓存 → 成本大盘,形成完整的成本治理闭环

  • 多维治理 :Token 数量、请求次数、成本独立管控,粒度精细到消费者

六个用户场景、五项核心功能、一套完整的成本运营体系 — 大模型用起来很好,但账单得有人管。 AI 网关,帮你看好每一分钱。

如果您正在推进企业 AI 应用建设,欢迎在评论区告诉我们你正在面对的 AI 落地挑战。前往产品页面了解详情:https://cloud.tencent.com/product/cngw

AI 网关能力全景

点击 👇 视频查看 「AI 网关接入演示」


阅读原文

跳转微信打开

  •  

爱奇艺AI驱动漏洞闭环治理:让安全发现更智能、修复闭环更高效

原创 爱奇艺安全团队 2026-07-15 12:00 北京

构建AI安全治理体系,推动漏洞发现与修复智能化闭环。

随着业务系统、API 接口、AI 应用和自动化工具持续增长,安全治理的复杂度也在快速上升。

一方面,资产和接口数量持续增加,仅依赖人工排查很难做到全面覆盖;另一方面,业务逻辑漏洞、越权漏洞、修复绕过等问题,往往需要理解业务场景、接口关系和权限边界,传统扫描器很难稳定发现。

更重要的是,漏洞发现只是第一步。后续的风险确认、通知提醒、业务沟通、修复推动、复测验证、白盒扫描接入、WAF 整改等流程,过去高度依赖人工运营。安全同学需要反复解释风险、催办进度、协助协同、跟进修复状态,整体闭环周期较长,也容易受到人力投入影响。

为解决这些问题,我们围绕“漏洞发现—风险确认—修复推动—运营处置”构建了 AI 驱动的安全闭环治理体系,通过 AI 安全白帽、安全小助手、多智能体协同和工具调用能力,将漏洞治理从过去的“人工驱动为主、规则扫描为辅”,升级为“AI 智能体驱动、人工校验兜底”的新模式。

其中,在自动修复方向,团队基于自研安全编排平台探索了“事件驱动 + Agent 自动修复”的实践:当安全扫描产生缺陷或用户主动发起修复任务后,系统可自动触发修复 Agent,完成缺陷理解、修复方案生成、代码修改、自测验证和合并请求提交,并在关键节点引入人工确认、状态留痕和独立裁决机制,避免 Agent “自修自批”,确保修复过程可控、可审计、可追溯。

简单来说,AI 不再只是辅助分析工具,而是开始参与漏洞发现、风险验证、业务沟通和闭环推动,让安全治理变得更主动、更高效、更可持续。

AI 提效:让漏洞治理更快发现、更快修复、更少人工消耗

项目通过 AI 安全白帽与安全小助手,构建了覆盖漏洞发现、验证、通知、修复推动和运营处置的智能化闭环。

在漏洞发现侧,AI 安全白帽上线以来累计发现百余个有效安全风险,其中包含二十余个高风险问题,覆盖业务逻辑、权限控制、接口安全、数据保护等多个典型场景。通过 AI 自动分析、上下文理解和自动化验证能力,安全团队能够更快发现过去主要依赖人工经验挖掘的高价值漏洞。

在运营闭环侧,安全小助手进一步承接漏洞通知、修复沟通、白盒扫描接入和 WAF 整改等流程。上线后,白盒扫描接入量显著提升,漏洞平均修复周期明显缩短,修复逾期率持续下降。

这说明 AI 的价值不仅体现在“多发现漏洞”,更体现在“让漏洞更快被理解、更快被处理、更快完成闭环”。

体验升级:从“只能看通知”到“可以直接问”

传统安全通知体系主要解决的是“把信息发出去”的问题。业务同学收到通知后,通常只能阅读内容;如果想继续了解漏洞详情、影响范围、资产归属、处理建议或接入流程,仍然需要额外找安全同学沟通。

安全小助手带来的核心变化,是将安全协作从“告知型安全”升级为“服务型安全”。

过去,安全团队更多是向业务同步风险、发送通知、推动整改;现在,业务同学可以通过统一的对话入口,直接完成安全咨询、问题确认、流程推进和反馈闭环。

例如,业务同学可以直接询问:

  • 这个漏洞影响哪些资产?

  • 我负责的域名是否已经接入安全能力?

  • 这个安全通知需要我做什么?

  • 漏洞修复完成后应该如何反馈?

  • 能否协助拉相关同学一起推进处理?

通过这种方式,安全服务不再只是“发通知、提要求”,而是进一步前置到业务日常工作中,帮助业务更快理解风险、更快找到责任人、更快完成整改闭环。

同时,安全小助手发出的通知会沉淀在聊天记录中。通知不再是一次性消息,而是后续对话、追问和处理的上下文基础,减少了重复解释和反复确认成本。


核心能力一:AI 安全白帽,让 AI 具备“安全专家式”的漏洞挖掘能力

AI 安全白帽不是传统扫描器的简单升级,而是将 AI 推理能力与接口上下文、业务语义、代码分析和自动化验证工具结合,形成具备自主分析能力的智能漏洞挖掘体系。

在漏洞挖掘过程中,AI 可以结合接口参数、调用链关系、业务语义和权限边界,识别未授权访问、水平越权、ID 遍历、权限提升、敏感数据导出、注入类风险等高价值漏洞。

对于信息不完整的场景,AI 还可以主动补全上下文,分析相关代码和接口关系,理解复杂防御逻辑和潜在绕过路径,并通过自动化验证方式降低误报、提升漏洞确认效率。

相比传统扫描器主要依赖规则匹配,AI 安全白帽更擅长发现依赖业务理解、权限关系和接口调用链分析的复杂漏洞,覆盖了过去主要依赖人工安全专家手工挖掘的高价值场景。

核心能力二:安全小助手,让漏洞运营从“人工催办”变成“智能闭环”

安全小助手基于多智能体协同、工具调用和流程编排能力,承接漏洞提醒、修复沟通、白盒扫描接入、WAF 整改、模板化通知等安全运营流程。

在实际使用中,安全小助手可以根据不同场景自动理解任务、拆解步骤,并调用对应工具完成处理。例如,针对漏洞整改场景,可以自动发送通知、解释风险、协助确认负责人、跟进修复状态,并在必要时触发人工确认。

针对高风险写操作,系统引入Human-in-the-loop机制,也就是“关键动作人工确认”。涉及通知、建群、写入、整改推动等动作时,既能利用 AI 自动化提效,也能确保关键操作可确认、可审计、可追溯,兼顾效率与安全合规。

通过自动提醒、自动协同、流程编排和上下文沉淀,安全小助手显著降低了安全运营中的重复沟通成本,让安全同学从大量事务性催办中释放出来,把更多精力投入到高风险研判和治理优化中。


典型实践一:SQL 注入检测与自动化复核

在 SQL 注入治理场景中,项目引入基于大模型的数据标注能力,并建设扫描结果自动化验证模块,支持漏洞的自动化复核和风险确认。

在某业务场景中,AI 发现一个注入类风险存在修复不彻底问题。原防护策略只处理了部分特殊输入,但仍存在绕过风险。AI 通过进一步分析和验证,识别出残留风险,避免漏洞出现“表面修复、实质仍可利用”的情况。

这类场景说明,AI 不只是发现新漏洞,也可以帮助识别漏洞修复后的绕过风险,提升复测质量和修复可靠性。

典型实践二:高价值业务逻辑漏洞发现

AI 安全白帽在多个核心业务场景中发现了高风险业务逻辑漏洞,暴露出业务系统在权限控制、身份校验和敏感数据保护方面的薄弱点。

例如:

  • 任意文件读取风险:攻击者可能通过漏洞读取服务器上的敏感文件,进一步获取配置文件、密钥或账号凭证,扩大攻击面。

  • 接口未授权访问风险:部分接口缺少有效身份校验,可能导致用户信息或业务数据被越权访问。

  • 越权操作风险:部分业务接口对用户身份和资源归属校验不足,可能导致越权查询、修改或删除数据。

这类漏洞往往不是简单的规则匹配问题,而是依赖对业务身份体系、权限边界、接口语义、调用链路和数据敏感性的综合理解。传统扫描器通常难以稳定识别此类复杂业务逻辑风险,而 AI 安全白帽能够结合上下文进行推理分析,主动发现隐藏在业务流程中的权限绕过、越权访问和敏感数据暴露问题。

典型实践三:让复杂安全流程更轻量

安全小助手背后的关键能力,是多智能体调度架构。

可以简单理解为:安全小助手就像一个“主助手”,负责理解用户问题、拆解任务、规划处理步骤;再根据不同场景,调用对应的“专业子助手”或工具完成具体任务。

过去,如果要支持一个新的安全查询或处理流程,通常需要提前设计固定意图、开发接口能力、配置规则流程,并人工编排数据源和处理逻辑。每增加一个数据源、一个工具或一个新流程,都需要重新开发和配置,扩展成本较高,也难以应对复杂、动态、多步骤的问题。

现在,安全小助手可以基于 AI 的理解与规划能力,自动将用户问题拆解为多个步骤,并结合上下文调用不同能力。

例如,当用户询问某个安全通知时,小助手可以:

  • 理解通知内容;

  • 关联历史处理记录;

  • 查询相关资产和负责人;

  • 判断当前处理状态;

  • 给出下一步处理建议。

也就是说,安全小助手不只是“回答问题”,而是能够协助完成从理解、查询、判断到推进的完整流程。

这种模式带来了四个直接价值:

第一,减少人工解释成本。很多常见问题可以由小助手直接回答,业务同学不必反复拉安全同学确认。

第二,降低业务理解成本。安全信息不再只是长文档、专业术语或复杂规则,而是转化为更易理解的对话式说明。

第三,提升流程推进效率。服务接入、漏洞协同、修复提醒、资产查询等操作,可以通过小助手统一承接,减少跨系统跳转和人工中转。

第四,增强能力扩展性。通过模板化通知、工具调用和子智能体能力,新场景可以更快接入,不需要每次都从零开发完整流程。

整体来看,多智能体调度架构让安全小助手从“问答工具”升级为“流程协作入口”,把原本复杂、分散、依赖人工推动的安全流程,变得更加轻量、高效和易扩展。

典型实践四:一个窗口处理更多安全事项

安全小助手目前已覆盖多个典型安全协作场景,正在把分散的安全咨询、查询和流程推进,逐步整合到一个对话窗口中。

1.服务接入:从“问流程”到“直接推进”

在服务接入场景中,小助手可以协助业务同学查询接入状态、了解接入要求,并根据当前进度推动后续流程处理,减少反复沟通和人工确认成本。

2.资产查询:从“找人查”到“随时问”

在资产查询场景中,小助手可以帮助业务同学快速了解域名、系统、服务等安全相关信息,减少“找人问、等人查”的时间,让资产信息获取更加便捷。

3.漏洞处理:从“单点通知”到“持续闭环”

在漏洞治理场景中,小助手支持漏洞协同、修复提醒、处理进度跟进等能力,帮助安全团队和业务团队围绕同一个问题持续协作,推动漏洞从发现、通知、修复到反馈形成闭环。

4.多模态输入:让问题提交更自然

在多模态能力方面,小助手也在探索支持图片、文档等多种输入形式,使业务同学可以用更自然的方式提交问题、补充材料和说明上下文。

对业务同学来说,安全小助手带来的核心变化可以概括为一句话:

过去处理安全事项,往往需要“找人、查系统、看文档、等反馈”;现在可以先从一个对话窗口开始,直接提问、持续跟进、推动闭环。

典型实践五:事件驱动的 Agent 自动修复

面对白盒扫描持续产出大量代码安全与质量缺陷、人工修复链路长且易遗漏的问题,团队探索并落地了“事件驱动 + Agent 自动修复”的漏洞治理实践。系统可在流水线安全扫描完成后,或由安全平台主动发起修复任务时,自动接收扫描结果并触发专用修复 Agent。Agent 会基于缺陷上下文自动完成问题理解、修复方案生成、代码修改、自测验证和合并请求提交等流程,将原本依赖人工串联的修复过程转化为自动化闭环。

为避免 Agent “自修自批”,实践中引入了多阶段确认与独立评估机制,在修复方案、修复结果、流程状态和发布门禁等关键节点保留必要的人工确认、过程留痕和质量校验能力,确保自动化修复过程可控、可审计、可追溯。落地实践表明,该模式可显著缩短单个漏洞修复周期,提升修复效率,并已在多个项目和流水线场景中完成批量验证,覆盖百余个高优先级缺陷修复。整体来看,该实践在提升漏洞治理效率的同时,也强化了自动化修复过程中的安全边界和质量保障能力。

当前新版本进一步强化了多段门禁、自动拦截、失败即关闭和独立裁判服务,在提升漏洞修复效率的同时,增强了安全边界和质量保障能力。该实践标志着 AI 能力从“辅助分析安全报告”进一步走向“参与漏洞修复闭环”,也为后续构建“发现 Agent—修复 Agent—评估 Agent”的多 Agent 协同安全治理体系奠定了基础。


创新点

1.AI 提升的不只是发现能力,更是闭环效率

AI 安全能力的价值,不仅在于发现更多漏洞,也在于让漏洞更快完成闭环。

在发现侧,AI 安全白帽通过上下文理解、代码分析、接口语义识别和自动化验证,提升了高价值漏洞的发现效率。

在运营侧,安全小助手通过自动通知、智能问答、流程推进和工具调用,提升了漏洞修复协作效率,减少了大量重复解释、人工催办和跨系统操作。

这意味着,AI 不只是提升“发现问题”的能力,也在提升“解决问题”的效率。

2.从“辅助工具”到“治理智能体”

项目最大的创新在于,将 AI 从“辅助分析工具”升级为“安全治理智能体”。

在发现侧,AI 安全白帽结合接口台账、代码上下文、业务语义和自动化验证工具,实现类安全专家的自主分析与漏洞确认。

在运营侧,安全小助手通过多智能体协同、工具调用和流程编排,将漏洞提醒、业务沟通、复测验证、白盒接入和 WAF 整改串联成可执行、可追踪、可审计的闭环流程。

这使安全治理不再只依赖单点人工经验,而是逐步沉淀为可复制、可扩展、可持续迭代的智能化能力。


总结与展望

整体来看,AI 驱动的漏洞闭环治理不仅提升了漏洞发现能力,也显著降低了人工挖掘、漏洞运营通知和系统整改推进成本,推动安全能力从“单点工具”向“智能闭环平台”演进。

通过 AI 安全白帽、漏洞自动化复核、安全小助手和闭环运营能力的结合,安全工作正在从依赖人工经验的被动响应,转向可规模化、可持续迭代的智能化治理模式。

未来,AI 安全能力将继续向更深层次的业务理解和自动化协同演进。

一方面,AI 安全白帽将从单点漏洞发现,进一步扩展到复杂业务逻辑分析、跨系统攻击链推理、自动化复现和修复建议生成,持续提升高价值漏洞发现效率。

另一方面,安全智能体将进一步增强协作能力,在漏洞识别、风险判断、影响面分析、整改建议和修复验证中形成更完整的闭环。

同时,围绕智能体身份识别、权限控制、凭证代理、访问审计和安全基线等基础能力,后续也将持续完善 AI Agent 在企业环境中的安全运行机制,确保 AI 能够在可控、可审计、可追溯的前提下访问业务系统和执行安全任务。

整体目标是将 AI 能力从“辅助发现问题”升级为“参与安全治理”,逐步形成覆盖风险识别、自动评估、闭环运营和持续治理的 AI 安全体系。

纳逗Pro全链路赋能、专项免费算力支持!爱奇艺AI影视创作营第二期来了

AI 时代的质量门禁左移:Agentic Quality Engineering 架构与落地模板

爱奇艺大数据混合云存储

这张成绩单,数字一个比一个猛!

别让AI瞎猜了:用Harness Engineering 终结无限返工

跳转微信打开

  •  

Qwen-Audio-3.0-Realtime 如何让语音交互“懂倾听,更聪明”?

通义实验室 2026-07-15 10:31 浙江

脑子快、情商高、耳朵灵

语音交互的下一个形态是什么?

是毫秒级的快速响应?是深度思考的逻辑推理?还是能够感知情绪、像真人般对谈的情感共鸣?

如何让语音交互跨越“机械感”走向了“自然和智能”?我们也在持续探索。

今天,我们想和大家分享阿里语音交互模型 Fun-Realtime-AudioChat 的全面升级(现已更名为 Qwen-Audio-3.0-Realtime),为大家带来这套完备的实时语音交互对话方案。

Qwen-Audio-3.0-Realtime 亮点速看:

1、根据语境动态调整语气与情感表达,支持音色克隆,告别机械朗读感;

2、内置多模态双工控制模型,支持声纹级背景过滤,嘈杂环境下对话依然流畅,不易被打断;

3、Artificial Analysis 子项中综合排名第一,超越 OpenAI GPT-Realtime-2。

4、支持动态工具调用,可完成路线规划、信息查询等任务,不止是聊天。

我们先通过几个真实的交互切片,看看 Qwen-Audio-3.0-Realtime 在实际对话中的表现。

一、高表现力与共情对话

Qwen-Audio-3.0-Realtime 突破了传统语音助手"机械朗读"的局限,具备高表现力的音频回复与共情对话能力。

模型能够根据对话语境动态调整语气、节奏、音调和情感表达,实现真正拟人化的语音交互。

同时针对自定义音色需求,也提供了音色克隆能力配置用于实际业务应用。在 S2S 语音指令遵循公开 Benchmark VStyle 上取得 SOTA 效果。

在多种复杂语境下,Qwen-Audio-3.0-Realtime 也能轻松应对~

  • 在激烈的辩论场景中,准确理解对方论点、快速组织反驳逻辑,同时保持口语化表达和适当的语气强度。

  • 角色扮演时,能根据设定的角色(如历史人物、职业身份等)调整说话风格、用词习惯和情感表达,并响应显式指令进行风格切换。

  • 在情感陪伴中,当你倾诉烦恼或分享喜悦时,通过语调、节奏和内容表达共情,提供温暖的情感支持。

这些表现的背后,是我们在生成侧的深度优化:

  • 情感感知生成:识别你的情绪状态,并给予有温度的共情回应。

  • 韵律动态调整:根据语义重点与对话节奏,自动调整语速、停顿、重音等韵律特征。

  • 副语言信息处理:能够理解和生成笑声、叹息、犹豫等非语言声音信号,还原真人交流的细腻。 

  • 个性化风格适配:一秒切换专属说话风格,完美演绎你设定的任何角色。

你可以让它做懂你的 AI 伴侣,提供情感陪伴;也能化身专业的智能客服,随情绪调整策略。 化身教育助手,用鼓励的语气激发学习动力;变身娱乐搭子,陪你角色扮演、沉浸式讲故事。

二、流畅双工交互

真实的对话往往发生在开放且复杂的环境中。为了让交互更加自然流畅,Qwen-Audio-3.0-Realtime 内置了“多模态感知的双工控制”模型,能够感知语音、环境、背景、说话人等丰富的音频和语义信息,进行精准的双工节奏判断。

无论身处何种复杂声场,它都能保持从容:

  • 嘈杂背景环境下的双工对话:在餐厅、开放工区等嘈杂环境中,不受干扰,精准锁定你的声音。

  • 多人交谈不打断:在多人讨论中,准确识别主对话对象,不被旁听者干扰。

  • 多说话人智能切换:根据上下文和语义线索,智能判断当前对话对象,在不同说话人间自然切换。

这些自然倾听的背后,是我们在控制侧的重构:

多模态感知与智能打断检测:同时分析音频、语义与声纹特征,敏锐分辨“环境杂音”与“你的真实插话”,避免误判。

声纹级抗干扰(开发者进阶能力):除了环境噪声鲁棒性,我们还在 Realtime-API 中预留了 audio_prompt 字段。开发者可传入特定用户提前录制的音频列表,使模型在双工对话中实现“声纹级”的精准锁定,忽略其他人声和背噪,达成极致开放场景下的流畅双工。

凭借上述技术,Qwen-Audio-3.0-Realtime 在 Artificial Analysis 对话动态子项中取得 SOTA 成绩,打断检测准确率、响应时延等关键指标全面领先。

注:上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

无论是在喧嚣的咖啡厅或交通工具上,它都能为你保持流畅对话;在多人会议或家庭聚会中,它能精准锁定主对话对象,从容应对旁人干扰与自然插话;即使在高并发的客服呼叫中心,它依然能保持稳定的对话质量。

三、不止于聊天:Agentic 与动态工具调用

Qwen-Audio-3.0-Realtime 具备强大的 Agentic 能力和动态工具调用机制。它能根据对话上下文智能判断何时调用工具、何时日常聊天,实现无缝的任务执行与对话切换。

为了验证模型在复杂业务中的工具调用与任务执行能力,我们在 TauBench(涵盖零售、航空、电信等真实业务领域)进行了测试(注:Audio 模型将 UserSimulator 改为语音输入)。

面对你包含多重约束的复杂口语指令,Qwen-Audio-3.0-Realtime 能准确拆解意图,自动调用外部工具,进行多步推理与计算,最终给出完整、可行且时间精确的行动方案。

让语音长出“手脚”,得益于以下核心特性的支撑:

  • 动态工具路由:深刻理解你的意图,无需显式指令即可自动调用合适工具。

  • 多工具协同:支持同时注册多个工具,根据任务复杂度灵活组合。

  • 统一能力接入:基于 FunctionCall 标准协议可以完成 MCP、API、知识库的引入。

  • 上下文感知:工具返回的结果自动融入对话记忆,让多轮辅助对话如丝般顺滑。

只需一句话,它就能帮你搞定本地生活的路线规划与餐厅推荐,或是查询实时新闻与股票行情;它甚至能直接接管复杂的任务执行与数据分析,如日程安排、表格查询,让语音真正成为你的超级助理。

四、底座支撑:同时兼顾“快”与“聪明”

为了兼顾复杂推理与快速对话,同时解决“语音模型智商衰减”这一痛点,我们在底层架构上进行了创新。

On-Policy Distillation 与多教师蒸馏

我们采用 On-Policy Distillation 框架,将文本大模型的完整推理能力蒸馏至语音模型。同时引入多教师蒸馏策略,确保模型在各个维度“不偏科”:

  • 口语多轮偏好教师保证口语化表达偏好与指令遵循;

  • 通用教师保证基本问答和推理能力;

  • Agentic教师保证工具调用与复杂任务执行;

  • 音频理解教师负责音频及副语言信息对话及推理。

此外,Qwen-Audio-3.0-Realtime 提供了针对日常问答等极度敏感时延的场景,直接生成回复,实现毫秒级响应。 

得益于此,Qwen-Audio-3.0-Realtime 在全球权威评测 Artificial Analysis 的Speech Reasoning(语音推理) 子项中取得了综合排名第一的成绩。 

注:上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

在 VoiceBench(验证事实准确性与知识检索)和 AudioMultiChallenge(验证多轮指令遵循)等主流基准测试中同样表现优异:

  • VoiceBench:在业界主流的语音问答基准测试中表现优异,验证了模型在开放域问答、知识检索、事实准确性等方面的能力。(plus:标准prompt-92.5,口语prompt-90.5 ,下降2.0;flash:标准prompt-89.8,口语prompt-87.5,下降2.4)

  • AudioMultiChallenge:在多轮音频对话挑战赛中展现出色的指令遵循能力和上下文理解能力(plus:标准prompt-44.0,口语prompt-37.6,下降6.4;flash:标准prompt-43.6,口语prompt-38.1,下降5.5)

这证明了它不仅能“听见”,更能“听懂并深度思考”。

目前,Qwen-Audio-3.0-Realtime 已上线,你可以进入阿里云百炼体验!

体验地址

推荐内容

小有可为AI向善创新挑战赛,启程!

Qwen-AgentWorld 开源:让 Agent 学会“先预测,再行动”

跳转微信打开

  •  
❌