铃阅时讯
❌

普通视图

SeedRealtime 音视频全双工大模型发布:走向全模态自然交互

2026年8月5日 12:05

原创 字节跳动Seed 2026-08-05 12:05 北京

已全量上线豆包 App,实现边看、边听、边说

今天,我们正式推出原生音视频全双工大模型 SeedRealtime。

作为走向全模态交互的关键一步,SeedRealtime 用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。它实现了以下三项核心突破:

  • 音视频联合理解:原生支持声音、画面与时序信息的深度融合。模型既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。 

  • 主动的交互能力:具备持续的环境感知与主动表达能力。模型能在察觉画面状态变化时(如关键目标出现)主动提醒,并能调用工具融入表达,让交互从被动响应升级为主动协作。

  • 流畅的交互节奏:能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应;同时具备较强的抗干扰能力,能分辨旁人闲聊与背景噪声,不因干扰误触发,保持沟通的流畅连贯。

端到端人工评测结果显示,相比级联模型,SeedRealtime 的音视频对话节奏问题减少了一半——模型对说话时机的把握更加自然,“话未说完被抢断、话音已落却回应迟缓、或是被背景杂音与闲聊误触发”等卡壳现象显著减少;同时,单次对话能够完整、顺畅交流的概率也有明显提升。

目前,SeedRealtime 已在豆包 App 全量上线,在业界率先实现了音视频全双工技术的规模化落地,欢迎大家体验。

项目主页:

https://seed.bytedance.com/seedrealtime

体验入口:

将豆包 App 更新至最新版本,在对话框内选择“打电话”,进入视频通话界面体验即可。

原生音视频交互,走向全模态

实现边看、边听、边说

音视频实时交互此前长期卡在两种形态之间:级联系统依赖 ASR、VLM、TTS 等多个模块串联,延迟层层叠加,信息逐级损耗;端到端模型虽更流畅,但不少方案仍依赖外置 VAD 判断轮次,本质上仍接近一问一答的半双工交互。

SeedRealtime 的核心突破,在于将声音、画面、时序与表达统一到同一个端到端模型中。它不是先听完、再看完、最后作答,而是在连续音视频流上,让感知、理解、决策与表达同步进行,使“听到的”和“看到的”能够共同参与每一次实时判断。

难点首先在于对话节奏。语音天然带有停顿,可以借此判断何时接话;视频却始终在线、持续变化。模型既要不断理解画面中正在发生什么,又不能因为背景噪声干扰而频繁介入,而是要持续判断该关注哪个对象、该听谁说话,以及此刻是否应该回应。

更深层的挑战在于音视频的联合建模与时序对齐。用户说“这个怎么弄”时,模型需要结合当前画面、手势、视线与历史动作,判断“这个”具体指向什么;遇到同音词或模糊语音时,也要借助视觉场景完成消歧。只有将声音、画面与时序信息统一建模,模型才能真正把所见、所闻与所说对应起来。当看、听、说被纳入同一套实时决策体系,模型便不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口。

接下来,我们通过 7 个具体案例,来看看 SeedRealtime 在真实场景中的表现。

音视频联合理解

看得懂画面,分得清对象

SeedRealtime 能在多人、嘈杂、开放的真实环境中,把画面、声音和时序对齐理解。

四位好友聚餐,人多话杂。用户逐一介绍在场的人,SeedRealtime 就能根据外形特征把名字和人对上 —— 认出浅色头发的七七、戴眼镜的 Julia,还主动和乐乐打招呼;在之后的交谈中,始终把每个人的声音和身份对应起来。

随后大家你一言我一语聊起旅行:有人想去海边拍照、逛海洋馆,有人怕热怕累,还有人对海鲜过敏。SeedRealtime 能分辨每句话出自谁,并根据大家的交流,给出一份兼顾每个人需求的旅行方案。认人、辨声、听懂各自的需求,这些都在同一场对话里由一个模型实时完成。

在川菜馆,外籍食客面对中文菜单一筹莫展。SeedRealtime 直接从画面中认出菜品、用英语推荐,还能顺着文化背景解释“为什么‘鱼香肉丝’里没有鱼”、“皮蛋是怎么做的”。

服务员上菜时顺道说“很下饭”,它能结合画面中的菜,理解这句话并翻译给客人听。视觉信息无需先转成文字再理解,而是与语音在同一模型里对齐,做到眼前有什么,就能答什么。

主动的交互能力

持续观察,适时介入

模型会根据实时画面的持续变化,自主判断是否需要主动介入,而不必每次都等用户先开口。

在河北博物院逛展,用户交代一句“看到错金银铜虎噬鹿屏座就提醒我”,SeedRealtime 便在镜头不断移动的过程中留意画面,扫过那件展品时出声提醒。

随后,它结合画面细节,讲解错金银四龙四凤铜方案座、长信宫灯等镇馆之宝,以及铸造、错金银、焊接等多种工艺。将任务保存在上下文中、目标出现即提醒,正是持续视觉感知与主动介入能力的体现。

操作一台复杂咖啡机的过程中,模型能够基于视觉状态的变化实现实时纠错与反馈。

当观察到用户把整粒咖啡豆直接倒进萃取手柄时,模型快速指出:“豆子不能直接倒进去,得先磨成细粉”;萃取结束后,它基于对杯中油脂成色与液量的视觉解析,主动给出“下次萃取时间缩短 2-3 秒”的调整建议。无需用户逐步提问,模型便能基于实际场景进行点评。

研读 ResNet 论文时,模型结合网络结构图讲清跳接如何缓解梯度消失;当用户说“帮我盯着,翻到训练参数那部分提醒我”,它便在快速翻页的过程中持续观看画面,准确认出 “3.4 Implementation” 段落并主动叫停,随即报出学习率、动量、权重衰减等关键训练配置。在连续画面流中识别目标并主动叫停,展现了实际交互中的主动协作能力。

流畅的交互节奏

在干扰中判断何时开口

轮次判断不再交给外部 VAD 规则,而由 SeedRealtime 基于多模态信息持续决策:该接话时不迟疑,该沉默时不打断,在复杂环境中也能保持更自然的交流节奏。

大兴机场人流密集、环境嘈杂。同伴闲聊时随口提到“老李的航班”,模型并未被这句无关对话触发回复;当用户正式问起,即便航班信息已从画面移出,它仍能结合此前看到的大屏信息,回答实时到达时间,并联网提供行李转盘位置。

随后二人边走边聊往事,它持续观看眼前画面,扫到网约车指示牌时便自然接话,给出上车点的路线指引。嘈杂环境不再是必须过滤的干扰,闲谈里的关键信息也能被恰当留存、在需要时取用。

妈妈在一旁忙着别的事,让 SeedRealtime 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,模型却没有被这段无关对话带偏,始终跟着女孩手指的方向实时纠音、举例造句。模型该出声时不迟疑,受干扰时不跑偏。

总结与展望

SeedRealtime 的推出,标志着音视频交互迈出了关键一步。通过统一架构原生融合音频、视频与文本,模型得以在连续的多模态流中持续理解场景、判断节奏并作出回应。由此,“边看、边听、边说”真正成为日常可用的交互体验。

然而,现实环境中的音视频交流复杂而连续:背景嘈杂,人声会重叠,画面会变化,用户也会随时停顿、补充或打断。面对这些真实场景中的挑战,未来我们将在以下几个方面继续突破:

  • 更低的延迟与更自然的节奏:持续压缩“听到—理解—回应”的端到端时延,让打断、抢话、附和与停顿等真实对话中的微妙节奏被自然还原,不只是更快,而是更恰到好处。

  • 更主动的感知与决策:基于对画面与声音的持续理解,主动判断何时提醒、何时补充、何时递上用户正需要的信息,让模型不仅能“该说话时说话”,也能“该出手时出手”。

  • 更稳健的多人复杂场景:在嘈杂环境、多人同框与多方对话中,稳定识别“谁在说话、在看什么、该回应谁”,将能力带入更多真实生活与工作场景。

  • 从“能对话”到“能行动”:打通工具调用与现实世界的连接,让模型不仅能交流与观察,更能协助用户完成查询、预订与任务办理,把实时多模态理解转化为具体行动。

我们希望,AI 交互不再局限于清晰轮次中的问答,而是能在连续变化的真实场景中理解上下文、敏锐把握时机,并在合适的时候提供帮助。

图片

图片

图片

阅读原文

跳转微信打开

缩小上下文鸿沟: 一种本体论 + 大语言模型的数据现代化方法

2026年8月5日 12:00

Thoughtworks 2026-08-05 12:00 北京

企业数据现代化的瓶颈,往往不在于技术,而在于“理解数据含义”这一环节。

在大型企业中,数据现代化项目将庞杂混乱的企业数据,转变为业务可依赖的、可发现、可访问、可追溯的领域数据能力。然而,许多现代化项目尚未进入交付阶段便已停滞,症结往往在于团队需要花费数月时间,只为弄清数据的业务意图。

数据策略师的工作,是连接企业意图和现代数据架构。他们的职责贯穿整个生命周期:在复杂的企业数据环境中探索,设计和优先级排序用例,识别业务需求与可用数据之间的差距,交付新数据能力,并持续进行发现。

挑战在于,用于构建意图的知识往往分散在各个系统、遗留文档、或存在于领域专家的头脑里。因此,数据发现过程缓慢、依赖人工、难以扩展。

本体论 + 大语言模型方法

Ontology + LLM

在探索某个数据源的意义时,我们的第一反应,往往是将大语言模型直接指向源数据:输入源系统,描述用例,让它找出差距。这是一个合理的起点,但也暴露出一个真正的局限——在没有明确语义上下文的情况下,LLM只能从表结构、字段名和样本值中推断关系。这些推断或许有用,但在企业规模上难以一致地验证。于是我们问:本体论能在这里提供帮助吗?

要回答这个问题,我们首先需要理解,与直接通过大语言模型解释相比,本体论能提供哪些额外的优势。

什么是本体论?

本体论是意义的模式:它定义存在的实体、它们的属性、它们之间的关系,以及支配它们的规则。意义不再隐晦地存在于领域专家的脑海中,或被临时推断;本体论让计算机能够以逻辑、一致且可控的方式,对领域进行推理。它是知识图谱的模式层,在实例(如作为节点的实体、作为边的关系等)填充之前就已存在。整个产物既可供人类阅读,也可供机器读取:可编辑、可审计,并能置于版本控制之下。

为什么结合本体论和大语言模型很重要?

本体论和LLM恰好能覆盖彼此的短板。本体论将推理锚定在明确的语义上,使输出更可解释、更一致、更易于验证。而LLM则承担了那些原本会让人工构建本体论变得枯燥繁琐的工作:阅读源系统、对齐同义词、提出调和建议、发现不匹配之处。

没有AI的本体论,仍然是一个需要数月手动分析的数据建模工作;没有本体论的LLM虽然快,但结果不可靠,或容易偏移。两者结合后,我们可以用结构化的方式表达意图和供应,而智能体则能快速找出它们之间的差距——并且以一种可以信任和验证的形式呈现。

分步示例

当我们将此方法视为一个可重复的工作流时,它就会变得清晰得多。它不是将发现视为一次性的工作,而是随着每个新用例不断丰富企业上下文。在实际操作中,此方法作为一个由六个步骤组成的智能体循环来运作(见图1)。为了便于说明,我们将这个智能体工作流应用到一个常见的数据用例——预测客户流失——并利用来自两个源系统的数据。

图1:智能体循环工作流

步骤1:为每个数据源构建本体论上下文

第一步,是让每个源系统的意义变得明确。我们为每个系统提供样本文件,并通过AI智能体提取其上下文:实体、属性、关系,以及支配它们的规则。

智能体读取每个文件中的多种信号:表结构和数据类型、外键和连接模式、样本值以及任何注释或文档,然后推断出一个候选本体论,并将置信度较低的猜测标记出来,供领域专家确认。输出是一个机器可读、可审计的产物,而不是一张幻灯片。

在此案例中,假设两个源系统(计费系统和工单系统)暴露了以下本体论上下文:

# --- 源系统 1:计费系统 --- 账户(Account) -订阅(Subscribes to)-> 套餐(Plan) 账户(Account) -生成(Billed by)-> 发票(Invoice) 账户(Account) -具有状态(Has status)-> 计费状态(BillingStatus) 账户(Account) -有邮箱(Has email)-> 邮箱地址(EmailAddress)  # --- 源系统 2:支持工单系统 --- 客户(Customer) -提出(Raises)-> 工单(Ticket) 工单(Ticket) -分配给(Assigned to)-> 客服人员(Agent) 工单(Ticket) -具有状态(Has status)-> 工单状态(TicketStatus) 客户(Customer) -有邮箱(Has email)-> 邮箱地址(EmailAddress)

步骤2:跨源上下文并进行调和

实际上,绝大部分的用例中,上下文一定是跨系统的,这意味着它必须进行上下文调和。当我们试图将多个系统上下文(以本体论的形式)进行调和时,就能暴露出潜在的重复身份、冲突定义和重叠概念等不一致性,再交给人类专家协调源系统的负责人进行协商和解决;最终找到一个最佳的数据提供源。

在同一个案例中,我们调和两个源系统的上下文时发现三个潜在的问题(见图2)需要弥合:

图2:从两个源系统策展出的上下文浮现出三个潜在差距。

1. 邮箱地址(EmailAddress) 被两个源系统上下文共享。

2. 账户(Account) 和 客户(Customer) 可能是同一个现实世界实体。

3. 计费状态(BillingStatus) 和 工单状态(TicketStatus) 共享“状态(Status)”这一类型。

这些差距是用例无关的。无论是否有用例关心它们,它们都存在于数据环境中,而这也正是人类专家或AI智能体能够预先知晓它们、并解决它们的原因。

步骤3:将设计上下文与已调和的上下文进行对比

源系统只是等式的一边,它代表着现实世界的数据上下文;等式的另一边是业务用例,代表着设计意图,并可以转化成一份以本体论呈现的上下文,两者就可直接比较。让我们以客户流失预测用例为例:

“对于每位客户,预测他们在下一个计费周期停止为服务付费的可能性,以便客户留存团队可以在客户离开前进行干预。”

为此,模型需要一个单一的、明确的客户(Customer)实体,该实体统一了一个人的商业关系(他们订阅的套餐、付款是否最新、成为客户多久了)与其行为信号(最近登录时间、提交了多少工单、这些工单是否已解决)——所有信息都关联到一个已解析的身份,并随时间进行观察。

用本体论的术语来说,设计上下文是一个承载流失风险(churnRisk)的客户(Customer),关联到订阅(Subscription)、发票(Invoice)和支持交互历史,所有这些都解析到一个身份,并随时间进行观察。

通过将此设计上下文与步骤2中已调和的跨源上下文进行匹配,我们就可以回答现实数据条件是否可以满足设计意图,我们把不满足的部分看作差距。

步骤4:识别差距

现在我们可以解读每个差距对客户流失这个数据用例的实际意义:

差距1:邮箱地址(EmailAddress) 在两个本体论中共享。对于客户流失预测,邮箱是连接计费和支持历史到同一个客户的关键。这不是噪声,而是模型所依赖的调和过程。它成为一个身份解析需求。

差距2:账户(Account) vs. 客户(Customer)。用例取决于这些是否代表同一业务实体。解决这个问题决定了预测目标和底层数据模型。

差距3:计费状态(BillingStatus) 和 工单状态(TicketStatus) 共享类型“状态”。共享类型并不意味共享意义。状态=“已关闭(closed)”对工单而言是健康结果,但对计费而言却是流失信号。将它们合并为一个扁平概念会污染标签:它把两个上下文里截然不同的业务意义消除了,而在未来实施这个用例时,一个孤立的“已关闭”让模型失去了判断该客户会往哪个方向走的依据。一个典型的语义冲突就产生了——相同的类型,相反的含义。

一旦我们理解了这些差距对目标用例意味着什么,就可以采取行动。

步骤5:采取行动

差距分析将决定行动方案。

差距1 是内部调和:将邮箱定义为已解析的身份键,并连接。快速且内部可完成。

差距2 需要领域专家就客户粒度做出决策,然后对调和过的客户实体进行建模更改。工程成本低,但需要在编码前进行人工判断。

差距3 通过将共享类型消歧为不同的、上下文限定的概念(计费状态 vs. 工单状态作为独立含义)来解决,以便判定客户流失的重要标签不被污染。

“三个差距”分解为三个真正不同的计划:一个调和规则、一个领域专家粒度决策和一个语义消歧,它们具有不同的成本、不同的负责人以及它们之间的依赖顺序。策略师在投入大量时间进行构建之前,就已了解这一切。

虽然AI可以识别和分类潜在差距,但治理仍然至关重要。业务所有者和领域专家负责验证实体定义、解决语义冲突,并批准影响企业级数据模型的变更。

步骤6:更新源上下文并循环

一旦采取行动,企业自身的理解就会发生改变。上下文不是静态的:模式会演变、新系统会上线、定义会发生漂移,而步骤5中的行动本身也会改变数据环境。因此,这从来不是一次性的工作。当策略师弥合一个差距并交付用例时,上下文的这种变化必须被捕获。

在这里,将邮箱地址解析为共享身份键、统一账户和客户,以及消歧状态,所有这些都改变了共同的上下文,而这便成为新的基线,下一个用例和下一个智能体将继承这份被调和的上下文,而非重新发现它。重新运行差异分析确认上下文差距已关闭;如果源发生了变化或出现了新差距,循环会从新状态继续。

这就是为什么上下文必须在数据环境层面作为一项服务来管理,而不是作为一份文档或一次性快照。企业不再将知识记录在静态设计文档中,而是可以将其维护为一个活的、版本受控的语义资产,每个未来的项目和AI智能体都可以重用。

这个流程是整个论点的缩影:明确的上下文输入,经过分类和追踪的差距输出,附加行动,上下文更新,最终留下一个比以前更强大的数据环境。

总结

数据策略师在数据现代化项目中的职责是:在复杂的数据环境中导航,设计和优先级排序用例,发现每个用例与可用数据之间的差距,弥合这些差距,并在现代数据架构中交付持久的数据能力。

最困难、最缓慢的部分是中间环节:对分散、冲突、被重复定义的、隐晦的意义进行调和与理解,并手动分析差距——而这正是项目流失数月时间和信誉的地方。

本体论 + LLM方法正致力于解决这一核心难题。 本体论使意义明确化并赋予上下文图结构;LLM则在该图结构上进行推理,帮助策略师找出差距,这并不是依赖专家知识、或基于对人和组织朴素信任的,而是客观、且基于现实语义的。结果是一个智能体循环:每个源的上下文 → 跨源上下文 → 与用例设计对比 → 找出差距并分析 → 追踪行动 → 更新并重复。它通过自动化大部分语义分析,同时将业务决策留给人类专家,从而显著减少发现所需的手动工作量。

随着各组织在企业范围内采用AI,成功越来越依赖于为系统提供可信的业务上下文,而不仅仅是更多数据。将本体论与LLM相结合,提供了一种实用方法,使该上下文明确、可重用且持续改进,使数据现代化工作能够更快地交付价值,同时为未来的AI计划奠定更强大的语义基础。


作者:熊子川

跳转微信打开

❌