铃阅
❌

阅读视图

生成更真实,百轮编辑更稳定|Seedream 5.5 发布

原创 字节跳动Seed 2026-11-09 17:00 北京

非编辑区域像素级保持,真实感与小字渲染显著提升

今天,我们正式发布新一代图像创作模型 Seedream 5.5。

图像创作模型正在融入专业视觉生产流程。关键在于,模型能否在交付标准、时间和成本的约束下,持续产出可用的结果。

我们认为,视觉智能的进步,要同时提高创作上限与专业制作的可靠性。这要求模型兼顾画面的表现力、内容的准确性与编辑的可控性。有了这样的确定性,创作团队才敢放开手脚,把想法打磨到极致。

围绕这些实际诉求,Seedream 5.5 重点带来三项核心能力升级:

  • 更稳定的多轮编辑:实现非编辑区域的像素级保持,消除色彩偏移,降低连续修改中的细节丢失与画质衰减,支持围绕同一作品展开多达 100 轮的持续创作。

  • 原生 RGBA 透明素材生成:直接输出带 Alpha 通道的透明或半透明图像,精细处理轮廓边缘与透明区域,省去后期抠图修边,让生成元素可以作为独立素材进入后续设计流程。

  • 质感更自然,文字更清晰:进一步改善光照、材质与皮肤纹理表现,减少过度油亮、过曝,更贴近真实拍摄的成像质感。同时显著提升文字渲染能力,对复杂字形与密集小字的还原更加准确。

评测结果显示,Seedream 5.5 整体表现较前代显著提升; 对比其他主流模型,在文字结构、文生图真实感方面效果领先。目前,Seedream 5.5 正陆续在即梦、豆包、豆包工作、火山方舟等平台上线,欢迎体验。

项目主页:

https://seed.bytedance.com/seedream5_5

体验入口:

1)即梦网页版-创作-生成/画布-选择Seedream 5.5;

2)豆包App/网页版-图像生成-选择模型Seedream 5.5;

3)豆包工作-技能-Seedream5.5;

4)火山方舟体验中心-视觉模型-图片生成-Doubao-Seedream-5.5。

多轮编辑,像素级保持

让复杂创意稳定落地

在真实、复杂的创作场景中,每一轮生成的画面,都可能成为新灵感的起点。一次尝试带来新的想法,再通过下一轮修改落实到画面中,方案由此不断完善。

这要求模型在完成新修改的同时,稳定保留无需调整的内容。当上一轮输出成为下一轮输入,细微偏差可能随编辑次数增加而不断累积,造成细节丢失与画质退化。为此,Seedream 5.5 通过专项训练,实现了非编辑区域的像素级保持,支持创作团队在持续推敲中深入打磨画面。

如视频所示,围绕同一人物,我们进行了 100 轮连续编辑,每一轮都以前一轮的结果为基础。经过服装、配饰与桌面物件的多轮变化后,模型仍能精细修改戒指、镜框等细小对象,并根据人物当前姿态,处理好配饰与皮肤的接触、遮挡和光影衔接。

接下来,我们通过四组花卉创作,展示模型在多对象、多材质场景下的多轮编辑能力,涵盖写实花卉、静物组合、手账拼贴与国画。花枝与装饰经过多轮增添、替换后,Seedream 5.5 仍能调整指定花朵的形态或材质,在呈现蕾丝镂空、珠饰光泽与枝叶纹理的同时,处理好对象之间的遮挡关系。

此外,在室内场景的连续改造中,家具与陈设会不断变化。模型能否依据每一轮的布局准确处理空间关系,是多轮编辑的另一重考验。

在这组创作中,旧书房逐渐被改造成色彩丰富、充满想象力的空间。随着同一个箱子不断换位,模型相应调整透视、遮挡与投影,并合理呈现原先被遮挡的部分。房间越改越不一样,但每一轮的透视和遮挡都对得上。

原生 RGBA 透明素材

免去抠图,灵活编排

让生成内容成为可独立编排、跨场景复用的素材,是图像模型深入专业生产流程的重要一步。

Seedream 5.5 新增原生 RGBA 透明素材生成能力,直接输出带 Alpha 通道的透明或半透明图像。在保留主体丰富形态与质感的同时,准确处理轮廓边缘与透明区域,让生成内容能够独立用于排版、合成与制作。

创作者可以通过文字描述或参考图,生成所需的透明素材。如视频所示,雪鸮展开双翼,层叠的羽毛纹理清晰可见。模型可细致处理翅尖的羽毛、羽间微小空隙与爪部轮廓,保留复杂结构,省去后续抠图与边缘修整。

原生透明输出也支持文字与视觉元素的融合创作。模型可以借鉴参考图中的笔触、色彩与材质效果,将其融入指定文字的字形结构。在保持文字准确、清晰可辨的同时,直接生成背景透明的艺术字素材。

透明素材还能作为设计资产跨场景复用,提高生产效率。视频中,设计师以同一组透明角色素材为参考,快速创作这些角色在不同场景中的系列画面。模型延续原有角色特征与质感,同时支持动作、组合与构图的调整,减少重复制作,让系列创作更加高效连贯。

影像质感更真实

小字渲染更准确

Seedream 5.5 进一步提升了整体图像生成质量,真实感与文字渲染的进步尤为明显。模型改善了写实场景中光照、材质与皮肤纹理的表现,减少部分画面中过度油亮、过曝与斑驳的问题,让生成结果更接近自然拍摄的质感。

向左滑动,查看更多

在人像生成中,模型能够更细致地呈现不同光照下的真实肤质。如图所示,女孩回眸看向镜头,面部的皮肤纹理清楚可见,肩部高光到暗部的过渡自然,散落的发丝在逆光中显现。另一幅画面中,一位父亲抱着熟睡的婴儿靠在沙发上,窗边的柔光落在面部与手臂上,暗部保留皮肤与织物的细节,让画面更具生活气息。

在场景生成中,材质细节与光影层次也更丰富。阳光勾勒出紫色布帘的层层褶皱,布料的投影落在粗糙的黄色墙面上。雨中赛车驶过赛道,车身与湿润路面映出不同的反光,轮胎扬起的水雾在车后弥漫,远处车辆若隐若现,让画面兼具动感与纵深。

在文字渲染方面,Seedream 5.5 提升了密集小字的生成与排布能力,能更准确地还原复杂字形。这张蓝闪蝶图解直观展示了模型在较小字号下的中文生成表现。八组图文分别介绍触角、翅脉、翅鳞等细节,局部放大图旁的中文说明字号虽小,笔画较多的汉字依然清楚可辨。

另一幅作品是一张以莎士比亚为主题的报纸版面,人物肖像与剧场插图之间穿插着多段英文小字,排布紧凑,清晰易读。

评测:整体表现显著提升 

文字结构与文生图真实感效果领先

为评估模型在生产级创作场景中的表现,我们围绕电商、营销、影视、游戏、办公与服装设计六类场景开展专项测试。评测依托 MagicArena 平台展开,图像生成领域的资深评测专家对生成效果与可用性进行评分。

相比 Seedream 5.0 Pro,Seedream 5.5 在上述六类场景中的生成效果评分与可用率均有提升。其中,影视与办公两个场景的可用率均达到上一版本的两倍以上。

Seedream 5.5 在不同生产场景中的表现。左侧为可用率,右侧为平均主观评分(MOS)

文字结构与真实感两项专项评测,均由评测专家对生成结果做偏好比较,以 GSB(Good/Same/Bad)计分,覆盖文生图与图生图两种任务。相比上一代,Seedream 5.5 在两个维度、两种任务共四项对比中均为正向偏好,其中真实感图生图的 GSB 达 +55.62%。与 GPT Image 2.5 Sunburst、Nano Banana 2.1 等主流模型相比,在文字结构、文生图真实感方面表现领先。

文字结构与真实感专项评测,图中分别展示 Seedream 5.5 在文生图、图生图任务上的 GSB 相对评分

文字渲染的进步,也体现在更低的文字崩坏率上——即生成图中出现错字、漏字、结构错乱的比例。在覆盖中英文及密集小字的评测中,Seedream 5.5 的严重文字崩坏率降至 0.4%,轻微文字崩坏率降至 1.7%。两项指标均显著优于上一版本,在与行业主流模型的横向对比中也处于领先。

文字渲染质量评测,左侧为严重文字崩坏率,右侧为轻微文字崩坏率,数值越低表示问题越少

总结与展望

Seedream 5.5 提升了生成质量与多轮编辑的稳定性,并通过原生 RGBA 输出拓展了素材的使用方式。这些能力让创作团队可以在复杂场景中持续完善方案、复用已有成果,更好地满足专业生产对质量、稳定性与效率的要求。

未来,我们将支持更复杂的上下文输入与创作指令,持续提升模型在专业任务中的表现。同时,围绕影视、电商、广告、设计等领域的实际生产需求,拓展模型在 Agent 工作流中的应用,持续探索更通用的视觉智能。Seedream 5.5 系列后续还将推出 Pro 版本,敬请期待。

阅读原文

跳转微信打开

  •  

SeedRealtime 音视频全双工大模型发布:走向全模态自然交互

原创 字节跳动Seed 2026-08-05 12:05 北京

已全量上线豆包 App,实现边看、边听、边说

今天,我们正式推出原生音视频全双工大模型 SeedRealtime。

作为走向全模态交互的关键一步,SeedRealtime 用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。它实现了以下三项核心突破:

  • 音视频联合理解:原生支持声音、画面与时序信息的深度融合。模型既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。 

  • 主动的交互能力:具备持续的环境感知与主动表达能力。模型能在察觉画面状态变化时(如关键目标出现)主动提醒,并能调用工具融入表达,让交互从被动响应升级为主动协作。

  • 流畅的交互节奏:能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应;同时具备较强的抗干扰能力,能分辨旁人闲聊与背景噪声,不因干扰误触发,保持沟通的流畅连贯。

端到端人工评测结果显示,相比级联模型,SeedRealtime 的音视频对话节奏问题减少了一半——模型对说话时机的把握更加自然,“话未说完被抢断、话音已落却回应迟缓、或是被背景杂音与闲聊误触发”等卡壳现象显著减少;同时,单次对话能够完整、顺畅交流的概率也有明显提升。

目前,SeedRealtime 已在豆包 App 全量上线,在业界率先实现了音视频全双工技术的规模化落地,欢迎大家体验。

项目主页:

https://seed.bytedance.com/seedrealtime

体验入口:

将豆包 App 更新至最新版本,在对话框内选择“打电话”,进入视频通话界面体验即可。

原生音视频交互,走向全模态

实现边看、边听、边说

音视频实时交互此前长期卡在两种形态之间:级联系统依赖 ASR、VLM、TTS 等多个模块串联,延迟层层叠加,信息逐级损耗;端到端模型虽更流畅,但不少方案仍依赖外置 VAD 判断轮次,本质上仍接近一问一答的半双工交互。

SeedRealtime 的核心突破,在于将声音、画面、时序与表达统一到同一个端到端模型中。它不是先听完、再看完、最后作答,而是在连续音视频流上,让感知、理解、决策与表达同步进行,使“听到的”和“看到的”能够共同参与每一次实时判断。

难点首先在于对话节奏。语音天然带有停顿,可以借此判断何时接话;视频却始终在线、持续变化。模型既要不断理解画面中正在发生什么,又不能因为背景噪声干扰而频繁介入,而是要持续判断该关注哪个对象、该听谁说话,以及此刻是否应该回应。

更深层的挑战在于音视频的联合建模与时序对齐。用户说“这个怎么弄”时,模型需要结合当前画面、手势、视线与历史动作,判断“这个”具体指向什么;遇到同音词或模糊语音时,也要借助视觉场景完成消歧。只有将声音、画面与时序信息统一建模,模型才能真正把所见、所闻与所说对应起来。当看、听、说被纳入同一套实时决策体系,模型便不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口。

接下来,我们通过 7 个具体案例,来看看 SeedRealtime 在真实场景中的表现。

音视频联合理解

看得懂画面,分得清对象

SeedRealtime 能在多人、嘈杂、开放的真实环境中,把画面、声音和时序对齐理解。

四位好友聚餐,人多话杂。用户逐一介绍在场的人,SeedRealtime 就能根据外形特征把名字和人对上 —— 认出浅色头发的七七、戴眼镜的 Julia,还主动和乐乐打招呼;在之后的交谈中,始终把每个人的声音和身份对应起来。

随后大家你一言我一语聊起旅行:有人想去海边拍照、逛海洋馆,有人怕热怕累,还有人对海鲜过敏。SeedRealtime 能分辨每句话出自谁,并根据大家的交流,给出一份兼顾每个人需求的旅行方案。认人、辨声、听懂各自的需求,这些都在同一场对话里由一个模型实时完成。

在川菜馆,外籍食客面对中文菜单一筹莫展。SeedRealtime 直接从画面中认出菜品、用英语推荐,还能顺着文化背景解释“为什么‘鱼香肉丝’里没有鱼”、“皮蛋是怎么做的”。

服务员上菜时顺道说“很下饭”,它能结合画面中的菜,理解这句话并翻译给客人听。视觉信息无需先转成文字再理解,而是与语音在同一模型里对齐,做到眼前有什么,就能答什么。

主动的交互能力

持续观察,适时介入

模型会根据实时画面的持续变化,自主判断是否需要主动介入,而不必每次都等用户先开口。

在河北博物院逛展,用户交代一句“看到错金银铜虎噬鹿屏座就提醒我”,SeedRealtime 便在镜头不断移动的过程中留意画面,扫过那件展品时出声提醒。

随后,它结合画面细节,讲解错金银四龙四凤铜方案座、长信宫灯等镇馆之宝,以及铸造、错金银、焊接等多种工艺。将任务保存在上下文中、目标出现即提醒,正是持续视觉感知与主动介入能力的体现。

操作一台复杂咖啡机的过程中,模型能够基于视觉状态的变化实现实时纠错与反馈。

当观察到用户把整粒咖啡豆直接倒进萃取手柄时,模型快速指出:“豆子不能直接倒进去,得先磨成细粉”;萃取结束后,它基于对杯中油脂成色与液量的视觉解析,主动给出“下次萃取时间缩短 2-3 秒”的调整建议。无需用户逐步提问,模型便能基于实际场景进行点评。

研读 ResNet 论文时,模型结合网络结构图讲清跳接如何缓解梯度消失;当用户说“帮我盯着,翻到训练参数那部分提醒我”,它便在快速翻页的过程中持续观看画面,准确认出 “3.4 Implementation” 段落并主动叫停,随即报出学习率、动量、权重衰减等关键训练配置。在连续画面流中识别目标并主动叫停,展现了实际交互中的主动协作能力。

流畅的交互节奏

在干扰中判断何时开口

轮次判断不再交给外部 VAD 规则,而由 SeedRealtime 基于多模态信息持续决策:该接话时不迟疑,该沉默时不打断,在复杂环境中也能保持更自然的交流节奏。

大兴机场人流密集、环境嘈杂。同伴闲聊时随口提到“老李的航班”,模型并未被这句无关对话触发回复;当用户正式问起,即便航班信息已从画面移出,它仍能结合此前看到的大屏信息,回答实时到达时间,并联网提供行李转盘位置。

随后二人边走边聊往事,它持续观看眼前画面,扫到网约车指示牌时便自然接话,给出上车点的路线指引。嘈杂环境不再是必须过滤的干扰,闲谈里的关键信息也能被恰当留存、在需要时取用。

妈妈在一旁忙着别的事,让 SeedRealtime 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,模型却没有被这段无关对话带偏,始终跟着女孩手指的方向实时纠音、举例造句。模型该出声时不迟疑,受干扰时不跑偏。

总结与展望

SeedRealtime 的推出,标志着音视频交互迈出了关键一步。通过统一架构原生融合音频、视频与文本,模型得以在连续的多模态流中持续理解场景、判断节奏并作出回应。由此,“边看、边听、边说”真正成为日常可用的交互体验。

然而,现实环境中的音视频交流复杂而连续:背景嘈杂,人声会重叠,画面会变化,用户也会随时停顿、补充或打断。面对这些真实场景中的挑战,未来我们将在以下几个方面继续突破:

  • 更低的延迟与更自然的节奏:持续压缩“听到—理解—回应”的端到端时延,让打断、抢话、附和与停顿等真实对话中的微妙节奏被自然还原,不只是更快,而是更恰到好处。

  • 更主动的感知与决策:基于对画面与声音的持续理解,主动判断何时提醒、何时补充、何时递上用户正需要的信息,让模型不仅能“该说话时说话”,也能“该出手时出手”。

  • 更稳健的多人复杂场景:在嘈杂环境、多人同框与多方对话中,稳定识别“谁在说话、在看什么、该回应谁”,将能力带入更多真实生活与工作场景。

  • 从“能对话”到“能行动”:打通工具调用与现实世界的连接,让模型不仅能交流与观察,更能协助用户完成查询、预订与任务办理,把实时多模态理解转化为具体行动。

我们希望,AI 交互不再局限于清晰轮次中的问答,而是能在连续变化的真实场景中理解上下文、敏锐把握时机,并在合适的时候提供帮助。

图片

图片

图片

阅读原文

跳转微信打开

  •  

一镜成片,随心参考|Seedance 2.5 正式发布

字节跳动Seed 2026-07-31 12:47 北京

30 秒长叙事,多模态参考能力、编辑能力全面升级

今天,我们正式发布新一代视频创作模型 Seedance 2.5。

Seedance 2.0 发布后,我们观察到,用户对视频创作模型的期待正在从“生成一个片段”走向“完成一段创作”。Seedance 2.5 延续了 Seedance 2.0 统一的多模态音视频联合生成架构,重点突破长叙事能力、多模态参考能力和编辑能力。围绕真实的产业场景,让创作拥有更大的想象空间,并进一步释放生产力。

其核心亮点如下:

单次生成时长达 30 秒,支持多轮延长:Seedance 2.5 可单次生成 30 秒高质量视频片段,并支持多轮延长。同时,模型优化了镜头衔接和场景过渡,让长视频保持更好的连贯性。模型还大幅优化了画质、音质以及运动质量,并有效弱化了视频生成中常见的“油腻感”。用户可以生产数分钟具有统一视听语言、高质量的连贯内容,精彩故事一次呈现。

多模态参考能力全面升级:Seedance 2.5 支持用户单次输入最多 30 张图片、10 段视频、10 段音频作为参考素材。模型还提升了白模参考、运动参考、创意参考等各类参考能力,使模型能更好地理解创作意图,实现多主体、多场景、多镜头变化的复杂创意。

更精准、稳定的编辑能力:Seedance 2.5 支持精准的时间戳控制,可定向编辑视频内容,提升创作的效率和可控性。同时,模型强化了绿幕编辑、视角编辑、参考编辑等多种编辑能力,满足影视、广告等更多专业、复杂场景的创作需求。

凭借长叙事、多模态参考、编辑能力的提升,模型不只能单次生成更长的视频,也能更好地理解创作意图、更可控地完成从想法到视频落地的全过程。接下来,我们想邀请你一起观看一段创意短片,全片由 Seedance 2.5 独立生成。

今天,Seedance 2.5 正在陆续上线即梦AI、豆包专业版等平台,API 服务也将在近期上线火山方舟,欢迎体验和反馈。

项目主页:

https://seed.bytedance.com/seedance2_5

体验入口:

1)即梦网页端-视频生成-选择 Seedance 2.5

2)豆包专业版-视频生成-选择 Seedance 2.5

30 秒长叙事、支持多轮延长

精彩故事一次呈现

Seedance 2.5 将单次视频生成时长从 15 秒提升至 30 秒,同时进一步提升长视频中的叙事能力。模型可以在 30 秒内组织多个有逻辑关联的镜头,让故事从铺垫、推进、转折到收尾逐步展开,而不是简单延续一个画面。比如创作一段歌手一镜到底上台演出的片段,模型演绎了歌手在化妆间与工作人员互动后,穿过后台走廊与伴舞相遇并一起登台演出的完整故事,而非仅歌手上台的画面。

T2V prompt:一镜到底手持稳定器跟拍,镜头从红色厚重幕布缝隙缓缓推进,进入暖色后台化妆间。年轻女歌手背对镜头整理耳机,工作人员提醒她准备登台。她回头看向镜头,开始唱起 City Pop。镜头后退跟拍,歌手穿过幕布进后台通道,与舞伴自然互动,一位工作人员把麦克风递给她。随后歌手与舞伴登上舞台,镜头绕至背面,红黑舞美、LED 屏、追光、烟雾与反光地板逐渐展开。镜头最终拉远至体育馆全景,呈现满场观众、灯牌、荧光棒与欢呼声,营造年轻自由的演唱会高潮氛围。

凭借模型的多轮延长能力,用户能在已有的视频结果上自然衔接后续镜头,并在延长过程中保持主体特征、场景环境和叙事节奏的连贯,最终生成数分钟具有统一视听语言的连贯内容,减少拆分镜头、反复拼接和处理衔接的成本。

R2V prompt:延长视频,衔接 @视频1 画面内容和主体继续生成一个 30 秒的视频,保持人物主体、场景、画面风格、声音音效一致。小男孩抱着足球沿车厢跑,地铁停稳后侧边门打开,他立刻冲出,男主紧追。两人一路穿过站台跑到街上,惊动街边路人,男主最终追上并抓住他,小男孩委屈抬头,男主慢慢消气,摸摸他的头,露出无奈笑容。

在画面呈现上,模型能更好地做到自然的运镜衔接,主体在多次切镜中仍保持稳定,音画始终对齐,使长视频生成结果更连贯。比如在一段京剧表演中,镜头伴随主角水袖甩动完成一次优雅的环绕运镜,主体和背景的呈现始终保持一致。水袖在空中的摆动形成自然的弧线,更遵循物理规律。

R2V prompt:16:9 宽幅电影级质感,一镜到底,丝滑运镜,无剪辑。场景参考 @图片4。0-5 秒:@图片2 霸王近景开场,镜头缓慢环绕上半身并过渡至中景;霸王旋身翻转,随后身体与靠旗从镜头前快速掠过,形成自然遮挡,镜头顺势绕至 @图片1 虞姬身侧。6-10 秒:镜头稳定环绕 @图片1 虞姬中景,跟随水袖动作完成环绕运镜虞姬抬臂、挑腕、展袖、半转身。最后收袖定格,侧身看向霸王。11-20 秒:@图片3 武生出场完成后空翻腾动作,随后霸王居中,武生在对侧进退攻防。虞姬位于霸王侧后方以水袖配合,形成刚柔对比。镜头从武生中近景缓慢后拉至舞台大景,结尾三人面向观众同步京剧落幕亮相。

此外,针对视频生成中常见的“油腻感”问题,Seedance 2.5 对物体材质、人物肤质与眼神、光影、画面饱和度等细节进行系统优化。模型还减少了字幕与背景音乐不受控的情况,使成片更接近实拍的影视质感。

多模态参考能力全面升级

复杂创作任务更可控

Seedance 2.5 进一步强化多模态参考能力,支持用户单次输入最多 30 张图片、10 段视频和 10 段音频作为参考素材。更多数量、不同类型的参考素材,能更好的还原用户脑海中的创意,生成主体更多、场景更丰富、镜头变化更灵活的复杂视频内容。

模型能综合理解不同素材中的画面构图、场景、风格、人物、道具等元素,并按指令将这些参考素材用于视频生成。在多人同框、群像叙事等复杂场景中,也能同时还原多个人物的形象与声音,保持各主体特征稳定。

R2V prompt:30 秒音乐会片段,16:9 横屏,电影感写实,真实音乐厅光影,暖金色舞台灯,正式古典音乐会氛围。场景@图一,钢琴家参考@图二,大提琴参考@图三,小提琴参考@图四,主唱参考@图五,管弦等其他乐队参考@图六到图十,合唱团参考图十一到图十四,观众席参考@图十五到图十八。主唱舞台中央走向前沿,钢琴家在钢琴旁,乐队分布两侧与后方,合唱团在舞台后方。开场高位俯拍音乐厅全景,钢琴家落键,主唱进入追光演唱,镜头自然带过小提琴、大提琴与管弦乐队,小提琴明亮,大提琴温暖。后段合唱团加入,主唱与第一排观众短暂眼神交流,观众微笑点头。结尾镜头后移,演唱结束,观众跟随鼓掌。

此外,模型还提升了白模参考、运动参考、创意参考等各类参考能力,让画面中的主体、动作、运镜更可控。比如,在白模参考中,用户可以用无纹理 3D 模型搭出画面的空间结构、主体姿态、运动轨迹和镜头机位,再让模型参考这套结构生成视频,使复杂镜头的构图和调度更接近预期。同时,模型还增强了光照控制能力,通过白模的空间信息,生成符合真实物理规律的光照效果,包括光源方向、色温、强度、阴影投射等,让最终生成的画面光影更自然。

R2V prompt:参考 @白模1 的运镜、镜头节奏、景别变化、主体轨迹和镜头调度。参考 @图片2 的角色外形、场景、材质、光照、色彩和童话氛围,将白模渲染为梦幻温暖、儿童幻想感、3D 动画短片。剧情依次为:幻想天空飞行→云海神兽伴飞→俯冲入海→鳐鱼海底穿梭→镜面时空裂缝→宇宙摘星→幻化回房间→爸爸盖被→合上绘本定格。

更精准、稳定的编辑能力

有效提升创作效率

在视频生成创作中,用户通常需要控制生成时的节奏,并在生成后持续打磨细节。某个动作在第几秒出现、镜头在什么时间切换,或某片段里的角色、动作是否需要调整,都关系到最终成片的效果。更精准、稳定的编辑能力,可以让用户准确还原创意,提高创作效率,减少反复生成的成本。

Seedance 2.5 支持通过时间戳精准编辑音视频内容,在生成时,用户通过 prompt 控制某个时间段发生的故事、画面视角、运镜和整体节奏,使其更贴近创作意图。在生成后,用户还能针对指定片段里的角色、动作、声音或剧情进行定向修改,同时保持修改前后的连贯性和真实感。

模型还进一步提升了绿幕编辑、视角与运镜编辑、参考编辑等多种编辑能力,以满足影视、广告等更多专业、复杂的创作场景。比如,在绿幕编辑方面,模型不仅能在保持主体不变的情况下,替换不同场景、讲述不同故事,还能更好地基于不同场景的物理规则渲染人物身上的物理效果,包括衣服飘动方向、头发状态、步态节奏、光影等,使主体和场景更加和谐。 

R2V prompt:把 @视频1 绿幕背景渲染场景、障碍、服装和配角:0-4 秒:户外训练,障碍换石头、砖块、轮胎、木箱;4-10 秒:休息室,朋友鼓励;10-15 秒:国际赛场,训练杆换原创防守球员和门将,主角进球。整体写实电影级。

R2V prompt:编辑 @视频1,保持人物、动作及画风不变,仅调整运镜。15 秒分段运镜设计:0–4 秒,微型 FPV 贴锅穿行,跟随弹起的吐司后横甩至咖啡;4–7 秒,推近并沿锅边横移,跟随煎蛋翻起落回;7–11 秒,急速升至顶视角,匀速下压扫过餐盘和钥匙;11–15 秒,手持近镜跟随双手快速横甩,最后推近早餐,再拉回双人中景。全程连贯稳定。

深入更广泛的产业场景

持续探索应用价值

随着模型能力的提升,Seedance 2.5 也在深入教育、工业等更广泛的产业场景。在教育领域,模型已开始进入真实学习场景。比如,Seedance 2.5 可以将课文背后的历史背景、人物和情节转化为视频内容,把学习内容从静态讲解转化成更生动、更沉浸感的画面。同时,模型可以帮助老师更高效地制作教学视频,将科学原理、历史事件、实验过程等抽象内容转化为动态演示,不仅降低教学物料的制作门槛,还支持灵活的内容定制。

豆包爱学 App「豆包课堂」场景示例

R2V prompt:东方写意风格。南宋临安街景,热闹的街上几个孩子边跑边闹,孩子们嘴里张嘴念着 “蓦然回首,那人却在,灯火阑珊处”。镜头始终跟随孩子们奔跑,带过热闹的街景。镜头上摇,此人正是 @图片1 辛弃疾。辛弃疾回头,远处是在灯火阑珊中的男子,镜头连贯。

在工业制造、具身智能和自动驾驶等产业中,Seedance 2.5 也开始进入更具体的生产环节。模型可以生成高质量合成视频数据,帮助训练机器人的感知和操作能力;也可以用于工业仿真、流程培训和设备演示。在自动驾驶场景中,模型还可以模拟极端天气、复杂路况等低频场景,为系统测试和训练提供更多样本。

R2V prompt:参考 @白模1 的运镜、构图、景别、空间关系、零件位置、模型结构、装配顺序和运动轨迹。参考 @图片1 的材质、光照、色彩、反射和氛围,将白模渲染为高端真实汽车拼装片段。

总结与展望

Seedance 2.5 进一步增强了对真实世界的理解和呈现能力,让视频生成从片段级输出,走向更完整的创作流程。我们也看到,在复杂运动的物理合理性、极多主体交互场景的稳定性上,模型仍有提升空间。

未来,Seedance 团队将继续探索更长的连贯叙事、更懂用户的生成与编辑体验,并进一步增强模型对物理世界规律的理解。我们希望 Seedance 系列模型能更生动、更可控、更懂创作者,帮助更多用户表达创意的同时,持续探索并服务更广泛的产业需求。

阅读原文

跳转微信打开

  •  

从“会说”走向“会创作”|Seed Audio 1.0 音频创作模型发布

原创 字节跳动Seed 2026-07-20 11:57 北京

统一框架下联合建模人声、音效和环境声等音频要素

对音频创作者而言,生成单一音频要素并不困难,真正困难的是让台词、音效等各类声音在同一场景中自然配合,服务于叙事和情绪表达。长期以来,这类创作往往依赖多个模型分别生成,再通过人工拼接、对齐和混音完成,不仅流程冗长,也难以兼顾整体完成度与控制精度。

今天,我们很高兴向你介绍音频创作模型 Seed Audio 1.0。

它面向完整声音场景,在统一框架下联合建模人声、音效和环境声等多种音频要素,端到端完成影视级音频创作。声音不再只是画面的补充,而是可以直接参与叙事,在听者脑海中直接形成画面感,做到“听见”即“看见”。

其核心能力主要体现在以下方面:

  • 多要素统一编排,支持精细的时间控制:一条 prompt 即可统一编排带有特定情绪的对白、关键音效和环境声,并可按时间线精准控制声音进场。

  • 音色风格可控,长时稳定:支持文本与参考音频输入,在长音频和多次延长场景下保持角色一致性,同一音色也能自然呈现不同语气和情绪。

  • 多语种自然生成:支持 20+ 语种的音频生成,同一角色声音可依据不同语种的特点,呈现更自然的发音、节奏与表达方式。

目前,Seed Audio 1.0 已在火山方舟体验中心上线,欢迎大家体验,用声音表达创意。

项目主页:

https://seed.bytedance.com/seedaudio1_0

体验入口:

火山方舟体验中心 - 登录 - 选择语音模型 - 语音合成 - Doubao-音频生成-1.0

从拼接生成

到完整声音场景生成

过去,完整音频内容的生产通常依赖多环节拼接。要打破这种级联方式,实现完整声音场景的生成,模型至少需要跨越三个门槛:

1. 兼顾多类声音的细节保留。不同类型音频对表征的要求并不相同:语音看重清晰度和韵律,环境声则要求空间氛围持续稳定。模型需具备足够强的声学细节建模能力。

2. 理解并生成完整声音场景。一段完整音频里,各音频要素间存在时间关系、情绪关系和声学互动,彼此关联、相互影响,模型要理解的是整个声音场景。

3. 遵循多种指令控制。模型不仅要有生成质量,还要能够服从文本、参考音频、时间轴和角色设定等多种条件,使声音在合适的时间、以合适的方式出现。

Seed Audio 1.0 的核心思路,是将不同的音频要素放在统一框架下理解与生成,学习更复杂的联合分布。为此,我们训练了一个通用声学编码器,将各类音频要素视为同一声音场景中的组成部分,映射到统一的声学表征中,而非将多类音频作为独立任务编码。

基于这种统一建模方式,模型能够更自然地组织角色语气、背景氛围和声音节奏,让输出更接近一段完整作品,而不是一组拼接起来的素材。这也是我们更愿意将 Seed Audio 1.0 称为“音频创作模型”的原因。

Seed Audio 1.0 可生成兼具角色互动、情绪推进和氛围营造的复杂音频作品,支持专题叙事、剧情对话、主播互动等典型场景。

在真实创作环境中,声音出现的时机同样关键。它会直接影响节奏推进、情绪表达,以及一段内容能否真正成立。

Seed Audio 1.0 能先将创作意图拆解成结构化时间线,明确角色、台词、情绪和音效的进入时机,从而控制不同声音何时出现、如何衔接,以及怎样更自然地服务剧情。

基于此,Seed Audio 1.0 支持精准时间控制生成,创作者可以在 prompt 中指定角色台词的时间安排,当前时间控制支持 100ms 间隔精度。对于视频配音、视频翻配、广告片等场景,这项能力尤其关键。

音色立得住

接得上、演得开

Seed Audio 1.0 支持零样本音频生成。创作者既可以直接用文字描述目标声音,也可以结合参考音频进一步控制生成结果,而无需为每一种声音单独训练模型。

对真实创作来说,这意味着在前期尚未明确最终声音方案时,创作者可以先快速试出方向,再围绕更合适的音色与表达继续细化,从而减少反复试音和后期返工的成本。

与此同时,在长音频创作场景中,有声书、播客、长剧集和多人对话都要求角色声音前后一致,一旦出现明显音色变化,听众很快就会出戏。传统制作中,这通常需要配音演员长时间连续录制,或者依赖后期反复比对和修正。

针对这一问题,Seed Audio 1.0 支持基于参考音频进行延展生成,当前单次可生成约 2 分钟音频,并可在此基础上继续延长,同时保持角色音色与表达方式一致。

不过,稳定并不意味着表达单一。Seed Audio 1.0 在保持角色辨识度的同时,也支持同一音色自然呈现不同情绪、场景和表达方式。它支持“单音色、多角色”能力,同一音色可以通过差异化演绎塑造不同人物,从而拓展配音、叙事类内容和创意音频的创作空间。

多语种生成

声音表达更地道

多语种创作,不只是内容翻译,而是让声音的节奏、重音、停顿与情绪都更符合目标语言的表达方式。

Seed Audio 1.0 支持同一音色在多种语言中的自然迁移,并已覆盖 20+ 语种,包括中文、英文、日语、韩语、西班牙语、印尼语、德语、法语、泰语、越南语等。

对于出海内容、游戏本地化、品牌广告、多语种播客和短视频创作来说,这意味着一个创意不必在每个语言市场重新制作,而可以基于同一角色或音色设定,高效地扩展出多语言版本。

评测结果

为了更全面地验证 Seed Audio 1.0 在真实创作任务中的表现,我们从文本生成音色、多场景创作和多语种生成三个维度进行了评估。

在文本生成音色能力上,Seed Audio 1.0 在 AB 主观评测中表现出显著优势,可用率和优良率也明显提升。

Seed Audio 1.0 在文本到音色任务上与其他模型的主观评测结果

在多场景音频生成能力上,我们进一步评测了影视、电视节目、短剧、动漫、播客对话、直播带货、网络创作、话剧和语音合成等场景。结果显示,多数场景中的音频可用率已达到 90% 以上。

Seed Audio 1.0 按场景拆分的条件音频到音频生成评测

针对多语言音频生成能力,我们从指令遵循和音频自然度两个维度进行了人工评测。结果显示,在音频自然度上,大部分语言的 MOS 超过 4 分,音质已达到优秀水准;在复杂音频生成的指令遵循上,除越南语外,其余语言的 MOS 均高于 3.5 分,表明 Seed Audio 1.0 已具备较强的多语言指令遵循能力。

Seed Audio 1.0 在 “文本生成音频”任务上的效果

写在最后

从“会说”到“会创作”,Seed Audio 1.0 迈出了重要一步。

以 Seed Audio 1.0 为起点,我们希望进一步拓展模型在真实创作流程中的能力边界,通过模型框架创新支持视频参考等更多模态输入,并满足长音频、分轨等更复杂的音频生成需求。同时,我们也将探索把 Seed Audio 与可控翻译结合起来,提升模型在多语种场景下对内容表达和时长约束的控制能力。

未来,我们希望音频生成朝着更自然、更可控、更贴近创作流程的方向继续演进,让创作者轻松将脑海中的声音变成可听见的作品。

阅读原文

跳转微信打开

  •  

不止“生成”,更懂“设计”|Seedream 5.0 Pro 发布

原创 字节跳动Seed 2026-07-08 21:23 北京

释放专业生产力

如今,智能图像创作已经逐渐走进大众日常。

但在真实的生产环境中,画面好看往往只是起点。更重要的是,模型是否能够高效地满足复杂、专业的创作需求,将“创作者意图”与“视觉呈现”的距离缩到最短,实现真正可用。

今天,我们正式发布多模态图像创作模型—— Seedream 5.0 Pro。

相比之前版本,Seedream 5.0 Pro 在图文匹配、结构合理性、文字渲染与画面美感等基础能力上全面提升,并带来了四大核心能力突破:

  • 复杂信息可视化:将数据、概念与密集文字准确转化为专业排版,直接用于高信息密度的内容生产。

  • 交互式精准编辑:基于对空间位置与区域语义的理解,支持点选、圈选、草图渲染、色彩与材质替换、图层分离、多图融合的自由组合,实现可控编辑。

  • 真实的影像与人像质感:还原现实世界的光影、材质与皮肤肌理,兼顾 CG 表现与摄影质感,画面更具生命力。

  • 原生多语种输入与生成:支持十余种世界常用语言的直接输入与高质量渲染,准确传递本地化特征。

目前,Seedream 5.0 Pro已上线火山方舟体验中心,也将陆续在豆包、即梦上线,欢迎体验。

项目主页:

https://seed.bytedance.com/seedream5_0_pro

体验入口:

1)火山方舟体验中心-视觉模型-图片生成-Doubao-Seedream-5.0-pro;

2)豆包App/电脑版-AI创作-图片生成-选择模型 Seedream 5.0 Pro;

3)即梦网页端-图片生成/Agent模式-选择图片 5.0 Pro。

高密度信息表达

一图讲清复杂逻辑

在专业场景中,图像不仅是视觉装饰,更是信息本身。而信息图生成,是当前 AI 图像生成中复杂度最高的领域之一,它要求模型在单次生成中,同时兼顾数据准确、密集文字无错漏、版面结构合理与专业美感。

Seedream 5.0 Pro 对其进行了针对性优化,能深度解析用户意图,自主完成逻辑推理与版面规划,在不同场景下稳定输出高密度信息图。

如图所示,「南极科考站」中,模型在同一画面内融合了时间轴、折线图、柱状图与站体实景,信息层级分明,视觉隐喻准确,展现出对全景数据的空间统筹能力。

Prompt:主题为南极秦岭站科考纪事可视化信息图,中心放置秦岭站建筑主体;四周环绕排布科考发展时间轴、五座科考站规模柱状图、站点能源饼图、月度日照折线图,辅以科研设备实拍、夏季气象面板、野外作业七步流程、实地采样摄影,多方面展示中国南极科考实景。

模型也能满足教育、科普场景对事实准确度的高要求:不仅能生动解释“为什么月全食的月亮是红色”,还能准确提取不同鸟类的形态特征,完成规整的网格化排版。

Prompt:生成一张天文科普信息图,解释:为什么月全食的月亮是红色的?

Prompt:生成一张《新手观鸟入门指南》自然科普信息图,采用清新配色的网格排版,展示 8 种常见鸟类,并附带科学插画、中英文名、识别特征等内容。

面对「冬日圣诞促销海报」这种包含标题、折扣细则、活动时间等多层级的密集文本,模型在复古卷轴上疏密有致地排布:大量英文拼写无误,并按信息主次穿插粗体与手写体,兼顾信息密度与商业美感。

在「宠物电商首屏」UI 中,模型展现出对空间拓扑的理解力。它生成了清晰的导航栏与悬浮卡片,并执行跨层交互——金毛犬的前爪打破右侧图片边界,真实按压在左侧按钮上;可帮助用户快速生成产品原型图。

Prompt:16:9 宠物电商首屏 UI,日落暖阳色调,分层阴影。顶部导航;左侧奶油米色背景,含文案、商品卡片、金黄胶囊按钮;右侧金毛图,3D 特效:金毛前爪冲破右框,搭在左侧按钮上。

交互式精准编辑

让创作更自由可控

纯文本 Prompt 有天然局限:语言擅长描述“生成什么”,却难以精确指定“修改哪里”,而设计往往需要反复微调打磨。

Seedream 5.0 Pro 把控制信号原生介入生成过程,核心在于它对空间位置(Grounding)与区域语义的精准理解,从而实现精准编辑。

模型能深刻解析画面中的位置信息。在「2026 新高考数学试卷解答」中,它准确识别题目,锁定每一题下方的留白区域进行演算,并将答案填入对应的答题位置。

Prompt:帮我完成上述所有选择题,并写上对应的演算过程。

在日常应用场景中,模型同样能将海外菜单精准翻译成中文,并做到排版位置的一一对应。

Prompt:把菜单翻译成中文。

基于这种空间感知,模型能把用户通过点选、圈选、框选、涂鸦传递的坐标信息,转化为确定性的局部操控指令,衍生出多种实用玩法:

  • 局部交互与属性重构:点选、圈选、色彩编辑与材质替换

模型提供了一套并行的精细化控制手段。在空间定位上,通过点选或圈选即可锁定目标元素,实现局部对象的消除或定点新增;在对象修改上,模型支持色彩编辑与材质替换。几种手段相互配合,让改色、换材质或增删对象后的局部与整体环境自然过渡,透视正确。

如图所示,模型支持输入 Hex 色卡值或直接参考外部色卡控制颜色,并同步替换对象材质。

Prompt:请依据图 1 的材质和图 2 的色卡,修改图 3 中的沙发。

模型也展现了较强的区域隔离能力。用户以不同颜色边框圈定位置,模型即对应生成指定物品——例如红框生成看泡泡的蓝毛怪兽、紫框生成草绿色毛毯等,各元素遵循坐标划分、保持独立。

  • 草图渲染:将抽象意图转化为高保真视觉

用户可以通过随手涂鸦的色块、线条或简笔画作为控制信号,直接驱动画面的精细化渲染。

在「三里小学春游海报」中,仅需一张带粗略排版的草图,模型便能识别各区块意图,还原毛毡材质与缝线质感,并把出发时间、必备物品等文本准确填入草图指定的坐标区域。

  • 图层分离:智能拆分为独立图层

Seedream 5.0 Pro 支持图层智能拆分:通过文字描述,可将图像拆分为独立图层,输出可加工的设计素材。

如视频所示,模型能把一张完整海报拆分为文字、主体(鹦鹉)、背景以及环境装饰等十余个独立图层,被主体遮挡的背景区域也被补全还原。这些图层保留透明度,可自由拖拽、缩放,创作者还能将核心主体替换为新元素(把鹦鹉换成孔雀)。

  • 多图融合:复杂场景的多源素材拼搭

同时输入多张参考素材及一张目标底图,模型会按指令把不同元素融合进场景,适用于前期的视觉拼贴与创意发散。

  • 释放创作自由度,多种编辑能力任意组合

在实际创作中,上述能力可任意组合。如图所示,用户要求把南瓜修改为深绿色(#3E4A2E)与姜黄色(#DB973E)相间,并将背景字体改为刺绣质感。模型准确执行了材质替换与色彩编辑,修改后的局部与夏日午后的环境光融为一体。

这种“先精准定位,再执行修改”的机制,让设计师无需每次微调都重绘整图,可对半成品高频局部修正、提升迭代效率;也让普通用户凭直觉就能搭出高质量画面。

丰富影像与人像质感

让每一幕都栩栩如生

无论商业广告还是日常记录,画面细节的逼真度与光影的自然感都直接决定作品质量。Seedream 5.0 Pro 强化了对真实世界光影、物体材质与皮肤肌理的理解,CG 表现与摄影质感大幅提升。

真实感来自对光、物、人的准确还原。光影层面,模型能捕捉高频细节的微观动态:昏暗房间里穿过百叶窗的“耶稣光”、寿司海报中腾空的米粒与鱼籽、黑白胶片里的水花都能被定格,让画面兼具空间纵深与影调质感。

物体材质层面,模型遵循真实物理规律处理反射、折射与透光效果,让不同材质的光影虚实与周边环境自然融合。

如图所示,左侧街景橱窗里,玻璃上的复古人像海报保留印刷网点肌理,街景透视自然、玻璃环境反射层次分明,海报、街景、反射三层虚实交织。右侧「滨海悬崖玻璃别墅」在金属框架、落地玻璃、石材、海水与原木之间,让室内暖光与落日、海面的多重反射柔和过渡,尽显建筑摄影的写实质感。

人像层面,Seedream 5.0 Pro 细腻还原皮肤肌理,面部纹路、粗粝肤质层次立体,哑光面部光影过渡柔和,人物神态自带叙事张力。同时兼顾多元写实创作需求,除真人影视人像外,也能流畅驾驭 3A 游戏写实角色塑造,服饰、肢体与环境光影协调统一。

静态的真实感之外,模型也支持更进阶的摄影玩法。摇拍场景下,骑行人物与车身清晰锐利,背景街道拉出水平运动模糊,车轮辐条旋转虚化,准确还原了相机横移跟随与车轮高速转动的双重运动关系,速度感真实。

Prompt:摇拍一个骑行者,人物和自行车主体清晰,背景街道拉成水平方向的运动模糊,车轮辐条有旋转虚化,传递速度感。

多图合成则进一步延伸了这份控制力。输入多张独立的人物照片后,模型能提取各自的面部特征,按指定站位组合到同一场景,生成光影统一、质感协调的合影,适配社交分享等场景。

Prompt:将图 2 到图 6 的人物,参照图 1 站位合影,人物神态开心,背景有树和咖啡馆门店。

原生多语种输入与生成

适配本地化特征

全球化创作不仅是语言的简单转换,更需要准确传递不同市场的地域文化与视觉特征。除中英文外,Seedream 5.0 Pro 原生支持法语、德语、俄语、日语、韩语、西班牙语、阿拉伯语等十余种世界常用语言的直接输入与高质量生成。

创作者用不同语种输入指令时,模型不仅能准确解析语义,还能匹配对应文化语境下的建筑风貌、人物面孔与服饰细节,让画面贴合当地的视觉氛围。

在文字渲染上,模型能自动适配不同语种的排版规则。即使面对同一种视觉版式,它不仅能精准渲染常规的中英文字符,也能正确处理阿拉伯语从右向左的连写、还原西班牙语的重音符号(如 PASIÓN),确保各语种文字准确且符合当地的阅读习惯。

总结与展望

本次 Seedream 5.0 Pro 版本升级,主要得益于模型在空间结构感知、高密度文字渲染与多语种理解能力上的底层突破,不仅能够支持精准生成复杂信息图,更带来了灵活的局部修改和可控编辑能力,有效提升了专业生产力。

目前,Seedream 5.0 Pro 在复杂信息图生成、交互式精准编辑等方面实现了突破,但在更细粒度的文字渲染、像素级编辑保持等方面,依然有进步空间。未来,我们将继续打磨模型在专业级生产和设计领域的生成能力,希望它不仅是提升效率的辅助工具,更能深度融入各行各业,让复杂创意低门槛、高质量地转化为生产价值。

图片

图片

图片

阅读原文

跳转微信打开

  •  

EdgeBench:衡量真实世界环境学习,发现新 Scaling Law

原创 Seed Research 2026-07-07 11:41 北京

Agent 在环境学习中表现出明显的 log-sigmoid 规律

过去几年,预训练 Scaling Law 让人们逐渐形成了一种共识:模型能力会随着数据量和算力的增加,以相对可预测的方式持续提升。但当大模型真正进入真实世界之后,一个更贴近应用的问题开始出现:它还能不能在与环境的持续交互中继续学习,并不断变强?

近日,我们发布了用于衡量真实世界环境学习的超长程评测集 EdgeBench。该评测集包含 134 个真实且多样的任务,横跨六大能力领域,Agent 在每个任务上都可持续工作至少 12 小时。

基于这些任务上的长程环境交互运行结果,我们发现,Agent 在“环境学习”过程中的整体表现遵循一条高精度的 log-sigmoid 曲线,平均拟合精度 R² 达到 0.998。同时,从不同代际的前沿模型来看,Agent 的学习速度大致呈现出每三个月翻一倍的趋势。

目前,EdgeBench 已开源其中 51 个任务及完整评测框架,供社区进一步研究 Agent 如何从真实世界环境中学习。

项目链接:

https://seed.bytedance.com/edgebench

论文链接:

https://edge-bench.org/paper.pdf

代码链接:

https://github.com/ByteDance-Seed/EdgeBench

数据链接:

https://huggingface.co/datasets/ByteDance-Seed/EdgeBench

 1. 衡量真实世界环境学习的超长程评测集 

真实世界中的模型表现,不只取决于它在训练中学到什么。很多关键知识并不直接存在于训练语料里,真实工作所依赖的也不只是现成信息,还包括反复试错、解读反馈和持续修正的过程。

与此同时,现实环境本身始终在变化,新工具、新问题和新知识不断出现,这意味着任何静态训练数据都不可能提前覆盖一切。因此,Agent 从环境中学习并持续提升任务表现的能力,正变得越来越重要。

现有的大多数模型评测集,衡量的主要是模型已有的知识和能力。而 EdgeBench 更关心 Agent 在拥有足够时间、反馈和改进空间时,如何从真实世界环境中学习。EdgeBench 在任务设计上呈现以下特点:

  • 面向环境学习:每个工作区、反馈信号和评测器都贴近真实实践,分数体现了 Agent 在环境中的学习和改进情况。

  • 超长时程:每个任务都支持 12 小时以上的连续运行,部分延长实验超过 72 小时,让经验能够持续累积。从已记录人工投入的任务来看,人类专家完成单个任务所需的时间平均为 57.2 小时,最高达到 320 小时。

  • 覆盖六大领域:134 个任务覆盖了科学、复杂软件工程、白领知识工作、算法优化、前沿数学和数字游戏,并由领域专家结合真实问题持续迭代,其中超 90% 任务为全新构建。

EdgeBench 的任务分类

 2. 发现环境学习中的 Scaling Law 

在 EdgeBench 中,Agent 不是提交一次就结束,而是会不断与任务环境交互,并接受评分、错误信息和改进线索等反馈。也正因此,曲线反映的并不是 Agent 一次性完成任务的能力,而是 Agent 在持续交互中吸收反馈、调整策略,并逐步改进结果的能力。

基于 Agent 在 134 个真实世界任务中的约 38000 小时环境交互记录,我们发现,Agent 的表现并不是静态固定的,而是能够在与环境的持续交互中不断学习、提升。

进一步来看,Agent 在环境学习中的成长轨迹并不单一。除了最终表现存在差异之外,它们在学习、吸收反馈和持续改进的过程中也表现出明显不同的路径:有些稳步提升,有些前期快速进步后进入平台期,也有一些会在长时间停滞后才迎来突破。

Agent 在 3 个任务中 12 小时内的学习曲线,从左到右分别为稳步提升、前期快速进步、后期突破的学习情况

以引力波任务中的一次 12 小时运行为例,GPT-5.5 在 247 次评分尝试中将分数从 42.8 提升到 67.0。这个案例表明,环境学习不是简单的连续调优:分数的关键跃升往往来自 Agent 根据反馈重新定义、拆解并组织问题。

Agent 先让任务可衡量,再拆解失败、定位瓶颈,最后保留可用核心,只修补剩余错误

如果把视角从单个任务扩展到跨任务整体表现,就会发现:这种学习并非无序波动,而是呈现出一种高度稳定的整体规律。

对于每个模型,研究都覆盖了 134 个任务,并对每个任务进行了 3 次独立运行,因此每个模型都会产生 402 条学习曲线。单看某一条任务轨迹时,Agent 在环境中的表现往往充满噪声、波动。但当这些轨迹按照交互时间进行聚合平均后,整体收敛为一条形式简洁且高精度的 log-sigmoid 曲线:

这一函数形式不仅能够稳定拟合不同模型的平均学习轨迹,而且拟合精度极高,平均 R²=0.998。这并不只是经验层面的拟合现象,还可以从图探索(graph exploration)理论的视角加以解释。

从 134 个任务的平均结果上看,随着与环境交互时间的增加,Agent 整体表现会持续提升,相关分析可参考论文原文

此外,我们还尝试回答:模型从环境中学习的速度,是否会随着代际演进而变化?

为尽量减弱模型先验知识与基础能力差异带来的干扰,我们选取了 18 个初始表现相近的任务,并对自 2025 年 9 月至 2026 年 5 月陆续发布的多代模型进行 2 小时评测,再用这段时间内的性能提升幅度来刻画其“学习速度”。结果表明,随着模型代际演进,模型从环境中学习的速度也在显著加快,对于当时表现最领先的一批模型而言,这一速度接近每三个月翻一倍。

不同版本大模型的学习速度变化趋势

 3. 写在最后 

随着模型从环境中学习的速度不断提升,未来模型之间的差距,可能不只体现在初始能力上,也会越来越体现在进入环境之后的学习速度上。对反馈的理解能力、经验积累能力以及策略调整能力,将越来越成为模型在长时程、开放式任务中建立持续优势的关键。

我们希望 EdgeBench 能为相关研究和应用实践提供一些参考,也期待未来有更多工作去关注模型在开放环境中的学习、适应与改进。同时,我们将继续理解和研究那些在真实环境中持续创造价值的能力,以及未来决定 AI 上限的关键能力,不断探索未知的智能边界。

阅读原文

跳转微信打开

  •  

Seed2.1 正式发布,深入 AI 生产力

原创 字节跳动Seed 2026-06-23 12:28 北京

Agent & Coding 能力全面提升,复杂场景交付稳定

Seed 模型系列始终致力于挖掘用户真实需求,激发用户创造力。Seed2.0 发布后,我们持续跟踪用户反馈,并观察到,用户对模型的期待进一步指向更可靠的响应和更稳定的交付。

在此背景下,我们很高兴向你介绍 Seed2.1 系列,面向真实生产力场景的全新智能体。Seed2.1 以解决日常生活、专业工作和前沿探索中的复杂需求为研发目标,持续引入内外部用户和开发者的反馈,并结合真实案例校准模型优化方向;评估上,我们也更关注模型在实际工作流中的表现,而非仅依赖静态基准分数。

我们将从以下三个维度,向你介绍 Seed2.1 的真实能力:

  • 更可靠的通用 Agent 能力:Seed2.1 通用 Agent 能力显著提升,并进一步强化跨工具、跨环境的任务交付能力。在面对高经济价值的办公任务和个人生活的复杂咨询时,可稳定完成项目规划、文件处理、工具调用等多步骤任务,产出可落地的结果。

  • 更稳定的代码工程交付能力:Seed2.1 提升了 Coding 的端到端交付能力,可在真实企业级开发任务中完成需求理解、功能实现、bug 修复、运行环境搭建和结果验证等任务,形成稳定交付。

  • 更强劲的多模态等基础能力:Seed2.1 在多模态理解、知识、推理等基础能力上进一步提升,对复杂视觉信息和视频内容处理更准确,为 Agentic 场景、代码工程和前沿探索提供基础支撑。

Seed2.1 系列模型已在豆包产品和 TRAE 上线,同时,该系列模型 API 已同步上线火山引擎,欢迎大家体验、反馈。

项目主页(含 Model Card):

https://seed.bytedance.com/seed2_1

体验入口:

1)豆包电脑版或豆包 App 选择 “办公任务” 模式

2)TRAE Work 或 TRAE IDE 内置模型选择 Doubao-Seed-2.1-Pro 或 Doubao-Seed-2.1-Turbo

3)火山方舟体验中心选择 Doubao-Seed-2.1-Pro 或 Doubao-Seed-2.1-Turbo

通用 Agent 能力显著提升

执行复杂任务更可靠

当模型进入生产力场景,用户需要的不只是一次回答,而是模型能够围绕目标持续推进任务,并产出可用结果。围绕这一方向,Seed2.1 进一步强化了通用 Agent 能力,无论是面向高经济价值的工作任务还是面向个人生活的复杂咨询,模型都能可靠交付。

面向高经济价值的工作任务,过去,用户可能需要咨询外部顾问、专业服务团队来辅助完成;现在,模型可以参与资料分析、方案设计、内容规划和结果整理,帮助用户推进原本需要专业支持的工作,实现降本增效。

Seed2.1 在 Workspace Bench、Agent Startup Bench 基准上表现稳定,Seed2.1 Pro 在 GDPval 基准上获得最高分。其中,Workspace Bench 关注工作中对于复杂文件的信息检索、关联理解和结果生成;Agent Startup Bench 通过调研、访谈真实的 AI 原生创业公司,结合专家意见综合评估模型的回答质量;GDPval 则衡量模型在真实世界工作任务中的完成质量和经济价值。评测结果说明,Seed2.1 在贴近真实工作任务的 AI 工作流中,能够在复杂材料和任务目标之间建立联系,并产生具有经济收益的交付。

此外,在更高难度、更专业的任务上,Seed2.1 也有较好表现。其中,Seed2.1 Pro 在 Agents' Last Exam(ALE)基准评测中,处于当前参评模型的第一梯队水平,体现出在复杂专业任务上的较强竞争力。值得注意的是,该评测发布不久,各模型短期内难以针对该测试进行充分定向优化,能够更真实地衡量模型面对新任务场景时的泛化能力。该结果表明,Seed2.1 所具备的任务规划、工具使用、长程执行、信息整合与结果交付等通用 Agent 能力,能够较好地迁移到此前未见的高门槛专业工作流中。

Agents' Last Exam 基准评测中,左侧为完整通过率,右侧为平均综合得分

面向个人生活中的复杂咨询场景,Seed2.1 系列模型回复的质量和可靠性进一步提升。

这类需求往往不是简单问答,用户会同时提供咨询背景、过往记录、行业报告等多种信息,内容也分布在文档、PDF、图片等不同格式中,形成一个需要综合推理、判断、建议的复杂咨询场景。

Seed2.1 在 xDailyBench、Doubao Multi-Turn Bench 等基准上表现稳定,在 Toolathlon、SeedClawBench 等基准上保持竞争力。这说明模型在日常生活、学习研究等 30 多个垂类场景中,都能更好地理解真实用户需求,并结合用户偏好给出高质量的建议,必要时还能调用不同工具、使用合适的 Skill,产出可靠回复。

SeedClawBench 是由 Seed 自主开发的内部基准,用于评估在 OpenClaw 风格、面向用户的场景中,Agent 提供实际辅助的能力

围绕教学、通用办公和专业研究等场景,Seed2.1 能稳定输出教案 PPT、完成复杂表格分析、生成行业报告

此外,基于稳定的视觉理解能力,Seed2.1 能够在复杂任务中更好地处理视觉信息、理解用户目标,并推进后续执行与交付。Seed2.1 在 Claw-Eval (MM) 等 Visual Agent 相关基准上整体表现出较强的竞争力。这意味着模型不仅能够理解文档、视频、图片、空间结构等复杂的视觉信息,还能围绕任务目标对视觉信息进行整理和分析,并形成可交互、可交付的 Agent 结果,例如基于多视角图像生成平面户型图,或根据视觉信息完成信息检索、内容生成和代码编写等任务。

Image2FloorPlan 为内部自建评测集,考察的任务为理解多张真实照片并绘制平面户型图

在面向专业生产力场景的探索中,我们发现,真实工作流并非发生在某一个固定界面里,而是需要在聊天、搜索、浏览器、代码仓库、文件和外部工具之间切换。因此 Seed2.1 进一步面向通用型 Computer-Use Agent (CUA) 方向优化,让模型能更稳定地在跨环境、跨工具和跨交互方式的任务中持续推进。

其中,面对手机 GUI 任务,模型需要理解屏幕内容、判断下一步操作,并完成点击、输入、切换应用等连续动作,Seed2.1 在 MobileWorld 基准中取得最高分,说明其在手机端任务中能够更稳定地推进操作。同时,模型在 OSWorld 上保持竞争力,并通过强化学习,引导 Agent 自然地在 GUI 和非 GUI 动作空间之中切换最优选择,将完成任务所需的平均步数减少 16%,进一步提升任务执行效率。

此外,Seed2.1 在 CreativeWork 基准上同样表现突出。该基准覆盖了 Notion、Canva 和 Figma 三类具有代表性的环境,意味着模型在文档管理、视觉设计和界面编辑等多种任务中,都能理解复杂目标、分解执行步骤,并在工具调用与 GUI 交互之间自主切换,稳定地完成任务。

CreativeWork 是 Seed 自研的基准,用于评估 Agent 在真实生产力场景中协同使用 GUI 与 MCP 工具的能力

Coding 端到端能力大幅强化
企业生产场景交付稳定

聚焦到 Coding Agent 方向,Seed2.1 结合了公开基准、众测开发者反馈和内部评测综合评估模型表现。其中,公开基准主要关注模型在通用代码任务上的能力边界,而众测开发者反馈则更能反映模型在真实工程场景中的实际价值。

在公开基准中,Seed2.1 Pro 在 ProgramBench 基准上保持竞争力,说明模型具备从零开始完成系统级工程的能力,可独立完成软件系统的架构设计与代码实现。

同时,Seed2.1 Pro 在 NL2Repo-Bench 基准上表现良好,该基准主要评估模型将自然语言需求转化为仓库级代码改动的能力,更接近真实软件工程场景。评测结果说明,Seed2.1 能理解整个代码仓库的架构、依赖关系和业务逻辑,并进行多文件协同修改,最终交付可维护、可运行的工程化代码。

在众测开发者评估中,我们邀请开发者基于真实代码仓库提交工程任务,并对匿名模型输出进行比较。结果显示,在更贴近真实 Coding 流程的任务中,Seed2.1 在最终完成质量上获得更高评价。其中,Seed2.1 Pro 相比 Claude Opus 4.6 获得 59.1% 胜率。

此外,Seed2.1 Preview 版本还在近期参与了前端场景的人类偏好评测。在 Code Arena: Frontend 榜单中,模型以 1539 分排名第 8,并在 7 个前端子类别中的 5 个进入前 10。

多模态理解等基础能力持续领先

进一步服务 Agentic 场景

Seed2.1 不断深化多模态能力,在各类视觉和视频理解任务上,多项评测集取得 SOTA 结果,保持业界领先水准,并进一步服务 Agentic 场景。

面向视觉理解场景,Seed2.1 Pro 在 CharXiv-RQ、MeasureBench 等多个基准上取得最高分,体现出模型在复杂文档理解、图表读取、数值识别和视觉细节判断上的进一步提升。这类能力可以帮助模型在处理 PDF、报告、图表和多页材料时减少误读,增强对非结构化信息的感知。

Seed2.1 还在 ERQA 基准上取得最佳成绩,说明模型空间理解能力进一步增强,可更好地支撑面向现实环境 Agent 任务。

此外,模型在 MMLongBench-128K 长上下文基准上表现突出,说明模型能够处理长文档、多页材料和更长链路的任务信息,帮助 Agent 在更完整的上下文中稳定推进复杂任务。

面向视频理解场景,Seed2.1 Pro 在 TVBench、TOMATO 基准上取得业界高分,说明模型对时序变化、动作和物理运动的理解更加准确。

Seed2.1 还在持续提升处理小时级别长视频的能力,识别与理解的准确性进一步提高,在 VideoMME、LVBench 等多个基准中取得高分,为长视频检索、影视剧剪辑等场景奠定扎实基础。Seed2.1 的流式视频能力也进一步加强,在 OVBench 等基准中表现突出,能在实时视频通话、会议录屏回看、视频分析等场景中协助用户高效理解内容。

Seed2.1 可基于长视频输入完成理解、剪辑以及解说一键成片,自动产出精华解说视频

除多模态理解能力外,Seed2.1 在世界知识、推理和多语言能力等基础能力上也进一步提升。其中,模型在 SciCode 和 FrontierScience-Olympiad 等基准中表现良好,说明它在科研代码、高难科学问题等更具挑战的任务中,也能保持稳定的推理表现。Seed2.1 还进一步增强了多语言能力,能更好地理解不同文化语境下的知识问题,支持更多国际化使用场景。

MSQA 为内部多语言基准测试,旨在评估跨越 11 种主要语言的特定文化知识

Seed2.1 还在不断探索科研、计算机科学、物理与科学计算、高阶数学等更加开放的研究场景。其中,模型在 FrontierScience-Research 等前沿研究基准上保持竞争力。

在物理与科学计算方面,Seed2.1 能够综合理解领域理论、数值公式和数据文件,将科学问题转化为可执行、可验证的计算流程,并根据验证反馈迭代修正结果。在数学研究方面,模型还能帮助数学家搜索构造、测试证明思路,降低构造性论证中的试错成本,进一步支持探索性的数学研究。

此外,随着 Agent 能力从对话走向真实工作流,模型研发场景也在发生变化:模型不再只是被评测、被训练和被优化的对象,也开始参与模型研发流程本身。

我们持续推进 Seed for Seed 研发方向:让 Seed2.1 不只服务外部研发与业务场景,也进一步进入评测、数据、训练、研究和 Infra 等关键环节,参与真实研发任务,并在提升研发效率的过程中反哺模型能力迭代。

在实际场景中,Seed2.1 以 Agent 形式参与评测系统构建、能力诊断、SFT 数据合成、RL 训练框架优化,以及将最新研究论文中的关键方法落到代码和实验中验证等工作。这些任务往往跨越数小时、十几个小时甚至数十天。Agent 需要持续读取中间结果,分析问题、调用工具执行修改,并根据实验反馈反复验证和迭代。

在更复杂的任务中,多个 Agent 还可以协同分工,分别承担执行、评估、诊断和优化等角色,将复杂研发任务拆解为可持续推进的工作闭环,从而提升模型研发链路的整体效率。

Seed for Seed 研发流程示意图

总结与展望

面向真实场景中的生产力价值,Seed2.1 的 Agent 执行能力和 Coding 任务的交付稳定性均有较大提升。同时,我们也注意到,在最具挑战性的开放任务以及前沿研究问题求解上,模型能力仍有提升空间。

未来,我们会继续在以下方面持续优化:

  • 深入调研专家用户的真实需求,进一步提升专业工作流覆盖;

  • 持续优化 Harness 与模型的协同,让模型在复杂的工作流中稳定发挥作用;

  • 通过让模型参与训练,并进行自主研究,加速模型迭代;

  • 持续打磨模型的行为模式,提升用户体验。

沿着这些方向,Seed 系列模型将继续追求智能上限,并不断面向真实场景迭代。

阅读原文

跳转微信打开

  •  

Seed3D 2.0发布,更高精度、更强可用性

原创 字节跳动Seed 2026-04-23 12:23 北京

几何及纹理材质生成均达 SOTA 表现

高质量且大规模的 3D 内容正成为具身智能、工业制造等领域的关键基础设施,但此前方法生成的 3D 内容在几何精度、材质真实性等方面,仍难达到生产级要求。

去年,Seed3D 1.0 探索了从单张图像到高质量 3D 模型的端到端生成,并在纹理生成方面取得突破。今天,我们正式发布更高精度的新一代 3D 生成大模型——Seed3D 2.0。团队围绕几何精度和材质质量对模型进行了架构升级,并拓展了 3D 内容的下游可用性,期望进一步推动 3D 生成迈向“生产可用”。

在与现有 3D 生成模型的对比评测中,Seed3D 2.0 在几何生成、纹理材质生成两项核心指标上均取得 SOTA 结果。模型对复杂结构的还原更加精细,PBR 材质的生成也具有更强的真实感和稳定性。

目前 Seed3D 2.0 技术报告已公开,API 也已上线火山引擎,可访问项目主页查看,欢迎体验和交流。

    项目主页:

    https://seed.bytedance.com/seed3d_2_0

    体验入口:

    火山方舟体验中心-登录-选择视觉模型-3D生成-Doubao-Seed3D-2.0

     1. 几何生成:引入两阶段 DiT,从结构合理到细节可靠 

    3D 内容生成的几何和纹理质量,是决定模型可用性的两大核心维度。其中,几何质量直接决定了物体结构是否合理,是区分生成内容“可用”与“不可用”的关键分水岭。在 Seed3D 1.0 中,模型需要同时完成“整体结构”和“精细结构”的生成,这种方式虽能较快捕获物体整体形状,但在锐利边缘和精细结构上可能存在“软化”现象,导致生成的边不够笔直、曲面不够精准。

    Seed3D 2.0 几何生成的完整流程

    Seed3D 2.0 的改进思路是,引入 Coarse-to-Fine 两阶段生成策略,把“整体结构”和“几何细节”解耦,分开优化,从而在锐利边缘、薄壁结构和复杂拓扑等几何生成难点上取得突破:

    阶段一:粗糙几何结构生成。模型利用更大参数规模的 DiT,基于输入图像生成粗粒度的几何结构,建立整体的拓扑关系和空间布局。

    阶段二:高精度细节生成。模型以阶段一的输出作为几何锚点,专注于锐利边缘、精细表面等细节恢复,其中引入两种关键先验:

    • 局部感知先验:将第一阶段的粗糙结果转化为隐变量,为后续的细节生成提供可靠的初始化输入,避免“凭空生成”带来的不稳定。

    • 体素化位置编码:在第一阶段生成的几何表面采点,并进行体素化处理,作为位置编码为模型提供空间位置约束。

    此外,Seed3D 2.0 在 VAE 侧做了同步升级,更少 token 即可获得更高的重建精度。通过增强局部区域的细节表达,并根据内容动态分配注意力,我们大幅提升了 VAE 模型的重建精度和推理效率。

    如下图所示,与现有主流 3D 生成模型的定性对比表明,Seed3D 2.0 在处理复杂结构的精细边缘、生成薄壁结构和还原输入图像方面明显优于基线方法。

    几何生成维度的定性对比

    此外,我们招募了 60 位具有 3D 建模经验的人类打分员,针对约 200 个测试用例,对 Seed3D 2.0 和六个主流模型的生成质量进行两两盲评对比。Seed3D 2.0 在几何形状生成的对比测试中展现出显著优势,相比所有其他 3D 生成模型呈现更高的偏好率(人类打分员认为其生成质量更优的比例),验证了架构创新带来的几何质量提升。

    在纯几何生成任务中,用户认为 Seed3D 2.0 相比主流模型更优的比例

     2. 纹理生成:统一 PBR 模型,从外观相似到物理一致 

    除了几何结构的精度,纹理材质的真实感也直接决定了 3D 内容的质量。尤其是在下游应用中,仅有 RGB 外观远远不够,完整的 PBR 材质才能确保 3D 内容在任意光照条件下保持物理一致的视觉效果。

    Seed3D 1.0 采用了级联式模型进行 RGB 生成和 PBR 分解,中间步骤的误差会逐级累积,影响最终材质质量。在 Seed3D 2.0 中,我们将其简化为统一的 PBR 生成模型,保持 MMDiT 双流架构,通过模态特定投影层,即可在共享 DiT 层中联合建模完整 PBR 贴图。

    Seed3D 2.0 的纹理生成流程

    我们在统一的生成架构基础上,还引入两项关键创新,实现了更高分辨率下的精准材质生成:

    • 采用 MoE 架构,提升高分辨率材质的细节与边界精度。Seed3D 1.0 受限于输出分辨率,难以保留材质分解中的细节,而直接扩大模型参数量和分辨率的计算开销过高。因此我们采用 MoE 架构,通过稀疏专家路由,在扩大模型参数量和分辨率的同时控制推理计算量,使模型能生成更丰富的纹理细节和更精确的金属-粗糙度边界。

    • 引入 VLM 先验,增强未知光照下的材质分解稳定性与准确性。从 RGB 图像逆向推导 PBR 材质是一个行业难题:相同的外观,可能由不同的材质与光照组合产生,模型推理时经常出现色偏、金属性误判等错误。为此,我们引入 VLM 模型对输入图片的材质类型和物理属性进行描述,并作为额外控制信号注入 DiT 中,让材质分解更加稳定且合理。

    纹理材质生成的定性对比中,Seed3D 2.0 在生成真实度、材质质量、视觉细节和文字渲染等维度上均优于基线方法。

    例如,在不锈钢锅这一物体上,Seed3D 2.0 的生成结果呈现出更接近真实的金属质感:表面反射具有一定粗糙度变化,并伴随轻微使用痕迹,高光分布自然,不同部位之间的材质表现保持一致。相比之下,其他方法易出现材质过于均匀或整体偏暗的情况,缺乏真实物体中的细微变化。

    纹理生成维度的定性对比

    在纹理 3D 内容生成的人类打分中,Seed3D 2.0 同样领先其他基线方法,面对目前行业内主流模型,Seed3D 2.0 的偏好率达到 69% 以上。

    在纹理生成任务中,用户认为 Seed3D 2.0 相比其他基线模型更优的比例

     3. Seed3D 2.0 下游任务探索:部件级生成与场景组合 

    在许多下游场景中,完整的 3D 物体需被拆解为功能性部件,例如在交互式系统中需要可独立操控的物体组件,仿真环境中需要可关节化运动的部件结构。因此,Seed3D 2.0 进一步拓展了建模的灵活性,可实现组成部件“分合自如”。

    部件级 3D 内容生成流程概览

    Seed3D 2.0 采用“先理解,再生成”的范式,将复杂的部件生成流程分解成两步:对生成的 3D 内容先进行部件级的拆分,然后补全每个部件的完整形状。

    首先,Seed3D 2.0 通过收集和标注大量特定的分割数据,来学习如何在 3D 数据上根据功能性等维度进行拆分。我们训练了 Seed3D-PartSeg 的 3D 理解模块,可对完整 3D 网格进行表面分割。在此基础上,Seed3D-PartDiT 进一步以全局 3D 形状、分割点云和图像为输入,训练生成网络,最终把表面拆分结果补全并组合为完整的部件化网格。

    如下图所示,一把椅子会被模型自动拆分为座椅、靠背和底座;机器人也被按照四肢等部位精细拆解。这种部件尺度下的表征,为后续的精细交互操作提供了基础。

    独立的部件需要正确的物理连接才能产生有意义的交互。因此在部件分割的基础上,Seed3D 2.0 进一步引入了关节化建模能力。

    这一过程融合了多模态理解与生成技术。模型首先利用 VLM 把部件拆分为运动学组件,并识别关节类型(如“可旋转部件”或“固定结构”),再结合几何先验估计关节轴位置。为确保运动的物理合理性,模型还引入图生视频模型生成运动参考,以优化关节部件的运动范围,最终模型可输出带有完整关节信息、以 URDF 等标准格式呈现的 3D 内容,实现与 Isaac Sim 等主流物理仿真引擎的兼容。

    真实的物理世界是由众多物体交织而成的,因此,Seed3D 2.0 还将单一物体生成能力拓展至场景生成。

    为实现合理的对象排列,Seed3D 2.0 选择根据不同的输入条件智能适配布局策略:对于文本输入,利用微调过的 LLM 进行空间关系推理和布局生成;对于多视角图片或视频输入,模型额外利用深度估计等视觉信号,以及实例分割和遮挡修复等能力,来推理场景空间布局。获取布局后,Seed3D 2.0 可以逐个生成 3D 内容,并按照空间关系进行组合,构建丰富且完整的场景。

    Seed3D 2.0 的仿真场景生成流程

    更进一步,结合前述的部件级生成与关节化能力,Seed3D 2.0 最终生成的场景不仅具有严谨的空间结构,其中的物体还可以被转化为支持物理交互的关节化 3D 内容,为下游的物理仿真场景奠定了基础。

     4. 总结与展望 

    Seed3D 2.0 在几何精度、PBR 材质质量以及下游可用性方面取得了显著进展。不过,3D 生成仍然面临一系列长期挑战:几何生成的精细度与泛化性尚有提升空间;纹理生成还存在遮挡与贴图误差问题;3D 生成模型的大规模应用受限于推理效率;3D 生成模型的落地场景还存在未知与探索空间。未来,我们会在这些方向上继续攻坚,推动 3D 生成技术在更多场景中规模化应用。

    阅读原文

    跳转微信打开

    •  
    ❌