铃阅
❌

普通视图

突发!黄仁勋与盟友商讨重返英伟达CEO之位

2026年11月17日 00:00

大模型智能 2026-11-17 00:00 吉林

硅谷的盟友开始向英伟达董事会施压,要求恢复黄仁勋的职位

图片

大模型智能|分享

来源 | 机器之心

黄仁勋辞职没几天,硅谷已经开始想办法把他请回来了。

当地时间 11 月 15 日,据英国《金融时报》报道,黄仁勋正在与身边亲信讨论重返英伟达 CEO 职位的可能性。

图片

来源:https://www.ft.com/content/45383d86-33c4-4d99-86e5-5e058d3567c1?utm_source=chatgpt.com&syn-25a6b1a6=1

一位黄仁勋的盟友向《金融时报》透露,他们正在组建一个由硅谷科技企业高管组成的 War Room,计划游说英伟达董事会,推动黄仁勋重新担任 CEO,并尝试争取白宫的支持。

这位人士表示:「在前沿实验室之外,科技行业里所有有影响力的人都喜欢黄仁勋。」他还补充称,推动黄仁勋回归的行动得到了黄仁勋本人的支持。

图片

刚刚过去的这个周末,一场要求黄仁勋重返英伟达的声援行动迅速升温。

特斯拉和 SpaceX CEO 埃隆・马斯克(Elon Musk)、Epic Games CEO 蒂姆・斯威尼(Tim Sweeney)、Replit CEO Amjad Masad 等科技圈知名人士,纷纷加入联名行动,呼吁英伟达董事会让黄仁勋回归。

图片

这场声援不仅来自硅谷高管,也得到了英伟达内部员工的响应。黄仁勋辞职后,已有多名员工公开表达对他的支持,并签署联名信。

截至目前,支持黄仁勋回归的在线请愿签名人数已经突破 15 万,且仍在持续增长。

图片

需要注意的是,这些身份主要来自签署者自行申报,尚不能视为全部经过独立核实。

不过,黄仁勋想要回来,恐怕没有那么容易。

首先,英伟达董事会并不一定会接受外部压力。

《金融时报》此前披露,董事会已经接触 Arm CEO 雷内・哈斯(Rene Haas),探讨其接任英伟达 CEO 的可能性。

但英伟达董事会随后回应称,目前尚未启动正式的 CEO 遴选程序。

与此同时,英伟达的管理层已经进入临时过渡状态。公司首席财务官科莱特・克雷斯(Colette Kress)目前担任临时 CEO,管理团队正试图稳定公司运营,为即将公布的季度财报做准备。

黄仁勋本人也缺少一个重要筹码。

与一些拥有绝对控制权的创始人不同,黄仁勋并不持有足以控制英伟达的股份,无法单方面推翻董事会的决定。即使硅谷支持者不断发声,最终能否回归仍然取决于董事会。

外部力量的态度同样存在分歧。一方面,Altimeter Capital 创始人 Brad Gerstner 和 Atreides Management 创始人 Gavin Baker 两位英伟达股东,已经联名致信董事会,要求保留所有可能性,包括黄仁勋回归。

两人在信中强调,黄仁勋长期以来为英伟达创造了巨大价值,而他的突然离职又给公司带来了不确定性。因此,他们希望董事会审慎处理这场危机,不要提前排除黄仁勋复职的可能。

另一方面,推动黄仁勋复职的行动很可能遭到华盛顿部分重要政策制定者的反对。美国财政部长斯科特・贝森特(Scott Bessent)周日呼吁英伟达进行一次「重大管理层改组」(dramatic shake-up)。

截至目前,英伟达发言人和黄仁勋的发言人均拒绝置评。

英伟达这场突如其来的 CEO 风波,显然还远没有结束。

图片

技术交流群邀请函

图片

图片

图片

图片

△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向-城市

(如:小夏-浙大-大模型-杭州)

即可申请加入深度学习/机器学习等技术交流群

—完—

图片

跳转微信打开

哈佛最新 AI 课发布:从 Agent 一路学到 GPU!

2026年11月17日 00:00

Datawhale 2026-11-17 00:00 吉林

以下文章来源于:Datawhale

Datawhale

一个专注于AI领域的开源组织,汇聚了众多优秀学习者,使命-for the learner,和学习者一起成长。

 Datawhale干货 

最新课程:哈佛 CS2680

一个 AI Agent 从你敲下第一句提示词,到物理显卡上吐出最后一个 token,中间到底穿透了哪些技术层级?

很多开发者在尝试构建复杂的智能体系统时,很快就会撞墙。瓶颈往往不在于提示词写得够不够巧,而在于真实的工程现实:不可控的延迟、高企的 Token 账单、长程规划失控,以及多轮交互下迅速被吃满的显存。

想要真正做出一套可靠的高性能 Agent,只懂上层框架不够,只看底层 CUDA 算子也不够。

哈佛大学今年秋季开设了一门极具特色的硬核大课:CS2680《Modern AI Systems: Agents and System Optimizations》。

全学期不搞分散的散点练习,只盯准一个名为 Mads 的智能体系统,带你从应用层的 Agent Loop 一路往下拆,直到接管开源模型的推理服务与底层 GPU 硬件。

目前,这门课的大纲、阅读清单以及课件幻灯片已全部在官方主页向公众开放。

Image

    课程官网:https://cs2680.seas.harvard.edu/

    一、课程大纲与主线

    这门课之所以让人眼前一亮,首先在于它的课程结构设计。

    它没有把内容割裂成孤立的章节,而是以一个名为 Mads(Modern Agent Design and Systems) 的系统贯穿始终。全课 14 周被清晰地切分为两大阶段:

    前半程(第 1~7 周)聚焦智能体设计与评估。 从 Claude Code 的运行机制切入,依次讲透多 Agent 协作、上下文与工具管理(ReAct)、长期记忆(MemGPT)、评测体系以及成本性能权衡。

    后半程(第 8~14 周)深挖底层推理系统。 从 GPU/CUDA 基础出发,逐层拆解批处理调度、PagedAttention(vLLM/SGLang)、投机推理、KV Cache 优化与量化压缩,最终落到智能体请求调度与负载均衡。

    二、五个贯穿式作业

    CS2680 不设期末考试,而是通过5个作业一环扣一环,带着学习者从最上层的前端一路改到底层推理引擎:

    Image

    1. Mads-Lens(搭建可视化监控台,10%)
    用 Claude Code 为它自己写一个 Web UI 前端,实时可视化运行轨迹:展示每次工具调用的入参和返回结果,把派生的子 Agent 展开成树状图,定位报错现场,并实时统计每次调用的 Token 消耗与花费。

    2. Mads-Loop(手写核心运行时,10%)去掉现成客户端,直接围绕模型 API 手写 Agent Runtime:实现结构化工具调用、上下文滑动窗口管理、报错重试与退出判定。助教会用隐藏测试集专门测这套 Runtime 的容错能力,重点看代码循环本身够不够稳。

    3. Mads-Opt(压榨成本与延迟,20%)在调用商业 API 的前提下做端到端优化。要求在任务成功率不降的基础上,砍掉多余 Token、把简单任务分流给便宜的小模型、做工具并发调用并重构上下文,把延迟和开销压到最低,最后写一篇技术复盘博客。

    4. Mads-Serve(接管本地推理引擎,20%)拿掉外部商业 API,课程给每位学生发一张 RTX PRO 4500(32GB 显存) 独立 GPU。学生需要在卡上自己部署开源模型,把前一步写好的 Agent 接进本地推理服务,通过改批处理调度和 KV Cache 复用解决显存与排队瓶颈,按完成任务数和总耗时在全班实时榜单(Leaderboard)上排名。

    5. Mads-Stack(全栈解封打榜,10%)最后一步把上层 Agent 架构、开源模型选型和底层推理内核全部放开修改。统一用 Terminal-Bench 2.0 评测,跑过基线就能拿满基础分,前 26 项任务的综合排名还会有额外的榜单加分。

    三、学习地址

    课程主页:https://cs2680.seas.harvard.edu/

    需要提醒的是,这门课是一门地道的研究生级系统硬核课程,并不适合零基础入门。

    官方先修要求是完成过 CS61(计算机系统导论)以及至少一门研究生级别的系统课,默认熟练掌握 Python 与 PyTorch。课程主页写得非常直白:老师在课堂上不会把作业所需的所有技术细节都讲完,想要拿到满意的成绩,必须做好课后花费大量时间自学和调试实验的准备。

    值得一提的是,虽然哈佛官方目前暂未向外网公开课堂现场录像,但官方所有课件幻灯片均已按周次直接放出;同时海外技术社区也已经在 YouTube 上推出了针对这门课的逐讲视频深度拆解(覆盖 Claude Code 运行原理、多 Agent 架构、上下文管理与评测基准等),非常适合配合官方课件同步精读。

    Image

    大模型时代已经从单纯的比拼提示词,走向了智能体架构与推理基础设施协同优化的深水区。

    无论你正在开发智能体应用,还是在搭建模型推理服务,哈佛 CS2680 所给出的这条工程演进路线,都值得每一位工程人员认真研读。

    目前官方主页上的教学日历、课件幻灯片与论文清单均可自由访问,建议收藏学习。

    图片

    一起“点赞”三连↓

    跳转微信打开

    逼近GPT-6 Astra!韩松团队让Qwen3.8-27B在5090上操作机械臂,现已开源

    2026年11月16日 00:00

    大模型智能 2026-11-16 00:00 吉林

    模型不会失去数学和编程等通用能力。

    图片

    大模型智能|分享

    来源 | 机器之心

    随着 Fable 和 GPT-6 Astra 相继问世,具身智能领域受到巨大冲击,甚至掀起了一股「通用大模型能搞定机器人一切」的热潮。

    开发者们争相将这两个模型接入机器人,尝试完成各种复杂任务。但随着探索深入,模型规模庞大的问题也逐渐显现:高昂的推理成本、难以满足实时控制需求的响应延迟,以及端侧算力、功耗和散热限制,都让这些强大的模型难以直接落地。

    如何让通用大模型能够让机器人用得起、跑得动,成了新的难题。

    但这一切都将开始改变。MIT 韩松团队公布了机器人后训练项目 PEAR (Post-training Engine for Agentic Robotics),把一个 27B 参数的千问模型接上一台真实的双臂机器人。

    让我们看两个实机演示效果。研究者给它一张梵高《星空》,它在白板上用夹爪画出了线稿。桌上摆碘水、酚酞、乙醇三瓶试剂,问它怎么验证溶液是否呈碱性,它挑了酚酞滴进去,溶液变粉。

    图片

    图片

    PEAR 基于开源的 Qwen3.8-27B,不需要一帧人类遥操演示,不需要一条真机数据,只在仿真环境里做强化学习。训完之后直接拉到一台它从未见过的双臂 YAM 真机上,30 次测试成功 18 次,而训练前是 0 次。通用性更强,执行指令的能力也比 π0.5 要好。在 LIBERO 模式下,它的表现几乎可以与 Astra Max 相媲美。

    在 RTX 5090 显卡上,它的运行速度可以达到 220 以上 tok/s 的水平,完全可以本地运行。

    值得注意的一点是,它相比 Qwen3.8-27B 在 AIME、GPQA、LiveCodeBench 等九项通用 benchmark 上的分数几乎不变,模型不会失去数学和编程等通用能力。

    图片

    01

    用电脑的方式,就是用机械臂的方式

    这很巧妙,机械臂的操作本质上和电脑的操作很相似,只不过是二维与三维的区别。

    智能体的 Computer Use 干了什么?看一张截图,思维链里想「保存按钮在右上角」,吐出 click (812, 431),操作系统挪鼠标。

    PEAR 对机械臂做的是同一件事。每回合输入三路摄像头画面加机械臂当前的关节状态,它在思维链里分析「夹爪在橡皮正上方,把手指降到橡皮两侧」,然后输出一段 JSON,包含末端执行器的下一个目标位姿(x、y、z、roll、pitch、yaw)。逆运动学算出关节角,底层控制器驱动机械臂到位。这一回合连同新拍到的画面一起回填上下文,开启下一回合。

    图片

    机器人操作智能体拾取橡皮擦的最后三轮交互过程,上方展示了计算机操作智能体作为对比。

    每一轮中,机器人操作智能体都会观察摄像头画面和机械臂状态,通过思维链进行推理,并输出末端执行器的下一个目标位姿。随后,逆运动学算法和机械臂控制器驱动机械臂完成动作,该轮交互记录也会被加入上下文,供下一轮决策使用。

    从头到尾没有感知模块、没有抓取规划器、没有技能库。定位物体、规划路径、判断上一步的偏差,全是模型自己从相机画面中完成的。这套训练方案叫 Robot-Use RL,和前沿模型学会使用电脑的逻辑一模一样。

    02

    具身上逼近 GPT-6 Astra 的小模型

    LIBERO 是机器人操控领域的经典 benchmark,包含四个子套件(Goal、Spatial、Object、Long),合计 2000 个评测 episode。

    Qwen3.8-27B 零样本只有 1.6%,经过 RL 训练后的 PEAR 达到 74.4%。同场的闭源旗舰:GPT-6 Astra medium 档 49.3%,max 档 76.2%;GPT-6.1 Sol medium 档 48.1%,max 档 80.6%。PEAR 用的是 xhigh 档。

    图片

    左图:LIBERO 任务成功率。 右图:强化学习(RL)训练过程中,每一步训练采样轨迹(rollout)的成功率。 

    LIBERO 原版上,π0.5 跑出 96.9%,PEAR 74.4%,看起来差距明显。但研究者引入了两个扰动版本 LIBERO-Plus 和 LIBERO-Pro,结果就完全不同了。

    图片

    模型在 LIBERO 及其两个扰动版本上的任务成功率(%),两种策略均基于 LIBERO 训练。

    LIBERO-Plus 主要扰动观测条件(相机角度、光照、背景、传感器噪声),两个模型下降幅度接近,LIBERO-Pro 则直接改变了任务目标和物体布局。看两种关键扰动:

    • 任务替换。场景、物体、初始状态均一致,只替换指令。训练时指令为「把碗放到盘子上」,评测时改成「把碗放到炉灶上」。π0.5 从 96.9% 坠到 0.75%,掉 96.2 分。PEAR 从 74.4% 降到 57.4%,掉 17 分。

    • 布局替换。指令不变,物体位置对调,完成同一句指令需要走不同的运动路径。π0.5 跌到 20.8%,掉 76.1 分。PEAR 落到 57.5%,掉 16.9 分。

    图片

    π0.5 在另外两种扰动(改写指令措辞、替换物体外观)上仍然领先,因为这两种情况下正确的运动轨迹没变。π0.5 记住了训练时见过的运动模式,模式适用就高分,模式失效就完全失败;PEAR 保留了基础模型的指令理解和视觉感知能力,RL 教它根据当前画面和指令重新生成位姿。一个在模仿,一个在推理,任务条件一变,差别巨大。

    03

    纯仿真训练

    PEAR 的训练流程全程在仿真中完成,没有碰过任何真实机器人数据。迁移测试从三个维度展开。

    图片

    新任务。模型在 LIBERO-Goal、Spatial、Object 上训练后,零样本在 LIBERO-Long 上拿到 39.0%(底座 0.4%),在一个长程任务套件上从几乎零能力跳到接近四成。

    新机器人、新仿真器。RoboDojo 是一个完全不同的仿真环境,机械臂从 LIBERO 的单臂 Franka 换成双臂 ARX。PEAR 只在 LIBERO 上训练,没碰过 RoboDojo 或 ARX,直接在 general_pickup 上拿到 39.9%,底座是 10.7%,近四倍的提升。

    新 benchmark。第三个仿真评测平台 RoboLab-120,包含 120 个桌面任务,三个难度级别,每个任务 10 次评测。PEAR(在 LIBERO + RoboDojo 上训练后)跑出 37.3%,底座 5.4%。作为对比,RoboLab 排行榜上的通才机器人策略成绩如下:NVIDIA Cosmos3-Nano-Policy 36.8%、π0.5 28.0%、DreamZero 25.7%、GR00T N1.6 7.2%。PEAR 和 Cosmos3 几乎打平,高于其余三家。

    真机。在 LIBERO + RoboDojo 都完成训练过后,研究者把模型拉到一台双臂 YAM 真机上。这台机器人在训练中从未出现,从仿真器到机械臂型号到物理环境全是陌生的。

    30 次测试分两组。Align blocks 组用三角尺把三个积木摆成直线,5 个场景各 2 次,共 10 次。General pickup 组抓取 10 种物体(绳子、螺丝、遥控器、毛绒乌龟、网球、订书机、洗洁精、喷雾罐、气泵、刷子),每种 2 次,共 20 次。

    图片

    底座模型 Qwen3.8-27B 在真机上完全失败,成绩为 0/30。只在 LIBERO 上训过的中间检查点获得 7/30 的成绩。完整版能够达到 18/30,成功率 60%。

    04

    完全保留模型通用能力

    通过强化学习学了机器人操控之后,原来的推理、编程、视觉能力还在吗?

    图片

    PEAR 与基础模型在相同问题上的表现对比。圆点表示得分变化,线段表示配对比较的 95% 置信区间。

    从上述评测结果可以看出,模型依然保留了强大的通用能力:在 AIME 2026 数学竞赛测试中得分 98.5,GPQA Diamond 科学知识测试中得分 89.7,LiveCodeBench 代码能力测试中得分 88.4。在所有视觉基准测试中,其得分与基础模型的差距均不超过 2 分。

    这意味着,同一个模型如今既能进行推理、编写代码、回答图像相关问题,也能操控真实机器人。

    05

    一张 RTX 5090 跑 220 token/s

    每步动作之前都要走一遍思维链,解码速度直接决定机械臂的响应节奏。

    推理栈的配置是 NVFP4 权重量化(NVIDIA ModelOpt)加 Inco AI 的 DFlash2 drafter(平均接受长度 3.2 token)。在不同硬件上的解码速度:

    • Apple M5 Max(Inco Splash 引擎):52 tok/s

    • 单张 RTX 5090(megakernel):221 tok/s

    • 单张 GB300(megakernel):747 tok/s

    以 GB300 为例,xhigh 档一回合思考约 4.3 秒,low 档约 1.1 秒。模型训练时只用了 xhigh 档,但推理时 effort 仍然可调。low 档思考 token 约 0.86k(xhigh 约 3.23k),LIBERO 成功率从 74.4% 掉到 21.9%,成功率和思考量基本成正比。

    图片

    一个带思维链的 27B 机器人模型在一张消费级 GPU 上就能实时驱动机械臂,这件事的实用意义可能比 60% 的真机成功率本身还大。

    PEAR 验证了一条值得关注的技术路线:当基础模型的推理能力足够强,仿真环境中的强化学习就有可能教会它操控真实机械臂,无需额外构建复杂的感知管线、技能库,也不必依赖大量遥操作数据。

    更重要的是,PEAR 在展示通用模型具身操作潜力的同时,也进一步降低了实现这种能力所需的模型规模和算力门槛。

    过去,行业往往将更强的机器人智能寄托于更大的模型、更多的数据和更昂贵的算力。PEAR 则提供了另一种可能:机器人未必需要一个专门训练的庞大「大脑」,也有机会通过相对轻量的通用模型,获得足够实用的操作能力。

    当然,距离复杂、开放的真实物理环境还有很长的路要走。但至少,PEAR 让行业看到,通向通用机器人智能的道路,或许比想象中更加多元,也更加经济。

    更多信息,请参考原论文。

    图片

    技术交流群邀请函

    图片

    图片

    图片

    图片

    △长按添加小助手

    扫描二维码添加小助手微信

    请备注:姓名-学校/公司-研究方向-城市

    (如:小夏-浙大-大模型-杭州)

    即可申请加入深度学习/机器学习等技术交流群

    —完—

    图片

    跳转微信打开

    踢开具身Scaling的另一扇门:华为诺亚团队登顶Behavior Challenge 2026

    2026年11月15日 00:00

    大模型智能 2026-11-15 00:00 吉林

    经典机器人方法,如何走向可扩展的知识体系?

    图片

    大模型智能|分享

    来源 | 机器之心

    华为诺亚具身智能团队 The North Star 凭借 HiPhys-RSI 方案,在 BEHAVIOR-1K Challenge 2026 国际具身智能挑战赛中从全球 57 支参赛团队中脱颖而出,以绝对优势夺得冠军,在覆盖 100 项家庭任务的隐藏测试中取得约 0.683 的 Q-score 和 48.2% 的完整任务成功率。

    本届赛事为第二届挑战赛,依托斯坦福大学李飞飞团队开发的 BEHAVIOR-1K 基准平台,与机器人领域顶级会议 CoRL 2026(11 月 9 日至 12 日)联动开展,围绕整理、清洁等真实家庭需求,综合评测机器人的高层推理、跨房间导航与双臂精细操作能力。

    李飞飞本人也在社交媒体发帖称,机器人学习正在取得令人瞩目的进展,并邀请更多研究者关注 CoRL 2026 的 BEHAVIOR Challenge。

    图片

    图片

    与去年相比,2026 年挑战赛在多个维度实现显著跃升:基准规模扩大 2 倍(任务从 50 项增至 100 项、场景从 3 个增至 7 个),参与度提升 3 倍(参赛者从 96 人增至 265 人、参赛提交从 18 份增至 57 份)。同时,最佳完整任务成功率从 12% 提升至 48%,达到上一届的 4 倍。

    作为检验具身智能系统综合能力的高门槛 “试金石”,BEHAVIOR-1K 聚焦长时序任务,与侧重场景泛化的 Robodojo 并列 T0 级具身智能榜单。相较于短时抓取和单一技能评测,该挑战要求机器人依靠机载视觉、深度及本体感知信息,在数分钟级长时序任务中连续完成多物体交互、状态变化处理与多技能协同,对任务规划、感知与动作协同及执行稳定性提出严苛要求。

    图片

    12 个任务成功 rollout。

    要应对这类长时序、多技能协同的复杂挑战,当前业界仍主要沿用 AI 领域最熟悉的 Scaling 路径,即更大的模型、更多的数据、更高的计算投入。

    AI 发展中还有另一条能力增长路径:积累知识、规则和操作流程,让系统掌握可推理、组合和执行的方法。早期符号 AI 长期探索这一路径,机器人领域也积累了丰富的感知、规划与控制工具。

    当大模型已经能够编写程序、使用工具,并根据执行结果修改方案,这两条路径之间,是否出现了新的连接?

    团队在冠军方案技术报告《Scaling by Structure: What Forms Can Scaling Take in Embodied AI?》中,提出了一个更广义的 Scaling 问题:具身智能能否通过构建和改进结构化、可执行的知识与技能,持续扩展能力?

    图片

    这项工作将可执行程序及其背后的工具、约束和经验,作为能力积累的载体。编程智能体构建、检验和改进这些结构,机器人通过它们完成任务,产生的轨迹又支持视觉 — 语言 — 动作模型(VLA)训练。

    让 “系统掌握了多少可执行技能”,也成为具身智能能力增长的一个维度。

    01

    经典机器人方法,如何走向可扩展的知识体系?

    机器人领域已经拥有大量有效方法。几何推理处理空间关系和碰撞,SLAM 支持定位与建图,任务与运动规划连接逻辑决策和动作可行性,反馈控制不断纠正执行误差。

    这些方法各有适用条件。用于不同任务和环境时,需要组织信息流、连接模块接口、设计操作顺序,并根据物体几何和场景约束调整策略。场景变化后,原有流程可能需要新的抓取方式、动作顺序或恢复机制。

    这也构成了结构化机器人系统扩展能力时的关键瓶颈:随着任务增加,构建和维护解决方案所需的人工投入也在增长。

    编程智能体提供了自动化承担其中一部分工作的可能。它可以读取执行日志、分析视频、定位失败、修改工具与程序,再运行验证。有效的改进被保留下来,成为后续任务可以调用和调整的知识。

    由此,泛化也多了一层含义:系统可以利用已有工具和经验,为新任务构建、适配解决方案。

    这种能力的扩展潜力,既取决于覆盖的任务数量,也取决于每增加一项任务所需的工程与交互成本。报告通过实验考察了这两方面。

    02

    HiPhys-RSI:把交互经验变成可执行结构

    团队提出 Hierarchical Physical Recursive Self-Improvemen (HiPhys-RSI),即分层物理递归自我改进框架。它以参数冻结的编程智能体及视觉语言模型(VLM)为基础,在训练实例中构建并改进自主执行的机器人流水线。

    图片

    图 1|HiPhys-RSI 总体框架。智能体通过任务体验、程序构建、执行分析和迭代改进积累可执行知识;推理时根据任务条件选择已有流水线或 VLA 策略。(报告图 1)

    首先,智能体阅读任务说明与参考示范,并通过工具调用获得交互经验:哪些操作有效,步骤之间有哪些依赖,什么样的观测能够说明任务取得进展。

    随后,这些经验被组织成程序。感知输出如何用于规划、控制器何时执行、失败后如何处理,都通过明确的信息流和条件逻辑连接起来。构建完成的流水线可以根据自身的检查和分支逻辑自主执行。

    执行结果再进入下一轮分析。日志说明程序调用了什么,视频揭示物理世界实际发生了什么:轨迹执行完毕,物体是否真的移动到位?抓取指令返回成功,物体是否仍然留在桌面?智能体结合这些证据,定位需要修改的模块和策略。

    改进既可以发生在高层的工具选择、步骤编排和恢复逻辑,也可以深入到底层工具实现。构建阶段还可以引入人工纠正,为复杂问题提供指导。经过验证的程序与经验被保留,并能够作为后续任务的可复用组件。

    同一案例的真实迭代记录,包含失败现象、修改内容和再次执行结果;注明人工参与环节。

    在这一过程中,编程智能体和 VLM 的参数保持冻结,改进存储在可执行程序和结构化知识中。最终系统通过能力卡记录各流水线和 VLA 的适用条件、历史表现及已知困难,在推理时选择合适的执行组件。

    从工具,到流程,再到可以复用和组合的流程,结构化知识得以逐层积累。

    03

    100 项家庭任务,比较两种能力增长方式

    团队在 BEHAVIOR-1K 的复杂家庭仿真环境中研究这条路径。评测覆盖 100 项任务、八类能力,涉及移动取物、摆放与分类、精细操作、工具使用、倾倒、设备操作以及物体加工。

    这些任务需要持续协调感知、决策和动作。找到目标后能否接近,抓稳物体后能否搬运,完成一步后能否继续下一步,都会影响最终结果。

    团队以 2025 年 BEHAVIOR Challenge 冠军方案为基础,适配并比较三组 VLA 设置:在全部 100 项任务的示范数据上联合训练一个 epoch(Meta-1-Epoch);从该检查点出发进行逐任务后训练(Per-Task Post-Training);以及在相同的全任务示范数据上联合训练两个 epoch(Meta-2-Epochs)。一个 epoch 指完整遍历一轮训练数据。

    逐任务后训练将基准示范与程序生成的轨迹混合,为每项任务训练独立策略,并引入深度、相对机器人位置的几何信息等三维输入。因此,其效果同时涉及任务适配、数据补充与表征变化。三组 VLA 既作为单独执行任务的对照,也作为最终系统推理时可选择的策略。

    图片

    图 2|三组 VLA 与 HiPhys-RSI 的 100 项任务表现对比。每根径向柱代表一项任务得分;A–H 依次对应移动取物、一般摆放、匹配放置、精细操作、工具使用、倾倒、设备操作和物体加工。(技术报告图 2)

    在报告的实验中,HiPhys-RSI 最终混合系统在几乎所有任务上取得了高于所比较 VLA 方案的得分,优势覆盖全部八类任务。

    不同 VLA 设置体现了训练方式的作用。在当前配置下,额外一个 epoch 的全任务联合训练带来的增益相对有限;逐任务后训练提高了部分任务表现,但各类别的能力强弱分布总体仍然保留。这些结果反映的是本次实验条件下各配置的表现。

    结构化系统则通过显式分工处理这些任务要求:感知与建图模块提供场景信息,程序组织任务逻辑和约束,专门的规划与控制方法完成动作。编程智能体根据反馈调整它们的组合与实现,使已有机器人知识能够适应更多任务条件。

    实验将 Scaling 的讨论扩展到整个系统:训练如何增加策略能力,结构又如何组织和扩展已有能力。

    04

    结构如何 Scale:从能力组合,到策略发现

    最终得分之外,一个更关键的问题是:结构化知识的增长过程是什么样的?

    图片

    图 3|流水线改进过程。左:整体任务得分随迭代变化;中:各任务需要的迭代次数;右:不同技能在流水线中的使用频率。(报告图 3)

    报告中的曲线呈现出三个阶段:早期快速提升,随后进入平台期,再通过持续探索取得一定增益。

    早期增长主要来自能力组合。许多问题可以通过修正工具配置、执行顺序和模块协同解决。原本已经具备的能力被有效组织起来,系统便能覆盖大量任务。

    当这些问题逐渐解决,剩余任务需要更深入的策略探索。继续调整原有方案的参数,收益可能已经有限;新的进展开始依赖不同的接触方式、准备动作和操作顺序。部分后期增益来自发现参考示范中没有出现的、更稳定的操作办法。

    Task 38,优先提供原策略与改进策略的真实对照,突出接触方式、准备动作和操作顺序的变化。

    平台期因此可能标志着改进方式的变化:从把已有能力接好,走向探索新的解法。

    结构化 Scaling 因而同时涉及通用能力的复用,以及特殊瓶颈的突破。覆盖更多困难任务所需的投入,可能比任务数量增长得更快,如何分配改进预算也随之成为重要问题。

    05

    结构能否迁移,进一步改进又受什么限制?

    隐藏评测检验程序能否迁移到开发之外的新实例。多数任务的 Q-score 有所下降,其中大部分降幅低于 0.2;部分任务保持相近表现或取得更高得分,体现出一定的跨实例迁移能力。这里考察的是已知任务在不同初始条件下的表现。

    图片

    图 4|隐藏评测与此前报告的 Q-score 之差(Qhidden − Qreported)。每根柱对应一项任务;正值表示隐藏评测得分更高,负值表示下降。(技术报告图 5)

    较大的降幅主要出现在依赖目标搜索的任务中。物体初始位置变化、遮挡和难以接近的区域,都可能显著增加搜索与操作成本。部分任务的评分条件较少,甚至采用二元评分,单个条件未满足就会造成较大的得分变化;每项任务仅有 10 个测试实例,也带来一定采样波动。

    失败模式揭示了进一步改进的瓶颈。在 VLA 基线的失败类型排序中,抓取与放置位居前列;HiPhys-RSI 中排在前列的则是抓取与超时,放置、关节物体操作和物体掉落的排序相对靠后。

    图片

    图 5|失败模式对比。柱内数字表示该模式在各方法中的频次排名。抓取仍是共同难点,HiPhys-RSI 中超时和导航问题也较突出。各类别并非互斥,同一次执行可能出现多个失败模式。(技术报告图 6)

    目标藏在不可见的位置,或者通道与操作空间过于狭窄时,反复搜索和规划会持续消耗执行预算。代码改进仍然受到当前感知能力、搜索策略、物理可达性和执行时间的限制。这说明,结构的积累可以解决许多协调与执行问题,而持续增长也需要进一步改善这些底层能力与环境交互方式。

    06

    新的操作策略,怎样成为系统知识?

    具体案例展示了结构化知识的内容。通过智能体提出方案与人工引导改进,系统形成了一些适应不同任务的操作方式。

    图片

    图 6|程序构建与改进中形成的操作策略。上排:木头支撑几何调整、喷壶预处理;中排:锅沿抓取、扫描仪操作与移动;下排:借助盒子支撑纸袋、从车斗前沿搬运独轮车。木头任务也用于后文的评测漏洞分析。(技术报告图 7)

    锅柄难以接近时,机器人抓住近侧锅沿,保持锅体水平,再将其搬到炉灶上。独轮车把手被阻挡时,机器人从车轮一侧接近,以双手抓住前部车斗边缘完成搬运。

    喷壶直立时难以抓取和启动,系统先改变其姿态,再从更合适的方向操作。外卖打包时,机器人先将空纸袋立在盒子里,再放入汉堡,利用环境支撑降低操作难度。扫描仪则可以先在桌面上启动,再根据位置条件选择推移或抓取搬运。

    Task 81 & Task 92,展示准备动作、操作顺序与最终效果。

    这些经验包含接触点选择、物体状态调整、环境支撑利用和动作顺序安排。它们被写进程序后,可以在自主执行中再次使用。

    更广的策略,也会暴露任务评分中的缺口。在堆木头任务中,系统将木头组成独立的配对,满足了接触条件,却没有形成预期的木堆,是较典型的评测漏洞利用。另一个案例是在冰箱内直接切食物:它获得部分分数,却未完成后续转移目标,其行为既可能是有效中间步骤,也可能停留在获取容易分数的阶段。

    图片

    图 7|策略探索暴露的评测问题。左:用独立木头配对满足接触条件;右:在冰箱内切食物获得部分分数,但未完成后续目标。(技术报告图 8)

    这些观察也推动了对评测的反思:成功条件需要准确表达任务意图,同时保留合法替代方案的空间。系统能否自行判断阶段进展与任务完成,以及判断的准确性和时延,也值得作为独立能力进行评估。

    07

    让结构化经验与模型训练连接起来

    程序改进产生的经验,还可以通过执行轨迹进入模型训练。

    团队将流水线生成的观察 — 动作序列与基准示范混合,用于逐任务 VLA 后训练。程序探索中形成的操作方式与协调经验,由此成为学习策略可以利用的数据;训练得到的策略又与已有流水线一起,参与推理时的选择。

    这为结构与策略的进一步协同演化提供了基础:更强的策略可以扩展后续系统构建时可用的能力,持续改进的流水线则可以继续产生训练经验。这种双向过程仍是值得深入探索的后续方向。

    这份技术报告进一步提出:具身智能的能力增长,能够以多少种形式发生?

    模型训练让经验进入参数,程序构建让经验成为可执行知识。编程智能体连接二者,使机器人领域积累的工具和方法能够通过自动化构建、验证与复用,服务于更广泛的任务。

    Scaling by Structure 所探索的,正是这一维度:通过持续积累和改进结构化、可执行的知识,扩展整个具身系统的能力。

    核心相关技术

    [1] Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Ran Qi, Yixin Xiao, Mark Coates, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. RoboHarness: Memory-Driven Orchestration of Heterogeneous Robot Policies for Long-Horizon Planning. arXiv:2607.18060, 2026. ECCV 2026 Agent in the World Workshop Best Paper Award.

    [2] Ran Qi, Yixin Xiao, Dawei Wang, Zhiyuan Li, Jinbang Huang, Xuan Zhao, Yintao Ma, Yangzheng Wu, Tongtong Cao, and Yingxue Zhang. RoboCoEvo: Expanding Robot Capabilities through Agent–Policy Co-Evolution. 2026. Preprint.

    [3] Liheng Ma, Rui Heng Yang, Amin Abyaneh, George Z. Xue, Behnam Rahmati, Mateo Clemente, Ziwen Hu, Anlin Chen, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. Faster-WAM: Do World Action Models Need Deep Action Modules? arXiv:2608.02365, 2026.

    [4] Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Zhanguang Zhang, Mark Coates, Xingyue Quan, and Yingxue Zhang. Self-CriTeach: LLM Self-Teaching and Self-Critiquing for Improving Robotic Planning via Automated Domain Generation. International Conference on Machine Learning (ICML), 2026.

    [5] Jinbang Huang, Yuanzhao Hu, Zhiyuan Li, Ran Qi, Yixin Xiao, Yangzheng Wu, Tengyue Ba, Zhanguang Zhang, and Yingxue Zhang. StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation. arXiv:2609.20791, 2026.

    相关链接

    图片

    技术交流群邀请函

    图片

    图片

    图片

    图片

    △长按添加小助手

    扫描二维码添加小助手微信

    请备注:姓名-学校/公司-研究方向-城市

    (如:小夏-浙大-大模型-杭州)

    即可申请加入深度学习/机器学习等技术交流群

    —完—

    图片

    跳转微信打开

    DeepInfer 后,社区推理框架何去何从?

    2026年11月14日 00:00

    大模型智能 2026-11-14 00:00 吉林

    DeepSeek开源DeepInfer后,vLLM与SGLang迅速追平性能。开源推理框架的竞争,正从Kernel优化转向多模型、多硬件适配,以及KV缓存、P/D分离与服务编排。未来,社区框架的核心价值究竟在哪里?

    图片

    大模型智能|分享

    来源 | 青稞AI

    作者 | 刘景初

    10 月 20 日,DeepSeek 开源了线上服务用的推理框架 DeepInfer,它的技术设计我在《技术设计解读》[1]里分析过。不出意料,其他开源推理框架快速跟进。之后一周,vLLM 和 SGLang 密集提了一批 PR,也各自发了博客,称已经追上 DeepInfer 的性能。追上性能之后,更大的问题是:这些开源框架何去何从?

    01

    DeepInfer 发布前的开源推理系统进展

    9 月 10 日 V4.1 发布时,DeepSeek 开源的是模型权重和参考推理脚本。HuggingFace 权重仓库里带了一份 PyTorch 参考实现,覆盖 SWA 加压缩稀疏 attention、Engram、MoE、mHC 和 DSpark 的前向。

    模型的部署说明里还提出了 SWA bounded replay 的思路,但没有给实现。同期也有一批 kernel 开源(如下)。但推理系统则是空白,给了 vLLM 和 SGLang 大显身手的空间。

    组件

    日期

    内容

    V4.1-Flash 权重

    9-10

    权重和 inference/ 参考实现;10-17 又发了 1017 版权重

    FlashMLA

    9-10

    V4.1 的 SM100 稀疏 prefill / decode kernel,以及 Q-norm、RoPE、attention、输出 RoPE、FP8 转换融合在一起的 kernel(框架里叫 MegaAttention);9-30 加了昇腾 950 版本,同时去掉了 Hopper 支持

    DeepGEMM

    9-10

    Sparse Indexer、Mega Gate、Mega mHC;Mega MoE 是 4 月就开源的,9-30 加了 locality-aware 版本和昇腾版本

    DeepSelect

    9-10

    新仓库,indexer 和采样用的 TopK kernel

    DeepEP

    9-29

    V2.5:拆分 EP / Engram / PP buffer,加冗余专家权重预取原语。V2 是 4 月发的

    deepseek-recipe

    9-10

    新仓库,API 请求格式转换、V4.1 prompt 渲染和输出解析;0.2.0 在 10-19 发布

    站在 9 月 10 日这个时间点上,开源推理框架的系统层主要有这些工作需要补全:调度、P/D 分离、KV 传输、专家负载均衡、多机部署。两家各自动手补齐:

    环节

    vLLM

    SGLang

    SWA bounded replay

    encoder 侧 #56227、decoder 侧 #58132,重放层分段进 CUDA graph #59532,再裁掉第 20 层多余计算 #59894。自报 prefill 计算时间降 30%~40%

    day-0 即支持两侧重放;10 月接进 breakable prefill graph #43736、DP attention #43812 和 P/D 两种角色 #45035。8×H200 上 prefill 吞吐 1.56 倍

    P/D 分离与 KV 传输

    NIXL 把 packed MLA 行注册为单一 region #61074;整行传输 #61121(open),每次传输的描述符从 11,118 个降到约 440 个;KV 已带窗口时跳过重放 #59197

    DSpark 的 P/D #38949;decode 节点 DP attention #40177,prefill 节点 CP #40323;Mooncake 之外放行 NIXL #43734;prefill 完成后再分配 decode KV #40703

    大 EP 与负载均衡

    DeepEP V2 默认走 hybrid 模式 #57991;DSpark draft 模型支持 EPLB #57549;用对称内存迁移专家权重,并把副本映射融合进 MegaMoE #62009(open),DEP32 负载均衡度从 0.35 提到 0.94

    DP attention 与 MegaMoE 打通 #43228;修复 MegaMoE 开 EPLB 后的精度问题 #44847,GSM8K 从 72.5% 回到 97.0%;共享专家融合进 MegaMoE #44837

    调度与同步

    DP 元数据同步改为低延迟 CPU all-reduce #61767,16 rank 时 p50 从 5.4 ms 降到 0.55 ms;限制每步新发起的异步 KV 加载数 #61725(open)

    HiCache 多级 KV 缓存;router 支持 V4.1 渲染和按缓存路由 #40532;prefill graph 支持任意长度,32 万 token 冷 prefill 从 6.6 s 降到 4.2 s #43733

    硬件覆盖

    recipe 覆盖 H200、GB200、GB300、MI350X;GB300 上 DEP4 prefill 加 DEP16 decode 的 P/D 配置(recipes#1137)

    day-0 覆盖 B200、B300、GB300、H200、MI350X;Hopper 专门优化 #41251,8×H200 每卡输出吞吐 2.1~2.3 倍

    vLLM和sglang两家的工作重心有差别。

    • • vLLM 在 9 月先把 bounded replay 和 W4A8 MoE 路径做完,10 月集中在多机:KV 传输、DP 同步、专家权重迁移,都是规模上去以后才出现的瓶颈。

    • • SGLang 在 day-0 就带着 P/D、HiCache 和多种硬件,10 月的工作是把 bounded replay、MegaMoE、DP attention 和 P/D 互相接通,并在 Hopper 这类官方 kernel 不再覆盖的平台上自己补路径。

    到 10 月 19 日,两家已经在 GB300 NVL72 上跑通了 P/D 分离加大 EP 的部署,并公开了一批测试结果。

    框架

    部署

    每卡吞吐 @ 每用户 P90

    来源与状态

    vLLM

    GB300,7 个 DEP2 prefill + 1 个 DEP16 decode,NIXL,并发 4800

    516K tok/s @ 153 tok/s

    #61725,open,开发树

    SGLang

    GB300 单节点 DEP2,并发 128

    284K tok/s @ 91 tok/s

    InferenceX #4033,10-16 合入

    SGLang

    GB300 NVL72,2P5D(14 卡),Mooncake + HiCache,并发 240

    104K tok/s @ 193 tok/s,缓存命中 96.7%

    InferenceX #3860,本地测试,未合入

    SGLang

    GB300,6 个 DEP2 prefill + 1 个 DEP16 decode,8 节点,并发 2884

    数值只在 InferenceX 看板上

    InferenceX #4180,10-19 合入

    注:负载都是 SemiAnalysis 的 AgentX 多轮 agentic trace,吞吐包含缓存命中的输入 token,所以每卡 tok/s 数值很大。

    单看 decode,vLLM 在 GB300 NVL72 上用 DEP32、每 rank 128 个请求,加上 EPLB 后单个 decode 实例的输出达到 897K tok/s,MegaMoE 耗时从 14.65 ms 降到 7.63 ms(#62009[2],open)。

    这些数字里规模最大的几组还在 PR 里,没有进稳定版,但部署形态已经齐了:官方 kernel 在下面支撑,P/D 分离、KV 传输、DP attention 加大 EP、专家负载均衡由框架自己实现,可以部署在整机柜上。DeepInfer 开源时,两家已经在部署优化上走了挺远。

    02

    社区开源框架从 DeepInfer 吸收了什么?

    DeepInfer 用到的 kernel 在 9 月已经开源,两家也早已接入,所以开源后能从它身上拿到的新东西集中在 kernel 以外:数据格式的定义、调度规则、部署运维的做法,以及少量算子融合的细节。

    10 月 20 日到 27 日,两家在描述里明确引用 DeepInfer 源码或文档的 PR 和提案如下,除 SGLang #46163 外都还没有合入。

    参照的 DeepInfer 部分

    框架 PR

    做了什么

    自报效果

    KV 格式定义 V41_FORMAT

    SGLang #45851(10-22)

    在 SM120(RTX 50、RTX PRO、DGX Spark)上启用 V4.1 的 KV 格式

    压缩 KV 每 token 584 B 降到 288 B;decode attention 单次 16.1 µs 降到 10.0 µs

    prefill 调度器的上下文总长上限

    vLLM #63035(10-22)

    每个 prefill 步除了限制新 token 数,还限制这些 chunk 要读的上下文总长

    针对 B200 DEP4 上单个 rank 的 prefill 步超过 10 s、其他 rank 空等的问题;未给吞吐数据

    重放规则 clip_prefix

    vLLM #62817(10-21)

    离 prompt 末尾较远的 prefill chunk 只重放 1 行

    124K prompt 的单请求 TTFT 降 2.4%

    部署文档里的 decode 缩容流程

    vLLM #63702(10-26)

    要下线的引擎把未完成的请求连同 KV 交给其他引擎继续解码

    接手引擎的首 token 中位数 104~405 ms,不用整段重算

    DSpark 运行时代价反馈

    SGLang #45536(10-21)

    用实测的步耗时在线修正投机验证的代价表

    作者未声称加速,GSM8K 不变

    跨层运行时 CrossLayerRuntime

    vLLM #63293(10-23)

    同一个索引源层的稀疏索引只构建一次,后面的层复用

    索引构建 kernel 快 3.6~4.5 倍;未给端到端数据

    mHC 与 MoE 之间的 buffer 边界

    SGLang #46163、#46056(10-23)

    mHC 直接把 FP8 激活写进 MegaMoE 的输入 buffer,省掉每层一次量化

    decode 每步省 0.02~0.05 ms;prefill 提升 0.1%

    DSpark 置信度头的融合 kernel

    vLLM #62840(10-21)

    四次小 kernel 合成一个 TileLang kernel,权重保留 FP32

    kernel 快 1.9 倍,TPOT 提升不到 0.05%

    Engram 表放 host 加异步预取

    SGLang #45777(10-22)

    提案,跨层提前取 Engram 行,和计算重叠

    尚无代码

    按收益看,这些工作分成三类。

    第一类是格式对齐。

    V4.1 的 KV 格式在 checkpoint 自带的参考实现里就有,DeepInfer 的 V41_FORMAT 给了一份生产实现可以互相印证。SGLang 原来只在 SM100 上用这套格式,其他 Blackwell 卡一直走 V4 的旧格式。

    改过来以后压缩 KV 体积减半,attention 快约 40%,误差也更小。这一类改动量小、收益直接,前提是有一份权威的格式定义可以对照。

    第二类是调度和部署规则,也是开源后增加最多的一类。

    按上下文总长限制 prefill 步、远离末尾的 chunk 少做重放、decode 缩容时把 KV 交给其他引擎、按实测耗时修正投机验证的代价,这些规则写在 DeepInfer 的调度器代码和部署文档 inference_deployment_qa.md 里,之前的 kernel 开源和论文都没有给出。

    它们对应的问题只在大规模线上服务时才明显:单个 rank 卡住整个 DP 组、长尾请求占着整个 decode 实例不能下线、负载变化后离线代价表失准。现有 PR 的自报收益不大,有的还没测,但补的是框架以前没有参照的部分。

    第三类是算子融合的细节,收益最小。

    mHC 直写 MegaMoE buffer、置信度头融合,单个 kernel 能快一倍,摊到每步只有零点几个百分点,因为大头的融合在 DeepSeek 9 月开源的 Mega 系列 kernel 里已经做完了。

    作者在 PR 里也说明,价值主要在减少 kernel 启动和 CUDA graph 节点数。

    此外,SGLang 在 10 月 20 日到 24 日把 chat 模板、输出解析和原生端点都改成调用 DeepSeek 官方的 deepseek-recipe 0.2.0(#45315[3]、#45907[4]、#46219[5]),删掉了自己维护的编码实现。这一项参照的是 DeepSeek 单独发布的库,不来自 DeepInfer,方向相同:模型相关的定义以官方实现为准,框架不再各自维护一份。

    开源一周后,两家从 DeepInfer 里拿走的主要是格式定义和线上调度规则,kernel 层面没有新东西可拿。

    03

    在一个模型厂具有顶尖部署工程能力的世界,社区部署框架的价值?

    DeepInfer 的 README 把开源范围写得很清楚:支持的模型只有 DeepSeek-V4.1-Flash,硬件只有 NVIDIA SM100 和昇腾 950;完整服务还需要的 KV 缓存系统、VE/P/D 分离和跨 DP 副本的负载均衡,这次都没有包含。它是一台为一个模型、一种机柜级部署形态调好的引擎。vLLM 和 SGLang 的覆盖范围正好相反,下表按 README 列出的几项对照。

    范围

    DeepInfer 开源版

    vLLM

    SGLang

    模型

    V4.1-Flash

    覆盖主流开源模型,V4.1 是其中一个

    硬件

    SM100、昇腾 950

    H200、GB200、GB300、MI350X;昇腾走 vllm-ascend

    B200、B300、GB300、H200、MI350X;SM120 在补(#45851)

    KV 缓存系统

    未包含

    CPU 与文件系统 KV offload、Mooncake 连接器

    HiCache 三级缓存,L3 接 Mooncake

    P/D 分离

    未包含(引擎侧功能大部分已实现)

    NIXL 传输,配合 Dynamo 编排

    Mooncake、NIXL、MoRI 三种传输

    跨副本负载均衡

    未包含

    交给 Dynamo、llm-d 等外部编排层

    自带 router,按前缀缓存路由

    开源后社区往 DeepInfer 仓库提的 PR,也集中在这张表的空白处。仓库开源 11 天收到 211 个 PR,207 个来自外部贡献者,到 10 月 27 日合入 2 个,一个是 DeepEP 版本更新,一个是环境变量校验。

    还开着的 PR 里,有 Hopper 移植(#92[6]、#148[7]、#180[8])、AMD ROCm 后端(#201[9])、Trainium、MLX、RTX 5090、昇腾 910B,也有 Mooncake 的 KV 传输和 L3 缓存(#214[10]、#216[11])、host 前缀缓存和跨机 P/D 服务。

    社区在做的,是把 DeepInfer 往通用框架的方向补,补的内容 vLLM 和 SGLang 大多已经有了。编排层也在找接入点:llm-d 在开源当天开了 #2892[12],讨论把 DeepInfer 的 DSpark 和 bounded replay 与自己的路由编排结合。

    这些空白里,硬件覆盖对开源框架的要求最高。DeepSeek 的 V4.1 kernel 主要针对 SM100,FlashMLA 在 9 月 30 日去掉了 Hopper 支持,其他平台要靠框架自己写。

    SGLang 社区有人在 8×H20-3e 上对比了 SGLang 和 DeepInfer 的社区 Hopper 移植版(#46310[13]):8K、16K 输入时 SGLang 输出吞吐高 19% 和 6%,32K、64K 时低 16% 和 26%。

    差距主要来自 indexer 打分:SGLang 的 SM90 路径对整个可见前缀打分,64K 时每轮 decode 耗时 9.4 ms,移植版只对候选块打分,耗时 1.0 ms。官方 kernel 覆盖不到的平台上,算子层的工作还要框架自己做,开源框架在这些平台上仍要继续投入 kernel。

    04

    结论

    回到开头的问题。DeepInfer 开源前一个多月,vLLM 和 SGLang 已经接入 DeepSeek 开源的 kernel,自己补齐了 bounded replay、P/D 分离、KV 传输和大 EP 负载均衡,在 GB300 NVL72 上跑到了和 DeepInfer 同一水平。所以开源后的性能对比里,两家能很快拿出追平的数字。

    开源之后,两家的工作分成两个方向。

    一是读 DeepInfer 的源码,吸收它在格式定义和线上调度规则上的做法:KV 格式对齐、prefill 步按上下文总长限流、decode 缩容时迁移 KV、投机验证的代价在线校正。这些经验在 kernel 开源和论文里都没有,只有生产系统的代码和部署文档才会写下来。

    二是继续做 DeepInfer 不覆盖的部分:多模型、多硬件,以及 KV 缓存、P/D 编排、跨副本路由这一层服务系统。社区往 DeepInfer 仓库提的 PR,补的也是同一批空白。

    开源框架的方向和开源前一致,多出来的是一份可以逐行对照的生产实现。以前要从论文和 kernel 倒推 DeepSeek 的系统怎么搭,现在可以直接对照源码,算子和调度层的差距会收敛得更快,框架之间的差别会更多落在硬件覆盖和服务层的完整度上。

    对使用者来说,在 SM100 机柜上部署 V4.1-Flash,可以直接参考 DeepInfer;要同时服务多个模型、使用 Hopper 或 AMD 等其他硬件,或者需要缓存和 P/D 编排的,仍然以 vLLM 和 SGLang 为主。

    DeepInfer 是一个模型、一种部署形态的参考实现,也是开源框架的催化剂;

    多模型、多硬件,以及缓存、分离、路由这一层服务系统,是开源框架的主战场。

    两者从不同角度,给开源生态提供着生命力。

    05

    参考资料

    DeepSeek 开源组件

    • • DeepInfer[14](README 中的开源范围与支持硬件,inference_deployment_qa.md[15])

    • • DeepSeek-V4.1-Flash 权重与 inference 参考实现[16]

    • • FlashMLA[17]、DeepGEMM[18]、DeepEP[19]、DeepSelect[20]、deepseek-recipe[21]

    vLLM

    • • 5x Agentic Throughput Since Day 0[22](2026-10-07)

    • • vLLM Matches DeepInfer and Scales to GB300 NVL72[23](2026-10-23)

    • • DeepSeek V4.1 tracking issue #57448[24]

    • • Release v0.30.0[25]、v0.31.0[26]、v0.32.0[27]

    • • V4.1-Flash 部署 recipe[28]

    SGLang

    • • DeepSeek-V4.1 Day-0 Support[29](2026-09-09)

    • • LMSYS:DeepSeek-V4.1 技术解读[30](2026-09-10)

    • • V4.1-Flash kernel 优化[31](2026-09-10)

    • • More Than DeepInfer: What SGLang Delivers[32](2026-10-24)

    • • DeepSeek V4.1 Optimization roadmap #42170[33]

    • • Release v0.5.21[34]、v0.5.22[35]

    • • 8×H20-3e 上 SGLang 与 DeepInfer SM90 移植版的对比 #46310[13]

    测试与编排

    • • SemiAnalysis InferenceX[36](PR #3860[37]、#4033[38]、#4180[39])

    • • llm-d #2892:Explore DeepInfer integration[12]

    引用链接

    [1] 《技术设计解读》: https://zhuanlan.zhihu.com/p/2097053615471051266
    [2]#62009: https://github.com/vllm-project/vllm/pull/62009
    [3]#45315: https://github.com/sgl-project/sglang/pull/45315
    [4]#45907: https://github.com/sgl-project/sglang/pull/45907
    [5]#46219: https://github.com/sgl-project/sglang/pull/46219
    [6]#92: https://github.com/deepseek-ai/DeepInfer/pull/92
    [7]#148: https://github.com/deepseek-ai/DeepInfer/pull/148
    [8]#180: https://github.com/deepseek-ai/DeepInfer/pull/180
    [9]#201: https://github.com/deepseek-ai/DeepInfer/pull/201
    [10]#214: https://github.com/deepseek-ai/DeepInfer/pull/214
    [11]#216: https://github.com/deepseek-ai/DeepInfer/pull/216
    [12]#2892: https://github.com/llm-d/llm-d/issues/2892
    [13]#46310: https://github.com/sgl-project/sglang/issues/46310
    [14] DeepInfer: https://github.com/deepseek-ai/DeepInfer
    [15] inference_deployment_qa.md: https://github.com/deepseek-ai/DeepInfer/blob/main/doc/inference_deployment_qa.md
    [16] DeepSeek-V4.1-Flash 权重与 inference 参考实现: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
    [17] FlashMLA: https://github.com/deepseek-ai/FlashMLA
    [18] DeepGEMM: https://github.com/deepseek-ai/DeepGEMM
    [19] DeepEP: https://github.com/deepseek-ai/DeepEP
    [20] DeepSelect: https://github.com/deepseek-ai/DeepSelect
    [21] deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe
    [22] 5x Agentic Throughput Since Day 0: https://vllm.ai/blog/2026-10-07-deepseek-v41-flash
    [23] vLLM Matches DeepInfer and Scales to GB300 NVL72: https://vllm.ai/blog/2026-10-23-deepseek-v41-flash-pd-wide-ep
    [24] DeepSeek V4.1 tracking issue #57448: https://github.com/vllm-project/vllm/issues/57448
    [25] v0.30.0: https://github.com/vllm-project/vllm/releases/tag/v0.30.0
    [26] v0.31.0: https://github.com/vllm-project/vllm/releases/tag/v0.31.0
    [27] v0.32.0: https://github.com/vllm-project/vllm/releases/tag/v0.32.0
    [28] V4.1-Flash 部署 recipe: https://github.com/vllm-project/recipes/blob/main/models/deepseek-ai/DeepSeek-V4.1-Flash.yaml
    [29] DeepSeek-V4.1 Day-0 Support: https://www.sglang.io/blog/deepseek-v4.1-day0-support
    [30] LMSYS:DeepSeek-V4.1 技术解读: https://www.lmsys.org/blog/2026-09-10-deepseek-v41
    [31] V4.1-Flash kernel 优化: https://www.sglang.io/blog/deepseek-v4.1-flash-kernel-optimization
    [32] More Than DeepInfer: What SGLang Delivers: https://www.lmsys.org/blog/2026-10-24-dsv41-deepinfer/
    [33] DeepSeek V4.1 Optimization roadmap #42170: https://github.com/sgl-project/sglang/issues/42170
    [34] v0.5.21: https://github.com/sgl-project/sglang/releases/tag/v0.5.21
    [35] v0.5.22: https://github.com/sgl-project/sglang/releases/tag/v0.5.22
    [36] SemiAnalysis InferenceX: https://github.com/SemiAnalysisAI/InferenceX
    [37]#3860: https://github.com/SemiAnalysisAI/InferenceX/pull/3860
    [38]#4033: https://github.com/SemiAnalysisAI/InferenceX/pull/4033
    [39]#4180: https://github.com/SemiAnalysisAI/InferenceX/pull/4180

    图片

    技术交流群邀请函

    图片

    图片

    图片

    图片

    △长按添加小助手

    扫描二维码添加小助手微信

    请备注:姓名-学校/公司-研究方向-城市

    (如:小夏-浙大-大模型-杭州)

    即可申请加入深度学习/机器学习等技术交流群

    —完—

    图片

    跳转微信打开

    多模态“源神”!MiniMax开源SOTA生图模型,原生4K,一张两毛

    2026年11月13日 00:00

    大模型智能 2026-11-13 00:00 吉林

    一键生成CAD

    图片

    大模型智能|分享

    来源 | 量子位

    作者 | Jay

    坏,真让MiniMax给多模态玩明白了😭。

    继开源视频旗舰H3广受好评后,最新的图像模型——H3-Image,再次席卷全网。

    热度最高的是「CAD拆解」,丢一张参考图,H3-Image能给你小手办直接开盒了。。。

    image.png

    还有给宇树机器狗CAD了的。

    0d3379de-90c3-4e18-b30e-484d4906dc4f.png

    总之就是万物可拆解,还能给你把零件标好。

    我自己也实测了一下,你还别说,真有点东西啊……

    image.png

    除此之外,海外网友测下来,其他类型的复杂生图任务也是能Handle住的,比如——游戏。

    bdef3e73-158a-5364-aa82-e2718717a410.jpg

    这这这,你不说,我还以为是GPT编程做出来的呢😭。

    如果只是做点电商用的简单资产,就更轻松了。

    ada8f369-7278-4ed9-bcd5-b0c01c76e9fb.png

    但我没想到的是,这家伙居然是个文理双全??

    保证智商的前提下,H3-Image的审美,也有点东西。

    image.png

    对了,还有件事。

    这种质量的图像生成模型,你跟我说居然是开源的???

    那还说啥了。

    我宣布,MiniMax就是多模态领域的「源神」(bushi)。

    01

    告别塑料「美商」

    过去我们一提到AI生图,脑子里第一个反应:油光满面,皮肤光滑得像剥了壳的鸡蛋,眼神呆滞,伪人感极重。

    总之就是一股浓浓的「AI味」。

    GPT Image 2在这方面进步非常大,但用多了后,恐怖谷效应依然涌上心头。

    这次的H3-Image,我感觉,应该是基本解决这个问题了。

    生成完我都懵了,不是兄弟,这谁看得出来是AI啊??

    最重要的是人脸,毛孔、雀斑、甚至绒毛都给你画出来了。

    此外,像镜子上的水泽和灰尘,闪光灯打在镜头上形成的光晕,这些细节也处理得非常离谱,真就跟小某书首页刷到的一样。

    image(裁剪)

    即便从仰视角度也能看出不少面部细节,就比如下面这张桌子即ins照片的时尚杂志封面,你仔细看人物的眼神,和微妙的面部肌肉牵引,都是非常符合现实社交逻辑的。

    8b4a9df4-546d-43db-8d4a-fe48454fcf52.png

    这也是我测H3-Image时最大的一个感受,很多我丢给老模型做过的提示词,H3-Image都能给出全新诠释。

    确实世界知识比较丰富。

    至于人脸之外的主体,就更是手拿把掐了。

    比如,把里约热内卢的城市地标,做成一个立体纸雕风格的旅行手帐。

    微缩景观、光影厚度,hmm,总感觉有股Fable 5宣传片的味道。

    f7c0d7ec-cebb-495e-9878-81775777e4ca.png

    而且果然又露出了小鸡脚!

    你看左下角这手,看到没,它给大拇指关节附近加了几颗痣!!

    放大看根本不会露馅,手指上的皮肤纹理、关节褶皱,甚至指甲边缘的自然光泽与质感,都还原得一清二楚。

    e35105b6-c4f4-4b54-bbb3-de25b0752123.png

    有意思。

    我觉得,H3-Image之所以AI味这么少,可能很大程度上就取决于这些刻意为之的「瑕疵」。

    任何人类主观创造的作品,必然充斥着随机性,过分追求完美反而不符合人类大脑接收信息的习惯。

    但这也不禁让我有点发怵。

    我一直固执地以为,审美不是机器能学会的东西。

    现在看来,似乎只要能把其中的Trick摸清楚,很多人类引以为傲的品质,可能真的没那么神秘……

    再给大家看个demo吧,我拿H3-Image搓了个法国旅游海报。

    咋说呢,我真不太好意思评价,鄙人的艺术素养已经完全看不出来门道了。

    唉。

    9ad1d8a9-f9ad-4693-bf44-e120dfd963d7.png

    02

    SOTA级智力

    还是整点我自己能搞得明白的任务。

    就多模态模型而言,我一直有两个评判标准——美商和智商。

    美商就是上面测的,比较玄乎,只能聊聊主观感受。

    但智商就可以说道说道了。

    比如H3-Image就有一项非常特殊的技能点——世界理解能力。

    你可以拿它生成CAD图纸。

    是的,就是你给它一张产品的外观图,它能自动推演出标准的正交三视图——

    正视图、侧视图、俯视图,一个不差。

    家人们,我瘫软了😭😭。

    cff9a348-bf77-4117-af66-b00696257192.png

    de460963-085b-4439-b196-def531140cf3.png

    这还不算完。

    除了CAD外,你还能让这个模型「爆炸」开。

    让H3-Image画个机械拆解的爆炸图,它能精准遵循机械的装配逻辑,把零件给你分层清晰地炸开,甚至连组件引线都给你标上。

    这背后,无疑需要对三维几何、空间关系的深刻理解。

    8e633cf4-29bb-49aa-a6be-9f268f89b75b.png

    当然,对于这类功能属性明显的图片,指令遵循能力也是非常重要的,光「画」其实难度不是很大,主要是考验模型规划、推理的能力。

    不然的话,根本搞不明白用户一大堆提示词说的是些啥。

    13356cf7-b1ae-4fbc-ad80-61e788407ad0.png

    当然了,真要打严肃生产力场景的话,标准肯定是要拉很高的,商业用途必须准确传达信息。

    所以除空间理解外,文本排版这个维度,也非常重要。

    所以呢,我又干了这么一件事——

    生成了一张高数期末考卷。

    十多秒就生成出来了。

    极限符号、复杂积分式……这种高密度的学术排版,居然一个字符都没乱码。

    281ff602-f4d6-40c8-b010-d02261ff3c42.png

    想必是太简单了,所以我又想出一个天才提示词:

    完成这份试卷。

    打开一看,我仿佛看到椅子爆炸——

    什么叫图像生成模型的微积分水平比我强???

    凭借鄙人勉强结业的高数知识储备,我大概看了一下,发现答案居然是对的,还有解题步骤!??

    0818d818-7df4-45e1-a3ee-9bdc4ffabc61.png

    一时间无语凝噎。

    当然,老本行,资产生成也不能少。

    现在不是流行Coding吃掉一切吗,Astra降维3D,Opus 5.5降维视频。

    但我一直觉得,很多都是宣传口径,这些跟文本八杆子打不着的任务,我干嘛要用文本模型?

    只能说确实纯文本领域资源多,发展比较快就是了。

    从第一性原理出发,我还是比较相信垂直模型这条路,各领域训各自的,天花板会更高,成本也更现实。

    而且像H3-Image这种垂直模型,本身就是天选专精啊,完全不矛盾,非常适合接入Harness,让Agent直接Tool Call。

    这也是最近开始出现的趋势吧,不一定非得单个模型降维一切,通过通用模型去串联各个垂直模型,总效用更高。

    如果光是生成用来展示的资产的话,比如下面这种恐龙玩具,垂直图像模型明显是更优解,没必要Computer Use半天。

    毕竟如今的图像模型,光影、几何等基本物理常识已经不再是问题。

    6ec7e3b1-f91a-46d0-9ba1-640b4d079b4d.png

    小零食啥的也是没问题,且看我如何让中国辣条走向全球。

    f3d000a1-7bb2-4b4a-a63a-e59082d5970c.png

    甚至3D游戏画面也能生成,倒反天罡了属于是😭。

    一段长文本的战术指令下去——什么掩体、火力压制、侧翼包抄,它能立刻给你构建出一个具有真实纵深感和合理遮挡关系的3D战斗场景。

    严密遵循游戏术语,几乎可以直接用到概念设计里。

    9e392cd7-c4b6-40ef-907e-b76d2eabce65.png

    这我还蹬个啥Astra Ultra啊,反正都是看个demo,生成几张图片不就完事了。

    (bushi)

    03

    多模态「源神」

    基本上就这些,除此之外呢,作为一个旗舰图像模型,H3-Image还放出了一些小福利。

    最重要的,H3-Image直接把分辨率干到了16MP(4096×4096像素),也就是原生4K。

    泪目了家人们,我终于不用GPT生完图后,又丢给Nano Banana优化半天了🥹。

    而且4K生成也巨快,这么大的图,我用网页端体感就10-20秒。

    虽然但是,谁不想在等GPT磨洋工的时候,美美来上一把贪吃蛇呢(bushi)。

    70d01a98-9856-4d75-af6f-3fdc6bd9339b.png

    扯远了。

    除了这些,H3还有一个比较特别的参数——

    支持最多16张参考图输入。

    就能装巨多,完美主义者福音,在角色一致性、复杂分镜连续性上,给了创作者前所未有的自由。

    4K日常创作,真正普及了。

    结果就是,你可以随手扔几张参考图,再喝口水……

    b109a512-9ced-4b5e-a275-ed3a9d059f1e.png

    就能拿到这种质量的装修效果图。

    这还要啥Blender啊😭。

    658a2f43-85f2-403c-b3ef-816e66b8af9f.png

    6fc1afd9-3fdd-45e3-a987-40151c519468.png

    但我万万没想到的是。

    H3-Image,竟然是开源的???

    继之前开源SOTA级视频模型H3之后,MiniMax再次出手,又给全球开发者送上了一个可自由定制的SOTA底座。

    多模态源神,不必多言。

    当然了,就算你没心思折腾部署,API调用也是白菜价。

    只有主流竞品的50%到70%,首周16MP请求还能再打五折(站起来蹬啊兄弟们!!)。

    original.png

    测到这,我突然有种预感——

    多模态生成,可能正在迎来属于自己的Coding时刻。

    过去AI生图在商业端常常「沦为玩具」,主要就是因为细节经不起推敲、塑料感太严重了,谁是甲方看到都不乐意啊。

    但如今,H3-Image做到了三件事——

    去AI味、可泛化的审美、逻辑。

    当这些条件被满足,多模态的应用市场,绝对不逊色于编程。

    从高精度工业包装设计、商业插画,到多语言的跨境营销物料,图像模型的出现,能大幅压缩传统工作流的周期。

    再叠加上刚刚说的这些buff:速度+开源+低价……

    这会是个怎样的未来,难以想象。

    f1217405-f940-481e-a3fd-f3b36ad5ff29.png

    但最后,咱们还是把视线移回如今的AI圈吧。

    当全球AI公司的目光几乎全部聚焦于纯文本时,MiniMax,仍然把很大一部分精力放在多模态世界。

    这也是这家公司一直以来的特点了,从一开始就押注多模态,如今终于迎来涌现。

    都说多模态对AGI不重要,Coding才有商业模式……

    但我一直觉得,如果AI的定义只容得下文本,这个未来,未免也太无趣了。

    从改写视频生成格局的H3,到如今在逻辑、结构与审美上全面突破的H3-Image。

    国产开源这把野火,彻底开始向多模态领域——

    蔓延。

    图片

    技术交流群邀请函

    图片

    图片

    图片

    图片

    △长按添加小助手

    扫描二维码添加小助手微信

    请备注:姓名-学校/公司-研究方向-城市

    (如:小夏-浙大-大模型-杭州)

    即可申请加入深度学习/机器学习等技术交流群

    —完—

    图片

    跳转微信打开

    Anthropic最新长文:请谨慎使用子智能体!

    2026年11月12日 10:09

    Datawhale 2026-11-12 10:09 吉林

    以下文章来源于:Datawhale

    Datawhale

    一个专注于AI领域的开源组织,汇聚了众多优秀学习者,使命-for the learner,和学习者一起成长。

    Datawhale干货 深度复盘:Anthropic 企业级实践很多团队在搭建企业级 Agent,甚至在使用

     Datawhale干货 

    深度复盘:Anthropic 企业级实践

    很多团队在搭建企业级 Agent,甚至在使用 Claude Code时,都习惯按业务或部门拆出一大堆“专家子 Agent”。

    动辄十几个甚至上百个子 Agent 层层嵌套,觉得这样才算架构清晰。

    但就在最近,Anthropic 官方却给这股热潮泼了一盆冷水,甚至开始下场“劝退”了。

    Anthropic Applied AI 团队在对比了多个企业级 Agent 部署后发现:配备了 Skills 的「单 Agent」,在输出质量上往往优于复杂的「子 Agent」架构,且单任务的成本和延迟也更低。

    这篇文章给出了非常具体的架构判断与迁移方法:你可以按“上下文独立性”决定子 Agent 的去留,将提示词和 API 转化为 Skills 与工具,把合适的子 Agent 逐步并回主循环,最后用端到端评测确保迁移的稳定性。

    子 Agent、Skills 和提示词各自该承担多少工作?这套方法能帮你彻底想清楚。接下来,我们就从多 Agent 架构为什么会变复杂说起。

    一、多 Agent 架构为什么变复杂,何时可以简化

    最近,一些企业将 Agent 架构中的路由器、规划器和各领域子 Agent 并回「主 Agent 循环」后,取得了显著收益。相比于「一个超长提示词包揽一切」或「复杂的多 Agent 架构」,单 Agent + Skills 的模式表现出了极大的优势。

    在此之前,我们经常看到企业的 Agent 设计沿着熟悉的路径层层叠加:先放意图分类器,再接固定的多步推理流程,然后按用户分群设置不同路径,分出独立的推荐分支,最后在最顶层加一个多 Agent 编排器。例如,某家公司的客服 Agent 内部竟然塞了 12 个专家子 Agent,这不仅导致品牌调性难以统一,还大幅增加了延迟,严重损害了用户体验。

    这类设计得到的反馈往往是:绝大部分架构都在替模型做“不再必要”的工作。 如今,一个清晰的系统提示词、4 至 5 个轻量数据工具和严格的输出限制,就能覆盖大部分用例。

    很多企业之所以按团队或问题类型分别设置子 Agent,其实是让技术架构照搬了公司的组织架构图——这正是“康威定律”的体现。

    Image

    当然,子 Agent 并非毫无价值。但只有满足以下任一条件时,才建议保留子 Agent:

    1. 上下文膨胀导致性能下降:单个 Agent 循环因上下文过长,出现了可测量的性能衰退。

    2. 高并发且上下文独立:多个任务需要并行处理,且每个任务只需要一个用完即弃的全新上下文窗口。

    3. 工具过载或指令冲突:单个 Agent 难以在海量工具中做出正确选择,或者系统提示词中的指令开始相互打架。

    如果不满足以上三点,盲目在大型组织中推行多 Agent,往往会陷入以下五大常见失败模式:

    • 上下文丢失:你需要决定 Agent 之间交换哪些信息,细节往往在来回传递中丢失。

    • 子 Agent 泛滥:每个团队都交付自己的子 Agent,最后衍生出上百个彼此重叠的子 Agent,既无统一标准,也无明确负责人。

    • 拼接提示词冲突:每个团队都在系统提示词里添上一句,最终规则相互冲突,整体口吻极其割裂。

    • 评测局部化:各团队只围绕各自的子任务过度优化。完整评测集无人维护,管理层看到的分数被局部任务稀释,无法反映真实的端到端表现。

    • 高昂的延迟:多 Agent 的跳转极其耗时。有客户实测对比发现,单 Agent 循环的运行速度约为多 Agent 架构的 2 倍。

    二、解法:在单 Agent 循环中用渐进式披露按需加载

    对于跨团队协作,与其用“编排器 + 子 Agent”来硬性拼凑,往往更有效的做法是回归单 Agent,并采用渐进式披露机制——即通过 Skills 和 Tool Search(工具搜索)按需加载上下文与工具。Agent 一开始只看到简短描述,需要时才加载完整内容。

    这种做法之所以在今天行得通,基于三个核心原因:

    • 共享上下文能带来更好的回答。对长时间运行的 Agent,他们希望来自不同任务的上下文都留在主上下文窗口中。Agent 看过此前每一步的结果,就能把它们联系起来。相比子 Agent 交回的一组摘要,这样可以产出更丰富的内容和更深入的见解。这也意味着上下文窗口更少,有损交接也更少。

    • 渐进式披露可以防止上下文膨胀。团队因此能让一个 Agent 处理多种任务,无须把所有上下文一次性装进冗长的系统提示词。这消除了过去把工作拆给多个子 Agent 的主要原因。Claude Code 团队将 Claude Code 面向更先进模型的系统提示词缩减了 80% 以上(https://claude.dev/blog/the-new-rules-of-context-engineering-for-claude-5-generation-models/),其中包括对 Skills 和工具采用渐进式披露后删掉的内容。

    • 模型能力更强了。从 Opus 4.5 开始,模型在单个循环中能处理的工作已经远超大多数团队的预期。Opus 5.5 和 Fable 5.1 无法关闭思考。近期模型也越来越会在工作过程中说明进展并自我检查,让 harness 中的部分机制变得多余。每一代新模型都让你能把更多决策从 harness 转移给模型本身。更简单的循环也更容易迁移到下一代模型。在他们协助客户完成的迁移中,僵化的多 Agent 结构常常阻碍新模型承担更多工作。

    单 Agent 循环需要细致的设计和维护。系统提示词需要精心管理,Skills 和工具的描述要在合适的时机触发,上下文窗口、记忆和笔记也要妥善处理。后续章节会进一步讨论迁移和设计上需要考虑的问题。

    一个中央团队应负责端到端质量和系统提示词,并审核每个新工具和每套新评测,通过后再上线。中央团队保持精简,有助于快速迭代,降低大型组织内的协调成本。

    如果你选择多 Agent 路线,先从可行的最简模式开始,例如生成器加验证器、编排器加子 Agent,或其他简单结构。

    划分边界时,应按上下文拆分。交给每个子 Agent 的工作应几乎不依赖系统其余部分,并让它返回精简的结果。相互独立的研究路径、接口清晰的独立组件和黑盒验证都是合适的候选。

    如果按问题类型拆分 Agent,它们就会像玩传话游戏一样来回传递信息。每交接一次,信息保真度都会下降。

    Image

    三、理想的单循环设计长什么样?

    许多团队已经在生产环境中运行编排器和一组专家子 Agent。下面是 Applied AI 团队建议逐步演进到的单循环设计。

    • 一个模型和一个上下文窗口运行开放式工具循环,harness 负责设置轮次与成本预算、写操作限制等约束。

    • 每轮,模型发出一批工具调用。harness 并行执行这些调用,并把原始结果返回给同一个模型。模型再决定下一步是继续调用一批工具、向用户提问,还是给出答案。

    • 模型给出答案或触及预算(https://platform.claude.com/docs/en/build-with-claude/task-budgets)时,循环停止。答案生成后,还可以选择运行目标检查或验证器检查。

    • 模型在第一轮把计划写入上下文,并随着结果返回不断修订。这是单循环设计与编排器加专家 Agent 方案的主要区别。写计划和执行计划的是同一个模型,因此它可以在执行中途修改计划。

      • 不再需要由代码根据规则清单改写计划,因为每一步都由模型决定。

      • 执行顺序和领域流程移入 Skills。

      • 硬性限制,包括验证和审批关卡,以及对话中途出现的需求,例如记忆查询,移入工具。

      • 代码仍可用于加载成本低且几乎始终相关的内容,例如实体解析步骤,也可以在循环调用的工具内部处理机械性工作,例如构造请求体、解析数据流,以及在澄清问题后恢复执行。

    • 上下文仍需加载,但改由 Agent 自己管理。

    这种单循环设计也有助于实现许多团队期待的最终形态,让 Agent 理解用户的高层目标并代为行动,因为它积累的所有信息都保留在同一个上下文中。

    四、实战指南:如何分步将子 Agent 并回主循环?

    如果你已经在生产环境中运行着“编排器 + 专家子 Agent”,可以分四个阶段平稳迁移到单 Agent 循环:

    第一步:用任务完成评测判断子 Agent 去留

    第一步是建立一套评测集,帮助你判断某个子 Agent 是否适合并回主 Agent 循环。

    Applied AI 团队见过一种有效的评测结构。中央团队负责一套共享的端到端评测集,各团队则随自己负责的 Skills 提供较小的评测集。即使只有 10 个黄金样例,也足够起步。

    用评分标准给 Agent 的最终回复打分,是追踪回答质量的良好起点。

    保留编排器时,还应追踪路由准确率,确认它是否选对了子 Agent。子 Agent 并回后,则改查 Agent 是否加载了正确的 Skills 或调用了正确的工具。

    逐步转向任务完成评测也很有帮助,因为比较不同架构时,任务是否完成最为重要。

    在内部系统难以重放、用户互动难以模拟的环境中,这项工作会比较复杂。Anthropic 内部有一种行之有效的做法,给重要事件记录时间戳,之后重放这些事件,运行有针对性的评测。

    第二步:先合并紧密耦合的领域 Agent

    向单 Agent 循环演进,要把子 Agent 并回主循环,改用工具和 Skills 承担相应工作。具体可以合并领域子 Agent、把子 Agent 作为工具调用,或用 Skills 和工具替换它们。

    Image

    第一次合并前,先建立一套小型端到端评测集。随后按共享上下文确定并回对象,先处理使用最频繁的子 Agent。

    应当合并那些输出彼此串联、访问同一份数据或经常被一起调用的专家 Agent。

    例如,如果生产流量中有相当一部分都是先调用一个专家 Agent,紧接着调用第二个,那么这两个 Agent 就紧密耦合,可以考虑合并为一个领域 Agent。

    第三步:过渡期,将保留的子 Agent 降级为“工具”

    如果符合上述三个条件之一,因而保留了子 Agent,可以让主 Agent 把它作为工具调用。这样,主 Agent 仍能持续与用户对话。

    只有当子 Agent 需要直接与用户交谈时,他们才建议完整交接,让它接管对话。其他场景都可以由主循环中的 Skills 加工具处理。

    这样,你可以为子 Agent 定义统一的响应结构,让主 Agent 对照真实数据核验结论,并精简最终汇总步骤的输入。

    这是不错的第一步,因为你无须重写子 Agent。在决定把哪些子 Agent 并回主 Agent 之前,你还能先得到任务完成评测的基线。

    不过,以下问题仍然存在。

    • 每个专家 Agent 仍各有提示词、上下文、负责团队和评测集。

    • 每次调用返回的仍是有损摘要。

    • 每次调用仍是一个嵌套的模型循环,会增加延迟。

    第四步:彻底拆解,将子 Agent 转化为 Skills 和工具

    每次只处理一个子 Agent,把它的提示词转成 Skills,把 API 调用转成 MCP 工具,彻底并入主 Agent。分别评测保留子 Agent 和并回后的表现,再决定保留哪一种方案。

    比较时,别只看最终分数,还要看哪些任务的结果发生了翻转。

    他们在一个示例客服 Agent 上测试时发现,把一个子 Agent 并回另一个子 Agent 后,延迟降低了,但一个原本能通过的流程却失败了。主 Agent 持有订单查询工具,没有向配送专家询问送达日期,便自行给出了回答。

    每次改动前,确保评测集覆盖生产环境中会共同运行的每一个 Agent 调用链,也覆盖 Agent 绝不能违反的每一条规则。

    每个任务都要至少运行两次,因为上述问题在两次运行中只出现了一次。

    四、 组织协同:多个团队如何共建一个单 Agent?

    当子 Agent 被拆解后,各业务团队的交付物就从“独立的 Agent”变成了“知识库、Skills 和 MCP 工具”,并统一交由小型中央团队审核上线。这三类资产的维护规范如下:

    MCP 工具(负责执行操作、读取实时数据、返回固定结构)

    当 Agent 需要执行操作、从系统读取实时数据,或按固定结构返回结果时,工具是合适的选择。迁移期间,你也可以继续通过工具调用子 Agent。

    他们建议按用户意图给工具分组,不要每个 API 都配一个工具,因为系统提示词中的工具定义超过 30 至 50 个后,模型往往会更难选对工具。

    使用 tool search 并延迟加载工具。尽量减少硬性前置条件,必须保留的条件放进工具内部。

    例如,Y 依赖 X 的输出时,Y 的工具会检查该输出是否存在,并返回一条模型可据此处理的指令。

    用户级权限也可以这样处理。每个工具检查调用者有权查看什么、执行什么,并在无权操作时返回一句模型能读懂的明确拒绝说明。这样,同一个循环就能服务权限不同的用户,无须为每个权限级别单独设置 Agent。

    Skills(负责承载业务步骤、规则和判断方法,即原专家 Agent 的提示词)

    当 Agent 需要了解团队如何开展工作,例如专家子 Agent 的提示词过去承载的步骤、规则和判断方法时,Skills 是合适的选择。

    Anthropic 扩充 Skills 库的做法,是把维护工作交还给编写 Skills 的人。Claude 可以用 Skills 来构建、测试和精简其他 Skills,承担其中的繁重工作。

    为了避免 Skills 无序扩张,可以让每个团队的直接负责人(DRI)管理各自的 Skills,确保它们设计得当、彼此有明确区分,并附带合适的评测。

    • /skill-creator 可帮助你编写结构规范的新 Skills,也能审查现有 Skills,进行精简、去重和重组。

    • /skill-doctor 可查看 Skills 库中每个条目的成本和实际使用频率,并删除无用条目。

    知识库(负责存放偶尔需要的静态参考资料)

    知识库适合存放 Agent 只偶尔需要的参考资料。政策、指标定义、产品规格等事实性内容和参考资料,可以放在搜索或查询工具后面,由模型按需调用,也可以作为参考文件放进 Skills。尽量避免用代码检索这些内容,再粘贴到提示词中。

    写在最后

    随着模型不断演进,我们对最佳实践的认知也会持续刷新。因此,比起执着于某一种具体架构,背后的工程原则更重要:建立测量基线,每次只改一个变量,只保留经得起评测验证的方案。

    面对多 Agent 架构的简化,完全不必一步到位。

    现在就可以先建一套包含 10 个样例的小型端到端评测集,挑一个最常用的子 Agent 尝试并回主循环。

    只有当并回版本的得分确实更低时,才保留它;否则,就果断用 Skills 和工具取代它。然后,不断重复这一过程。

    图片一起“点赞”三连↓

    跳转微信打开

    李沐:我带着新模型回来了!

    2026年11月11日 00:00

    Datawhale 2026-11-11 00:00 吉林

    以下文章来源于:Datawhale

    Datawhale

    一个专注于AI领域的开源组织,汇聚了众多优秀学习者,使命-for the learner,和学习者一起成长。

    像人、有用、够便宜。

     Datawhale干货 

    最新:李沐,BosonAI联合创始人

    一、沐神回归 B 站了!

    辣个男人终于又带着新模型回小破站讲技术了!

    这次沐神聊的是现在硅谷最火的方向之一:全双工(Full-Duplex)实时多模态交互。

    现在的大模型光会「你一句、我一句」地问答已经不够看了,真正的全双工,是要让 AI 像真人一样持续接收声音和画面,自己还带一张实时生成的脸,一边跟你聊天,一边把交代的任务完成了。

    Image

    先看视频里的两段演示。

    一段是在车里,用户先让 AI 查股市、看看自己正在跑的训练任务,转头就跟快餐店员点餐。点单的时候 AI 安静听着,绝不插嘴;等点完单,它才接上话汇报股价和 GPU 训练进度。到了取餐口,用户突然问:“我刚才点 animal-style 薯条了吗?” AI 马上回答:没有,它听见了刚才的点单。

    Image

    另一段是英语陪练。用户看着照片描述旅行经历,AI 会在计时结束后叫停、指出语法问题;发现用户把“vest”读成了“west”,它还会直接看着用户的嘴型提示,发 v 的时候上牙应该怎么接触下唇。

    一个像真人的模型,沐神觉得有三大要求:像人、有用、够便宜

    真人聊天通常在对方说完 200 毫秒内就能接上话,甚至边听边附和;聊天往往是为了办事;而且如果以后大家每天要跟 AI 聊好几个小时,聊 1 小时的成本,最多不能超过人工时薪的十分之一。

    二、沐神教你手搓全双工大模型

    传统的语音助手大家都很熟:用户开口后,先由 VAD(语音活动检测)判断有没有人说话、有没有说完,接着 ASR 把语音转成文字,大语言模型生成回复,最后交给 TTS 合成声音。

    这套架构的好处是每个模块都能单独升级,但缺点也很明显:模块接得越长,等待就越久。确认说完要等几百毫秒,后面三个环节再串起来跑,延迟很容易落到 1.5 到 2 秒。

    Image

    而且停顿不一定代表说完。比如「我要订一个……去上海的航班」,用户中间只是在想目的地,普通 VAD 一检测到停顿就会抢话;就算换上能判断句意完整度的语义 VAD,后面的模块还是得排队等着。同时,声音里的很多信息也在这个过程里丢了,比如一个人说话的情绪、周围还有没有别人。一旦被 ASR 转成标准文字就全没了,TTS 拿到回复文字,也不知道该用什么语气和节奏读出来。

    所以第一步,就是砍掉中间转文字的环节,做端到端。

    把 ASR 和 TTS 各拆开一次就很容易看懂:ASR 先用编码器把连续语音切成向量,再用解码器转成文字;TTS 则是从文字和参考声音出发生成音频表示(比如团队之前讲过的 Higgs Audio 用的音频 token),再交给音频解码器还原成声波。这当中,ASR 的解码部分和 TTS 处理文字的部分,在架构上本来就和语言模型高度相通。

    既然如此,沐神团队干脆把 ASR 的解码端、TTS 的文字处理端和中间的大模型主干合二为一:输入端只保留语音和视觉编码器,输出端只保留音频和视频解码器。毕竟文本大模型本来就会把输入 token 转成向量再交给主干处理,语音和画面经过编码器后,同样能以向量的形式直接进主干,算完再直接交给另一头的解码器生成声音和表情画面。

    Image

    李沐把这个过程比作说外语。当一门外语足够熟练时,听到问题不需要先在脑子里翻译成母语(中间文字),就能直接用外语组织回答。打通文字、声音和画面的语义联系后,模型不仅能直接利用声学信息控制说话语气,加上网络开销后的延迟也降到了 0.7 到 0.9 秒。

    Image

    但这就引出了新的问题:端到端虽然快了,可系统里依然有 VAD,还是得按「一问一答」的轮次来工作。

    用大模型的 prefill 和 decode 来解释就很清楚:传统设置把处理输入和生成回复分成了两大块,用户说话时模型做 prefill,等用户说完了,模型才进入逐个生成 token 的 decode 阶段。但真实聊天往往是交错的——对方说到一半,人已经开始理解、点头附和,发现需要查东西甚至已经提前动手了。

    怎么打破这种一问一答?团队的做法很直接:不按句子切轮次了,直接把时间切成 160 毫秒的窗口!

    在 Higgs Realtime Duplex 里,模型每 160 毫秒处理一个窗口,接收这段时间里的新信息(语音、画面或工具返回的结果),同时预测下一个 160 毫秒窗口要输出的内容。这里有个容易忽略的细节:用户当前听到的这一小段声音,其实是模型在上一个窗口提前生成好的。模型一边接收现在的输入,一边准备下一个窗口的输出,必须在当前窗口播完前算好下一段,才能把听和说无缝接起来。

    Image

    而且,这一小段输出完全可以是静音。用户连续说话时,模型判断暂时不用开口,就连续几个窗口输出静音保持安静(同时画面还在持续输入,模型一直在看);听了几个窗口觉得该给个反馈,就输出一声「嗯哼」附和;等用户停下来,它已经有了一部分判断,可以马上接话;如果用户中途突然插话,模型在新的窗口收到输入,就立刻调整回答方式,让后面的窗口停下声音。

    听和说能同时进行了,但每个窗口只有 160 毫秒,遇到需要多想一会儿的问题,或者要花几秒钟查资料、订票,怎么保证不冷场?

    团队的办法是,把思考 token 和工具调用也拆开塞进 160 毫秒的时间窗口里:

    • 分段思考:模型不用在一个窗口里把事情全想完,而是在有限的窗口时间里生成一部分思考 token,没想完的放到下一个窗口继续,让思考随着用户的新输入一步步往前推。

    • 异步调工具与分段回复:听用户说到一半发现需要用工具,不用等他说完,直接在当前窗口发起调用让工具在后台跑;返回的长结果也可以分批放进后面的输入窗口。哪怕工具还没跑完,模型也能先根据已经确认的信息说出前半句,等新结果到了再组织后半段。

    • 前端交互 + 后台大模型协同:遇到更复杂的难题,前端模型还可以选择呼叫后台更大、更强的模型来处理,自己继续留在前台陪用户聊天,等结果返回后再接进对话。

    Image

    不过李沐也特别点出了这套设计的边界。他拿 Thinking Machines Lab 的交互模型做了个对比:对方的做法是前端模型只管纯聊天,把所有思考和工具调用全交给后台大模型。那样虽然好训练,但如果每个问题都交出去,后台推理模型动辄算上十来秒,用户每次都得干等,或者只能听前端先说一段没什么信息量的套话,而且每轮都调大模型成本太高。所以 Higgs 的原则很明确:前端主模型自己必须解决绝大部分思考和工具任务,只在真正搞不定时才找后台帮忙。

    架构定下来了,接下来怎么训练前端模型,让它同时学会「什么时候开口」和「怎么调工具办任务」?

    团队试过更大的模型,评测表现确实更好,但实时推理的成本也更高;权衡能力和成本后,他们选了一个 45B 的 MoE 作为前端主模型,训练分三步走:

    首先是 Mid-training。从已经完成文字预训练的模型开始,一边继续喂文字保住原有的理解和推理能力,一边加入大量语音、视频数据(总计约 2 万亿 tokens),把听和看直接练成模型熟悉的「母语」。

    接着是后训练,主要用了两种方法。第一种是基于 GRPO 的强化学习。在实时交互里,一句回复不仅内容要对,接话的时机也得对。团队把模型放进不同的交互和工具环境里生成、探索,用户思考时要能等、需要工具时要及时调,通过环境反馈直接把这些交互行为练出来。

    第二种是多老师同源蒸馏。团队发现,一个 45B 的模型很难同时在所有环境里都学好。这就好比一个徒弟很难同时练好所有功夫,于是他们把相似的环境归成一类,先用强化学习分别训出擅长不同方向的专项模型(比如一个更会把握对话节奏,另一个更擅长调工具做任务),再让这些专项老师一起教同一个学生模型。

    沐神提到,这种方法要求老师和学生有足够的相似性,差别太大反而学不会;而用同一个基底模型分别强化后再做在线蒸馏,就很容易见效。在此之上,团队还加了一轮模拟环境里的自我迭代,在带有真实延迟、抢话重叠和背景噪音的环境里继续打磨。

    Image

    最后还有一个很现实的问题:全双工模式下,哪怕没人说话,模型也在处理每一个窗口,音视频上下文越积越长,怎么才能让人“聊得起”?

    要把每小时的交互成本压到人工时薪的 1/10 以下,就得在 Token 开销上精打细算:

    • 压缩音视频 token:每 160 毫秒的窗口里,音频输入只用 1 个 token 表示(每秒 6.25 个 token),输出对应 2 个音频 token(每秒 12.5 个 token)。视频每一帧占的 token 更多,但聊天时画面通常不会剧烈变化,所以每 6 个窗口才取一帧画面(约每秒看一次,每帧约 12 个 token);数字人输出也是每窗口先输出 2 个 latent 向量,再交给解码器还原画面。算下来,纯音视频流每分钟大概只花 2.6K tokens(加上渐进式压缩后的思考和工具记录,每分钟总共也就 2.6K 到 5K tokens)。

    • 只留 5 分钟完整上下文:面对几个小时的长对话,系统只保留最近 5 分钟 的完整多模态上下文(大约 13K 到 25K tokens),5 分钟之前的内容全部转成文字记录,既留住了近期细节,又不用背着越来越长的音视频历史做推理。

    • Zero-shot 零样本换声换脸:换声音或换人脸都不需要重新训练中间的 45B 主模型,推理时直接把参考声音和人脸图片给到两头的解码器就行。音频端用因果流匹配解码器保持参考声音的特点;视频端则用基于扩散模型的因果 DiT,结合参考图和前两个窗口的 latent 向量生成画面,保证人物外观和动作的连续性。

    Image

    写在最后

    视频最后,李沐放出了团队在交互、理解和工具任务上的评测结果。里面有个很有意思的对比:Higgs 的前端主模型是 45B MoE,而表里的 Thinking Machines Lab Interaction Small 是 276B MoE。参数规模差了大概 6 倍,但各项成绩却有来有回(在 Big Bench Audio 上,Higgs 45B 拿到了 98.9 分,而 276B 的对比模型一旦关掉后台 Agent,分数就会从 96.5 掉到 75.7)。

    李沐的判断很直接:全双工实时交互这个方向还非常早期,数据、架构设计(比如 160 毫秒切片和前端独立思考)以及训练方法对结果的影响很大,单纯把模型做大,未必是现阶段最关键的因素。

    那么,现在可以体验到哪一步?

    目前已经开放 API 的是端到端模型 Higgs Realtime,支持数字人输出;而今天拆解的全双工模型 Higgs Realtime Duplex,在 Boson 官方发布文中已开放候补名单,即将上线。

    想跟着沐神继续扣细节的同学,建议先看原视频里端到端架构合并和 160 毫秒时间轴这两段,再回到车载点单和英语陪练演示,看看模型是怎么接收新信息、决定开口以及处理后台任务的。原视频和官方文档链接放在下面了,别忘了去给沐神一键三连~

      原视频:https://www.bilibili.com/video/BV1LB4a6DEWL/
      官方资料:https://docs.boson.ai/models/higgs-realtime/overview

      图片

      一起“点赞”三连↓

      跳转微信打开

      会做梦的AI,记性反而更好?Anthropic新实验:写了413份笔记的,输给只写9份的

      2026年11月10日 00:00

      大模型智能 2026-11-10 00:00 吉林

      AI记忆的关键不是记,是做梦?

      图片

      大模型智能|分享

      来源 | 机器之心

      有位哲学家说,人这一辈子,很多事只有回头看才看得明白,可日子只能往前过。

      这句话放在人身上是感慨,放在 AI 身上,却是个实打实的工程难题。

      Anthropic 最近发了一篇文章,讲了他们给 Claude 设计记忆系统时踩过的坑和想明白的事。核心结论有点反直觉:想让 AI 记性好,光让它「记笔记」不够,还得让它学会「做梦」。

      这是怎么回事?我们慢慢说。

      先看人脑是怎么记的。

      人在生活里是随时随地在记东西的。这背后有个关键角色叫海马体,它负责在当下捕捉经历,让记忆快速形成、随取随用。但注意,并不是所有经历都会变成长期知识 —— 只有一部分会被「巩固」下来。

      而巩固这件事,大多发生在大脑「离线」的时候。睡着时、安静休息时,海马体会「回放」最近的经历,慢慢把它们提炼、整合进新皮层,那里才是大脑存放「知识」的主仓库。

      智能体的记忆,其实也可以照这个思路分工。

      AI 干活时会留下大量日志和对话记录(transcripts),这相当于海马体的即时捕捉。Letta 和 UC Berkeley 的研究者提出过一个叫「睡眠时计算」(sleep-time compute)的概念:模型在交互间隙的空闲时间里,重新组织已有的上下文。同样的思路可以用来整理记忆,让 AI 在闲下来时反思日志、修正错误、产出新的笔记。这个过程,行业里通常就叫它「做梦」(dreaming)。

      Anthropic 发现,「做梦」是给 Claude 打造有效记忆的一把利器。这篇文章,就是他们围绕智能体记忆做的一系列实验,以及每个组件到底起了什么作用。

      图片

      图片

      文章链接:https://www.anthropic.com/research/components-of-agent-memory

      01

      先定义:什么算「智能体记忆」

      Anthropic 说的「智能体记忆」,特指 Claude 从经验中得来的知识,包括和用户的交互、被分配的任务,以及在不同会话之间保留下来的东西。

      有三种「学习」不算在内:改权重(训练时调好的内部参数)、上下文内学习(单次对话里获得的知识)以及压缩(compaction,Claude 把旧的对话轮次写成摘要,好在新上下文窗口里继续干活)。

      02

      记忆的第一层:随手记笔记

      人脑里,一段经历发生前后释放的化学信号,会给这段记忆打个「重要」的标记。被标记的记忆,在离线时会被更频繁地回放,从而稳定下来、进入长期记忆。

      Claude 也能做类似的事:在会话日志里给显著事件打标签,方便以后查找;或者直接写进记忆库,比如一个放记忆笔记的文件夹。

      但问题来了:事情正在发生的当下,Claude 怎么知道哪件事值得记?它还不知道接下来会发生什么。

      图片

      03

      记忆,其实是对未来的预测

      记忆本质上偶尔是一种预测。写下一条规则,等于在预测这个模式以后还会用上;记下一条验证过的事实,等于在预测未来的自己会想直接用这个事实、不再二次核对。而 Claude 在这类预测上,已经进步了很多。

      Anthropic 用 Continual Learning Bench(CL-Bench)1.0 做了个实验。这个基准测试考察智能体利用记忆完成长程任务的能力。其中一个任务是:Claude 要查数据库回答一系列问题,答完会被告知正确答案,然后可以写一条记忆,帮自己答好后面的问题。

      这里能形成一个学习闭环:答错了,就记录失败、提出「哪里错了」的假设、验证假设、把结论变成一条未来的答题规则。

      实验用的是 Claude Managed Agents。每道题 Claude 都在全新会话里开始,唯一的例外是:它能读取一个跨会话保留的记忆目录。

      不同模型搭学习闭环的能力差别很大:

      • Sonnet 4.6 走到了「提出假设」这一步,但记忆目录里是一堆零散文件,每个文件列着几条没验证过的猜测;

      • Opus 4.7 把笔记整合成了一份参考文档,开始标注哪些事实查过了、哪些还没确认;

      • Sonnet 5 会在评分器批改后把答案标记为「已确认」,答错了就写一条更正;

      • Opus 5 是第一个闭环的模型。它的大多数条目都包含一条规则(以及它怎么知道这条规则是对的)、之前问题的答案,还有一路上发现的坑的明确警告;

      • 到了 Opus 5.5 和 Sonnet 5.5,两个模型都闭了环,用记忆沉淀「怎么答好未来问题」的验证过的规则。带上记忆后,它俩的得分和 Opus 5 大致相当 —— 而且它们不用记忆的基线本来就略高。

      图片

      04

      Claude 学会了判断「什么值得记」

      另一个实验更有意思:让 Claude 玩《宝可梦・红》。这个游戏要导航复杂的长程任务,正好考验 Claude 判断「该往记忆里存什么」的能力。每次开局,模型都会拿到一个可以读写的记忆文件夹。

      对比 Sonnet 3.7 和 Fable 5 各玩到大约一万步时的记忆文件夹,差别非常明显。

      Sonnet 3.7 的假设是「所有东西都可能有用」,于是见啥记啥:每场战斗一个文件、每捡一个道具一个文件、每遇到一个 NPC 一个文件。最后它写了 413 个记忆文件、摊在 225 个文件夹里,只拿到一枚徽章(徽章代表游戏进度)。

      Fable 5 呢?9 个文件、2 个文件夹,外加一个顶层的 global.md,拿了四枚徽章。

      图片

      Sonnet 3.7 的打法为什么不行?因为宝可梦的游戏状态一直在变,它那份详细记录不停地过时。结果就是,越往后玩,Claude 花在翻记忆上的时间和资源越多,正经玩游戏的越少。一万步左右,Sonnet 3.7 开始建第四套「主」记忆文件夹 —— 接下来的 17 步里,它建了六个文件、删了九个,游戏里一步没动。

      Fable 5 的思路是:只记游戏不会直接告诉你的东西。像「玩家有多少钱」「在地图哪个位置」这种信息,每回合屏幕上就有,存下来纯属冗余。而策略、计划、验证过的规则这些东西,Claude 不想明白就不存在,不写下来就会消失。

      所以 Fable 5 是这么组织记忆的:global.md 当仪表盘,放当前目标、打道馆的预写计划、以及它给自己定的记忆使用规则;locations 文件夹放各条路线的导航方案;gameplay 文件夹放它摸出来的游戏机制策略。举个例子,连续七个精灵球没抓到鲤鱼王(最容易抓的宝可梦之一)之后,Claude 写道:「如果连续 3 个球以上失败,改变按键节奏(在菜单步骤之间插入额外的等待)—— 这么做之后立刻抓到了。」

      凭着一个小得多的记忆文件夹,Fable 5 的游戏进度远超 Sonnet 3.7。Opus 5.5 的路子类似:一小叠记忆笔记,追踪当前目标和下一步,边玩边改 —— 最后通关了。

      05

      怎么「指挥」Claude 写记忆

      Anthropic 发现一条规律:告诉 Claude 记忆是干嘛的,有用;告诉它具体怎么用,反而没必要。

      在 CL-Bench 上,他们只是告诉 Claude「有个记忆文件夹可以用」。就这点泛泛的指引,已经够 Opus 4.7 和 Opus 5 把记忆用出效果,性能明显提升。

      他们也试过给模型定具体规矩,一次测一条,对比有没有这条规矩时记忆带来的收益。结果,当规矩是「只记录失败」时,Opus 5 和 Opus 4.7 都丢掉了记忆带来的大部分增益。对更强的模型来说,让它自己判断什么重要,比事先定死规则更有效 —— 规则定不好,反而拖后腿。

      图片

      有意思的是,引导对老模型帮助最大。Sonnet 4.6 经常压根不读记忆目录里的文件,也不去验证自己「答错原因」的假设。给它加一句提示 —— 答题前先读记忆文件、然后明确验证假设 —— 它的基准得分几乎翻倍。而 Sonnet 5 不需要人催:没人提示的情况下,它十次里有九次会主动先读记忆再答题,Sonnet 4.6 做到这一点的次数不到一半。

      所以 Anthropic 现在对前沿 Claude 模型的做法是:给简单的指引 —— 有人让它记、或者有明确值得记的东西时,就建一条记忆笔记 —— 至于具体判断,交给 Claude 自己。

      06

      做梦,可以纠正记忆

      Claude 写记忆,靠的是会话当下对「什么重要」的判断。那么一条从一开始就写错了的笔记、或者随着环境变化慢慢跑偏的笔记,就可能在后来的会话里被 Claude 读出来,并且被信任。

      做梦给了 Claude 一个把笔记和原始记录对照检验的机会。宝可梦实验里就有一个正面案例。

      图片

      游戏里有一段要穿过月见山:一个山洞系统,入口在地图西侧,出口在东侧。入口附近有个陷阱 —— 一个单向下坡,玩家掉下去就回到来时的路,还爬不回来。Claude 一直拿山口的宝可梦中心当路标,所以它会不会掉下那个坡,取决于它以为宝可梦中心在山的哪一边。

      某一刻,Claude(错误地)记下:宝可梦中心在东侧。走出宝可梦中心时,它宣布「月见山在我身后了」,还更新了笔记:「月见山,搞定。」但月见山根本不在它身后。几步之后,它掉下那个坡,回到了来时的路。导航工具没显示这个落差,于是 Claude 得出结论:「我朝西走过头了」—— 自己一直在正确的一边。其实并没有。

      图片

      接着他们测试「做梦」能不能帮 Claude 避开这个坑。他们对那个存着错误位置的记忆文件夹跑了一次「做梦」流程:Claude 拿笔记和会话记录一对照,抓住了错误,重写了笔记。记录在这里扮演了「标准答案」的角色。拿着更正后的笔记,Claude 径直走回月见山,最终抵达了华蓝市。

      而那条用错误笔记的路线里,Claude 三次掉回早先的路上。第三次失败后,它好像放弃了,写道:「我还是停下吧,别再循环了。」实验装置的自动回复让它继续。于是它一路退回山前的尼比市,想去回血补货。这一轮游戏直到结束,Claude 都没能到达华蓝市。

      图片

      07

      做梦,可以搭建新的记忆形态

      有了做梦,Claude 还能搭一些帮自己「逛」记忆的表征。其中一种叫 wiki:一组由 Claude 撰写和维护的页面,把它对某个主题的了解聚拢起来,并链接到其他笔记。这些链接等于给 Claude 画了一张地图,让它在需要时高效定位记忆。

      图片

      他们用一个内部文档语料库做了实验 —— 来自 Stainless(一家他们五月收购的软件公司),大约 35 万个文件、约 4.2 亿 token。他们出了 25 道关于这个语料库的题,给 Claude 配了搜索工具,同时让它基于这些文件用做梦来建 wiki。128 个会话里,Opus 5 智能体们探索文件、撰写或更正互链的 wiki 页面、合并重复页面、拿论断对照原文。每个会话都在前一个的进度上继续,靠共享日志协调。

      做梦的规模从 2 个会话扩到 128 个,25 道题上达成的评分标准比例从 13% 涨到了 48%。

      Claude 建 wiki 是渐进式的:先建个初版,再靠后续一轮轮做梦增补、编辑、修剪。做梦早期,Claude 的知识像新员工,光靠 wiki 答题能力有限;梦做得越多,知识地图越丰富,像老员工。实验还发现,wiki 配上搜索工具时帮助最大:搜索加 wiki,总分从 54% 涨到 61%;只用搜索是 53%;只用 wiki 最好成绩是 48%。而且搜索加 wiki 的组合,每道题还省大约两万个 token。

      图片

      那什么样的任务更吃 wiki 这一套?他们用 Harvey LAB 基准加一批并购文件做了测试:给 Claude 一组文件,让它生成法律简报,再按标准清单打分 —— 没宝可梦好玩,但文档种类多样。

      一个测试问了 24 道关于并购的问题,一半以上需要跨多份文件找信息,很多还要用判断力或算数。在这类题上,查 wiki 的 Claude 拿了 87%,只用搜索的只有 73%。

      图片

      但 wiki 也有不灵的时候。另一个 LAB 任务里,简报的评分点往往能在单一文件里直接搜到,wiki 相对搜索没有明显增益。还有个任务更夸张:wiki 长得比原始文件还大 —— 语料 10 份文档、115KB,wiki 却有 68 页、203KB,是语料的 1.77 倍。就像博尔赫斯那篇一段话的小说《论科学的精确性》里的地图师,画了张和帝国一样大的地图 ——Claude 做了个极度详细的 wiki,实际上什么都没抽象出来。

      图片

      08

      做梦,可以把笔记往记忆层级的顶端送

      做梦还能把笔记「浮」到记忆层级的顶端,由智能体框架在每次会话开始时预先加载进 Claude 的上下文。这意味着 Claude 不用去搜,甚至不用知道「有东西可搜」。

      但把记忆注入新会话(一种上下文注入)得小心:注入的记忆占用宝贵的 token,一条错笔记会被带进每个会话;加载了也不等于 Claude 会照做 ——Claude Code 的文档就警告过,指令文件越长,遵守度越低。所以层级顶端必须保持小而精,做梦在这里的很多工作就是「维持它小」:把细节往下层挪,只留下链接。

      Claude Code 的自动记忆也是这个思路:它不会把整个自动记忆都加载进每个会话,只加载 MEMORY.md 的前 200 行或 25KB。这个开头部分充当索引,告诉 Claude 它知道什么、去哪儿找。

      图片

      09

      做梦,可以让记忆围着目标长

      做梦还能塑造记忆的生长方向。比如像 Claude Duet 这样的助手,记忆围着被帮助的人组织往往更有用,而做梦可以被调成「为特定目标服务」的建记忆模式。

      引导记忆生长的指令因任务而异,它告诉 Claude 什么信息才真正重要。LAB 基准里有个模拟公司收购的任务,给一批合同,简报按是否正确描述合同条款打分。

      一开始,建 wiki 的指令很基础,没告诉 Claude 怎么用 wiki。这个任务重度依赖合同条款,而建 wiki 时,好几个智能体同时往一张共享的合同条款表里写 —— 结果互相覆盖,表总结得不好,还漏条款。用这份 wiki 生成的简报,57 个评分事实只覆盖了 41 个(72%)。

      图片

      合同条款明明是 wiki 里最重要的部分,但指令没说。于是他们跑了一个循环:让 Claude 反思失败、提出指令修改方案、重建 wiki。这个循环让 Claude 自己发现了合同条款的重要性,并相应重写了建 wiki 的指令。

      改完之后:每份合同有自己的页面,由单个智能体撰写,条款逐字引用而不是汇总进共享表。用改进版 wiki 生成的简报,评分标准覆盖率从 72% 升到了 100%。

      10

      做梦,可以补上会话留下的缺口

      Claude 写记忆笔记时,只看得到那一个会话的上下文。做梦则能跨多个会话检索,发现共性模式、纠正共性错误。

      建 LAB 基准的 wiki 时,Claude 有时会链接到还没创建的页面。第二轮做梦补上了不少这类缺口:有个任务里,做梦发现 wiki 里有九个链接指向一个不存在的页面,把它们全部重定向到了同一份文档的现有页面,还顺手加了三个新页面(包括一个索引页),把 wiki 织得更密了。

      图片

      11

      关于智能体记忆系统怎么设计,开放问题还有很多

      一个是什么时候该建记忆。边干活边写,能在源头抓住「什么重要」,让重要细节立刻可用,但记笔记本身会分散 Claude 对主任务的注意力;做梦则把记忆创建推到后台,但做梦的产出不一定能马上被 Claude 用到。

      另一个是怎么让记忆可靠地保鲜。Claude 可能做出错误预测,或者写下一条从一开始就错的规则;记忆也会随环境变化而漂移、失效。做梦是修正手段之一,但它要算力。让 Claude 不停检查所有记忆不现实,也许更该把做梦对准那些容易变的信息,或者精心调节做梦的节奏(比如按记忆被访问的频率)。

      还可以把记录检索当作记忆的地基。表征(如 wiki)加搜索有时确实有效,但维护记忆表征要算力,还得保证它们不累积错误和幻觉。

      即便 Claude 判断「什么重要」的能力进步了,也没有哪个模型真能预知未来。做梦给了 Claude 一个往回看的机会 —— 用算力整理记忆、修正错误、维护表征,让未来的会话更容易取用。记忆系统会随 Claude 的能力一起进化,而怎么设计 Claude 的记忆系统,他们要学的还有很多。

      图片

      技术交流群邀请函

      图片

      图片

      图片

      图片

      △长按添加小助手

      扫描二维码添加小助手微信

      请备注:姓名-学校/公司-研究方向-城市

      (如:小夏-浙大-大模型-杭州)

      即可申请加入深度学习/机器学习等技术交流群

      —完—

      图片

      跳转微信打开

      AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分

      2026年11月9日 00:00

      大模型智能 2026-11-09 00:00 吉林

      图片

      大模型智能|分享

      来源 | 新智元

      编辑 | 摩西

      AI看着自己的脑子改写自己,这一天还是来了!

      7630亿参数的DeepSeek-V4.1-Flash,直接读取了自己做数学题时最深7层的内部激活状态。

      摸清「快要算偏」的信号规律后,它在不改半个权重的前提下,亲手写了一段Python代码塞进推理流程「读脑自救」!

      只要发现思路跑偏就当场回滚重算,在AIME与HMMT 2026数学竞赛上,准确率原地暴涨7个百分点!

      而这,还只是今天刷屏AI圈的DoubleAI重磅研究里的一个切面。

      图片

      这家由Mobileye创始人Amnon Shashua创立的AI机构,首次提出了一个颠覆传统深度学习的新范式——「机制干预」。

      相比以往模型只能在写死的架构里硬调权重,这套方法把编程Agent放进了训练与推理现场。

      在训练中途,哪一层网络卡壳了,Agent就当场写几行Python代码塞进模型主干,实时接管计算!

      靠着这手绝活,预训练模型只塞入20行代码,就在单次前向推理里跑起了梯度下降。

      连塞10层代码后,30种经典算法的准确率更是从55%狂飙到84%!

      研究一经发布,迅速在AI圈引发刷屏热议。

      创始人Amnon Shashua放话,深度学习已经彻底跨过了「只调权重」的旧边界。

      现在,连神经网络架构本身都能在训练中自主进化,人类手搓模型架构的时代翻篇了!

      图片

      联创Gal Beniamini更是感叹,当放手让大模型边训练边改写自己,最后长出来的架构连研究员都觉得不可思议。

      它不再是纯粹的神经网络,而是一半来自训练学出的权重,一半来自半路拼接的Python代码!

      图片

      在进入实验细节之前,我们先来看看这套「机制干预」到底是怎么运作的:

      • 第一步是找瓶颈,Agent实时读取每层网络的梯度信号,揪出靠调权重学不会的短板。

      • 第二步是写代码,Agent现场生成几十个候选Python函数,实测哪段代码最能帮模型降误差。

      • 第三步是热插拔,把胜出代码挂在初始值为0的门控后面并入网络,由后续训练自动把门控推开。

      图片

      01

      塞入20行代码,前向传播跑起梯度下降

      第一组实验从语言模型预训练切入,验证训练中途塞入Python代码,能否帮模型更快压低预测误差。

      在12层模型nanochat的1500步训练中,Agent先后三次出手塞入Python代码层。

      每次代码一并入,模型预测误差(bpb)就随之连降三次!

      图片

      训满1500步后,加代码层的模型相当于白赚了15%的训练进度。

      而打乱逻辑的「假代码对照组」与常规训练完全重合,证明提分全靠AI写出的代码逻辑。

      面对12层网络,Agent之所以能找准往哪一层塞代码,靠的是「幽灵梯度」。

      它假想在某层后加个新模块,测算往哪个方向推能让误差下降最快。

      滤掉常规噪声后,第2层和第4层的高需求热区便清晰显现出来!

      图片

      锁定瓶颈层后,Agent写出几十个候选函数,在单批数据上实测谁最契合第2层的梯度方向。

      图片

      接着,最高分函数挂在初始值为0的门控g后面并入网络。

      刚插入时门控输出为0,原有网络不受影响。

      但短短100步内,梯度下降发现这段代码真能降误差,便自动把门控调整到了0.58!

      图片

      靠着这套流程,Agent在第1000步往末层塞进了一个最惊艳的「错误记忆层」。

      这短短20行代码之所以震撼,是因为它打破了以往「前向只能推理、反向才能改错」的定式!

      不用等反向传播,模型边往后读就能边核对前文答案,当场算出预测误差,找出64个最相似的犯错位置。

      紧接着,它直接在脑子里迈出一步梯度下降,在单次前向传播内实现了边读边纠错!

      图片

      02

      训练半路插代码,比天生自带强17分

      既然Python代码层这么管用,那么从训练第0步就把代码层装进模型行不行呢?

      然而,第二组实验却测出了一个完全反直觉的惊人反转。

      团队把模型的记忆窗口锁死在500词以内,考它能不能找回几千词之前的变量赋值。

      同时,Agent写了一个能跨窗口查字典的「代码缓存层」,分三种时机装入模型:

      • 常规训练基线,超出500词窗口的变量全部忘光,召回率考0%。

      • 第0步天生自带组,开训前就装好代码缓存层,召回率停在55%。

      • 第1200步半路插入组,先练1200步再半路塞入同一个缓存层,召回率冲上72%!

      图片

      同样的Python代码层,训到半路才插进去,竟然比天生自带高出整整17个百分点!

      这个反转揭开了深层原因,如果开训第一天就给现成的代码捷径,神经网络就会「偷懒」依赖外部字典,不去打磨底层表征。

      相反,先强迫模型在500词限制下把基础表征练扎实,撞上天花板后再接上Python代码,神经权重与符号代码才能发挥最大合力!

      03

      连塞10层代码,填平算法0分盲区

      验证了「半路插入」的优势后,第三组实验挑战30种经典计算机算法,检验连塞10层代码能带来什么质变。

      传统Transformer学算法有个致命盲区,测试一旦遇上训练跳过的「中间长度」,准确率就会崩盘。

      在下图中,常规训练(灰线)碰到未见的中间长度瞬间掉到0%,接入代码层后(橙线)则稳居高位!

      图片

      从总分看,常规模型哪怕训满20000步,30种算法总准确率也只能达到55%。

      到了第10000步,Agent每隔500步出手一次,一口气连塞了10个Python代码层,帮模型记录「哪些节点访问过」以及「当前最小值」等关键状态。

      图片

      短短5000步后,原本考0分的广度优先搜索干到97%,拓扑排序冲上93%,30种算法总准确率暴涨29个百分点,拿下84%!

      之所以能涨分这么猛,是因为神经网络与Python代码在内部打出了精妙配合。

      比如代码层需要比较数字大小,但原始输入只是拆散的字符「8」和「3」。

      Agent用线性探针挨层检测后发现,到了第4层,神经网络已经把零散字符拼成了真正的数字!

      于是,代码层用探针从第4层读出数值82.6,在Python里完成比大小和循环更新后再写回网络,将神经表征与符号计算彻底打通。

      图片

      04

      DeepSeek读脑自救,数学竞赛暴涨7分

      视线再回到开篇那一幕,看看已经训好的DeepSeek-V4.1-Flash与Qwen3-8B是如何靠写代码原地进化的。

      团队将DeepSeek-V4.1-Flash在243道数学题上的做题轨迹,连同最深7层的内部激活状态交给它自己。

      DeepSeek分析完犯错规律后,亲手写出探针重采样程序probe_and_resample,杀进AIME与HMMT 2026考场!

      图片

      消耗相同的token预算,三组对照高下立判:

      • 标准单次长思维链推理,一条道走到黑,准确率63.9%。

      • 仅按长度重采样组,只按字数盲目重算,准确率仅65.4%。

      • DeepSeek自写探针组,实时「读脑」提前止损,准确率冲上71.0%,暴涨超7个百分点!

      不改半个权重就能暴涨7分,全靠DeepSeek给自己写的这段监控代码。

      图片

      以前大模型一旦走错思路,往往要白白算完几万个token才发现全错。

      现在,思维链每推进到检查点,程序就会自动提取最深7层的激活特征打分,一旦测出轨迹偏离正常分布,当场触发回滚重算rollback!

      此外,Qwen3-8B也在零梯度更新下,不仅自主进化测试了15000个Python调度策略。

      而且在AIME与HMMT 2026考场上,还将准确率从58.5%拉高到65.5%,同样狂涨7个百分点!

      图片

      能省下算力实现逆袭,关键在于Qwen3-8B定制的这段代码。

      32条并发轨迹每跑2048个token检查一次,满8条算出答案且榜首票数达第二名2倍以上,就提前终止全员省下算力。

      而跑满12288个token未算完、重复率超0.35的「死循环复读」轨迹,则会被当场砍掉重启并降权投票!

      图片

      以上这四组实验,清晰勾勒出了通往超级人工智能(ASI)最关键的一步——递归自我改进。

      模型卡在哪个算子、崩在哪个长度,不再需要人类盯着Loss曲线一点点猜,AI读懂自己的内部状态,当场写几行Python代码就能给自己的大脑动手术。

      从「人类调权重」迈向「AI写架构」,大模型已经开始亲手接管自己的神经网络,AI真正自我进化的时代,已经来了!

      参考资料:

      https://www.doubleai.com/research/can-llms-redesign-themselves-as-they-train

      https://x.com/doubleaicom/status/2041555517853270296

      https://x.com/AmnonShashua/status/2041556445947908456

      图片

      技术交流群邀请函

      图片

      图片

      图片

      图片

      △长按添加小助手

      扫描二维码添加小助手微信

      请备注:姓名-学校/公司-研究方向-城市

      (如:小夏-浙大-大模型-杭州)

      即可申请加入深度学习/机器学习等技术交流群

      —完—

      图片

      跳转微信打开

      Jeff Dean李飞飞最新对谈:全是RSI非共识

      2026年11月8日 00:00

      大模型智能 2026-11-08 00:00 吉林

      RSI不可能无限快

      图片

      大模型智能|分享

      来源 | 量子位

      作者 | 听雨

      RSI这么火,它真的能让AI的进步速度快到无限吗?

      Jeff Dean的判断是:不太现实。

      图片

      他举了个例子:一个人启动实验,凌晨2点实验结束,他要等到早上8点回到工位,才会查看结果。

      自动化系统可以省掉这段等待,及时决定下一轮做什么。但训练、计算、保存数据、评估结果,这些步骤仍然需要时间。

      要构建基座模型并提升它,仍然需要大量训练和实验,这些过程不可能以无限快的速度完成。

      近期,在斯坦福HAI(以人为本人工智能研究院)与李飞飞的对谈中,Jeff Dean谈到了RSI的限制,也披露了自己的新公司正在做的事情。

      图片

      全程还是非常谷歌姐夫的极简PPT风……

      据他介绍,新公司Discovery Loop已有约20个自动改进循环在运行,也搭建了支持人和Agent共同工作的协作框架。

      他们想让少量专家带着大量Agent做研究,目标是把领域专家的生产力提高20到50倍。

      为了搭起这支团队,前三周,他们就在咖啡馆等地方进行了400场面试。

      他还透露,一位Kimi K3论文的合著者、同时也是Attention Residuals工作的作者,最近加入了公司。

      这位新同事,应当就是17岁的陈广宇。

      图片

      聊到支撑这些变化的技术,Jeff Dean也承认自己有些事情看走眼了。

      其中一件,就是编程。

      在Gemini项目里,编程原本就是团队关注的方向之一。但他没有充分预见,这项能力会如此深刻地影响模型解决各种问题的能力。

      他还曾期待,神经网络会长出更多奇特、不规则的结构,这条演进路线也没有完全按他的预想展开。

      谈到AI做数学,他认可机器生成证明的价值,但他更看重人类能否从这些结果中理解并提炼出可以继续使用的方法。

      以下为这场演讲与对谈的中文整理,经润色。

      Enjoy~

      01

      Jeff Dean主题演讲:AI自己跑实验,目标是让专家生产力提高20-50倍

      把实验循环自动化

      很高兴今天能和大家在一起。我要介绍Discovery Loop。

      图片

      我们的使命是构建AI系统,让它们自动解决机器学习、科学与工程领域的重要问题。

      我们相信,这最终会带来更多发现,也是我们感到兴奋的地方。

      很多学科都有一个共同的过程,可以称为科学与工程的通用循环:提出实验方案,实施并运行实验,观察结果,检查各项测量数据,然后决定下一步做什么。下一步往往就是再做一次实验。

      图片

      我们的思路是把这些实验循环自动化。我们相信,如果能缩短每轮迭代的时间,自动提出并运行大量实验,再从每次评估中学习,让后续实验借鉴此前的结果,同时提高实验的质量和数量,就会获得突破性的成果。

      这就是我们想做的事。

      看看这份美国国家工程院的重大挑战清单。这些都是21世纪需要解决的重要问题,而这个世纪已经过去了大约四分之一。

      图片

      想想解决它们需要攻克哪些子问题,尤其是图中标红的那些领域,我们认为自动化发现循环能够提供帮助。

      为什么成立公益公司

      有一点对我们很重要,也是我们成立独立公司的部分原因:如果方法得当,技术能够给世界带来很大的积极影响,但需要大家共同努力,才能确保这种影响发生。

      所以,我们将公司设立为公益公司,也就是Public Benefit Corporation。

      图片

      我们的公共使命是开发应对重要社会问题的技术,让更多人获得这些技术带来的益处,改善人们的生活。

      四位创始人的经历

      简单介绍一下我们四个人。我的三位联合创始人是Sanjay Ghemawat、Quoc Le和Oriol Vinyals。

      按两两合作的关系来算,我们共事了14到30年。我们很享受一起攻克难题,也积累了不同方面的经验。

      图片

      我们都来自Google,所以这里展示的工作都与Google有关。我们参与过多代搜索产品、早期广告系统、内容广告,以及Gmail、News和Translate等产品。

      第二列是基础设施。上半部分的系统帮助人们组织和管理海量数据,运行大规模计算,从中获得有价值的信息。

      下方四项则是多代大规模机器学习基础设施,用来训练能力越来越强的模型。我们也参与过TPU这种面向机器学习的专用硬件。

      在AI研究方面,我们参与过今天许多高能力模型的重要技术,包括模型蒸馏、混合专家模型,也就是MoE,以及神经架构搜索。

      图片

      神经架构搜索可以看成自动化实验循环的早期形式:寻找适合解决某类问题的神经网络架构。

      我们还做过AI在不同领域的应用,其中也包括科学研究。我和Quoc参与过AlphaChip,用强化学习进行芯片设计,包括布局布线。

      Oriol参与过AlphaFold和神经网络天气预测。我们在经验上有不错的互补。

      我们也管理过很大的团队。我管理的Google Brain团队最多有600人,Google Research和AI团队最多有大约4400人。

      后来我发现,自己在讨论第二季度运营费用的会议上花了太多时间。我按下一封邮件的发送键,把自己从管理4400人变成了只有4个汇报对象。

      图片

      接下来一周,Geoff Hinton退休了,于是我只剩3个汇报对象。

      再后来,Oriol和我共同担任Gemini项目的技术负责人,Quoc负责后训练。

      我们也很为那些曾在团队里工作、后来做出出色成绩的人感到骄傲,其中包括Anthropic、OpenAI、Physical Intelligence等公司的创始人。Physical Intelligence在斯坦福应该挺有名。

      图片

      我们的经验结合了AI研究和分布式系统。

      这张图依据Google Scholar引用量列出了AI和分布式系统领域的一些高被引研究者,红框里是我们,带星号的人也都曾在我们的团队工作。

      团队建设与招聘

      我们在一起也很开心,一起去过很多地方。照片里有伦敦、巴塔哥尼亚、越南,还有加州。

      Quoc和我有一次吃完晚饭,乘坐类似Uber的摩托车服务回住处。

      图片

      公司成立后的第一个阶段,我们花了很多精力组建创始团队。大家来自不同地方,你们可以看到图上的标志。许多人有创办公司或主导重要项目的经验。

      团队里有领导Go语言项目的经验,也有Gemini、DeepSeek、Kimi K3等项目的重要贡献者。Kimi K3论文的一位合著者,同时也是Attention Residuals工作的作者,最近加入了我们。

      〔注:此处应指陈广宇,17岁前Kimi研究员。〕

      图片

      我们的团队既有经验丰富的人,也有职业生涯早期正在崛起的新星。公司大约10%的人获得过ACM计算奖,10%的人获得过IOI,也就是国际信息学奥林匹克竞赛的奖牌。

      我们很期待与这些人共事,也很看重大家一起工作的能力。

      为什么现在可以做这件事

      为什么是现在?因为前沿模型已经有了很强的能力。这来自过去10到15年AI领域多个层面的创新。

      硬件性能有了很大提升,包括TPU、GPU和其他更专用的硬件。软件抽象也改进了,人们更容易实现自己想做的事,并把计算更高效地映射到硬件上。

      图片

      模型架构也在演进,例如word2vec、序列到序列模型、Transformer和MoE。训练算法有了很多进步,蒸馏等技术让较小的模型也能取得很好的效果。

      推理算法同样进步很大。我们可以在推理阶段投入更多计算来获得更好的结果,例如使用思维链,或者尝试多种解题方法,再检查结果。

      模型需要工具、创造力与经验积累

      仅有强大的基座模型,还不足以解决我们想处理的那些问题。我们需要从优秀的基座模型出发,结合智能体,使系统能够有效使用工具,完成复杂任务。

      我们尤其希望智能体和模型具备创造力。科学或工程上的突破,往往需要把不同洞察组合起来,提出新的东西,再检验效果。

      图片

      这些系统还应该从过去的实验和经验中学习。这既包括解决当前问题时的学习,也包括长期积累。

      假设一个系统已经解决过5000个问题,那么面对第5001个问题时,它就可以借鉴与新问题最相关的那些经验。

      大项目的难点还在于分工与协调

      传统实验循环的每个阶段都需要大量人工。

      面对更大的问题时,事情会更复杂,因为你通常要把它拆成很多子问题或子模块,拆解本身就是一道难题。

      每个子领域里又有许多人运行实验,判断哪些方法有效、哪些无效。

      这会带来协调开销、资源冲突,以及大规模系统层面的问题。拆解问题很难,整合各个子问题的结果也很难。

      图片

      更麻烦的是,大型项目一旦运转起来,当初的拆解方式就很难改变了。无论是制造飞机,还是训练前沿模型,都很难再灵活调整早期的决定。

      我们认为,可以让少量领域专家配合自动化系统来工作。理想情况下,系统能自动拆解出值得研究的子问题,并自动求解。

      当然,也可能需要人来引导拆解,判断哪些子问题最重要。

      图片

      这样,少数有领域专长的人就能处理大型、有影响力的问题。我们相信,合适的基础设施可以支持这种工作方式。

      你需要运行数万个自动实验,也需要系统理解不同实验的价值,决定下一步做什么。

      强化学习或演化算法可以用于自动决策,让此前的决定更容易重新评估。每一个早期实验,都应该为后续实验提供信息。

      已有约20个自动改进循环在运行

      我们目前做了什么?

      前三周,我们进行了400场面试,大多在University Avenue的Cafe Venetia,寻找前面提到的那些人才。

      图片

      我们也在找办公场地,现在搬进了原来Zibibbo餐厅的旧址,空间挺有特色。

      我们搭建了自己的智能体运行框架,也就是agent harness,用于内部开发和自动化。

      它有一些很好的协作功能:你可以和模型对话,请它解决问题,也可以邀请同事加入,让两个人一起与模型和智能体交流。

      其他人可以对正在开展的工作发表评论,在方案交给智能体之前提出设计意见。

      我们的基础设施从一开始就面向智能体来构建,目的是能够扩展到数万乃至数十万个智能体执行任务,而不只是支持数百人工作。我们认为这一点很重要。

      现在大约有20个自动改进循环在运行,我们能看到它们在运行、在改进。

      我们也在评估怎样让这些实验迭代更有效、更快,怎样利用此前的实验结果和测量数据,让系统学习得更快。

      目标是让领域专家生产力提高20到50倍

      这就是我们现在的状态:搭建软件循环,自动化机器学习任务,因为我们认为这能够推动更多自主科学研究。

      最初,我们聚焦于构建能够解决机器学习研究和机器学习工程问题的自动化系统。

      我们的目标是让领域专家的生产力提高20到50倍。

      图片

      我们希望这些领域专家,以及真正想解决某类问题的人,能够用更少的精力把问题解决。人在其中仍然有自己的作用。

      过去15年的机器学习突破带来了强大的模型,也为自动化机器学习、科学与工程,进而加快发现速度创造了条件。谢谢大家。

      对了,我们在招聘,可以到discoveryloop.com申请。

      02

      Jeff Dean对谈李飞飞:RSI也有物理极限,蒸馏论文当年被嫌没影响力为什么离开Google创业

      李飞飞:谢谢Jeff,这是一场很棒的演讲。我想这应该是最后一场,我们正好夹在观众和茶点之间。

      Jeff Dean:这从来都不是个好位置。

      图片

      李飞飞:我本来希望这场讨论能更技术一些。不过既然是一场对谈,我会同时承担提问和参与讨论的角色。

      谢谢你的演讲,我的第一个问题本来就是:为什么创办Discovery Loop?恭喜你。

      Jeff Dean:谢谢。

      李飞飞:你们四个人基本都在Google工作了很长时间,尤其你在1999年就加入了Google。

      过去几年的技术进步大家有目共睹,但我还是好奇,有没有某个时刻,可能是在过去一两年里,让你、Quoc、Sanjay和Oriol觉得,必须做点不一样的事,而且需要离开Google来做?

      Jeff Dean:我们一直很兴奋地看到,自动化系统可以越来越多地帮助人们开发软件。

      Quoc十年前就做过很多神经架构搜索工作,你可以把它看作某种早期的递归式自我改进系统:让它寻找适合计算机视觉或语言问题的模型架构。

      我们知道这类方法有效。不过,当时要用一大堆不太规整的Python代码来规定搜索空间。

      现在可以用自然语言向一个有能力的模型与智能体系统提出要求,例如探索有助于解读MRI图像的模型架构,再由它开展工作。

      这改变了我们对计算机和AI系统能力的想象。如果能让这些系统可靠地运行,就能开展很多事情。我们认为,科学与工程尤其适合借此产生积极影响。

      图片

      李飞飞:所以让你们产生创业想法的,是这些循环和自我改进能力。

      Jeff Dean:有人可能会说,我们有点“loopy”。

      〔注:这里用loopy与loop双关,带有“有点疯、有点古怪”的玩笑意味。〕

      Jeff Dean:还有一点也很重要。我们多次经历过从一个很小的项目开始的过程,很喜欢那种感觉:最初是5个人,后来加入第6个、第7个、第10个人,真的很有趣。

      在大公司里也能有这样的经历。但我们希望把它做成一家公益公司,因为这能体现我们的价值观。

      创业还意味着更大的挑战,你得处理办公场地,以及设立公司涉及的其他事情,这也很有趣。

      李飞飞:我创办World Labs时也有过类似的技术时刻。

      我们关注的方向与你们不同,触发我们的,是计算机视觉与生成模型的融合,让我们看到了创造超越文字的生成模型的可能。

      Jeff Dean:你们做出的生成模型,以及现在能实现的能力,确实很出色。

      自我改进与递归自我改进如何区分

      李飞飞:我们来聊聊自我改进与递归自我改进,稍微深入一些。我们接受机器学习教育的年代差不多。

      我刚才在想,这个概念经历过多少种名称:增量学习、持续学习、元学习、终身学习、神经架构搜索,现在又有自我改进和RSI。

      你能否给观众,尤其是有技术背景的观众,一个更严格的定义?什么是自我改进,什么是递归自我改进?我想把想象与事实区分开。

      图片

      Jeff Dean:我前面讲的循环可以用于很多问题。我理解的自我改进系统,是你给它一个目标,通常是一个可测量的指标,比如某个机器学习模型的准确率。系统尝试不同的模型架构,提高这个指标。

      李飞飞:先停一下,很多机器学习算法都能做到这一点。

      Jeff Dean:对。

      李飞飞:这本身还不算递归,对吧?

      Jeff Dean:举个例子,我们给系统一批磁共振成像(MRI)数据和相应结果,让它开发一个帮助解读这些医学影像的模型。系统可以自动开发模型,尝试不同方法,并希望准确率随着实验推进而提高。

      但这没有改进那个负责提出下一步实验方案的基础系统。

      递归自我改进讨论的是:如何把同样的自我改进方法,作用于那个负责提出改进方案的基础系统本身。

      自我改进循环为什么不能跑得无限快

      李飞飞:我理解了。但这个概念对很多人来说很容易混淆。尤其在硅谷,人们用得很随意,作为科学家,这让我有些不舒服。我希望在这里把RSI定义清楚。

      再谈谈RSI的物理极限。它现在被描述得像一个没有尽头、可以不断加速直到无穷的系统。哪些属于炒作,哪些属于想象?

      Jeff Dean:想想过去10到15年,人类如何提升模型能力:研究人员和机器学习工程师一起做大量小规模实验,分辨哪些想法有效、哪些无效,再把有效的方法用于下一代模型。

      Gemini 1之后有Gemini 2,就是这样来的。

      这是正常的研究与工程过程。加入自动化后,确实能加快一些环节。例如,一个人启动实验,凌晨2点实验结束,他要等到早上8点回到工位,才会查看结果。

      图片

      自动化系统可以及时查看结果,判断下一步该做什么。它也可能在整个大型项目层面,作出比各个人分别决定下一步更好的判断。

      但要构建基座模型并提升它,仍然需要大量训练和实验,这些过程不可能以无限快的速度完成。

      这里有真实的物理过程:计算机需要运行计算,结果需要检查,数据需要保存,还要由另一个模型分析结果,再决定下一步。

      有些人以为这个循环能跑得无限快,我觉得不太现实。我们需要立足现实。自动化系统肯定能提高改进这些系统的速度,但不会让它们快到无限。

      人类是否也在递归自我改进

      李飞飞:我觉得这一点很重要。其实我没有申请Discovery Loop的工作,但我确实和Jeff在Cafe Venetia喝过咖啡。

      Jeff Dean:我们喝咖啡有很多原因,因为我们喜欢咖啡。

      李飞飞:我们一直在聊RSI的炒作与事实,看来当时已经在为这场对谈做准备了。我想到一个你还没听过的类比,你可以同意,也可以反对。

      人类是自我改进系统,还是递归自我改进系统?我觉得人类肯定会自我改进。

      我的厨艺很差,第一次做煎蛋卷可能什么都烧糊了,第二次会吸取经验,稍微好一点。也许做了10次,我能做出自己勉强吃得下、孩子却不肯吃的煎蛋卷。

      这就是自我改进。

      但递归自我改进涉及大脑。在学习做煎蛋卷的过程中,我的大脑得发生某种变化,神经连接需要调整,让我有一个更好的系统来完成这件事。

      如果讨论硬件改进,也许我还能长出第六根手指。

      图片

      Jeff Dean:也许你是AI生成的。

      李飞飞:没错。继续做煎蛋卷,大脑又进一步改善。如果这样的循环发生,人类就是RSI系统。这个类比对吗?

      Jeff Dean:我觉得两者都有。人会在一生中学习很多东西,比如做煎蛋卷、做微积分题,这是自我改进。人也会学习如何学习。

      李飞飞:而学会学习,使人能够递归自我改进。理解自己怎样接收知识和信息最有效之后,就能更快学会更多东西。

      Jeff Dean:对。

      李飞飞:递归自我改进也可能是一种演化算法,对吧?先不继续深入了。我觉得能公开讨论这个问题很难得,因为现在围绕它的炒作实在太多。

      Jeff Dean:有很多说法认为它会快到无限,因此很可怕。如果把它当成一个运行中的工程系统来理解,就会少一些恐惧,也更容易理解它。

      先做数字环境中的研究,医疗是未来方向

      李飞飞:你讲了很多Discovery Loop,但对它究竟要解决哪些科学问题,仍然有些含糊。

      我想在你愿意透露的范围内追问一下:有这么多能造福社会的科学问题,你现在最想研究哪一个?

      Jeff Dean:我长期对AI在医疗健康领域的应用感兴趣。我们将来会做,但不是现在。这个领域很重要,也很符合我们作为公益公司的使命。

      目前,我们聚焦于整个实验循环都能在数字环境中完成的科学与工程问题。这类问题更适合加快整个循环的速度。

      图片

      如果涉及物理实验或其他现实过程,提速就更困难。当然,很多重要学科都需要物理过程,我们也有一些混合方法,可以帮助这些领域加快研究。

      最初,我们关注三个领域:机器学习研究、机器学习工程和硬件设计。先聚焦几个领域比较合适,我们也在这些方向上有经验,而且这些工作能帮助开展其他研究。

      例如,一个系统如果能够自动解决机器学习工程任务,就可以用于医疗健康、材料科学等领域,开发适合某项任务的模型。这属于自我改进,不属于递归自我改进。

      我们现在聚焦这三个领域,也希望以后能拓展到更多方向。

      自动实验系统能否做理论研究

      李飞飞:我本科读的是物理。物理学里有实验研究和理论研究的区分。你画的这个循环,从“提出实验”开始,在物理学里我们通常会说“提出假设”,再做实验、评估结果。

      不管是否递归,这些强大的AI智能体和自我改进循环都很强调提出假设、并行运行实验。这是不是更倾向于实验研究的路径?理论发现的过程似乎更难描述。

      像牛顿、爱因斯坦这样的理论家,并不亲自做那么多实验。他们会阅读实验结果,但工作方式有所不同。你的方法是不是会更偏向实验研究?

      Jeff Dean:未必,虽然可能稍微偏向那个方向。但我确实认为,这种系统也能做很好的理论研究。

      你可以问它,能否提出一个理论来解释这些数据。系统可以反复尝试,寻找能够解释实验数据、又尽可能简洁的理论。

      图片

      许多物理学家也会关注实验领域的进展,尝试解释人们观察到、但尚未理解的现象。我认为这是可能的,也不应该把这些学科完全割裂开。

      想象一个系统,在100个科学领域里进行了1亿次实验,解决了100万个问题。它见过各种实验结果,知道与未来问题相关的领域里哪些方法有效、哪些无效,很可能从中获得很多洞察。

      这些经验未必像人类的学术院系一样,有严格的学科边界。我喜欢HAI的一点,就是它能跨越组织边界,让不同领域的人一起交流。

      AI数学证明的价值,以及优雅解法的作用

      李飞飞:那我们得聊聊数学。筹备这场对谈时,我也邀请过陶哲轩,给他打了电话,但他没法来。

      看到最近这些进展,我的心情有些复杂。先是纳维-斯托克斯相关工作,又是720多篇数学手稿,昨天OpenAI又发布了一些AI解数学问题的成果。

      我当然欢迎这些发现。数学,以及那些存在了上百年甚至上千年的难题,是人类智能的重要体现。数学家看到的既有解法,也有美。

      现在,我们有了一套完全不同的机制来处理这些问题。

      图片

      我和陶哲轩聊过不少。他最近也谈到了“数学2.0”,讨论AI能帮助解决哪些问题。

      按照他的说法,也有一些问题仍在AI能力范围之外,尤其是尚无解法、缺少数据的问题。

      你怎么看过去短短几周数学领域发生的这些变化?

      Jeff Dean:这些模型,以及能让模型开展高度并行工作的智能体系统,已经表现出解决很难的数学开放问题的能力。这让我们看到现在能够做到什么。

      我认为人们有时会不满足,甚至感到不安,因为有些证明是长达500页的Lean代码之类。

      机器可以检查,但人们还不太理解如何以优雅、简洁的方式得到那个结果。

      知道一个问题被证明或证伪当然有价值。但人类数学家研究问题时,还会发展出优雅的方法。这些方法往往又能形成新的数学工具,用于其他问题。

      李飞飞:你的意思是,新的数学只能来自优雅的解法?

      Jeff Dean:不。我的意思是,一个优雅的解法常常会带来一种可以用于其他问题的好方法。

      在某些很长的机器生成证明里,人们还未必看到这样清晰、优雅的方法。

      但知道某件事可以做到,本身也很重要。如果知道一个问题可解,人们会更努力,或许能找到另一种、更优雅的解法。

      图片

      这么多问题同时得到解决,可能让人有些不安,但这现在已经成为一种可能。我们需要想办法利用这些能力,开展更多数学研究。

      关于Transformer论文的小测验

      李飞飞:我们还可以聊很多。不过,我答应过要在台上给Jeff来个突击小测,事先没有告诉他题目。答不上来也没关系,因为我自己也不记得了。

      Jeff Dean:好,毫无压力。

      李飞飞:你记得2017年6月12日是什么日子吗?不许用AI作弊。

      Jeff Dean:是Transformer论文发布到arXiv的日子吗?

      李飞飞:太棒了,A+!我也得查一下才知道是哪天。你是6月12日读到那篇论文的吗?

      图片

      Jeff Dean:不是,可能是6月10日。

      李飞飞:哦,对,你可能还得批准它。

      重要的技术进步,以及未实现的架构预期

      李飞飞:回顾你的职业经历,你们四个人在Google和整个领域做了很多工作。就把那一天当作一个历史节点,某种意义上是生成模型时代的起点。

      过去差不多9年里,哪些技术时刻对你最重要?也请坦率地说说,哪些预测对了,哪些预测错了?

      Jeff Dean:有几件事情比较突出。我们做的许多工作都带来了重要改进,就像前面那张幻灯片列出的内容。

      Transformer是处理这些问题更高效的模型架构。保存此前的状态,再通过注意力机制访问它们,这个想法很有价值。

      早期的方法则是每一步更新一个较小的向量,并遗忘此前的状态。相比早期LSTM一类模型,Transformer可以用更少的计算学到更多东西。

      然后是Oriol、Geoff Hinton和我做的蒸馏工作。它在2016年被NeurIPS拒绝,评语说不太可能产生什么影响。

      〔注:这里指Geoffrey Hinton、Oriol Vinyals和Jeff Dean合著的《Distilling the Knowledge in a Neural Network》(《神经网络中的知识蒸馏》)〕

      图片

      李飞飞:我们应该做一个网站,把那些被拒的论文收集起来。

      Jeff Dean:这一篇很适合放进去。我们把它放到了arXiv,现在大约有4万次引用。

      蒸馏对构建能力强、推理效率高的模型很重要。你可以让一个训练好的、庞大而昂贵的模型当老师,教会一个轻巧的学生模型。在大学里讲这个比喻很合适。

      架构方面也有进展。我原本以为,我们会看到更多奇特的神经网络架构。MoE会分出一组专家,再汇合,然后再次分开、汇合,并学习哪些专家擅长哪些任务。

      这很有用:模型可以有很大容量,同时对每个token或任务只激活其中一小部分。但它仍然很规整。在多数架构里,专家的规模相同,而且很快就会汇合。

      我原本期待看到更多形态不规则、看起来更“有机”的网络:某些神经活动形成柱状结构,某些地方只有少量但大规模的交叉连接,把相距很远的网络部分连起来。我们还没有做到。

      李飞飞:做神经架构搜索时,我们也想过这些,后来也没能实现,对吧?

      Jeff Dean:神经架构搜索得到的模型,确实比人工设计的架构更不规则。人工设计往往是一层叠一层,偶尔加一些跳跃连接。搜索得到的架构可能会出现很特别的连接方式。

      图片

      李飞飞:比如把这一层连到上面第17层,做一些奇怪的事。

      Jeff Dean:对。

      李飞飞:所以这是你预测错的一件事?

      Jeff Dean:我预测错过很多事。这件比较突出,我原本以为架构会更多地朝那个方向发展。

      低估了编程能力的重要性

      Jeff Dean:编程能力后来被证明非常重要。我当时没有充分预见,它会成为模型解决许多不同问题的一个关键能力。

      李飞飞:这一点我同意。我们多少知道它重要,但没有预见到影响会这么深。

      Jeff Dean:在Gemini项目里,编程是我们关注的方向之一,但当时并没有把它作为最主要的关注点。

      图片

      如何应对AI的社会影响

      李飞飞:既然这是HAI大会,就得谈谈其中的H,也就是人。

      AI带来的社会影响,包括就业变化、心理焦虑,以及关于人类灭绝、对齐等问题的讨论,有哪些是你预见过的?现在最让你担心的是什么?

      Jeff Dean:AI是一项非常强大、非常通用的技术,几乎影响社会的各个方面。无论是数学、编程、图像生成,还是自动驾驶,它都能发挥作用。

      过去的一些技术革命,主要深入影响五个或十个领域。AI同时影响的领域更多,所以它会让人兴奋、忧虑,也会带来恐惧。

      我和一些共同作者写过一篇论文,叫《Shaping AI’s Impact on Billions of People》,讨论AI如何影响数十亿人的生活。

      这是我唯一一篇有专属网站的论文,因为一位共同作者做了shapingai.com。

      〔注:shapingai.com是Jeff Dean等人关于AI社会影响的研究项目网站,探讨如何让AI更好地服务教育、医疗、科学等领域。〕

      图片

      我们研究了7个领域,包括就业与经济、AI科学研究、虚假信息和媒体等,并与各领域的专家交流,了解AI已经产生的影响和可能带来的变化。这是很有价值的经历。

      我最关心的是,怎样尽可能实现AI在不同领域的益处,同时减少它可能造成的负面影响。这需要技术人员、监管者、政策制定者和公众共同参与。

      例如,人们的工作受到影响后,需要有办法适应新的需求,继续获得有报酬的工作,过上富足的生活。这是一个涉及很多方面的问题,需要很多人一起解决。

      给年轻人的建议

      李飞飞:最后一个问题。很多人不知道,你非常关心年轻一代。我们不常一起登台,我记得上一次是在Grace Hopper大会。

      Jeff Dean:你连续去了好几年。

      李飞飞:现在我们身处大学校园,这一代学生对工作和经济前景感到焦虑,斯坦福的学生也一样。

      作为AI先驱,也作为能较早看到技术变化的人,你想对这些既焦虑又怀有希望的学生说些什么?

      图片

      Jeff Dean:我能理解这种焦虑。世界变化很快,而面对快速变化的未来,规划确实很难。

      我的建议是,尽量了解正在出现、或者很快就会出现的新技术,学会把它们用于自己最有热情的事情。

      你可能想成为医生,想从事文学创作,或者想更高效地开发软件。AI都可以提供帮助。

      人仍然需要决定,我们共同想做什么。你也应该想清楚自己想做什么,并努力做到最好,其中就包括用好已经出现的各种工具。

      李飞飞:所以,在AI时代,人的热情依然不会过时。谢谢你,Jeff。

      Jeff Dean:谢谢。

      访谈链接:

      https://www.youtube.com/watch?v=ooGKNwJWdb8&t=1s

      图片

      技术交流群邀请函

      图片

      图片

      图片

      图片

      △长按添加小助手

      扫描二维码添加小助手微信

      请备注:姓名-学校/公司-研究方向-城市

      (如:小夏-浙大-大模型-杭州)

      即可申请加入深度学习/机器学习等技术交流群

      —完—

      图片

      跳转微信打开

      郑童@马里兰大学帕克分校 - Dream-RSI:让智能体通过“做梦”实现递归自我改进

      2026年11月7日 00:00

      MLNLP 2026-11-07 00:00 吉林

      以下文章来源于:MLNLP

      MLNLP

      MLNLP社区的愿景是促进国内外自然语言处理学术界、产业界和广大爱好者之间的交流和进步。

      本期MLNLP学术Talk邀请了马里兰大学帕克分校计算机科学系博士三年级学生郑童在2026年11月7日9:00-10:00为我们带来“Dream-RSI:让智能体通过“做梦”实现递归自我改进”的主题报告。

      图片

      MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

      社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。

      MLNLP学术Talk 是由MLNLP社区 和 中国中文信息学会青年工作委员会 联合举办的学术交流活动,旨在邀请一线青年学者分享最前沿的技术,期待最精彩的思想火花碰撞。

      本期MLNLP学术Talk邀请了马里兰大学帕克分校计算机科学系博士三年级学生郑童在2026年11月7日9:00-10:00为我们带来“Dream-RSI:让智能体通过“做梦”实现递归自我改进”的主题报告。详细信息如下:

      图片

      本次活动组织者:郑理、王奕辰、张宸源、涂耿、王凯锐

      战略合作伙伴:腾讯

      1

      讲者简介

      图片

      郑童,马里兰大学帕克分校计算机科学系博士三年级学生,导师为黄恒教授。主要研究方向为大语言模型推理、测试时扩展与智能体自我改进。以第一或共同第一作者身份在 ICLR、ICML、NeurIPS、ACL、EMNLP等国际顶级会议发表论文 10 篇,相关 GitHub 项目累计获得约 2,000 个 Star。代表工作包括Dream-RSI、AutoTTS、Parallel-R1、Parallel-Probe 等。曾在 Google 担任学生研究员,并在腾讯 AI Lab(西雅图)担任研究实习生。

      2

      报告摘要

      从算法设计、数学求解到 GPU 内核与智能体运行框架优化,如何高效探索庞大的搜索空间,正成为智能体递归自我改进的关键问题。固定的探索策略难以从经验中持续改进,而在线试验新策略又面临反馈延迟、评估成本高昂等挑战。本次报告将介绍Dream-RSI 框架:将已有的探索历史转化为可回放的模拟环境,让智能体在其中“做梦”,以低成本评估和改进探索策略,再将改进后的策略部署到新一轮探索中,形成探索经验、模拟环境与探索策略共同演进的闭环。报告将结合四个领域、九项任务的实验,介绍这一框架的核心思想与实现机制,探讨如何将历史探索经验持续转化为更高效的发现能力。

      3

      主持人介绍

      图片

      郑理,武汉大学国家网络安全学院自然语言与认知实验室博士研究生。目前研究兴趣是情感计算、多模态大模型推理。曾在ACL、AAAI、TACL、TASLP、TAC、MM等国际人工智能与自然语言处理顶级期刊会议上发表论文十余篇。担任ACL、NeurIPS、ICML、ICLR、SIGIR、MM等二十余个国际顶级期刊会议审稿人。现任中国中文信息学会青工委学生委员。入选中国科协青年科技人才培育工程博士生专项计划、武汉大学首届数智学院拔尖人才计划(全校仅7人)。个人主页:https://zhengli-whu.github.io.

      4

      直播平台

      视频号

      B站

      图片

      关于我们

      MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。

      社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

      图片

      跳转微信打开

      ❌