具身智能漫长的进化史、下一个Scaling与硝烟
原创 陈龙 2026-02-11 17:21 浙江
![]()
“苦涩的教训”在自动驾驶与机器人,这一跨越却显得尤为艰难和漫长。
![]()
![]()
作者:陈龙
作者目前供职于小米汽车自动驾驶团队,撰稿仅代表本人立场。
在人工智能波澜壮阔的发展长河中,刚刚过去的2025年已然被历史铭记为具身智能的“觉醒之年”。
如果说从2018年开始的Transformer和大语言模型(LLM)的爆发解决了人类知识的符号化表征与逻辑推理问题,完成了数字大脑构建,那么2025年的技术跃迁则直指本质:具身智能的核心在于将高维输入“压缩”为高效的表征,通过语言或其他形态进行“推理”,并最终“生成”为物理世界可执行的信号。
![]()
在这个充斥着暴论与市场炒作的年代,VLA(Vision-Language-Action)和世界模型(World Model)这两个极具潜力的技术方向,似乎因为原理太过“易懂”而陷入了舆论的漩涡:既有人猛吹VLA已经落地,也有人奉行VLA无用论;有人嘲讽VLA是“傻瓜架构”,也有人担忧VLA 2.0中语言成为瓶颈;甚至还有观点认为VLA和世界模型必须二选一。
站在2026年的开端,我们需要拨开过去一年的舆论迷雾。VLA与世界模型并非非此即彼的对立关系,而是认知驱动下的不同演进维度。本文旨在从底层逻辑出发,梳理具身智能从规则到认知的范式迁移。
01
具身智能的三个阶段
![]()
Rich Sutton在著名的《苦涩的教训》(The Bitter Lesson)中深刻指出:从历史的长周期来看,利用大规模算力和数据的通用方法,总能胜过利用人类领域知识的特定方法。这一法则在NLP和CV领域已得到完美验证,但在自动驾驶与机器人领域,这一跨越却显得尤为艰难和漫长。
具身智能的进化史,本质上是人类不断寻找“更高效压缩、更通用推理、更精准生成”的过程。
1.1 具身智能1.0:规则驱动
在很长一段时间内,自动驾驶与机器人依赖于精确的数学建模和物理先验。经典的自动驾驶决策模块(感知-预测-规划),配合PID控制器、MPC以及基于优化的逆动力学求解器,构成了规控的基石。工程师们花费数十年时间手动设计规则和物理模型,调整增益参数,只为确保机器在特定轨迹上的精确运行。
这种规则驱动的方法在结构化环境中表现堪称完美。然而,当汽车开进陌生的城市,或机器人进入家庭厨房、杂乱仓库时,这种方法的脆弱性便暴露无遗。
物理世界的非结构化特性带来了巨大挑战:摩擦力的非线性变化、传感器噪声以及不可预测的人类行为,使得手工设计的物理模型极难覆盖所有边界情况(Corner Cases)。每一个未见过的物体、每一种新的环境光照,都可能导致原本鲁棒的控制器失效。
1.2 具身智能2.0:数据驱动
随着算力、模型和数据的Scale up,自动驾驶和机器人领域全面拥抱了端到端的学习范式,试图以数据驱动的方式解决拟人和泛化问题。
我有幸从2018年在Lyft探索两段式端到端自动驾驶模型,到2021年在Wayve探索一段式端到端。
这类模型通常被称为“视觉-动作”(Vision-Action, VA)模型,试图直接将传感器输入(视觉)映射到控制输出(动作),省去了中间的复杂模块。虽然Wayve、Tesla FSD以及机器人领域的ACT算法产出了许多惊艳的Demo,但始终让人感觉“缺了点什么”。
首先,模仿学习存在严重的分布偏移问题。由于训练数据多为Expert Level,一旦系统在执行中偏离了训练分布(OOD),它不仅无法纠正错误,反而往往会产生更离谱的动作,导致误差累积直至失败。这也是为什么我始终认为:开环训练的模仿学习在闭环情况下没有Scaling Law。
其次,模仿学习本质上是在拟合人类数据的规则、常识和价值观,但数据只是价值观的投影。纯数据驱动的端到端不可能达到人类的智能和泛化能力。此外,机器人领域的数据收集更加困难,硬件形态的千差万别也导致数据难以像文本那样跨任务、跨机型复用。
1.3 具身智能3.0:认知驱动
为了突破数据驱动的瓶颈,研究者开始尝试利用预训练的视觉-语言模型(VLM)作为“大脑”,将其海量语义知识和逻辑推理能力迁移到物理控制中 — Vision-Language-Action(VLA)模型应运而生。
我在2023年初有幸参与了自动驾驶VLA的前期探索,在Wayve期间主导了Driving-with-LLMs和Lingo系列工作,同期机器人领域也出现了RT-2等经典框架。VLA不仅仅是VA的拓展,它把端到端简单暴力的 V->A 映射,转换到了大模型的多模态认知、多步推理(测试时计算)到生成行为的决策框架。
回顾2025年,主流观点已达成共识:互联网规模的预训练赋予了VLA强大的认知理解、通识推理和指令遵循能力。例如,VLA可以轻松理解“把那个看起来像苹果的红色物体拿给我”,即使它从未见过这种特定的物体,它也能调用预训练中习得的对“苹果”的认知、对“红色物体”的抽象通识理解,结合“拿给我”的指令,通过思维链的推理最终输出行为决策。
尽管“世界模型”这个词在2025年有些被滥用,但不可否认,生成式世界模型也是认知驱动的重要一部分。
Language和Video是互联网上最廉价的模态,以预测下一帧(Video WM)或预测下一状态(V-JEPA)为目标,提供了极佳的Scale up思路。虽然世界模型在真正落地应用中——无论是作为仿真器还是推理时的预测——仍面临一致性和效率的挑战,但在VLA框架中已经看到了很多世界模型的影子,这将在下一章详细展开。
02
VLA本质是“认知-推理-决策”框架
![]()
VLA虽源于学术界的模型范式,但从更深层意义上讲,它是一个“认知-推理-决策”的通用框架:认知理解不限于Vision,更多是利用多模态压缩;推理不限于Language,虽然它是当前最高效的载体;决策层则有多种方式,但在通用性、泛化能力与性能平衡上,目前业界似乎尚未完全收敛到单一的最优解。
2.1 认知:从多模态压缩到高效表征
认知的核心在于压缩。如何将海量多模态信息(视觉、触觉、深度)压缩为模型可理解的高效表征(Representation),一直是机器学习的重要课题。
- 语言对齐:
由于数据稀缺,VLA长期复用VLM的视觉编码器。从经典的CLIP到InternVL的大规模Encoder,核心思路都是通过对比学习进行预训练。Qwen系列原生预训练的ViT和3D CNN时序融合提供了很好的思路,但VLA仍需更强的时序特质。2026年,我们期待看到更加本质的视频表征出现。
- 空间对齐:
Inductive Biases,且对时序编码不足。自监督方式(如JEPA)更能通过重建Latent表征学习事物本质,但这种“左脚踩右脚”的方式仍缺乏与语言等人类规则的良好对齐。
- 世界模型:
世界模型通过预测未来,可以作为极佳的预训练表征。例如VPP(Video Prediction Policy)利用视频预测表征做Planning取得了很好效果;V-JEPA等工作也尝试通过预测下一个视频表征来与Planning任务对齐。期待今年能出现开源的、将语言、图像、行为完美对齐的Foundation Model。
2.2 推理:测试时计算的Scaling Law
VLA真正的威力在于多步推理,包含但不限于使用语言(L)来推理。
- 语言推理:
语言推理的用处是在复杂任务或OOD情况时,利用语言Token进行采样。广义上讲,这是利用预训练的通识能力辅助决策;统计学上看,这是通过多步推理增加信息量、减少熵,从而做出更确定决策的过程。受限于数据量级和效率,VLA的推理能力尚未被完全释放。目前机器人领域的语言仅用于理解指令和规划Subtask,自动驾驶也只是起到一个Mode选择的作用(例如Nvidia Alpamayo R1的CoC)。但随着语言数据标注做的越来越好,2026年期待VLA会像语言模型的CoT一样展现出更强的泛化和涌现。
- 多模态推理:
随着模态生成和理解的统一,Visual/Latent层面的推理也逐渐步入主流。具身GR系列、WorldVLA和自驾的DriveVLA-W0等工作都证明了“未来帧监督”和“推理时预测未来状态”这一世界模型概念可以帮助Planning任务。但如何过滤掉Latent中对Planning无用的图像高频特征,使Visual/Latent乃至Language层面的推理更高效,仍值得深入研究。
2.3 决策:从双系统到一段式VLA生成框架
决策层是具身智能“落地”的最后一公里,也是VLA显著区别于VLM的地方。在2025年,我们见证了从模仿人类认知的“双系统”架构,向着追求极致效率与拟人度“一段式”架构的深刻转变。
双系统(System I + System II):在VLA发展的早期(2023-2024),主流方案往往采用丹尼尔·卡尼曼提出的“双系统”理论:
System II(慢思考):由VLM/LLM充当“大脑”,负责高层的语义理解、任务拆解和逻辑推理。它输出的是文本指令或轨迹点。
System I(快思考):由传统的规划控制算法(Planner/Controller)或端到端网络充当“小脑”,可以单独运行,或是Conditioned on(基于)大脑的指令输出具体的高频控制信号。
信息瓶颈:这种架构虽然利用了LLM的推理能力,但存在显著的接口信息瓶颈。这就好比一个老司机(VLM)在副驾指挥一个新手司机开车,无论指令多精确,反应延迟和信息瓶颈都注定了上限不高。此外,两个系统的推理频率不匹配虽然避开了算力瓶颈,但也牺牲了灵活性。
一段式VLA(One-model VLA):为了追求极致的端到端,2025年的VLA彻底打破了感控的边界,将“认知”与“行动”统一在同一个Transformer的生成式范式中。这一进化路径主要体现在Action Decoding方式的变革上:
离散化Token(Discrete Tokens):早期的尝试(如RT-2, Gato)简单粗暴地将动作空间离散化为文本Token。这种方式让Action能完美融入LLM的自回归训练中,享受Scaling Law的红利。但缺点是精度受限且动作不平滑,机器人往往表现出“顿挫感”,且难以处理高维连续动作空间。
连续值回归与Learnable Query:为了解决精度问题,后续工作(如我之前的Lingo系列)开始引入专门的Action Head,通过Learnable Query直接回归连续的轨迹参数。这在一定程度上恢复了控制的平滑性,但本质上还是确定性的回归模型,难以应对多模态的未来分布(即同一个场景下,既可以左绕行也可以右绕行,回归模型往往会输出一个中间的错误路径)。
流匹配(Flow Matching):这一系列工作是2025年初最激动人心的突破。以Pi0为代表的模型引入了Flow Matching作为解码器,这种方式与Diffusion Policy类似,很好地解决了多模(Multi-Modal)问题,也兼顾了生成速度,同时连续建模也使轨迹输出更加精确。
之后的Pi0.5引入了FAST的离散Token来负责训练时的监督,结合了Transformer的推理能力、离散Token的结构化优势以及生成模型的分布建模能力,实现了前所未有的拟人感和丝滑度。后续配合 Knowledge Insulation (KI) 的训练方式,有效保持了大模型的通用能力。而Pi0.6又引入了人类Correction数据以及使用Advantage-conditioned的强化学习方式,更让机器人动作展现出了极强的鲁棒性和泛化性。
然而,必须清醒地认识到,VLA关键的决策层尚未迎来“大一统”时刻。不同的任务属性(如高频的四足平衡、低频的机械臂抓取,以及更加简单的自动驾驶2D平面Action Space)、不同的数据分布、以及千差万别的本体形态,使得Action Head的设计仍在持续演进。
在追求通用经济性(无需训练适应多种本体)、泛化性(适应未见场景)与专业性能(推理速度与控制精度)的“不可能三角”中,现有架构似乎还没有完全收敛。
(自驾中更全面的决策方式可参见最新的VLA综述:Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future。)
03
未来展望:2026与更远的征途
![]()
站在2026年的新起点,具身智能的图景已逐渐清晰——即以大模型为通用认知底座,实现感知、推理与决策的端到端深度统一。除了VLA架构的成熟,以下四个方向将是2026年的主战场:
3.1 强化学习:学习“不能做什么”
如果说模仿学习教会了机器人“该做什么”,那么强化学习(RL)的核心价值在于教会机器人“不能做什么”。
在数据稀缺背景下,RL是突破专家数据天花板的关键。未来的VLA模型在经历“大模型预训练 -> 微调 -> 开环后训练”范式后,需要在仿真或真实的闭环环境中进一步强化。通过不断的试错与纠正,让自动驾驶和机器人模型学会处理物理约束、安全边界以及长尾场景中的复杂博弈。
3.2 在线学习:“终身学习”的能力
部署后的自动驾驶与机器人模型不应是静态的,真正的具身智能体必须具备在交互中学习的能力。当前的VLA大多是离线训练,面对环境变化往往束手无策。
2026年,我们将看到更多具备“测试时学习”(Test-time Learning)能力的模型。形式可能不仅是参数微调,更包括In-context Learning、Memory Bank或RAG等大模型范式在具身场景的深度应用,让自动驾驶与机器人在真实世界中更懂用户需求,实现终身学习。
3.3 Scaling from Video:从世界视频中提取物理常识
互联网上最廉价的两种模态是文本和视频。如果说LLM吃透了文本,那么具身智能的下一个Scaling Law将来自视频。世界模型在此方向将扮演重要角色。通过对海量人类操作视频、行车记录仪数据的生成式预训练,模型将隐式习得物理定律(重力、惯性、碰撞后果等)。让模型通过“预测下一帧”来内化物理世界,这不仅为VLA提供了虚拟环境以进行强化学习,也解锁了在线强化学习甚至测试时利用“想象”进行推理的可能性。
3.4 Physical AI Safety
随着具身智能从对特定专家数据的“过拟合”(Overfit)转向对互联网大规模图文视频的“泛化”(Generalise),一个前所未有的挑战也摆在面前:如何在利用互联网知识预训练的同时,确保模型不被抽象和虚幻内容干扰,并严格保持人类的价值观?
互联网视频包含大量抽象文字,玄幻小说,电影特效、夸张的动画以及 AIGC 生成的违背物理规律的内容,模型利用互联网数据获得高阶泛化能力的同时,我们必须要确保其压缩到与人类价值观对齐的认知,利用符合价值观和物理规律的符号进行推理,并且可控的生成与人类意图对齐,符合人类的社会规范与安全边界的决策。
2026年是“自动驾驶 × 机器人 × 大模型”协同进化的深水区。
此时的工业界与学术界更需要摒弃喧嚣,回归第一性原理看待VLA与世界模型,务实探索数据Scaling在物理世界的真正上限。让智能真正走向物理世界,是通往通用物理人工智能(Physical AGI)的必经之路。
我们期待的通用物理人工智能(Physical AGI),或许就在下一个转角。
免责声明:内容仅代表嘉宾观点,不做任何投资建议
![]()
