清华李一鸣团队发布PrismWAM与RoboDoctor，登顶RoboTwin 2.0

机器之心发布 近日，厘清智能创始人、清华大学人工智能学院李一鸣教授团队发布了两项 Physical AI 研究成果：世界动作模型 PrismWAM，以及面向机器人执行诊断与持续改进的 Agentic 框架 RoboDoctor。 PrismWAM 从模型层面探索如何更好地表征物理状态、预测状态变化并生成动作，在 RoboTwin 2.0 评测中以领先优势位列第一；RoboDoctor 则从系统层面探索如何利用执行反馈进行诊断、纠错与经验积累，在覆盖 RoboDojo 全部 54 项任务的测试中取得 57.1 分，位居当前对比首位。 过去几年，人工智能的进步，很大程度上来自对语义智能的规模化扩展——更大的模型、更多的数据、更强的理解与推理能力。然而，随着 GPT-6 Astra、Gemini 等通用基础模型不断展现出更强的理解、推理与规划能力，一个更根本的问题正在浮现：让机器人理解世界，和让机器人真正改变世界，是两种不同的能力。 理解一条指令，不等于知道如何施力；识别一个物体，不等于理解它在接触、运动与受力中的变化；规划一条看似合理的路径，更不意味着机器人能够在真实环境中将任务可靠地完成。 这正是 Physical AI 下一阶段的关键命题：Scaling Semantics，还是 Scaling Physics？ 前者让模型拥有更广泛的知识、更强的语义理解与任务推理；后者则让模型真正理解物理状态与动作后果，让机器人能够感知变化、应对不确定性，并在失败中持续纠正并自我改进。 两项工作分别从模型与系统两个层面探索 Scaling Physics：PrismWAM 研究物理状态如何被表征、预测并转化为动作；RoboDoctor 进一步研究动作进入真实执行后，系统如何利用物理反馈诊断偏差、纠正动作并积累经验。 一、语义与物理的解耦 让物理状态变化参与动作生成 当语义理解逐渐成为通用能力，机器人还需要什么样的世界模型？ 近年来，视觉语言模型与视频生成模型的发展，为通用机器人策略提供了新的基础。世界动作模型（World Action Model，WAM）进一步尝试将未来世界状态预测与机器人动作生成结合起来，使机器人不仅能够根据当前观测选择动作，还能够学习动作与未来状态变化之间的关系。 但现有方法也面临一个值得重新审视的问题：我们是否应该把世界的外观，当作世界状态本身来建模？ 一段 RGB 视频同时包含了大量不同性质的信息：物体的颜色、纹理、光照与背景，物体的几何形状、空间位置、接触关系，以及它们在动作作用下发生的变化。这些信息在图像中交织在一起，却并不具有相同的控制价值。 对于机器人而言，理解“这是一个杯子”与判断“杯口在哪里、瓶子应当如何倾斜、接下来会不会洒出液体”，是两类不同的问题。前者主要涉及语义识别与任务理解，后者则要求系统准确把握几何关系、物理状态及其随动作演化的过程。 视频模型特征中包含了语义和物理等多重信息 随着通用基础模型越来越擅长理解场景与任务，Physical AI 的研究重心也有必要进一步向物理层深入：与其让同一个表征承担所有任务，不如明确区分语义信息与物理状态，让不同信息各自服务于最适合的目标。 PrismWAM：从“预测世界看起来怎样”到“建模世界如何变化” 围绕这一思路，李一鸣团队提出了 PrismWAM（Prismatic World Action Model）。 PrismWAM 的核心洞察，是将语义上下文（Semantic Context）与物理状态（Physical State）解耦，不再把外观丰富的视频特征视为统一的物理世界状态，而是建立一条职责清晰的注意力链路：Semantic Planning → Physical Rollout → Executable Action Semantic Planning：理解任务意图。模型从 RGB 观测中学习任务语义与目标场景，回答“最终应该发生什么”。 Physical Rollout：建模物理演化。模型通过深度表征预测连续的几何状态变化，刻画物体如何移动、空间关系如何改变，以及任务如何逐步接近目标。 Executable Action：生成可执行动作。动作生成直接利用物理演化表征，将状态变化转化为机器人可以执行的连续控制。 PrismWAM 概念示意 在这条链路中，信息从 RGB 语义表征流向深度物理表征，再进入动作生成；动作模块并不直接读取 RGB 特征。使模型把更多建模能力用于几何结构和空间状态的变化。接触与受力能在多大程度上被准确预测，仍需通过具体任务和实验结果检验。 传统世界动作模型与 PrismWAM 的架构对比 这一设计背后，是对 Physical AI 中一个更本质问题的探索：模型究竟应该学习世界的哪些变化，才能更有效地控制世界？ 如果任务语

来源只提供摘要，完整内容请打开原文。