清华等提出 ParallelWorld：机器人先预演再动手

机器人动手前，能不能先看一看不同选择会带来什么后果？ParallelWorld 将多步预演引入具身智能体的高层规划，将任务成功率从 56% 提升至 83%。 把桌上的两把摩卡壶放到炉灶上，看起来只需要 “拿起来，放过去”。但对机器人来说，先搬哪一把、从哪里抓、放下后是否影响下一步，都可能改变任务的结局。 如果只根据眼前的画面选择一个看似合理的动作，等到执行后才发现问题，后续规划就必须从一个更难处理的局面重新开始。 来自清华大学和新加坡国立大学的研究者提出了 ParallelWorld，尝试把这部分判断提前：让智能体从当前状态出发，探索多条候选行动路径，比较未来的观察与任务进展，再决定眼下这一步怎么走。 这项工作的核心，是把测试时增加的计算用于行动后果的预演。系统保留更有希望的分支，按需继续向前推演；选定轨迹后，只执行其中的第一个动作，再依据执行后的新观察重新规划。 论文题目：ParallelWorld: Test-Time Scaling for Agentic Embodied Reasoning 论文链接：https://arxiv.org/abs/2608.22971 项目主页：https://agenticei.github.io/ParallelWorld-page/ 代码仓库：https://github.com/AgenticEI/ParallelWorld 图 1｜具身系统的三种决策方式。ParallelWorld 在高层规划与动作执行之间加入候选未来的预演和验证，让后续结果参与当前决策。图片来源：论文图 1。 会拆解任务之后，还需要看远一步 高层规划器可以把复杂指令拆成多个可执行的技能。对于空间理解任务，它安排相机移动或物体交互，寻找回答问题所需的证据；对于操作任务，它组合抓取、移动和放置等动作，推动环境朝目标状态变化。 问题在于，按顺序拆解任务，并不自动意味着系统考虑了不同动作的后续影响。有些动作的价值，要经过几次交互才能体现。当前视角无法辨认一个被遮挡的物体时，一次移动也许只能改变遮挡关系，却为后续观察创造了条件；操作时，一种抓取方式可能有利于拿起物体，却未必有利于接下来的放置。 ParallelWorld 因此把 “未来会看到什么、任务会推进到哪里” 纳入行动选择。这里的搜索发生在有明确执行范围和终止条件的高层动作上，底层控制仍由已有技能或策略完成。 让不同的未来进入同一次决策 ParallelWorld 将规划组织为相互连接的预演循环与执行循环。 在预演循环中，规划器根据任务和当前观察提出多个候选动作，每个动作都从某个已有分支继续展开。系统预测或模拟动作后的观察，由此形成一棵包含不同未来路径的搜索树。 验证器随后比较候选结果，判断哪些分支更有助于获取证据或完成任务，并给出反馈。较差的分支被剪去，值得继续探索的分支被保留。规划器结合这些结果，决定继续预演还是转入执行。 搜索的宽度和深度都可以随决策情境变化。规划器决定提出多少候选动作，验证器决定保留哪些分支，规划器再决定是否继续向前推演。这使系统能够把更多计算投入仍有歧义的选择。 图 2｜ParallelWorld 的预演与执行循环。右侧比较不同动作的未来结果，左侧执行选中轨迹的第一个动作，并将新观察送回下一轮规划。图片来源：论文图 2。 进入执行循环后，系统只采取选中轨迹的第一个动作。剩余步骤为当前决策提供参照，但不会被一次性执行。 这一 “滚动规划” 机制有实际意义：未来预测可能随步数增加而偏离环境。每执行一步就重新观察，能够及时修正计划，让多步预演的收益与执行反馈结合起来。 从看得更清楚，到操作得更准确 具身理解的收益集中在需要额外交互的任务 ESI-Bench 覆盖 10 类具身空间智能任务、29 个子类别。由于环境中的倒液体动作无法执行，研究排除了液体体积子类别，对其余 28 项进行了评测。主动方法使用相同的回答模型。 根据论文表 1，ParallelWorld 在其中 26 项上超过顺序式 Active Exploration。几项代表性结果如下。 这些任务的共同难点是：当前画面不足以支持可靠判断，需要通过交互获得更有区分度的观察。论文的定性案例中，顺序探索把目标误认成笔，而 ParallelWorld 找到更有信息量的视角，识别出了画笔。 提升并未覆盖所有子任务。刚性容纳任务从 60.00% 降至 50.00%，几何构型任务从 17.96% 降至 16.90%。这也提示，获得更多观察后，模型仍可能受限于几何推理能力。 机器人操作的八种设置均超过直接基线 操作评测采用 LIBERO-Pro，重点考察指令重定向和位置交换两类扰动下的泛化能力。研究覆盖 Spatial、Object、Goal 和 LIBERO-10 四个任务套件，每种设置包含 1

来源只提供摘要，完整内容请打开原文。