英伟达等提出 TacitVLA：机器人动作提速 3.4 倍

本文第一作者为纽约大学计算机科学博士生 Jack Lu，研究工作完成于他在英伟达实习期间。本文由英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang，以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone 共同指导。 如今，许多视觉 - 语言 - 动作（VLA）模型会先推理、再行动。在输出动作之前，模型先写一段简短的文本，比如对场景的描述、一个计划，或者下一步要完成的子任务。这样做的机器人成功率更高，但速度也更慢。推理文本需要逐个 token 自回归地生成，动作必须等文本写完才能开始。在论文的实验中，写推理文本最多占到单次模型调用耗时的 70%。 来自英伟达、纽约大学、UC 伯克利、约翰斯・霍普金斯大学和斯坦福大学的研究团队仔细考察了推理的收益究竟从何而来。他们发现，动作并不需要读取当前这一步写出的推理，模型学会写推理就已经足够。团队据此提出了 TacitVLA。它和标准的推理 VLA 一样被训练去写推理，但它的动作从不等待这段文本。 在机器人操作和自动驾驶的四个 benchmark 上，TacitVLA 的成功率与显式推理相当，延迟最多降低 3.4 倍。在相同速度下，它比不加推理训练的同一模型成功率最多高 17 个百分点。在两个长程记忆 benchmark 上，TacitVLA 还刷新了已发表方法的最好成绩，在 RMBench 上提升 21 个百分点，在 RoboMME 的计数任务上提升 16 个百分点。 论文标题：TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency 论文链接：https://arxiv.org/abs/2610.17540 项目主页：https://tacitvla.github.io/ 推理文本的三种作用 在推理 VLA 中，生成的文本有三种作用。 训练时，它是监督目标。学习写出这段文本，会塑造 action expert 所依赖的 backbone。 在长程任务中，它还可以充当记忆。假设机器人需要按好几次按钮，摄像头拍不出已经按了几次，但一份记录已完成子任务的日志可以。 最后，在部署时，文本是 action expert 的输入。action expert 要读取当前这一步写出的文本，所以动作必须等待。TacitVLA 保留了前两种作用，去掉了第三种。 方法 近期的推理 VLA 大多采用同一种结构。视觉 - 语言 backbone 负责写推理，基于 flow matching 的 action expert 通过注意力读取 backbone 的信息并输出动作。在每个 benchmark 上，团队用这一结构在相同数据上训练三个策略。 在 Explicit Reasoning 中，action expert 会读取自己刚写出的推理，与 embodied chain-of-thought 的做法一致。TacitVLA 使用完全相同的训练序列、损失函数、prompt 和优化器，唯一的区别是 attention mask 里的一处改动，它让 action expert 看不到推理 token。No Reasoning 则是同一结构在不含推理文本的数据上训练得到的模型。 这样的设计把推理可能带来帮助的两条途径分开了。 一是学习写推理，可能训练出更好的 backbone。二是读取推理，可能为 action expert 提供有用的额外输入。Explicit Reasoning 同时具备这两种效果，No Reasoning 两者都没有。TacitVLA 只保留第一种，而第一种在部署时不花任何时间。 部署时，如果推理文本没有用处，TacitVLA 就直接跳过不写。在记忆任务上，每个新的子任务仍要写入日志，供后面的步骤使用。因此 TacitVLA 先算出动作，再在机器人执行这个动作的同时写日志。在两个记忆 benchmark 上，每一次调用中日志都在动作执行完之前写完，所以没有带来任何额外延迟。 实验结果 在全部四个 benchmark 上，TacitVLA 的成功率与 Explicit Reasoning 相当，并超过 No Reasoning，同时保持了 No Reasoning 的速度。 提升最大的是记忆 benchmark。在 RMBench 上，TacitVLA 在四个任务上的平均成功率为 77.5%，Explicit Reasoning 为 77.0%，此前已发表的最好结果为 56.5%。它相对 No Reasoning（60.4%）的提升大部分来自 Press Button 任务，在这个任务里，按了几次只记录在日志中。在该任务上，No Reasoning 的成功率为 7.7

来源只提供摘要，完整内容请打开原文。