幂特科技上线单目 Ego 数据 MaaS 平台

“ 从视频恢复三维动作，并映射为机器人动作。 GPT-6 Astra 的出现，展现了通用模型在复杂推理与多步骤任务执行上的进步。在幂特科技看来，随着这些能力向具身场景延伸，准确、可迁移的人类动作数据，将成为连接模型能力与机器人行动的重要基础。 普通摄像头记录了丰富的人类操作；如果能从中恢复可靠的三维姿态与连续轨迹，就有机会将更多人类经验转化为机器人的学习信号，拓展真机采集之外的真实场景数据来源。 幂特科技聚焦的，正是这条从普通单目 RGB 视频到高质量三维动作数据的转化链路：以高精度重建提取动作，以自主真值体系持续验证和提升精度，以自动化管线支撑规模化处理。 目前，公司已与数家头部客户（包含头部具身大脑公司、头部世界模型公司、互联网大厂）达成合作，并上线 MaaS 平台，推动高精度 Ego 数据处理成为标准化服务。 近期，幂特科技展示了一项技术进展：仅通过头戴式 GoPro 采集的单目 RGB 视频，实时精准恢复人类手部的三维运动，并映射到机械臂及灵巧手，实现实时精细控制。 这一进展验证了数据转化链路中的关键能力：在演示场景中，从视频恢复三维动作，并映射为机器人动作。 用于机器人训练时，还需要结合本体约束、动作重定向和质量验证，形成可供模型学习的动作监督，并通过下游模型评测检验效果。 01. 从人类视频中，提取机器人可学习的动作信息 对于 VLA、世界模型等方向，人类视频提供了丰富的场景、物体与操作过程。三维姿态和空间轨迹则能够进一步描述手在什么位置、如何移动，以及动作在时间上如何衔接，为模型建立视觉观测与物理运动之间的联系提供信息。 机器人上下文学习（ICL，In-Context Learning）也在探索示范的另一种用法：模型在执行新任务时参考给定示范，而无需针对这次示范重新训练。已有研究在 RGB-D 视频条件下，从人类示范中提取任务片段和手部轨迹，将其作为上下文，引导机器人执行相应操作。 从训练阶段的动作监督，到执行阶段的示范参考，人类经验有了不同的使用路径。对幂特科技而言，高精度三维信息有望为这些路径提供更明确的动作描述。 过去几年，大语言模型通过海量数据训练实现了能力跃迁。如今，具身智能也正在探索自己的 Scaling Law。单目 RGB 视频依托智能手机、运动相机等普及设备，具备成本较低、易于获取、场景覆盖广等特点，为人类动作数据的规模化获取提供了入口。但单目视觉仍面临深度与尺度歧义、遮挡及轨迹漂移等挑战。 从易获取的视频，到准确、连续、可供机器人学习的三维动作信息，中间存在一条关键的技术鸿沟。 幂特科技选择聚焦的，正是这一数据编译环节。 02. 精度，决定了机器人究竟能从人类身上学到多少 在幂特科技看来，Ego（第一视角）数据处理的核心挑战，并不只是将手部动作重建出来，而是如何保证重建结果足够准确、连续，并具有可靠的三维空间结构。 在机器人操作任务中，微小的位置误差可能带来完全不同的执行结果。 例如，在抓取、插入、旋拧等精细动作中，指尖位置的偏差可能直接影响抓取点和接触关系；而相机运动轨迹的持续漂移，则可能破坏一段长时间动作在三维空间中的一致性。 对机器人而言，几何精度不只是视觉重建指标，更关系到动作监督信号的质量。 围绕这一问题，幂特科技持续投入单目 3D Hand Pose、SLAM 及环境生成重建等核心技术。系统通过单路 RGB 视频，重建连续的三维手部运动信息与相机空间轨迹，并在动作精确性、连贯性、场景泛化及处理效率等维度持续优化。 在团队现有的内部测试中，3D 手部姿态重建的 MPJPE 约为 1 厘米，经过刚性对齐后的 PA-MPJPE 达到毫米级；单目 SLAM 也在特定测试条件下取得了高精度的轨迹重建结果。 测试结果：在 Hot3D 数据集上测试的3D Hand Pose 精度与代表性方案的对比 （所有数值单位为 mm，越低越好） 模型名 绝对MPJPE (Camera-space) 腕部相对MPJPE (Wrist-relative) PA-MPJPE (Procrustes-Aligned) HaMeR — 57.96 10.26 WiLoR — 26.09 7.57 HaWoR 68.11 16.71 7.64 Dyn-HaMR 58.12 — — EgoForce 43.90 — 6.60 V-JEPA Hand — 12.04 5.72 Ours 14.27 8.47 4.40 相比单纯的视频识别，高精度 3D 结构化数据能够提供更明确的空间运动监督，为从人类动作到机器人动作的迁移（Ego2Robot）提供几何基础。 当这些三维轨迹进一步结合机器人本体约束、动作重定向和质量验证后，便有机会转化为用于机器人策略后训练的动作监督数据。 从“看懂人类在做什么”，走向“学习人类如何完成动作”

来源只提供摘要，完整内容请打开原文。