MotionPRO：探索压力在人体动作捕捉及后续任务中的作用
计算机视觉与模式识别
2026-05-27 v2
摘要
现有的人体动作捕捉 (MoCap) 方法大多关注视觉相似性，而忽略了物理合理性。结果，在 3D 场景中驱动虚拟人或现实世界中驱动人形机器人等下游任务，会出现时间漂移和抖动、滑步和穿透等空间问题，以及全局轨迹精度差等问题。在本文中，我们通过探索压力的作用，从人体与物理世界交互的视角重新审视人体 MoCap。首先，我们构建了一个包含压力、RGB 和光学传感器的大规模人体动作捕捉数据集（命名为 MotionPRO），该数据集包含 70 名志愿者执行的 400 种动作，共计 1240 万帧姿态。其次，我们通过两个具有挑战性的任务检验了压力信号的必要性和有效性：(1) 仅基于压力的姿态和轨迹估计：我们提出了一种结合小核解码器和长短期注意力模块的网络，并证明压力可以提供准确的全局轨迹和合理的下半身姿态。(2) 融合压力与 RGB 的姿态和轨迹估计：我们沿相机轴施加正交相似性约束，沿垂直轴施加全身接触约束，以增强交叉注意力策略，从而融合压力与 RGB 特征图。实验表明，将压力与 RGB 特征融合不仅在客观指标上显著提升了性能，还能在 3D 场景中合理地驱动虚拟人 (SMPL)。此外，我们证明引入物理感知使人形机器人能够执行更精确、更稳定的动作，这对具身人工智能的发展非常有益。项目页面位于：https://nju-cite-mocaphumanoid.github.io/MotionPRO/
引用
@article{arxiv.2504.05046,
title = {MotionPRO: Exploring the Role of Pressure in Human MoCap and Beyond},
author = {Shenghao Ren and Yi Lu and Jiayi Huang and Jiayi Zhao and He Zhang and Tao Yu and Qiu Shen and Xun Cao},
journal= {arXiv preprint arXiv:2504.05046},
year = {2026}
}
备注
fix NSFC ID