面向遮挡下人体运动恢复的掩码建模方法
计算机视觉与模式识别
2026-01-26 v2
摘要
从单目视频中重建人体运动是计算机视觉领域的一项基础性挑战，在AR/VR、机器人技术和数字内容创作中有着广泛应用，但在现实场景中频繁出现的遮挡下仍极具挑战。现有的基于回归的方法效率高，但对缺失观测值敏感；而基于优化和扩散的方法虽提高了鲁棒性，却以推理速度慢和预处理步骤繁重为代价。为解决这些局限，我们利用生成式掩码建模的最新进展，提出了MoRo：面向遮挡下人体运动恢复的掩码建模方法。MoRo是一个抗遮挡的端到端生成式框架，将运动重建形式化为视频条件任务，并能从RGB视频中高效恢复一致全局坐标系下的人体运动。通过掩码建模，MoRo自然地处理遮挡，同时实现高效的端到端推理。为克服配对视频-运动数据的稀缺性，我们设计了一种跨模态学习方案，从一组异构数据集中学习多模态先验：(i) 在MoCap数据集上训练的轨迹感知运动先验，(ii) 在图像-姿态数据集上训练的图像条件姿态先验，捕捉多样化的逐帧姿态，以及 (iii) 一个视频条件的掩码Transformer，融合运动和姿态先验，并在视频-运动数据集上微调，以整合视觉线索与运动动力学，实现鲁棒推理。在EgoBody和RICH数据集上的大量实验表明，MoRo在遮挡下的准确性和运动真实感方面显著优于现有最优方法，同时在无遮挡场景中性能相当。MoRo在单个H200 GPU上实现了70 FPS的实时推理。
引用
@article{arxiv.2601.16079,
title = {Masked Modeling for Human Motion Recovery Under Occlusions},
author = {Zhiyin Qian and Siwei Zhang and Bharat Lal Bhatnagar and Federica Bogo and Siyu Tang},
journal= {arXiv preprint arXiv:2601.16079},
year = {2026}
}
备注
Project page: https://mikeqzy.github.io/MoRo