RopeTP：结合鲁棒姿态估计与扩散轨迹先验的全局人体运动恢复
计算机视觉与模式识别
2024-11-04 v2 人工智能
摘要
我们提出了 RopeTP，这是一种结合了鲁棒姿态估计与扩散轨迹先验的新框架，旨在从视频中重建全局人体运动。RopeTP 的核心是一个分层注意力机制，它显著提高了上下文感知能力，这对于准确推断被遮挡身体部位的姿态至关重要。这是通过利用其与可见解剖结构的关系来实现的，从而增强了局部姿态估计的准确性。这些局部估计鲁棒性的提升使得重建精确且稳定的全局轨迹成为可能。此外，RopeTP 引入了一个扩散轨迹模型，从局部姿态序列中预测逼真的人体运动。该模型确保生成的轨迹不仅与观察到的局部动作保持一致，而且随时间自然展开，从而提高了 3D 人体运动重建的真实感和稳定性。广泛的实验验证表明，RopeTP 在两个基准数据集上超越了现有方法，尤其在遮挡场景中表现卓越。它也优于那些依赖 SLAM 进行初始相机估计和大量优化的方法，提供了更准确、更逼真的轨迹。
引用
@article{arxiv.2410.20358,
title = {RopeTP: Global Human Motion Recovery via Integrating Robust Pose Estimation with Diffusion Trajectory Prior},
author = {Mingjiang Liang and Yongkang Cheng and Hualin Liang and Shaoli Huang and Wei Liu},
journal= {arXiv preprint arXiv:2410.20358},
year = {2024}
}
备注
Accepted by WACV 2025 (Round 1)