学习运动先验用于3D场景中的4D人体捕捉
计算机视觉与模式识别
2021-08-25 v1 人工智能
摘要
从单目视频中恢复复杂场景下的高质量3D人体运动对于从AR/VR到机器人技术的许多应用至关重要。然而，在应对遮挡和部分视角的同时捕捉逼真的人体-场景交互极具挑战性；当前方法远未达到令人满意的效果。我们通过提出LEMO来解决此问题：学习人体运动先验用于4D人体捕捉。利用大规模运动捕捉数据集AMASS，我们引入了一种新颖的运动平滑先验，它极大地减少了序列中恢复姿态所表现出的抖动。此外，为了处理人体-场景交互中频繁出现的接触和遮挡，我们设计了一个接触摩擦项和一个通过逐实例自监督训练获得的接触感知运动填充器。为证明所提运动先验的有效性，我们将它们整合到一个用于3D场景中4D人体捕捉的新颖流程中。通过我们的流程，我们展示了高质量的4D人体捕捉，重建出平滑的运动和物理上合理的人体-场景交互。代码和数据可在https://sanweiliti.github.io/LEMO/LEMO.html获取。
引用
@article{arxiv.2108.10399,
title = {Learning Motion Priors for 4D Human Body Capture in 3D Scenes},
author = {Siwei Zhang and Yan Zhang and Federica Bogo and Marc Pollefeys and Siyu Tang},
journal= {arXiv preprint arXiv:2108.10399},
year = {2021}
}
备注
Accepted by ICCV 2021, camera ready version with appendix