ChallenCap：利用多模态参考的单目三维挑战性人体动作捕捉
计算机视觉与模式识别
2021-03-30 v2
摘要
捕捉具有挑战性的人体运动对众多应用至关重要，但在单目设置下，其受复杂运动模式和严重自遮挡的困扰。本文提出 ChallenCap——一种基于模板的方法，借助多模态参考，在新型学习与优化框架中使用单个 RGB 相机捕捉具有挑战性的三维人体运动。我们提出一个带生成网络的混合运动推断阶段，该网络利用时序编码器-解码器从成对稀疏视角参考中提取运动细节，并利用运动判别器以数据驱动方式从非成对的基于标记参考中提取特定的挑战性运动特征。我们进一步采用鲁棒的运动优化阶段，通过联合利用来自监督多模态参考的已学运动细节以及来自输入图像参考的可靠运动提示，来提高跟踪精度。在我们新构建的挑战性运动数据集上的大量实验证明了该方法在捕捉挑战性人体运动方面的有效性与鲁棒性。
引用
@article{arxiv.2103.06747,
title = {ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References},
author = {Yannan He and Anqi Pang and Xin Chen and Han Liang and Minye Wu and Yuexin Ma and Lan Xu},
journal= {arXiv preprint arXiv:2103.06747},
year = {2021}
}