利用多模态数据的单目实时手形与运动捕捉
计算机视觉与模式识别
2022-03-14 v3
摘要
我们提出了一种新颖的单目手形与姿态估计方法,其运行时性能达到前所未有的100fps,且具备最先进的精度。这得益于一种新基于学习的架构,其设计使得它能够利用所有可用的手部训练数据来源:带有2D或3D标注的图像数据,以及无对应图像数据的独立3D动画。它包含一个3D手部关节检测模块和一个逆运动学模块,该模块不仅在单次前馈过程中回归3D关节位置,还将它们映射到关节旋转。与仅回归3D关节位置相比,该输出使该方法更可直接用于计算机视觉与图形学应用。我们证明,我们的架构设计在多个具有挑战性的基准上相比最先进水平带来了显著的定量与定性改进。我们的模型已公开供未来研究使用。
引用
@article{arxiv.2003.09572,
title = {Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data},
author = {Yuxiao Zhou and Marc Habermann and Weipeng Xu and Ikhsanul Habibie and Christian Theobalt and Feng Xu},
journal= {arXiv preprint arXiv:2003.09572},
year = {2022}
}
备注
Accepted by CVPR 2020