FrankMocap：基于回归与集成的快速单目三维手与身体动作捕捉
计算机视觉与模式识别
2020-08-20 v1
摘要
尽管人体运动的关键细微差别常由身体动作与手势组合传达，现有单目动作捕捉方法多聚焦于仅身体动作捕捉而忽略手部，或仅手部动作捕捉而不考虑身体运动。本文提出 FrankMocap，一种可从野外单目输入同时估计三维手与身体运动、且比先前工作速度更快（9.5 fps）、精度更好的动作捕捉系统。我们的方法近乎实时（9.5 fps）运行，并输出统一参数化模型结构下的三维身体与手部动作捕捉结果。该方法旨在从具有挑战性的野外单目视频中同时捕捉三维身体与手部运动。为构建 FrankMocap，我们取整体身体参数化模型（SMPL-X）的手部部分，构建了最先进的单目三维“手”动作捕捉方法。我们的三维手部动作捕捉输出可高效集成至单目身体动作捕捉输出，以统一参数化模型结构生成全身运动结果。我们在公开基准上展示了手部动作捕捉系统的最先进性能，并在包括实时演示在内的多种挑战性真实场景中展示了全身动作捕捉结果的高质量。
引用
@article{arxiv.2008.08324,
title = {FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration},
author = {Yu Rong and Takaaki Shiratori and Hanbyul Joo},
journal= {arXiv preprint arXiv:2008.08324},
year = {2020}
}
备注
Demo, Code and Models are available at https://penincillin.github.io/frank_mocap