FrankMocap：一种基于回归与集成的单目三维全身姿态估计系统
计算机视觉与模式识别
2021-08-24 v1
摘要
大多数现有的单目三维姿态估计方法仅关注单一身体部位，忽视了人体运动的关键细微差别是通过面部、手部和身体的微妙协同运动来传达的这一事实。本文提出 FrankMocap，一种快速且准确的全身三维姿态估计系统，能够从野外单目图像中同时生成三维面部、手部和身体姿态。FrankMocap 的核心思想在于其模块化设计：我们首先独立地对面部、手部和身体运行三维姿态回归方法，随后通过集成模块将回归输出进行组合。独立的回归模块使我们能够充分利用其最先进的性能，而不损害实际中的原始精度与可靠性。我们开发了三种不同的集成模块，在延迟与精度之间进行权衡。它们均能提供简单而有效的方案，将独立输出统一为无缝的全身姿态估计结果。我们通过定量与定性实验证明，我们的模块化系统优于基于优化和端到端的全身姿态估计方法。
引用
@article{arxiv.2108.06428,
title = {FrankMocap: A Monocular 3D Whole-Body Pose Estimation System via Regression and Integration},
author = {Yu Rong and Takaaki Shiratori and Hanbyul Joo},
journal= {arXiv preprint arXiv:2108.06428},
year = {2021}
}
备注
Accepted to ICCV 2021 Workshops on Assistive Computer Vision and Robotics. An updated version of arXiv:2008.08324. Code, models and demo videos are available at:https://github.com/facebookresearch/frankmocap