面向全身三维人体网格估计的精确三维手部姿态估计
计算机视觉与模式识别
2022-04-20 v4
摘要
全身三维人体网格估计旨在同时重建三维人体、手与面部。尽管已有若干方法被提出，由三维手腕与手指构成的三维手的精确预测仍具挑战性，原因有二。其一，在预测三维手腕时未仔细考虑人体运动学链。其二，先前工作利用身体特征预测三维手指，而身体特征几乎不含手指信息。为解决这些局限，我们提出 Hand4Whole，其相较先前工作有两点优势。首先，我们设计 Pose2Pose，一个利用关节特征预测三维关节旋转的模块。借助 Pose2Pose，Hand4Whole 利用手部 MCP 关节特征预测三维手腕，因在人体运动学链中 MCP 关节对三维手腕旋转贡献甚大。其次，Hand4Whole 在预测三维手指旋转时弃用身体特征。我们的 Hand4Whole 以端到端方式训练，并产出远优于先前全身三维人体网格估计方法的三维手结果。代码发布于 https://github.com/mks0601/Hand4Whole_RELEASE。
引用
@article{arxiv.2011.11534,
title = {Accurate 3D Hand Pose Estimation for Whole-Body 3D Human Mesh Estimation},
author = {Gyeongsik Moon and Hongsuk Choi and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2011.11534},
year = {2022}
}
备注
Published at CVPRW 2022