HybrIK：一种用于3D人体姿态与形状估计的混合解析-神经逆向运动学解
计算机视觉与模式识别
2022-04-28 v4
摘要
基于模型的3D姿态与形状估计方法通过估计若干参数重建人体的完整3D网格。然而，学习抽象参数是一个高度非线性的过程，并遭受图像-模型错位，导致模型性能平庸。相比之下，3D关键点估计方法将深度CNN网络与体素表示相结合以实现像素级定位精度，但可能预测出不真实的身体结构。本文中，我们通过弥合身体网格估计与3D关键点估计之间的差距来解决上述问题。我们提出了一种新颖的混合逆向运动学解（HybrIK）。HybrIK通过扭转-摆动分解，将准确的3D关节直接变换为相对身体部位旋转以进行3D身体网格重建。摆动旋转由3D关节解析求解，扭转旋转由通过神经网络的视觉线索导出。我们表明HybrIK同时保留了3D姿态的精度与参数化人体模型的真实身体结构，从而得到像素对齐的3D身体网格与比纯3D关键点估计方法更准的3D姿态。无需额外技巧，所提方法在各种3D人体姿态与形状基准上大幅超越最先进（SOTA）方法。作为一个说明性示例，HybrIK在3DPW数据集上以13.2 mm MPJPE与21.9 mm PVE优于所有先前方法。我们的代码见 https://github.com/Jeff-sjtu/HybrIK。
引用
@article{arxiv.2011.14672,
title = {HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation},
author = {Jiefeng Li and Chao Xu and Zhicun Chen and Siyuan Bian and Lixin Yang and Cewu Lu},
journal= {arXiv preprint arXiv:2011.14672},
year = {2022}
}
备注
CVPR 2021