用于视觉三维人体姿态与形状的神经下降法
计算机视觉与模式识别
2021-06-15 v2
摘要
我们提出深度神经网络方法，以输入 RGB 图像重建人体的三维姿态与形状。我们依赖于最近引入的、富有表现力的全身统计三维人体模型 GHUM，对其进行端到端训练，并学习在以自监督方式重建其姿态和形状状态。我们方法的核心是一种称为 HUman Neural Descent(HUND，人体神经下降)的学会学习与优化方法，它既避免了在训练模型参数时的二阶微分，也避免了在测试时为了准确最小化语义可微渲染损失而进行的昂贵状态梯度下降。相反，我们依赖新颖的循环阶段来更新姿态和形状参数，使得不仅损失被有效最小化，而且该过程被元正则化以确保端到端进展。HUND 在训练与测试间的对称性使其成为首个原生支持包括自监督在内的不同运行机制的三维人体感知架构。在多样化测试中，我们表明 HUND 在 H3.6M 和 3DPW 等数据集上取得了极具竞争力的结果，并对野外采集的复杂图像获得了良好质量的三维重建。
引用
@article{arxiv.2008.06910,
title = {Neural Descent for Visual 3D Human Pose and Shape},
author = {Andrei Zanfir and Eduard Gabriel Bazavan and Mihai Zanfir and William T. Freeman and Rahul Sukthankar and Cristian Sminchisescu},
journal= {arXiv preprint arXiv:2008.06910},
year = {2021}
}
备注
CVPR 2021