通过循环内模型拟合学习重建三维人体姿态与形状
计算机视觉与模式识别
2019-09-30 v1
摘要
基于模型的人体姿态估计目前通过两种不同范式展开。基于优化的方法以迭代方式将参数化身体模型拟合到 2D 观测上，能获得精确的图像-模型对齐，但往往较慢且对初始化敏感。相反，基于回归的方法使用深度网络直接从像素估计模型参数，倾向于提供合理但非像素级的精确结果，同时需要大量监督。在本工作中，我们不探究哪种方法更优，而是提出关键见解：两种范式可形成强强协作。网络直接回归出的合理估计可初始化迭代优化，使拟合更快更准；类似地，迭代优化得到的像素级精确拟合可作为网络的强监督。这是我们提出的方法 SPIN（SMPL oPtimization IN the loop，循环内 SMPL 优化）的核心。深度网络初始化一个在训练循环内将身体模型拟合到 2D 关节的迭代优化例程，随后用拟合估计监督网络。我们的方法本质自改进，因为更好的网络估计可引导优化至更好解，而更精确的优化拟合为网络提供更好监督。我们在 3D 真值稀缺或不可用的不同设定下展示了方法有效性，并持续大幅优于最先进的基于模型的姿态估计方法。含视频、结果和代码的项目网站见 https://seas.upenn.edu/~nkolot/projects/spin。
引用
@article{arxiv.1909.12828,
title = {Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop},
author = {Nikos Kolotouros and Georgios Pavlakos and Michael J. Black and Kostas Daniilidis},
journal= {arXiv preprint arXiv:1909.12828},
year = {2019}
}
备注
To appear at ICCV 2019. Project page: https://seas.upenn.edu/~nkolot/projects/spin