端到端的人体形状与姿态恢复
计算机视觉与模式识别
2018-06-26 v2
摘要
我们描述了Human Mesh Recovery（HMR），一个从单张RGB图像重建人体完整3D网格的端到端框架。与大多数计算2D或3D关节位置的方法不同，我们生成更丰富且更有用的网格表示，其由形状和3D关节角度参数化。主要目标是最小化关键点的重投影损失，这使得我们的模型可以使用仅有真实2D标注的野外图像进行训练。然而，仅靠重投影损失会使模型高度欠约束。本工作中我们通过引入一个对手网络来解决该问题，该网络利用大型3D人体网格数据库来判断人体参数是否真实。我们展示了HMR可以在使用或不使用任何配对2D到3D监督的情况下进行训练。我们不依赖中间2D关键点检测，而是直接从图像像素推断3D姿态和形状参数。我们的模型在给定包含人物的边界框时可实时运行。我们在各种野外图像上演示了我们的方法，其性能优于先前输出3D网格的基于优化的方法，并在3D关节位置估计和部件分割等任务上展示了有竞争力的结果。
引用
@article{arxiv.1712.06584,
title = {End-to-end Recovery of Human Shape and Pose},
author = {Angjoo Kanazawa and Michael J. Black and David W. Jacobs and Jitendra Malik},
journal= {arXiv preprint arXiv:1712.06584},
year = {2018}
}
备注
CVPR 2018, Project page with code: https://akanazawa.github.io/hmr/