Neural Body Fitting：统一深度学习与基于模型的人体姿态和形状估计
计算机视觉与模式识别
2018-08-20 v1
摘要
即使对于高度参数化的深度学习模型，直接预测 3D 人体姿态和形状仍然是一项挑战。从 2D 图像空间到预测空间的映射十分困难：透视歧义使损失函数含噪，且训练数据稀缺。在本文中，我们提出一种新方法（Neural Body Fitting，NBF）。它将统计身体模型集成于 CNN 中，利用可靠的自下而上语义身体部位分割和鲁棒的自上而下身体模型约束。NBF 是完全可微的，可使用 2D 和 3D 标注进行训练。在详细实验中，我们分析了模型各组件如何影响性能，特别是将部位分割作为显式中间表示的用法，并提出了一种鲁棒、可高效训练的框架，用于从 2D 图像进行 3D 人体姿态估计，在标准基准上取得了有竞争力的结果。代码将在 http://github.com/mohomran/neural_body_fitting 提供。
引用
@article{arxiv.1808.05942,
title = {Neural Body Fitting: Unifying Deep Learning and Model-Based Human Pose and Shape Estimation},
author = {Mohamed Omran and Christoph Lassner and Gerard Pons-Moll and Peter V. Gehler and Bernt Schiele},
journal= {arXiv preprint arXiv:1808.05942},
year = {2018}
}
备注
3DV 2018