基于部件可微渲染的单目人体姿态与形状重建
计算机视觉与模式识别
2021-02-01 v2
摘要
从单目图像中 superior 的人体姿态与形状重建依赖于消除由遮挡和形状差异引起的歧义。近期工作通过基于回归的方法取得成功，这些方法利用深度神经网络直接估计参数化模型，并以 3D 真值监督。然而，3D 真值既不充分也不易高效获取。本文中，我们引入身体部件分割作为关键监督。部件分割不仅指示每个身体部件的形状，还有助于推断部件间的遮挡。为利用部件分割改进重建，我们提出一种部件级可微渲染器，使基于部件的模型可在神经网络或优化循环中受部件分割监督。我们还引入一个参与渲染流程的通用参数化模型，作为骨架与精细形状之间的中间表示，其由基本几何体组成以增强可解释性。所提方法将参数回归、身体模型优化与精细模型配准相结合。实验结果表明，该方法在姿态与形状上取得均衡评估，并在 Human3.6M、UP-3D 和 LSP 数据集上优于当前最优方法。
引用
@article{arxiv.2003.10873,
title = {Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering},
author = {Min Wang and Feng Qiu and Wentao Liu and Chen Qian and Xiaowei Zhou and Lizhuang Ma},
journal= {arXiv preprint arXiv:2003.10873},
year = {2021}
}
备注
Accepted by Pacific Graphcis 2020