单张图像多人重建中的体型与深度消歧
计算机视觉与模式识别
2021-12-10 v2
摘要
我们解决了从单张图像进行多人 3D 身体姿态和形状估计的问题。虽然这个问题可以通过对同一场景多次应用单人方法来解决，但最近的工作显示了构建深度架构的优势，该架构通过强制执行例如深度顺序约束或最小化重建身体间的相互穿透，以整体方式同时推理场景中的所有人物。然而，现有方法仍然无法捕捉由固有的身体尺度和深度歧义性引起的人物体型变化。在这项工作中，我们通过设计一种新颖的优化方案来应对这一挑战，该方案通过强制所有人的脚都保持在地面上来学习适当的身体尺度和相对相机姿态。在 MuPoTS-3D 和 3DPW 数据集上的全面评估表明，我们的方法能够稳健地估计多个人的身体平移和形状，同时检索他们的空间排列，持续改进了当前最先进的技术，尤其是在人物身高差异很大的场景中。
引用
@article{arxiv.2111.01884,
title = {Body Size and Depth Disambiguation in Multi-Person Reconstruction from Single Images},
author = {Nicolas Ugrinovic and Adria Ruiz and Antonio Agudo and Alberto Sanfeliu and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:2111.01884},
year = {2021}
}