从单幅图像进行多人体隐式重建
计算机视觉与模式识别
2021-04-20 v1
摘要
我们提出一种新的端到端学习框架，以从单幅图像获得多人的细致且空间一致的重建。现有的多人方法存在两个主要缺陷：它们常基于模型，因此无法捕捉穿宽松衣物和带毛发人员的精确 3D 模型；或者它们需要人工干预以解决遮挡或交互。我们的方法通过引入首个端到端学习方法以对单幅图像中多衣着人体（含遮挡、任意姿态）进行无模型隐式重建，从而同时解决上述局限。我们的网络同时估计每个人的 3D 几何及其 6DOF 空间位置，以获得一致的多人体重建。此外，我们引入一个新的合成数据集，描绘具有不同数量相互遮挡人体以及多种衣物与发型的图像。我们在具有复杂遮挡、宽松衣物及大量姿态与场景的多人图像上展示了鲁棒的高分辨率重建。在合成与真实世界数据集上的定量评估表明，本方法达到了最先进性能，并在重建精度与完整性上相较竞争方法取得显著提升。
引用
@article{arxiv.2104.09283,
title = {Multi-person Implicit Reconstruction from a Single Image},
author = {Armin Mustafa and Akin Caliskan and Lourdes Agapito and Adrian Hilton},
journal= {arXiv preprint arXiv:2104.09283},
year = {2021}
}
备注
To appear in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2021