一种从单幅图像进行精细人体深度估计的神经网络
计算机视觉与模式识别
2019-12-25 v2
摘要
本文提出一种神经网络，用于从单幅 RGB 图像估计前景人体的精细深度图。该结果捕捉了如衣物褶皱等几何细节，这些在可视化应用中十分重要。为实现此目标，我们将深度图分解为平滑的基础形状与残差细节形状，并设计了一个双分支网络分别回归二者。我们设计了一种训练策略，以确保基础形状与细节形状均能被相应网络分支准确学习。此外，我们引入了一种新颖的网络层，用于融合粗略深度图与表面法线以进一步提升最终结果。与真实深度相机捕获的融合“地面真值”的定量比较，以及在无约束互联网图像上的定性示例，均展示了所提方法的优势。代码已发布于 https://github.com/sfu-gruvi-3dv/deep_human。
引用
@article{arxiv.1910.01275,
title = {A Neural Network for Detailed Human Depth Estimation from a Single Image},
author = {Sicong Tang and Feitong Tan and Kelvin Cheng and Zhaoyang Li and Siyu Zhu and Ping Tan},
journal= {arXiv preprint arXiv:1910.01275},
year = {2019}
}