窥视物体背后：从单幅图像预测分层深度
计算机视觉与模式识别
2019-05-09 v1
摘要
虽然传统深度估计能从单张 RGB 图像推断场景几何，但它无法估计被前景物体遮挡的场景区域。这限制了深度预测在增强现实与虚拟现实中的应用，后者旨在从不同视点合成场景以进行场景探索，或用于弱化现实。为解决此问题，我们将关注点从传统的深度图预测转移到一种称为分层深度图像（LDI）的特定数据表示的回归上，LDI 包含参考帧中被遮挡区域的信息，并能在小幅视角变化时填补遮挡空缺。我们提出一种基于卷积神经网络（CNN）的新颖方法，联合预测深度图与前景分离掩码，用以条件化生成对抗网络（GAN）来在初始遮挡区域幻觉出合理的颜色与深度。我们展示了我们的方法在从单幅图像进行新场景视角合成上的有效性。
引用
@article{arxiv.1807.08776,
title = {Peeking Behind Objects: Layered Depth Prediction from a Single Image},
author = {Helisa Dhamo and Keisuke Tateno and Iro Laina and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:1807.08776},
year = {2019}
}