DeOccNet：在光场中学习看穿前景遮挡
计算机视觉与模式识别
2019-12-11 v1
摘要
光场（LF）相机在某些视图中被遮挡的背景物体可被其他视图看到。因此，被遮挡表面有可能从 LF 图像中重建。本文中，我们使用一个深度编码器-解码器网络（即 DeOccNet）来处理 LF 去遮挡（LF-DeOcc）问题。在我们的方法中，子孔径图像（SAIs）首先被送入编码器以融合空间与角度信息。随后解码器利用编码后的表示来渲染无遮挡的中心视点 SAI。据我们所知，DeOccNet 是首个基于深度学习的 LF-DeOcc 方法。为应对训练数据不足，我们提出一种 LF 合成方法将选定的遮挡掩码嵌入现有 LF 图像中。此外，我们构建了若干合成与真实世界 LF 用于性能评估。实验结果表明，在生成数据上训练后，我们的 DeOccNet 能有效去除前景遮挡，并相较其他最先进（state-of-the-art）方法取得更优性能。源代码见：https://github.com/YingqianWang/DeOccNet。
引用
@article{arxiv.1912.04459,
title = {DeOccNet: Learning to See Through Foreground Occlusions in Light Fields},
author = {Yingqian Wang and Tianhao Wu and Jungang Yang and Longguang Wang and Wei An and Yulan Guo},
journal= {arXiv preprint arXiv:1912.04459},
year = {2019}
}
备注
10 pages, 8 figures