用于深度补全的非局部空间传播网络
计算机视觉与模式识别
2020-07-21 v1
摘要
本文提出一种鲁棒且高效的端到端非局部空间传播网络用于深度补全。所提网络以 RGB 图像和稀疏深度图像为输入,估计每个像素的非局部邻域及其亲和度,以及带有逐像素置信度的初始深度图。随后,初始深度预测通过其置信度以及基于预测的非局部邻域和相应亲和度的非局部空间传播过程进行迭代细化。与利用固定局部邻域的已有算法不同,所提算法在传播过程中有效避免不相关的局部邻域并聚焦于相关的非局部邻域。此外,我们引入可学习的亲和度归一化,以相比传统方法更好地学习亲和度组合。所提算法对深度边界上的混合深度问题具有内在鲁棒性,而这是现有深度估计/补全算法的主要问题之一。在室内与室外数据集上的实验结果表明,所提算法在深度补全精度及对混合深度问题的鲁棒性方面均优于传统算法。我们的实现已在项目页面公开。
引用
@article{arxiv.2007.10042,
title = {Non-Local Spatial Propagation Network for Depth Completion},
author = {Jinsun Park and Kyungdon Joo and Zhe Hu and Chi-Kuei Liu and In So Kweon},
journal= {arXiv preprint arXiv:2007.10042},
year = {2020}
}
备注
To appear in ECCV 2020. Project page: https://github.com/zzangjinsun/NLSPN_ECCV20