基于遮挡边界双表面外推的深度补全
计算机视觉与模式识别
2021-07-27 v3
摘要
深度补全从一组稀疏的已知深度值出发，估计其余图像像素的未知深度。大多数方法将此建模为深度插值，并错误地将深度像素插值到空间上不同物体之间的空白区域，导致跨遮挡边界的深度涂抹。这里我们提出一种多假设深度表示，在困难的遮挡边界区域显式建模前景和背景深度。我们的方法可被视为在这些区域执行双表面外推，而非插值。接下来，我们的方法利用图像数据将这些外推表面融合为单一深度图像。我们方法的关键在于使用一种作用于新颖双表面表示的非对称损失函数。这使我们能够训练一个网络同时执行表面外推和表面融合。我们刻画了我们的损失函数并与其他常见损失进行比较。最后，我们在三个不同数据集上验证我们的方法：KITTI（室外真实世界数据集）、NYU2（室内真实世界深度数据集）和Virtual KITTI（具有稠密真值的照片级合成数据集），并展示了对最先进方法的改进。
引用
@article{arxiv.2104.02253,
title = {Depth Completion with Twin Surface Extrapolation at Occlusion Boundaries},
author = {Saif Imran and Xiaoming Liu and Daniel Morris},
journal= {arXiv preprint arXiv:2104.02253},
year = {2021}
}
备注
Accepted in Intl. Conf. on Computer Vision and Pattern Recognition (CVPR) 2021 (Supplementary Included)