用于深度补全的双边传播网络
计算机视觉与模式识别
2024-04-02 v2
摘要
深度补全旨在利用同步的彩色图像，从稀疏深度测量值中推导出稠密深度图。当前的最先进（SOTA）方法主要基于传播，对初始估计的稠密深度进行迭代细化。然而，初始深度估计大多是对稀疏深度图直接应用卷积层得到的。在本文中，我们提出了一种双边传播网络（BP-Net），在最早期阶段进行深度传播，以避免直接对稀疏数据进行卷积。具体而言，我们的方法通过非线性模型从附近的深度测量值传播目标深度，该模型的系数由以辐射差和空间距离为条件的多层感知机生成。通过在多尺度框架中整合双边传播、多模态融合和深度细化，我们的 BP-Net 在室内和室外场景中均展现出卓越性能。它在 NYUv2 数据集上达到了 SOTA，并在提交时在 KITTI 深度补全基准上排名第一。实验结果不仅展示了双边传播的有效性，还强调了与细化阶段相比，早期阶段传播的重要性。我们的代码和训练好的模型将在项目页面上提供。
引用
@article{arxiv.2403.11270,
title = {Bilateral Propagation Network for Depth Completion},
author = {Jie Tang and Fei-Peng Tian and Boshi An and Jian Li and Ping Tan},
journal= {arXiv preprint arXiv:2403.11270},
year = {2024}
}
备注
Accepted by CVPR 2024