DeepLiDAR：基于深度表面法线引导的从稀疏 LiDAR 数据与单张彩色图像预测室外场景深度
计算机视觉与模式识别
2019-04-11 v2
摘要
本文提出一种深度学习架构，可从单张彩色图像和稀疏深度图生成室外场景的准确稠密深度。受室内深度补全启发，我们的网络估计表面法线作为中间表示以生成稠密深度，并可端到端训练。通过改进的编码器-解码器结构，我们的网络有效融合了稠密彩色图像与稀疏 LiDAR 深度。为应对室外特有挑战，我们的网络预测置信度掩码以处理因遮挡导致的前景边界附近混合 LiDAR 信号，并将来自彩色图像和表面法线的估计与学习的注意力图相结合，以提升深度精度，尤其是远处区域。大量实验表明，我们的模型在 KITTI 深度补全基准上优于当前最优 (SOTA) 性能。消融研究显示了各模型组件对最终性能的积极影响，综合分析表明我们的模型对更高稀疏度输入或来自室内场景的输入均具有良好泛化能力。
引用
@article{arxiv.1812.00488,
title = {DeepLiDAR: Deep Surface Normal Guided Depth Prediction for Outdoor Scene from Sparse LiDAR Data and Single Color Image},
author = {Jiaxiong Qiu and Zhaopeng Cui and Yinda Zhang and Xingdi Zhang and Shuaicheng Liu and Bing Zeng and Marc Pollefeys},
journal= {arXiv preprint arXiv:1812.00488},
year = {2019}
}
备注
10 pages, 8 figures