利用稀疏激光雷达推进自监督单目深度学习
计算机视觉与模式识别
2021-11-30 v4 机器学习
摘要
自监督单目深度预测提供了一种经济高效的方案来获取每个像素的3D位置。然而,现有方法通常导致精度不尽人意,而这对于自主机器人而言至关重要。本文中,我们提出FusionDepth,一种新颖的两阶段网络,通过利用低成本的稀疏(例如4线)LiDAR来推进自监督单目稠密深度学习。与现有主要将稀疏LiDAR用于耗时的迭代后处理的方法不同,我们的模型融合单目图像特征与稀疏LiDAR特征以预测初始深度图。随后,进一步设计了一个高效的前馈细化网络,在伪3D空间中以实时性能纠正这些初始深度图中的误差。大量实验表明,我们提出的模型在自监督单目深度预测与补全任务上均显著优于所有最先进的自监督方法以及基于稀疏LiDAR的方法。凭借准确的稠密深度预测,我们的模型在KITTI排行榜的下游任务单目3D目标检测上比最先进的基于稀疏LiDAR的方法(Pseudo-LiDAR++)高出68%以上。代码见 https://github.com/AutoAILab/FusionDepth
引用
@article{arxiv.2109.09628,
title = {Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR},
author = {Ziyue Feng and Longlong Jing and Peng Yin and Yingli Tian and Bing Li},
journal= {arXiv preprint arXiv:2109.09628},
year = {2021}
}
备注
Accepted by CoRL2021