自监督稀疏到稠密：基于 LiDAR 与单目相机的自监督深度补全
计算机视觉与模式识别
2018-07-04 v2 人工智能
机器学习
机器人学
摘要
深度补全是从稀疏深度测量估计稠密深度图像的技术，在机器人与自动驾驶中有多种应用。然而，深度补全面临三个主要挑战：稀疏深度输入中不规则间隔的模式、在处理多传感器模态（当有彩色图像时）方面的困难，以及缺乏稠密、像素级真实深度标签。在本工作中，我们应对了所有这些挑战。具体而言，我们开发了一个深度回归模型，以学习从稀疏深度（及彩色图像）到稠密深度的直接映射。我们还提出了一种自监督训练框架，其仅需彩色与稀疏深度图像序列，无需稠密深度标签。我们的实验表明，我们的网络在采用半稠密标注训练时达到了 SOTA 精度，并且在提交时是 KITTI 深度补全基准上的获胜方法。此外，该自监督框架优于若干采用半稠密标注训练的现有方案。
引用
@article{arxiv.1807.00275,
title = {Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera},
author = {Fangchang Ma and Guilherme Venturelli Cavalheiro and Sertac Karaman},
journal= {arXiv preprint arXiv:1807.00275},
year = {2018}
}
备注
Software: https://github.com/fangchangma/self-supervised-depth-completion . Video: https://youtu.be/bGXfvF261pc . 12 pages, 6 figures, 3 tables