Sparse-to-Dense：从稀疏深度样本与单张图像进行深度预测
机器人学
2018-02-27 v2 人工智能
计算机视觉与模式识别
摘要
我们考虑从一组稀疏深度测量值和单张 RGB 图像进行密集深度预测的问题。由于仅从单目图像进行深度估计本质上是模糊且不可靠的，为了达到更高的鲁棒性和准确性，我们引入了额外的稀疏深度样本，这些样本要么通过低分辨率深度传感器获取，要么通过视觉同步定位与建图 (SLAM) 算法计算得到。我们提出使用单个深度回归网络直接从 RGB-D 原始数据中学习，并探讨了深度样本数量对预测精度的影响。我们的实验表明，与仅使用 RGB 图像相比，在 NYU-Depth-v2 室内数据集上增加 100 个空间随机深度样本可将预测均方根误差降低 50%。在 KITTI 数据集上，它还将可靠预测的百分比从 59% 提升至 92%。我们展示了所提出算法的两个应用：SLAM 中将稀疏地图转换为密集地图的插件模块，以及 LiDAR 的超分辨率。软件和视频演示已公开发布。
引用
@article{arxiv.1709.07492,
title = {Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image},
author = {Fangchang Ma and Sertac Karaman},
journal= {arXiv preprint arXiv:1709.07492},
year = {2018}
}
备注
accepted to ICRA 2018. 8 pages, 8 figures, 3 tables. Video at https://www.youtube.com/watch?v=vNIIT_M7x7Y. Code at https://github.com/fangchangma/sparse-to-dense