MSDPN：基于多阶段神经网络利用部分激光观测进行单目深度预测
计算机视觉与模式识别
2020-08-05 v1 机器学习
机器人学
图像与视频处理
摘要
在本研究中，提出了一种基于深度学习的多阶段网络架构，称为多阶段深度预测网络（Multi-Stage Depth Prediction Network, MSDPN），用于利用二维LiDAR和单目相机预测稠密深度图。我们提出的网络由多阶段编码器-解码器架构和跨阶段特征聚合（Cross Stage Feature Aggregation, CSFA）组成。所提出的多阶段编码器-解码器架构缓解了由二维LiDAR特性引起的部分观测问题，而CSFA防止多阶段网络稀释特征，并使网络能够更好地学习特征间的空间相互关系。先前的工作使用从真值中下采样的数据作为输入，而非实际的二维LiDAR数据。相比之下，我们的方法使用物理采集的二维LiDAR数据集训练模型并进行实验。为此，我们获取了称为KAIST RGBD-scan数据集的自有数据集，并在真实条件下验证了MSDPN的有效性和鲁棒性。如实验所验证，我们的网络相较于最先进（state-of-the-art）方法取得了有前景的性能。此外，我们分析了不同输入方法的性能，并确认参考深度图在未训练场景中具有鲁棒性。
引用
@article{arxiv.2008.01405,
title = {MSDPN: Monocular Depth Prediction with Partial Laser Observation using Multi-stage Neural Networks},
author = {Hyungtae Lim and Hyeonjae Gil and Hyun Myung},
journal= {arXiv preprint arXiv:2008.01405},
year = {2020}
}
备注
8 pages, 8 figures, IEEE/RSJ Intelligent Robots and Systems