基于场景理解的深度鲁棒单图像深度估计神经网络
计算机视觉与模式识别
2019-06-11 v1
摘要
单图像深度估计（SIDE）在三维计算机视觉中起着关键作用。本文提出一种两阶段鲁棒SIDE框架，可对室内和室外场景进行盲SIDE。在第一阶段，场景理解模块将RGB图像分类为不同的深度范围。我们基于场景分类和粗深度估计分别引入了两种不同的场景理解模块。在第二阶段，由特定深度范围图像训练的SIDE网络被用于获取准确的深度图。为提高精度，我们进一步设计了基于深度可分离卷积的多任务编码-解码SIDE网络DS-SIDENet。DS-SIDENet经过优化以最小化深度分类和深度回归损失。与单任务SIDE网络相比，这提高了精度。实验结果表明，在NYU等单一数据集上训练DS-SIDENet取得了与最先进方法（state-of-the-art）相竞争的性能，且效率更高。我们提出的鲁棒SIDE框架在ScanNet室内图像和KITTI室外图像上同时表现出良好性能。与Robust Vision Challenge（ROB）2018的提交结果相比，它取得了最佳性能。
引用
@article{arxiv.1906.03279,
title = {Deep Robust Single Image Depth Estimation Neural Network Using Scene Understanding},
author = {Haoyu Ren and Mostafa El-khamy and Jungwon Lee},
journal= {arXiv preprint arXiv:1906.03279},
year = {2019}
}