基于光束法平差、超分辨率与裁剪损失的单目深度估计无监督学习
计算机视觉与模式识别
2018-12-11 v1
摘要
我们提出了一种利用单目视频进行单视图深度估计的新型无监督学习框架。在 3D 视觉中众所周知，增大基线可提高深度估计精度，且联合优化一组相机位姿与路标至关重要。在以往的单目无监督学习框架中，仅使用了序列内部分光度与几何约束作为监督信号。这可能导致短基线并过拟合。此外，以往工作通常从低分辨率输入图像估计低分辨率深度，然后将低分辨率深度插值以恢复原始分辨率。该策略可能在物体边界上产生较大误差，因为背景与前景的深度被混合以生成高分辨率深度。在本文中，我们引入光束法平差框架与超分辨率网络来解决上述两个问题。在光束法平差中，图像序列的深度与位姿被联合优化，通过建立较远帧间的关系增大了基线。超分辨率网络学习从低分辨率图像估计高分辨率深度。此外，我们引入裁剪损失以处理运动物体与遮挡。在 KITTI 数据集上的实验结果表明，所提算法优于使用单目序列的现有最优无监督方法，并取得了与使用立体序列的无监督方法相当甚至更好的结果。
引用
@article{arxiv.1812.03368,
title = {Unsupervised Learning of Monocular Depth Estimation with Bundle Adjustment, Super-Resolution and Clip Loss},
author = {Lipu Zhou and Jiamin Ye and Montiel Abello and Shengze Wang and Michael Kaess},
journal= {arXiv preprint arXiv:1812.03368},
year = {2018}
}