DiPE：深入光度误差以实现单目视频深度与自运动无监督学习

从未标注单目视频中无监督学习深度与自运动近年来备受关注，其避免了有监督方法中昂贵真值的使用。该方法利用目标视图与其相邻源视图合成视图之间的光度误差作为损失来实现。尽管取得了显著进展，这种学习仍受遮挡与场景动态性影响。本文表明，精心处理光度误差可更好地应对这些困难。主要改进通过一种统计技术实现，该技术可掩蔽光度误差图中不可见或非静止像素，从而防止误导网络。借助该离群值掩蔽方法，可更准确地估计与相机反向运动物体的深度。据我们所知，此类场景在以往工作中未被认真考虑，尽管其在自动驾驶等应用中风险更高。我们还提出了一种高效的加权多尺度方案以减少预测深度图中的伪影。在KITTI数据集上的大量实验表明了所提方法的有效性。整体系统在深度与自运动估计上均达到了SOTA性能。