基于左右一致性的无监督单目深度估计

基于学习的方法在单图像深度估计任务中展现了极具前景的结果。然而，现有的大多数方法将深度预测视为一个有监督的回归问题，因此需要大量对应的真实深度数据进行训练。在各种环境中仅录制高质量的深度数据本身就是一个极具挑战性的问题。在本文中，我们创新性地超越了现有方法，使用更容易获取的双目立体视频替代训练过程中显式的深度数据。我们提出了一种新颖的训练目标，使得我们的卷积神经网络能够在缺乏真实深度数据的情况下，学习执行单图像深度估计。利用对极几何约束，我们通过使用图像重建损失训练网络来生成视差图像。我们发现，仅求解图像重建会导致深度图像质量较差。为克服这一问题，我们提出了一种新颖的训练损失，强制生成的视差相对于左右图像保持一致性，与现有方法相比，这带来了性能和鲁棒性的提升。我们的方法在 KITTI 驾驶数据集上的单目深度估计任务中取得了 SOTA 结果，甚至超越了使用真实深度数据训练的有监督方法。