基于无监督三目假设学习单目深度估计

从单幅图像获取准确的深度测量是 3D 感知的一种引人注目的解决方案。CNN 在该领域带来了显著改进，近期趋势以几何引导的图像重建信号替代了对真值标签的需求，从而实现无监督训练。目前，为此目的，最先进的技术依赖于用双目立体装置获取的图像，根据上述监督原理预测逆深度（即视差）。然而，这些方法受到源于立体装置且在遮挡附近、左图像边界等处已知的常见问题的影响。因此，在本文中，我们通过移至三目域进行训练来解决这些问题。假设中心图像为参考，我们训练一个 CNN 推断将该图像与其左右两侧帧配对的视差表示。该策略可获得不受典型立体伪影影响的深度图。此外，由于三目数据集鲜有可用，我们引入了一种新颖的交错训练过程，能够从当前双目数据集强制实施所概述的三目假设。在 KITTI 数据集上的详尽实验结果证实，我们的方案优于在双目立体对上训练的无监督单目深度估计的最先进方法以及任何依赖其他线索的已知方法。