利用增强序数深度关系的单目深度估计

大多数现有的从单张单目图像进行深度估计的算法都需要大量度量级真实深度用于监督学习。我们表明，相对深度可以作为度量级深度估计的一种信息丰富的线索，并且可以容易地从海量立体视频中获取。由于相机参数的缺失，从立体视频中获取度量级深度有时是不可行的。在本文中，我们提出利用现有立体匹配算法从立体电影视频中收集的相对深度来提升度量级深度估计的性能。我们引入了一个密集标注了相对深度的新数据集“立体相对深度”（RDIS）。我们首先在 RDIS 数据集上预训练一个 ResNet 模型，然后在带有度量级真实深度的 RGB-D 数据集上对该模型进行微调。在微调过程中，我们将深度估计表述为一个分类任务。这种重新表述的方案使我们能够以概率分布的形式获得深度预测的置信度。利用该置信度，我们提出了一种信息增益损失来利用那些接近真实值的预测。我们在室内和室外的基准 RGB-D 数据集上评估了我们的方法，并取得了最先进的性能。