耦合深度学习

本文提出了一种利用由粗到细策略从单张图像估计深度的方法。我们认为，在计算出粗略深度图后，对精细深度细节进行建模会更容易。我们将图像的全局（粗略）深度图表示为从训练样本中学习到的深度基的线性组合。该深度基捕捉了空间和统计规律性，并将全局深度估计问题简化为预测该线性组合中输入特定系数的任务。这被表述为从图像整体表示出发的回归问题。关键在于，深度基和回归函数是**耦合**的，并通过我们的学习方案进行联合优化。我们证明，与直接回归深度像素值或将深度基学习与回归函数分离的方法相比，这显著提高了精度。随后，全局深度估计被用作局部细化方法的指导，以引入在全局层面未捕捉到的深度细节。在 NYUv2 和 KITTI 数据集上的实验表明，我们的方法在训练和测试的计算成本显著降低的情况下，优于现有的最先进（state-of-the-art）方法。