探索自监督单帧与多帧深度估计之间的相互影响

尽管自监督单帧和多帧深度估计方法都仅需要无标签单目视频进行训练，但它们所利用的信息有所不同，因为单帧方法主要依赖基于外观的特征，而多帧方法关注几何线索。考虑到单帧与多帧方法的互补信息，一些工作尝试利用单帧深度来改进多帧深度。然而，这些方法既不能利用单帧深度与多帧深度之间的差异来改进多帧深度，也不能借助多帧深度来优化单帧深度模型。为充分利用单帧与多帧方法之间的相互影响，我们提出了一种新颖的自监督训练框架。具体而言，我们首先引入一个由单帧深度引导的逐像素自适应深度采样模块来训练多帧模型。然后，我们利用基于最小重投影的蒸馏损失将知识从多帧深度网络迁移到单帧网络以改进单帧深度。最后，我们将改进的单帧深度作为先验来进一步提升多帧深度估计的性能。在 KITTI 和 Cityscapes 数据集上的实验结果表明，我们的方法在自监督单目设定下优于现有方法。