中文

黑暗中的自监督单目深度估计:面向数据分布补偿

计算机视觉与模式识别 2024-04-23 v1

摘要

夜间自监督单目深度估计近年来受到越来越多的关注。然而,使用夜间图像进行自监督并不可靠,因为在复杂光照条件下拍摄的视频通常违反光度一致性假设。即使采用域自适应或光度损失修复,性能仍然受到夜间图像对可训练网络监督不足的限制。在本文中,我们提出了一种在训练过程中不使用任何夜间图像的自监督夜间单目深度估计方法。我们的框架利用日间图像作为稳定的自监督源,并应用物理先验(例如波动光学、反射模型和读出-散粒噪声模型)来补偿一些关键的昼夜差异。通过昼夜数据分布补偿,我们的框架可以以高效的一阶段自监督方式进行训练。尽管训练过程中没有考虑夜间图像,但定性和定量结果表明,与现有方法相比,我们的方法在具有挑战性的nuScenes-Night和RobotCar-Night数据集上达到了最先进的深度估计结果。

关键词

引用

@article{arxiv.2404.13854,
  title  = {Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation},
  author = {Haolin Yang and Chaoqiang Zhao and Lu Sheng and Yang Tang},
  journal= {arXiv preprint arXiv:2404.13854},
  year   = {2024}
}

备注

Accepted by IJCAI2024