自监督单目深度估计：我们来谈谈天气
计算机视觉与模式识别
2023-07-18 v1
摘要
当前自监督深度估计架构依赖晴朗天气场景训练深度神经网络。然而在许多地区，该假设过强。例如英国（2021 年）有 149 天下雨。要使这些架构在真实应用中有效，我们必须构建能泛化到所有天气条件、一天中不同时段及图像质量的模型。结合计算机图形学与生成模型，可以多种方式扩充现有晴日数据以模拟恶劣天气效应。尽管利用此类数据增广进行自监督深度估计很诱人，但过去研究表明其会劣化性能而非提升。本文提出一种利用增广解决该问题的方法。通过利用未增广与增广数据间的对应关系，我们为深度与位姿估计引入伪监督损失。这在不需任何标签的同时恢复了部分监督学习的好处。我们还给出一系列实用建议，共同提供可靠高效的单目视频自监督深度天气相关增广框架。我们给出广泛测试表明，我们的方法 Robust-Depth 在 KITTI 数据集上取得 SotA 性能，同时在 DrivingStereo、Foggy CityScape 和 NuScenes-Night 等挑战性恶劣条件数据上显著超越 SotA。项目主页见 https://kieran514.github.io/Robust-Depth-Project/。
引用
@article{arxiv.2307.08357,
title = {Self-supervised Monocular Depth Estimation: Let's Talk About The Weather},
author = {Kieran Saunders and George Vogiatzis and Luis Manso},
journal= {arXiv preprint arXiv:2307.08357},
year = {2023}
}
备注
ICCV'23