WeatherDepth:面向恶劣天气下自监督深度估计的课程对比学习
计算机视觉与模式识别
2024-03-19 v2 人工智能
摘要
深度估计模型在清晰场景上展现出良好性能,但因光照变化、天气颗粒等难以泛化至恶劣天气条件。本文中,我们提出 WeatherDepth,一种具有课程对比学习的自监督鲁棒深度估计模型,以应对复杂天气条件下的性能退化。具体地,我们首先提出一种渐进式课程学习方案,包含三个由简到难的课程,使模型从清晰场景逐步适应至相对恶劣,再到恶劣天气场景。它鼓励模型逐步掌握抵御天气影响的有益深度线索,实现更平滑且更好的域适应。同时,为防止模型遗忘先前课程,我们将对比学习整合进不同课程中。通过从先前课程汲取参考知识,我们的策略在不同课程间建立深度一致性约束,以实现多样天气下的鲁棒深度估计。此外,为减少人工干预并更好适配不同模型,我们设计了自适应课程调度器以自动搜索最佳课程切换时机。实验中,所提方案被证明易集成至多种架构,并在合成与真实天气数据集上展现出最先进的(SoTA)性能。源代码与数据见 \url{https://github.com/wangjiyuan9/WeatherDepth}。
引用
@article{arxiv.2310.05556,
title = {WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions},
author = {Jiyuan Wang and Chunyu Lin and Lang Nie and Shujun Huang and Yao Zhao and Xing Pan and Rui Ai},
journal= {arXiv preprint arXiv:2310.05556},
year = {2024}
}
备注
6 pages, accept by ICRA 2024