RoSe：恶劣天气条件下的鲁棒自监督立体匹配
计算机视觉与模式识别
2025-09-24 v1 人工智能
摘要
近期的自监督立体匹配方法取得了显著进展，但在夜间、雨天和雾天等恶劣天气条件下，其性能显著下降。我们发现了导致性能下降的两个主要弱点。首先，恶劣天气会引入噪声并降低能见度，使得基于 CNN 的特征提取器在处理反射和无纹理等退化区域时表现不佳。其次，这些退化区域会破坏精确的像素对应关系，导致基于光度一致性假设的监督无效。为了应对这些挑战，我们提出将源自视觉基础模型的鲁棒先验注入到基于 CNN 的特征提取器中，以改善恶劣天气条件下的特征表示。随后，我们引入场景对应先验来构建鲁棒的监督信号，而不是仅仅依赖光度一致性假设。具体而言，我们创建了具有真实天气退化的合成立体数据集。这些数据集包含清晰和恶劣的图像对，它们保持相同的语义上下文和视差，从而保留了场景对应属性。基于这些知识，我们提出了一种鲁棒自监督训练范式，包含两个关键步骤：鲁棒自监督场景对应学习和恶劣天气蒸馏。这两个步骤旨在对齐来自清晰和恶劣图像对的底层场景结果，从而改善模型在恶劣天气影响下的视差估计。大量实验证明了我们所提解决方案的有效性和通用性，其性能优于现有的 SOTA 自监督方法。代码可在 \textcolor{blue}{https://github.com/cocowy1/RoSe-Robust-Self-supervised-Stereo-Matching-under-Adverse-Weather-Conditions} 获取。
引用
@article{arxiv.2509.19165,
title = {RoSe: Robust Self-supervised Stereo Matching under Adverse Weather Conditions},
author = {Yun Wang and Junjie Hu and Junhui Hou and Chenghao Zhang and Renwei Yang and Dapeng Oliver Wu},
journal= {arXiv preprint arXiv:2509.19165},
year = {2025}
}