Robust Zero-Shot Stereo Matching under Adverse Weather

基于学习的立体匹配模型在恶劣天气条件下难以应对，原因在于对应训练数据的稀缺以及从受损图像中提取判别性特征的挑战。这些限制显著阻碍了模型对分布外天气条件的零样本泛化能力。本文提出\textbf{RobuSTereo}，一种 novel 框架，通过解决数据稀缺和特征提取两个问题，增强立体匹配模型在恶劣天气下的零样本泛化能力。首先，我们引入基于扩散的模拟管线，集成立体一致性模块，生成针对恶劣条件的高质量立体数据。通过在我们合成的数据集上训练立体匹配模型，可显著缩小干净图像与受损图像之间的域间差距，大幅提升模型对未见天气状况的鲁棒性。立体一致性模块确保合成图像对之间的结构对齐，保留几何完整性，提升深度估计精度。其次，我们设计了鲁棒特征编码器，将专用卷积网络与去噪变换器相结合，从受损图像中提取稳定可靠的特征。卷积网络捕获细粒度局部结构，去噪变换器细化全局表征，有效缓解噪声、低能见度及天气引起的失真对比例估计的影响。使模型即使在挑战性视觉条件下也能实现更精确的视差估计。大量实验表明，\textbf{RobuSTereo} 在多样化的恶劣天气场景中显著提升了立体匹配模型的鲁棒性与泛化能力。