深入探究基于扩散模型与对比学习的鲁棒深度估计

最近，基于扩散的深度估计方法因其优雅的去噪模式和出色的性能而引起了广泛关注。然而，在真实场景中普遍存在的不利条件（如雨天、雪天等）下，它们通常不可靠。在本文中，我们提出了一种名为 D4RD 的新型鲁棒深度估计方法，其具有为扩散模型量身定制的对比学习模式，以减轻复杂环境中的性能下降。具体而言，我们将知识蒸馏的优势整合到对比学习中，构建了“三位一体”对比方案。该方案利用前向扩散过程的采样噪声作为自然参考，引导不同场景中的预测噪声趋向更稳定和精确的最优值。此外，我们将噪声级别的三位一体扩展到涵盖更通用的特征和图像级别，建立多级对比，以在整体网络中分散鲁棒感知的负担。在处理复杂场景之前，我们通过三项简单而有效的改进增强了基线扩散模型的稳定性，这有助于收敛并消除深度异常值。大量实验表明，D4RD 在合成损坏数据集和真实天气条件下均超越了现有最先进的解决方案。源代码和数据可在 \url{https://github.com/wangjiyuan9/D4RD} 获取。