面向真实雾天驾驶视频的以深度为中心的去雾与深度估计

在本文中，我们研究了从真实单目雾天视频中同时去除雾气并估计深度的挑战性问题。这些任务本质上是互补的：通过大气散射模型（ASM），增强的深度估计能改善去雾效果；而通过亮度一致性约束（BCC），优越的去雾则有助于更准确的深度估计。为了解决这些相互交织的任务，我们提出了一种将 ASM 模型与 BCC 约束相结合的新型以深度为中心的学习框架。我们的核心思想是 ASM 和 BCC 都依赖于一个共享的深度估计网络。该网络同时利用相邻的去雾帧通过 BCC 增强深度估计，并利用精化的深度线索通过 ASM 更有效地去除雾气。此外，我们利用非对齐的清晰视频及其估计的深度，独立地正则化去雾和深度估计网络。这是通过设计两个判别器网络实现的：$D_{MFIR}$ 增强去雾视频中的高频细节，而 $D_{MDR}$ 减少低纹理区域中黑洞的出现。大量实验表明，所提出的方法在视频去雾和深度估计任务中均优于当前最先进的技术，尤其是在真实雾天场景中。项目页面：https://fanjunkai1.github.io/projectpage/DCL/index.html。