NightHaze：基于自先验学习的夜间图像去雾

掩码自编码器（MAE）表明，训练期间的严重增强可为高层任务产生鲁棒的表示。本文将类 MAE 框架引入夜间图像增强领域，证明了训练期间的严重增强能够产生对真实世界夜间雾霾退化具有韧性的强网络先验。我们提出了一种具有自先验学习的新型夜间图像去雾方法。我们的主要创新在于严重增强的设计，这使得我们的模型能够学习鲁棒的先验。与使用掩码的 MAE 不同，我们利用夜间图像的两个关键挑战因素作为增强手段：光效和噪声。在训练过程中，我们有意通过将清晰图像与光效混合以及添加噪声来对其进行退化，随后恢复清晰图像。这使得我们的模型能够学习清晰的背景先验。通过将噪声值增加到接近发光和光效混合图像的像素强度值，我们的增强变得严重，从而产生更强的先验。虽然我们的自先验学习在抑制光晕和揭示背景场景细节方面相当有效，但在某些情况下，仍会残留一些不需要的伪影，特别是以过度抑制的形式存在。为了解决这些伪影，我们提出了一种基于半监督教师 - 学生框架的自细化模块。我们的 NightHaze，尤其是我们的类 MAE 自先验学习，表明经过严重增强训练的模型能有效提高输入雾霾图像的可见度，接近清晰夜间图像的清晰度。大量实验表明，我们的 NightHaze 取得了最先进（SOTA）的性能，在 MUSIQ 指标上大幅超越现有夜间图像去雾方法 15.5%，在 ClipIQA 指标上超越 23.5%。