面向高效单图像去雾与去雪
计算机视觉与模式识别
2022-04-20 v1
摘要
从图像中去除雨、雾、雪等恶劣天气条件是具挑战性的问题。尽管当前针对特定条件的复原算法已取得令人印象深刻的进展，但其处理各类退化类型仍不够灵活。我们提出一种高效紧凑的图像复原网络 DAN-Net（退化自适应神经网络）以解决此问题，其由多个紧凑专家网络与一个自适应门控神经网络组成。单个专家网络依托紧凑架构与三个新颖组件高效处理恶劣冬季场景中的特定退化。基于混合专家策略，DAN-Net 从各输入图像捕获退化信息，自适应调制任务专用专家网络的输出以去除多种不利冬季天气条件。具体而言，其采用轻量自适应门控神经网络估计输入图像的门控注意力图，同时具有相同拓扑的不同任务专用专家被联合调度以处理退化图像。该新颖图像复原流程有效且高效地处理不同类型严峻天气场景，并享有协同增强之益——整个网络优于无协同训练的各专家。大量实验表明，所提方式在图像质量上优于最先进（SOTA）单任务方法且具备更优推理效率。此外，我们收集了首个真实世界冬季场景数据集以评估冬季图像复原方法，其包含冬季拍摄的各类雾天与雪天图像。数据集与源代码均将公开可用。
引用
@article{arxiv.2204.08899,
title = {Towards Efficient Single Image Dehazing and Desnowing},
author = {Tian Ye and Sixiang Chen and Yun Liu and Erkang Chen and Yuche Li},
journal= {arXiv preprint arXiv:2204.08899},
year = {2022}
}