WaveletFormerNet：一种基于 Transformer 的小波网络，用于真实世界非均匀浓雾去除
计算机视觉与模式识别
2024-01-10 v1
摘要
尽管深度卷积神经网络在去除合成雾方面取得了显著成功，但处理真实世界中复杂雾天条件下（如浓雾或非均匀雾）拍摄的图像仍然至关重要。然而，真实世界中的雾霾分布复杂，随着特征图或图像分辨率的降低，下采样可能导致输出结果出现颜色失真或细节丢失。除了获取充足训练数据的挑战外，用于雾天图像处理的深度学习技术还可能出现过拟合，这会限制模型的泛化能力，为其在真实场景中的实际应用带来困难。考虑到这些问题，本文提出了一种基于 Transformer 的小波网络（WaveletFormerNet），用于真实世界雾天图像恢复。我们通过提出 WaveletFormer 和 IWaveletFormer 模块，将离散小波变换嵌入到 Vision Transformer 中，旨在减轻因下采样导致的图像纹理细节丢失和颜色失真。我们在 Transformer 模块中引入了并行卷积，使其能够以轻量级机制捕获多频率信息。此外，我们实现了一个特征聚合模块（FAM）来保持图像分辨率并增强模型的特征提取能力，进一步提升了其在真实世界雾天图像恢复任务中的出色性能。大量实验表明，我们的 WaveletFormerNet 性能优于当前最先进的方法，这通过较小模型复杂度的定量和定性评估得以证明。此外，我们在真实世界去尘和应用测试中取得的令人满意的结果，展示了 WaveletFormerNet 在计算机视觉相关应用中优越的泛化能力和改进的性能。
引用
@article{arxiv.2401.04550,
title = {WaveletFormerNet: A Transformer-based Wavelet Network for Real-world Non-homogeneous and Dense Fog Removal},
author = {Shengli Zhang and Zhiyong Tao and Sen Lin},
journal= {arXiv preprint arXiv:2401.04550},
year = {2024}
}