面向恶劣天气图像恢复的退化与内容处理解耦
计算机视觉与模式识别
2023-12-11 v1
摘要
恶劣天气图像恢复旨在从受雨、雾、雪等各种天气类型影响的图像中恢复出清晰图像。由于每种天气类型对图像的影响各不相同，因此需要针对性的退化去除方法。相反，内容重建可以采用统一的方法，因为其底层的图像内容保持一致。尽管先前的技术可以在单个网络内处理多种天气类型，但它们忽略了这两个过程之间的关键区别，从而限制了恢复图像的质量。本研究引入了一种名为 DDCNet 的恶劣天气图像恢复新方法，该方法基于通道统计特征在特征层面解耦退化去除与内容重建过程。具体而言，我们利用了傅里叶变换在这两个过程中的独特优势：(1) 退化信息主要位于傅里叶域的幅度分量中；(2) 傅里叶域包含全局信息。前者促进了依赖通道的退化去除操作，使网络能够针对各种恶劣天气类型定制响应；后者通过将傅里叶的全局特性整合到独立于通道的内容特征中，增强了网络进行一致的全局内容重建的能力。我们进一步利用退化映射损失函数来增强退化去除过程。大量实验表明，我们的方法在多个恶劣天气去除基准测试中达到了 SOTA 性能。
引用
@article{arxiv.2312.05006,
title = {Decoupling Degradation and Content Processing for Adverse Weather Image Restoration},
author = {Xi Wang and Xueyang Fu and Peng-Tao Jiang and Jie Huang and Mi Zhou and Bo Li and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2312.05006},
year = {2023}
}