IRConStyle：利用对比学习和风格迁移的图像复原框架
计算机视觉与模式识别
2024-03-08 v3
摘要
近年来，对比学习范式在分类、检测和分割等高层任务中取得了显著成功。然而，对比学习在图像复原等底层任务中的应用有限，其有效性尚不确定。这引发了一个问题：为何对比学习范式在图像复原中未能产生令人满意的结果？在本文中，我们进行了深入分析并提出了三条准则来解决上述问题。此外，受风格迁移启发并基于对比学习，我们提出了一种用于图像复原的新颖模块，称为\textbf{ConStyle}，该模块可高效集成到任何 U-Net 结构网络中。利用 ConStyle 的灵活性，我们开发了一种用于图像复原的\textbf{通用复原网络}。ConStyle 与通用复原网络共同构成了一个图像复原框架，即\textbf{IRConStyle}。为了展示 ConStyle 的能力和兼容性，我们分别用基于 Transformer、基于 CNN 和基于 MLP 的网络替换了通用复原网络。我们在各种图像复原任务上进行了大量实验，包括去噪、去模糊、去雨和去雾。在 19 个基准测试上的结果表明，ConStyle 可以与任何基于 U-Net 的网络集成并显著提升性能。例如，ConStyle NAFNet 在 SOTS outdoor（去雾）和 Rain100H（去雨）数据集上显著优于原始 NAFNet，PSNR 分别提升了 4.16 dB 和 3.58 dB，同时参数量减少了 85%。
引用
@article{arxiv.2402.15784,
title = {IRConStyle: Image Restoration Framework Using Contrastive Learning and Style Transfer},
author = {Dongqi Fan and Xin Zhao and Liang Chang},
journal= {arXiv preprint arXiv:2402.15784},
year = {2024}
}