利用区域信息Transformer进行单幅图像去雨
计算机视觉与模式识别
2024-08-06 v2
摘要
基于Transformer的单幅图像去雨（SID）方法取得了显著成功，主要归功于其强大的长程交互捕获能力。然而，我们注意到当前方法同时处理受雨影响和未受影响的区域，忽视了这些区域之间的差异，导致雨条纹与背景部分混淆，无法获得有效的交互，最终导致去雨效果欠佳。为了解决上述问题，我们引入了区域Transformer（Regformer），这是一种新颖的SID方法，强调独立处理受雨影响和未受影响区域的重要性，同时考虑它们的综合影响以实现高质量图像重建。我们方法的核心是创新的区域Transformer块（RTB），它集成了区域掩码注意力（RMA）机制和混合门控前馈块（MGFB）。我们的RTB用于对受雨影响和未受影响区域进行注意力选择以及混合尺度的局部建模。RMA生成针对这两个区域及其交互的注意力图，使我们的模型能够捕获去雨所必需的全面特征。为了更好地恢复高频纹理并捕获更多局部细节，我们开发了MGFB作为补偿模块，以完成局部混合尺度建模。大量实验表明，我们的模型达到了最先进的性能，显著提高了图像去雨质量。我们的代码和训练模型已公开。
引用
@article{arxiv.2402.16033,
title = {Exploiting Regional Information Transformer for Single Image Deraining},
author = {Baiang Li and Zhao Zhang and Huan Zheng and Xiaogang Xu and Yanyan Wei and Jingyi Zhang and Jicong Fan and Meng Wang},
journal= {arXiv preprint arXiv:2402.16033},
year = {2024}
}