用于精确图像复原的山形单阶段网络

图像复原旨在从受损输入图像（如去模糊、去雨）中获取高质量图像。在图像复原中，通常需要在空间细节与上下文信息之间维持复杂的平衡。尽管多阶段网络能最优地平衡这些相互竞争的目标并取得显著性能，但也增加了系统复杂度。本文提出一种基于简单 U-Net 架构的山形单阶段设计，通过移除或替换不必要的非线性激活函数，以较低系统复杂度实现上述平衡。具体而言，我们提出特征融合中间件（FFM）机制，作为编码器-解码器架构层级间的信息交换组件。它将上层信息无缝整合到相邻下层，依次向下直至最底层。最终所有信息融合回原始图像分辨率操作层级。这保留了空间细节并整合了上下文信息，确保高质量图像复原。此外，我们提出多头注意力中间块（MHAMB）作为编码器与解码器间的桥梁，以捕获更多全局信息并超越 CNN 感受野的限制。大量实验表明，我们的方法 M3SNet 在图像去雨与去模糊等多项图像复原任务中，以不到一半的计算成本优于以往 SOTA 模型。