反卷积及其在图像修复中的应用

卷积和转置卷积是神经网络中广泛使用的基本算子。然而，转置卷积（也称为反卷积）由于其数学公式的内在差异，不能作为卷积的真正逆运算。迄今为止，尚未建立反卷积算子作为神经网络架构标准组件。本文提出了一种新的深度可分离反卷积算子，以正则化最小二乘优化问题的形式，试图有效地反转深度可分离卷积。我们彻底调查了其核初始化、填充策略以及其他关键方面，以确保其有效实现。基于该算子，我们进一步构建了一个反卷积模块，将其与层归一化、1×1卷积和GELU激活函数组合，形成类似Transformer的结构。该提议的算子和模块可以直接替换现有架构中的常规卷积和转置卷积层，从而发展出ConverseNet。对应典型的图像修复模型如DnCNN、SRResNet和USRNet，我们分别训练了ConverseNet的三个变体，用于高斯去噪、超分辨率和图像模糊去除。广泛的实验表明，所提出的反卷积算子作为基本构建模块的有效性。我们希望本工作为开发新的算子和深度模型设计及应用 paving the way。