利用图神经网络探索内部与外部相似性进行单幅图像去雨

图像块级非局部自相似性是自然图像的重要属性。然而，现有大多数方法在图像去雨的神经网络中未考虑此属性，从而影响恢复性能。受此属性启发，我们发现雨图存在显著的图像块重复特性，即相似图像块倾向于在一幅图像及其多尺度图像和外部图像中多次出现。为了更好地建模此属性以进行图像去雨，我们开发了一种带范例的多尺度图网络，称为MSGNN，它包含两个分支：1) 基于内部数据的监督分支，用于建模来自雨图本身及其多尺度图像的相似图像块的内部关系；2) 外部数据参与的无监督分支，用于建模雨图中相似图像块与范例之间的外部关系。具体而言，我们通过在多尺度框架下的雨图和范例中搜索k近邻图像块来构建图模型。在获得来自多尺度图像和范例的相应k个邻域图像块后，我们构建一个图并以注意力方式聚合它们，从而使该图能为图像去雨提供来自相似图像块的更多信息。我们将所提出的图嵌入深度神经网络中，并以端到端方式进行训练。大量实验表明，所提算法在五个公共合成数据集和一个真实世界数据集上优于八种最先进方法。源代码将在https://github.com/supersupercong/MSGNN提供。