无监督去雨：当非对称对比学习遇见自相似性

现有大多数基于学习的去雨方法都是在合成的有雨-干净图像对上监督训练的。合成雨与真实雨之间的域差距使它们对复杂真实雨景的泛化能力较弱。此外，现有方法主要独立地利用图像或雨层的属性，很少考虑它们之间的互斥关系。为解决上述困境，我们探究每层内部的内在自相似性与两层之间的互斥性，提出一种无监督非局部对比学习（NLCL）去雨方法。非局部自相似图像块作为正样本被紧密拉拢，雨块作为负样本被显著推远，反之亦然。一方面，每层正/负样本内部的内在自相似性有助于我们发现更紧凑的表示；另一方面，两层之间的互斥性丰富了判别性分解。因此，每层内部的自相似性（相似）与两层的外部互斥关系（不相似）作为通用图像先验共同促使我们无监督地将雨从干净图像中区分出来。我们进一步发现非局部图像块的内在维度通常高于雨块的内在维度。这促使我们设计一种非对称对比损失，以精确建模两层的紧凑性差异，从而实现更好的判别性分解。此外，考虑到现有真实雨数据集质量较低、规模小或下载自互联网，我们收集了一个在各种雨天天气下包含高分辨率雨图的大规模真实数据集。