无监督去雨：当对比学习遇见自相似性

图像去雨是一种典型的底层图像复原任务，旨在将雨图分解为两个可区分的层：干净图像层与雨层。现有多数基于学习的去雨方法在合成雨-干净图像对上监督训练。合成雨与真实雨之间的域差距使它们对不同真实雨场景泛化性较差。此外，现有方法主要独立利用两层的性质，极少考虑两层间的互斥关系。本工作中，我们提出一种用于无监督图像去雨的非局部对比学习（NLCL）方法。因而，我们不仅利用了样本内的固有自相似性质，也利用了两层间的互斥性质，以更好区分雨层与干净图像。具体而言，非局部自相似图像层块作为正样本被拉近，相似雨层块作为负样本被推远。因此，在原始空间中相近的相似正/负样本有助于我们丰富更具判别性的表示。除自相似采样策略外，我们分析了如何在 NLCL 中选择合适的特征编码器。在不同真实雨数据集上的大量实验表明，所提方法在真实去雨上取得了最先进的性能。