无监督图像去雨：优化模型驱动的深度 CNN

深度卷积神经网络在单幅图像雨纹去除方面已取得显著进展。然而，多数数据驱动的学习方法为全监督或半监督，在处理真实雨时意外出现显著性能下降。这些数据驱动学习方法具代表性却对真实雨泛化性差。模型驱动的无监督优化方法则相反。为克服这些问题，我们提出一种统一无监督学习框架，继承真实雨去除的泛化与表示优势。具体而言，我们首先发现一个简单却重要的领域知识：方向性雨纹各向异性而自然干净图像各向同性，并将该结构差异表述为优化模型的能量函数。进而，我们设计了一个优化模型驱动的深度 CNN，其中优化模型的无监督损失函数被施加于所提网络以改进泛化。此外，网络架构模仿优化模型的主要作用并获得更好的特征表示。一方面，我们利用深度网络改进表示；另一方面，我们利用优化模型的无监督损失改进泛化。总体上，该无监督学习框架实现了良好泛化与表示：仅以少量真实雨图（输入）与具物理意义网络（架构）进行无监督训练（损失）。在合成与真实世界雨数据集上的大量实验显示了所提方法的优越性。