基于时序数据的单张图像去雨原型单元

我们解决单张图像去雨的挑战，该任务涉及从单张雨图像中恢复雨-free背景信息。尽管最近的进展利用了真实世界的时序数据进行训练，实现了一致背景和逼真雨 streak的估计，但这些方法往往 suffer于计算和内存消耗，限制了其在实际场景中的适用性。在本文中，我们引入一种新方案：雨 streak原型单元（RsPU）。RsPU高效地将雨 streak相关特征编码为从时序数据中派生的实时原型，消除了对过多内存资源的需求。我们的去雨网络将编码器-解码器网络与RsPU结合，允许我们学习和封装多样化雨 streak相关特征为简洁的原型，采用注意力方法。为确保方法有效性，我们提出了特征原型损失，包括凝聚和发散组成部分。该损失函数捕捉原型雨 streak特征在RsPU中的紧凑性和多样性。我们的方法在各种去雨基准数据集上进行评估，伴随着全面的消融研究。我们显示，与最先进的方法相比，在各种雨图像上该方法可以实现具有竞争力的结果。