利用延时数据的记忆引导图像去雨
计算机视觉与模式识别
2022-07-13 v1 图像与视频处理
摘要
本文处理单幅图像去雨问题，即从被雨 artifact 遮挡的单幅图像中恢复干净无雨的背景场景。尽管近期进展采用真实世界延时数据以克服对成对雨-净图像的依赖，但它们在充分利用延时数据方面存在局限。主因在于，就网络架构而言，由于缺乏记忆组件，其无法在训练时捕获延时数据中的长期雨纹信息。为解决该问题，我们提出一种基于记忆网络的新颖网络架构，其显式有助于捕获延时数据中的长期雨纹信息。我们的网络由编码器-解码器网络与一个记忆网络组成。从编码器提取的特征在记忆网络中被读取与更新，该记忆网络包含若干记忆项以存储雨纹感知的特征表示。借助读取/更新操作，记忆网络依据查询检索相关记忆项，使记忆项能表示延时数据中所包含的各种雨纹。为提升记忆特征的判别力，我们还提出一种新颖的背景选择性白化（BSW）损失，通过擦除背景信息以仅在记忆网络中捕获雨纹信息。在标准基准上的实验结果证明了我们方法的有效性与优越性。
引用
@article{arxiv.2201.01883,
title = {Memory-guided Image De-raining Using Time-Lapse Data},
author = {Jaehoon Cho and Seungryong Kim and Kwanghoon Sohn},
journal= {arXiv preprint arXiv:2201.01883},
year = {2022}
}