具有降雨嵌入一致性与分层 LSTM 的单图像去雨网络
计算机视觉与模式识别
2021-11-08 v1 图像与视频处理
摘要
单图像去雨通常被作为残差学习来处理，以从输入的雨图预测雨层。为此，编码器-解码器网络受到广泛关注，其中要求编码器编码出高质量的降雨嵌入，其决定了后续解码阶段重建雨层的性能。然而，大多数现有研究忽视了降雨嵌入质量的重要性，从而导致过去雨或去雨不足等有限性能。在本文中，基于我们观察到的降雨到降雨自编码器具有高雨层重建性能，我们引入“降雨嵌入一致性”的思想，将自编码器编码的嵌入视为理想降雨嵌入，旨在通过提升理想降雨嵌入与去雨网络编码器导出的降雨嵌入之间的一致性来增强去雨性能。为此，应用降雨嵌入损失直接监督编码过程，并以修正局部对比度归一化（RLCN）作为有效提取候选雨像素的引导。我们还提出分层 LSTM 用于循环去雨和考虑不同尺度的细粒度编码器特征精炼。定性与定量实验表明，我们所提方法尤其在真实世界数据集上优于先前最先进的方法。我们的源代码可在 http://www.ok.sc.e.titech.ac.jp/res/SIR/ 获取。
引用
@article{arxiv.2111.03615,
title = {Single Image Deraining Network with Rain Embedding Consistency and Layered LSTM},
author = {Yizhou Li and Yusuke Monno and Masatoshi Okutomi},
journal= {arXiv preprint arXiv:2111.03615},
year = {2021}
}
备注
Accepted by WACV2022, January 2022