超越单目去雨：基于语义先验的并行立体去雨网络
计算机视觉与模式识别
2021-05-11 v1
摘要
雨是一种常见的自然现象。然而在雨中拍摄图像常导致图像质量下降，从而损害许多计算机视觉系统的性能。大多数现有去雨算法仅使用单张输入图像并旨在恢复干净图像。少数工作利用了立体图像。此外，即便对于基于单图像的单目去雨，许多当前方法未能令人满意地完成该任务，因为它们主要依赖逐像素损失函数而忽略语义信息。在本文中，我们提出一种成对去雨网络（PRRNet），其同时利用立体图像与语义信息。具体而言，我们开发了语义感知去雨模块（SADM），该模块同时解决场景语义分割与去雨任务，以及语义融合网络（SFNet）和视角融合网络（VFNet），分别融合语义信息与多视角信息。此外，我们还引入了增强型成对去雨网络（EPRRNet），其利用语义先验从立体图像中去除雨纹。我们首先使用粗去雨网络减少输入图像上的雨纹，然后采用预训练的语义分割网络从粗去雨图像中提取语义特征。最后，一个并行立体去雨网络融合语义与多视角信息以恢复更精细的结果。我们还提出了新的基于立体的雨天数据集用于基准测试。在单目及新提出的立体雨天数据集上的实验表明，所提方法达到了最先进的性能。
引用
@article{arxiv.2105.03830,
title = {Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior},
author = {Kaihao Zhang and Wenhan Luo and Yanjiang Yu and Wenqi Ren and Fang Zhao and Changsheng Li and Lin Ma and Wei Liu and Hongdong Li},
journal= {arXiv preprint arXiv:2105.03830},
year = {2021}
}