多任务学习增强的单幅图像去雨
计算机视觉与模式识别
2020-05-12 v2 图像与视频处理
摘要
图像去雨是计算机视觉领域的一项重要任务，正吸引越来越多研究者的关注。本文致力于解决从单幅图像中去除雨纹视觉影响这一重要问题。与现有工作不同，我们的方法在提出的多任务回归模型中结合了多种语义约束任务以实现去雨。这些任务分别从内容、边缘感知以及局部纹理相似性三个方面增强模型能力。为了进一步提升多任务学习的性能，我们还提出了两种简单而有效的动态加权算法。所提出的多任务增强网络（MENET）是一种基于 U-Net 的强有力卷积神经网络，专注于利用多任务约束并挖掘它们之间的协同作用以提升模型的去雨能力。值得注意的是，自适应加权方案进一步提升了网络性能。我们在合成与真实雨图上进行若干实验，相较于若干选定的当前最优（SOTA）方法取得了更优的去雨性能。即便在暴雨及雨纹累积的分解中，我们方法的整体效果也令人印象深刻。源代码与部分结果见：https://github.com/SumiHui/MENET。
引用
@article{arxiv.2003.09689,
title = {Multi-Task Learning Enhanced Single Image De-Raining},
author = {Yulong Fan and Rong Chen and Bo Li},
journal= {arXiv preprint arXiv:2003.09689},
year = {2020}
}
备注
15 pages, 16 figures