面向图像去雨的半监督迁移学习

单幅图像去雨是计算机视觉中典型的逆问题。深度学习技术已被证实对该任务有效并取得了最先进性能。然而，既往深度学习方法需预先收集大量含/不含合成雨的图像对用于训练，这易使神经网络偏向学习合成雨的特定模式，而泛化到雨型异于训练数据的真实测试样本的能力较弱。针对此问题，本文首次提出一种面向该任务的半监督学习范式。与仅使用含/不含合成雨的监督图像对的传统深度学习方法不同，我们进一步将真实雨图（无需其干净图像）置入网络训练过程。这通过将输入雨图与其期望网络输出（无雨清晰图）间的残差精心表述为特定的参数化雨纹分布来实现。网络因而得以通过从监督合成雨迁移来适应真实无监督的多样雨型，从而显著缓解训练样本匮乏与偏倚监督样本两方面问题。在合成与真实数据上的实验验证了本模型相较最先进方法的优越性。