通过任务迁移学习去除雨纹

由于难以收集成对的真实世界训练数据，图像去雨目前主要由监督学习主导，使用例如Photoshop渲染生成的合成数据。然而，由于合成数据与真实世界数据之间的差距，其对真实雨景的泛化能力通常有限。在本文中，我们首先从统计上探究为何监督去雨模型不能很好地泛化到真实雨景，并发现了合成与真实雨数据之间的实质性差异。受我们的研究启发，我们提出通过从其他关联任务中学习有利的除雨表示来去除雨水。在关联任务中，真实数据的标签易于获取。因此，我们的核心思想是通过任务迁移从真实数据中学习表示，以改善去雨泛化。我们由此将我们的学习策略称为任务迁移学习（task transfer learning）。若存在多个关联任务，我们提出通过知识蒸馏来缩减模型规模。关联任务的预训练模型被视为教师，其所有知识被蒸馏至一个学生网络，从而我们在缩减模型规模的同时保留来自所有关联任务的有效先验表示。最后，学生网络用少量成对合成雨数据进行微调，以引导预训练先验表示去除雨水。大量实验表明，所提出的任务迁移学习策略出奇地成功，优于最先进的监督学习方法，并在合成数据上明显超越其他半监督去雨方法。特别地，其相对于这些方法在真实世界场景上展现出优越的泛化能力。