TRG-Net：一个可解释且可控的雨生成器
计算机视觉与模式识别
2024-04-30 v2 图像与视频处理
摘要
探索和建模雨的生成机制对于增强配对数据以缓解雨中图像处理模型的训练至关重要。针对这一任务，本研究提出了一种新型基于深度学习的雨生成器，该生成器充分考虑雨背后的物理生成机制，并将基本雨因素（即形状、方向、长度、宽度和稀疏性）的学习明确地编码到深度网络中。其意义在于，该生成器不仅像传统人工策略一样精心设计雨的 essential 元素来模拟预期的雨，还像深度学习方法一样细致地适应复杂多变的实际雨中图像。通过合理采用滤波器参数化技术，我们首次实现了一个关于雨因素可控且能够从数据中纯粹学习这些因素分布的深度网络。我们的无配对生成实验表明，本文提出的雨生成器生成的雨不仅质量更高，而且在去雨和下游任务方面也更有效。此外，配对数据增强实验，包括分布内和分布外（OOD），进一步验证了该模型在分布内去雨和 OOD 泛化任务中生成样本的多样性。
引用
@article{arxiv.2403.09993,
title = {TRG-Net: An Interpretable and Controllable Rain Generator},
author = {Zhiqiang Pang and Hong Wang and Qi Xie and Deyu Meng and Zongben Xu},
journal= {arXiv preprint arXiv:2403.09993},
year = {2024}
}