通过雨特征记忆与回放实现更好的去雨泛化
计算机视觉与模式识别
2025-06-04 v1
摘要
当前的图像去雨方法主要从有限的数据集中学习，导致在多变的真实世界雨天条件下性能不足。为了解决这个问题，我们引入了一个新框架，使网络能够通过利用不断增长的数据集池来逐步扩展其去雨知识库，从而显著提高其适应性。受人脑能够从持续经历中不断吸收和泛化的能力启发，我们的方法借鉴了互补学习系统的机制。具体而言，我们首先部署生成对抗网络 (GAN) 来捕捉和保留新数据的独特特征，类似于海马体在学习和记忆中的作用。然后，使用现有数据和 GAN 合成数据一起训练去雨网络，模拟海马体回放和交错学习的过程。此外，我们对回放数据采用知识蒸馏，以复制由海马体回放触发的新皮层活动模式与先前存在的新皮层知识之间的协同作用。这个综合框架使去雨网络能够从各种数据集中积累知识，持续增强其在未见过的雨天场景上的性能。我们在三个基准去雨网络上的测试证实了该框架的有效性。它不仅促进了跨六个数据集的持续知识积累，而且在泛化到新的真实世界场景方面也超越了 SOTA 方法。
引用
@article{arxiv.2506.02477,
title = {Towards Better De-raining Generalization via Rainy Characteristics Memorization and Replay},
author = {Kunyu Wang and Xueyang Fu and Chengzhi Cao and Chengjie Ge and Wei Zhai and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2506.02477},
year = {2025}
}