基于统一网络结构与知识回放的持续全能型恶劣天气去除
计算机视觉与模式识别
2024-03-13 v1 人工智能
摘要
在实际应用中，由恶劣天气引起的图像退化总是复杂的，并随不同季节和日期的天气条件而变化。真实环境中的系统不断遇到以前未观察到的恶劣天气条件。因此，实际上需要恶劣天气去除模型能够从反映各种退化类型的增量收集数据中持续学习。现有的恶劣天气去除方法，无论是针对单一还是多种恶劣天气，主要设计用于静态学习范式，即假设所有待处理的退化类型数据可以在单阶段学习过程之前一次性精细收集。因此，它们无法直接处理增量学习需求。为解决这一问题，我们最早着手研究持续全能型恶劣天气去除任务，其设置更贴近实际应用。具体而言，我们在统一网络结构上开发了一种具有有效知识回放 (KR) 的新型持续学习框架。配备主成分投影和有效的知识蒸馏机制，所提出的 KR 技术专为全能型天气去除任务量身定制。它考虑了持续学习中具有多种退化的图像恢复任务的特点，不同退化的知识可以在统一网络结构中共享和积累。大量实验结果证明了所提方法处理这一挑战性任务的有效性，其表现与现有的专用或联合训练图像恢复方法具有竞争力。我们的代码可在 https://github.com/xiaojihh/CL_all-in-one 获取。
引用
@article{arxiv.2403.07292,
title = {Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure},
author = {De Cheng and Yanling Ji and Dong Gong and Yan Li and Nannan Wang and Junwei Han and Dingwen Zhang},
journal= {arXiv preprint arXiv:2403.07292},
year = {2024}
}