基于知识蒸馏的通用快速视频去雨方法
计算机视觉与模式识别
2023-08-11 v1 图像与视频处理
摘要
作为一种常见的自然天气条件，雨会模糊视频帧从而影响视觉系统性能，因此视频去雨受到广泛关注。在自然环境中，雨具有多种条纹类型，增加了去雨任务的难度。本文提出一种基于雨回顾的通用视频去雨网络（via知识蒸馏，命名为RRGNet），其使用单一预训练权重处理不同雨条纹类型。具体而言，我们设计了一种基于帧分组的编码器-解码器网络，充分利用视频的时间信息。进一步地，我们利用旧任务模型指导当前模型学习新雨条纹类型，同时避免遗忘。为巩固网络的去雨能力，我们设计了一个雨回顾模块，为当前模型回放旧任务数据。实验结果表明，我们提出的通用方法在运行速度和去雨效果上均取得了最佳结果。
引用
@article{arxiv.2308.05346,
title = {Towards General and Fast Video Derain via Knowledge Distillation},
author = {Defang Cai and Pan Mu and Sixian Chan and Zhanpeng Shao and Cong Bai},
journal= {arXiv preprint arXiv:2308.05346},
year = {2023}
}
备注
6 pages; Accepted at IEEE ICME