ASF-Net：基于时间对齐与在线自适应学习的鲁棒视频去雨方法
计算机视觉与模式识别
2023-09-06 v1
摘要
近来，基于学习的视频去雨方法已展现出令人满意的结果。然而，这些方法尚未解决两个关键挑战：利用相邻帧间的时间相关性，以及确保对未知真实场景的适应性。为克服这些挑战，我们从范式设计到学习策略构建的角度探索视频去雨。具体而言，我们提出一种新的计算范式——对齐-移位-融合网络（ASF-Net），其引入了时间移位模块。该模块在本领域为新颖设计，通过促进特征空间内通道级信息的交换，实现对时间信息的更深入挖掘。为充分发挥模型的表征能力，我们进一步构建了大规模雨天视频数据集（LARA），该数据集亦支持本社区的发展。基于新构建的数据集，我们通过开发一种创新的再退化学习策略来探索参数学习过程。该策略弥合了合成与真实场景间的鸿沟，带来更强的场景适应性。我们提出的方法在三个基准上展现出优越性能，并在真实场景中呈现引人注目的视觉质量，印证了其有效性。代码见 https://github.com/vis-opt-group/ASF-Net。
引用
@article{arxiv.2309.00956,
title = {ASF-Net: Robust Video Deraining via Temporal Alignment and Online Adaptive Learning},
author = {Xinwei Xue and Jia He and Long Ma and Xiangyu Meng and Wenlin Li and Risheng Liu},
journal= {arXiv preprint arXiv:2309.00956},
year = {2023}
}