基于天气信使与对抗反向传播的视频恶劣天气成分抑制网络
计算机视觉与模式识别
2023-09-26 v1
摘要
尽管已有卷积神经网络(CNNs)被提出利用一组预训练权重去除单幅图像中的恶劣天气条件,但由于缺乏时间信息,它们无法修复天气视频。此外,现有的从视频中去除恶劣天气条件(如雨、雾和雪)的方法只能处理一种恶劣天气。在本工作中,我们通过开发视频恶劣天气成分抑制网络(ViWS-Net),提出了首个从所有恶劣天气条件中修复视频的框架。为此,我们首先设计了一个具有多个 transformer 阶段的天气无关视频 transformer 编码器。此外,我们为天气信使设计了一种长短期时间建模机制,以早期融合输入的相邻视频帧并学习天气特定信息。我们进一步引入带梯度反转的天气判别器,通过对抗预测天气类型,以保持天气不变的共同信息并抑制像素特征中的天气特定信息。最后,我们开发了信使驱动的视频 transformer 解码器来提取残差天气特定特征,该特征与分层像素特征进行时空聚合并精炼以预测输入视频的干净目标帧。在基准数据集与真实世界天气视频上的实验结果表明,我们的 ViWS-Net 在修复受任意天气条件退化的视频方面优于当前最先进的方法。
引用
@article{arxiv.2309.13700,
title = {Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation},
author = {Yijun Yang and Angelica I. Aviles-Rivero and Huazhu Fu and Ye Liu and Weiming Wang and Lei Zhu},
journal= {arXiv preprint arXiv:2309.13700},
year = {2023}
}