通过统一模型去除视频中的多种混合恶劣天气
计算机视觉与模式识别
2026-03-03 v1
摘要
在真实世界恶劣天气条件下拍摄的视频通常会遭受具有异质退化分布的不确定混合天气伪影。然而，由于适应能力有限，现有算法仅在特定的单一退化分布上表现优异，必须使用单独训练的模型来处理不同的天气退化，因此可能无法处理真实世界的随机天气场景。此外，由于缺乏成对视频数据来表征多种天气的共存，模型训练也变得不可行。为了改善上述问题，我们提出了一种名为 UniWRV 的新型统一模型，以一体化方式去除多种异质视频天气退化。具体而言，为了解决退化空间特征异质性问题，我们提出了一个定制的天气先验引导模块，该模块为不同实例查询专属先验作为提示，以引导空间特征表征。为了解决退化时间特征异质性问题，我们提出了一个动态路由聚合模块，该模块可以为不同实例自动选择最优融合路径，以动态整合时间特征。此外，我们成功构建了一个新的合成视频数据集，称为 HWVideo，用于学习和基准测试多种混合恶劣天气去除，该数据集包含 15 种混合天气条件，共计 1500 个恶劣天气/干净成对视频片段。还收集了真实世界的混合天气视频以评估模型的泛化能力。综合实验表明，我们的 UniWRV 在多种异质退化学习场景中表现出稳健且优越的适应能力，包括超越天气去除的各种通用视频修复任务。
引用
@article{arxiv.2503.06200,
title = {Removing Multiple Hybrid Adverse Weather in Video via a Unified Model},
author = {Yecong Wan and Mingwen Shao and Yuanshuo Cheng and Jun Shu and Shuigen Wang},
journal= {arXiv preprint arXiv:2503.06200},
year = {2026}
}