用于自适应全合一视频复原的交叉一致深度展开网络
计算机视觉与模式识别
2023-12-12 v3
摘要
现有的视频复原（VR）方法总是需要为每种恶劣天气单独部署模型以去除不同的恶劣天气退化，缺乏自适应处理退化的能力。这一局限在实际应用中的复杂度和部署成本被放大。为克服该不足，本文提出一种用于全合一VR的交叉一致深度展开网络（CDUN），首次实现使用单一模型去除多种退化。具体而言，所提CDUN构建了一种新颖的迭代优化框架，能够根据预先给定的退化特征恢复被相应退化损坏的帧。为使该框架能够消除多种退化，我们设计了一种序列自适应退化估计器（SADE）来估计输入损坏视频的退化特征。通过编排这两个级联过程，CDUN实现了对多种退化的自适应处理。此外，我们引入了一种基于窗口的帧间融合策略，以利用更多相邻帧的信息。该策略涉及在多次迭代中渐进式堆叠时间窗口，有效扩大了时间感受野，并使每帧的复原能够利用来自远处帧的信息。大量实验表明，所提方法在全合一VR中达到了最先进的性能。
引用
@article{arxiv.2309.01627,
title = {Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration},
author = {Yuanshuo Cheng and Mingwen Shao and Yecong Wan and Yuanjian Qiao and Wangmeng Zuo and Deyu Meng},
journal= {arXiv preprint arXiv:2309.01627},
year = {2023}
}
备注
16 pages, 13 figures