具有多尺度双向传播的深度循环神经网络用于视频去模糊
图像与视频处理
2021-12-13 v1 计算机视觉与模式识别
摘要
最先进的视频去模糊方法的成功主要源于对相邻帧之间对齐关系的隐式或显式估计，以进行潜在视频复原。然而，由于模糊效应的影响，从模糊的相邻帧中估计对齐信息并非易事。不准确的估计会干扰后续的帧复原。我们不去估计对齐信息，而是提出一种简单有效的具有多尺度双向传播的深度循环神经网络（RNN-MBP），以有效地从不对齐的相邻帧传播和收集信息，从而实现更好的视频去模糊。具体而言，我们构建了一个多尺度双向传播（MBP）模块，该模块具有两个 U-Net RNN 单元，可通过在不同尺度上整合不对齐的相邻隐藏状态，直接利用帧间信息。此外，为了更好地评估所提算法和现有最先进方法在真实世界模糊场景上的表现，我们还通过精心设计的数字视频采集系统（DVAS）创建了真实世界模糊视频数据集（RBVD），并将其用作训练和评估数据集。大量实验结果表明，所提出的 RBVD 数据集有效提升了现有算法在真实世界模糊视频上的性能，且所提算法在三个典型基准上优于最先进的方法。代码可在 https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP 获取。
引用
@article{arxiv.2112.05150,
title = {Deep Recurrent Neural Network with Multi-scale Bi-directional Propagation for Video Deblurring},
author = {Chao Zhu and Hang Dong and Jinshan Pan and Boyang Liang and Yuhao Huang and Lean Fu and Fei Wang},
journal= {arXiv preprint arXiv:2112.05150},
year = {2021}
}
备注
Accepted by AAAI-2022