基于分组的双向循环小波神经网络用于视频超分辨率
计算机视觉与模式识别
2021-06-15 v1 人工智能
摘要
视频超分辨率(VSR)旨在从低分辨率(LR)帧中估计高分辨率(HR)帧。VSR的关键挑战在于有效利用帧内空间相关性和连续帧间的时间依赖性。然而,大多数先前方法同等对待不同类型的空间特征,并从分离模块中提取空间和时间特征,这导致无法获取有意义的信息并增强细节。在VSR中,有三种时间建模范式:2D卷积神经网络(CNN)、3D CNN和循环神经网络(RNN)。其中,基于RNN的方法适用于序列数据,因此利用相邻帧的隐藏状态可大幅提升超分辨率性能。但是,在循环结构的每个时间步,基于RNN的已有工作对邻域特征的利用受限;由于每个时间步可获取的运动范围狭窄,在恢复动态或大运动缺失细节方面仍存在局限。本文提出一种基于分组的双向循环小波神经网络(GBR-WNN),以有效利用序列数据和时空信息进行VSR。所提出的基于分组的双向RNN(GBR)时间建模范式构建于图像组(GOP)的良好结构化流程之上。我们提出时间小波注意力(TWA)模块,其中注意力同时作用于空间和时间特征。实验结果表明,所提方法在定量与定性评价中均优于当前最优(state-of-the-art)方法。
引用
@article{arxiv.2106.07190,
title = {Group-based Bi-Directional Recurrent Wavelet Neural Networks for Video Super-Resolution},
author = {Young-Ju Choi and Young-Woon Lee and Byung-Gyu Kim},
journal= {arXiv preprint arXiv:2106.07190},
year = {2021}
}
备注
10 pages, 5 figures