MEGAN：面向时空视频超分辨率的内存增强图注意力网络
计算机视觉与模式识别
2021-12-01 v2 人工智能
机器学习
图像与视频处理
摘要
时空视频超分辨率（STVSR）旨在从相应的低帧率、低分辨率视频序列构建高时空分辨率视频序列。受近期利用时空信息进行时空超分辨率研究成功的启发，本工作的主要目标是充分考虑快速动态事件视频序列内的空间与时间相关性。为此，我们提出了一种新颖的单阶段内存增强图注意力网络（MEGAN）用于时空视频超分辨率。具体而言，我们构建了一种新颖的长程内存图聚合（LMGA）模块，以动态捕获特征图通道维度上的相关性，并自适应聚合通道特征以增强特征表示。我们引入了非局部残差块，使每个通道级特征能够关注全局空间分层特征。此外，我们采用渐进融合模块，通过广泛利用多帧中的时空相关性进一步增强表示能力。实验结果表明，我们的方法在定量与视觉上均优于最先进的方法。
引用
@article{arxiv.2110.15327,
title = {MEGAN: Memory Enhanced Graph Attention Network for Space-Time Video Super-Resolution},
author = {Chenyu You and Lianyi Han and Aosong Feng and Ruihan Zhao and Hui Tang and Wei Fan},
journal= {arXiv preprint arXiv:2110.15327},
year = {2021}
}