缓解真实世界视频超分辨率模型中的伪影
计算机视觉与模式识别
2022-12-15 v1
摘要
循环结构是视频超分辨率任务中一种普遍采用的框架，其通过隐藏状态建模帧间的时间依赖关系。当应用于具有未知且复杂退化的真实世界场景时，隐藏状态往往包含令人不快的伪影并将其传播至复原帧。在这种情况下，我们的分析表明，当隐藏状态被更干净的对应状态替换时，此类伪影可大幅缓解。基于这些观察，我们提出隐藏状态注意力（HSA）模块以缓解真实世界视频超分辨率中的伪影。具体而言，我们首先采用多种廉价滤波器生成隐藏状态池。例如，高斯模糊滤波器用于平滑伪影，而锐化滤波器用于增强细节。为从隐藏状态池中聚合出包含更少伪影的新隐藏状态，我们设计了选择性交叉注意力（SCA）模块，其中计算输入特征与每个隐藏状态之间的注意力。配备 HSA 后，我们提出的方法即 FastRealVSR，能够在取得优于 Real-BasicVSR 性能的同时实现 2 倍加速。代码将发布于 https://github.com/TencentARC/FastRealVSR
引用
@article{arxiv.2212.07339,
title = {Mitigating Artifacts in Real-World Video Super-Resolution Models},
author = {Liangbin Xie and Xintao Wang and Shuwei Shi and Jinjin Gu and Chao Dong and Ying Shan},
journal= {arXiv preprint arXiv:2212.07339},
year = {2022}
}
备注
Accepted by AAAI 2023. Codes will be available at https://github.com/TencentARC/FastRealVSR