面向视频超分辨率帧间时间一致性学习
计算机视觉与模式识别
2022-11-04 v1
摘要
视频超分辨率(VSR)旨在从低分辨率(LR)参考帧与多个相邻帧中重建高分辨率(HR)帧。其关键操作是利用相对未对齐的帧进行当前帧重建并保持结果的一致性。现有方法通常探索信息传播与帧对齐以提升VSR性能。然而,鲜有研究关注帧间的时间一致性。本文提出一种端到端的时序一致性学习网络(TCNet)用于VSR,以增强重建视频的一致性。设计了一种时空稳定性模块,用于从帧间学习自对齐。特别地,采用相关性匹配来挖掘各帧的空间依赖以维持结构稳定性。此外,利用自注意力机制学习时间对应关系,以实现多帧间时间一致性的自适应扭曲操作。同时,设计了一种混合循环架构以利用短期与长期信息。我们进一步提出渐进融合模块,对时空特征进行多阶段融合。最终重建帧由这些融合特征精炼得到。多种实验的客观与主观结果表明,与若干SOTA方法相比,TCNet在不同基准数据集上均具有优越性能。
引用
@article{arxiv.2211.01639,
title = {Temporal Consistency Learning of inter-frames for Video Super-Resolution},
author = {Meiqin Liu and Shuo Jin and Chao Yao and Chunyu Lin and Yao Zhao},
journal= {arXiv preprint arXiv:2211.01639},
year = {2022}
}
备注
Accepted by IEEE Trans. Circuits Syst. Video Technol