时空携手：基于循环投影互学习的时空视频超分辨率
计算机视觉与模式识别
2022-05-12 v1
摘要
时空视频超分辨率（ST-VSR）旨在生成具有更高分辨率（HR）与更高帧率（HFR）的超分辨率视频。颇为直观地，先驱的两阶段方法通过直接组合两个子任务完成 ST-VSR：空间视频超分辨率（S-VSR）与时间视频超分辨率（T-VSR），却忽略了它们之间的互易关系。具体而言，1）T-VSR 对 S-VSR：时间相关性以更多线索帮助准确的空间细节表示；2）S-VSR 对 T-VSR：丰富的空间信息有助于时间预测的精炼。为此，我们提出一种基于单阶段的循环投影互学习网络（CycMu-Net）用于 ST-VSR，通过 S-VSR 与 T-VSR 间的互学习充分利用时空相关性。具体地，我们提出通过迭代的上-下投影来挖掘它们之间的互信息，其中空间与时间特征被充分融合与提炼，助力高质量视频重建。除在基准数据集上的大量实验外，我们还将所提 CycMu-Net 与 S-VSR 及 T-VSR 任务比较，表明我们的方法显著优于当前最优方法。
引用
@article{arxiv.2205.05264,
title = {Spatial-Temporal Space Hand-in-Hand: Spatial-Temporal Video Super-Resolution via Cycle-Projected Mutual Learning},
author = {Mengshun Hu and Kui Jiang and Liang Liao and Jing Xiao and Junjun Jiang and Zheng Wang},
journal= {arXiv preprint arXiv:2205.05264},
year = {2022}
}
备注
10 pages, 8 figures