用于视频超分辨率的循环反投影网络

我们针对视频超分辨率问题提出了一种新颖的架构。我们使用循环编码器-解码器模块整合来自连续视频帧的空间与时间上下文，该模块将多帧信息与针对目标帧的更传统的单帧超分辨率路径相融合。与大多数先前通过堆叠或扭曲将帧汇集在一起的工作不同，我们的模型——循环反投影网络（RBPN）——将每帧上下文视为独立的信息源。这些源在受多图像超分辨率中反投影思想启发的迭代细化框架中组合。这得益于显式表示相对于目标的帧间运动估计，而非显式对齐帧。我们提出了一个新的视频超分辨率基准，允许在更大尺度上评估并考虑不同运动机制下的视频。实验结果表明，我们的 RBPN 在多个数据集上优于现有方法。