稳定的长时序循环视频超分辨率

基于深度学习(DL)的视频超分辨率(VSR)中，循环模型相比基于滑动窗口的模型，因具有更高的计算效率、更大的时间感受野和更好的时间一致性而日益流行。然而，在对低运动的长视频序列（即场景中某些部分几乎不动）进行推理时，循环模型会在循环处理过程中发散，产生高频伪影。据我们所知，尚无关于VSR的研究指出这一稳定性问题，而它对某些现实应用可能是关键的。视频监控就是这类伪影会出现的典型例子，因为相机和场景都会长时间保持静止。在本工作中，我们揭示了现有循环VSR网络在低运动长序列上的不稳定性。我们在一个新构建的长序列数据集Quasi-Static Video Set上证明了这一点。最后，我们基于Lipschitz稳定性理论，提出了一种既稳定又具竞争力的循环VSR网络新框架。基于此框架，我们提出了一种称为Middle Recurrent Video Super-Resolution (MRVSR，中间循环视频超分辨率)的新循环VSR网络。我们通过实验证明了其在低运动长序列上具有竞争力的性能。