通过交替优化实现可解释视频超分辨率

本文研究一个实用的时空视频超分辨率（STVSR）问题，旨在从低帧率低分辨率模糊视频生成高帧率高分辨率清晰视频。当用低帧率低分辨率相机记录快速动态事件时经常出现此类问题，所捕获视频会遭受三个典型问题：i) 由于曝光期间物体/相机运动产生运动模糊；ii) 当事件时间频率超过时间采样的奈奎斯特极限时运动混叠不可避免；iii) 因低空间采样率丢失高频细节。这些问题可通过三个独立子任务级联缓解，包括视频去模糊、帧插值与超分辨率，但这无法捕获视频序列间的时空相关性。为此，我们借助基于模型与基于学习的方法提出一种可解释的 STVSR 框架。具体而言，我们将 STVSR 表述为联合视频去模糊、帧插值与超分辨率问题，并以交替方式将其作为两个子问题求解。对第一个子问题，我们推导可解释解析解并用作傅里叶数据变换层。然后，针对第二个子问题提出循环视频增强层以进一步恢复高频细节。大量实验证明了我们的方法在定量指标与视觉质量上的优越性。