用于高分辨率视频修复的时空残差聚合方法

近期基于学习的修复算法在视频中移除不期望物体后补全缺失区域方面取得了令人信服的结果。为保持各帧间的时间一致性，深度网络中常大量使用三维空间与时间操作。然而，这些方法通常受限于内存约束，只能处理低分辨率视频。我们提出 STRA-Net，一种用于高分辨率视频修复的新型时空残差聚合框架。其关键思想是先在降采样的低分辨率视频上学习并应用空间与时间修复网络，随后通过将学到的空间与时间图像残差（细节）聚合到上采样后的修复帧来细化低分辨率结果。定量与定性评估均表明，在高分辨率视频修复上，我们可比最先进的方法生成更具时间连贯性且视觉上更令人满意的结果。