FISR：基于多尺度时间损失的深度联合帧插值与超分辨率
计算机视觉与模式识别
2022-02-08 v2
摘要
超分辨率（SR）已被广泛用于将从低分辨率老式视频转换为高分辨率（HR）视频，以适配日益提高的显示分辨率（如 UHD 电视）。然而，在更大尺寸显示设备上渲染的 HR 视频中，人类更容易注意到运动伪影（如运动抖动）。因此，广播标准支持更高的 UHD（超高清）视频帧率（4K@60 fps、8K@120 fps），这意味着仅应用 SR 不足以生成真正的高质量视频。因而，要将老式视频向上转换用于实际应用，不仅需要 SR，还需要视频帧插值（VFI）。本文中，我们首次提出一种联合 VFI-SR 框架，将视频的时空分辨率从 2K 30 fps 提升至 4K 60 fps。为此，我们提出了一种带有多尺度时间损失的新型训练方案，该方案对输入视频序列施加时间正则化，可应用于任何通用的视频相关任务。所提结构通过大量实验得到了深入分析。
引用
@article{arxiv.1912.07213,
title = {FISR: Deep Joint Frame Interpolation and Super-Resolution with a Multi-scale Temporal Loss},
author = {Soo Ye Kim and Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:1912.07213},
year = {2022}
}
备注
The first two authors contributed equally to this work. Accepted to AAAI 2020 (camera-ready version)