Zooming SlowMo：一种高效的时空视频超分辨率单阶段框架
计算机视觉与模式识别
2021-04-16 v1 人工智能
机器学习
多媒体
图像与视频处理
摘要
本文研究时空视频超分辨率，其目标是从低分辨率（LR）且低帧率（LFR）的视频序列生成高分辨率（HR）慢动作视频。一种朴素方法是将之分解为两个子任务：视频帧插值（VFI）与视频超分辨率（VSR）。然而，时间插值与空间放大在该问题中是内部相关的。两阶段方法无法充分利用这一自然属性。此外，最先进的 VFI 或 VSR 深度网络通常具有较大的帧重建模块，以获得高质量照片真实感视频帧，这使得两阶段方法模型庞大因而相对耗时。为克服这些问题，我们提出一种单阶段时空视频超分辨率框架，可直接从输入的 LR 和 LFR 视频重建 HR 慢动作视频序列。与 VFI 模型重建缺失的 LR 中间帧不同，我们通过特征时间插值模块对缺失 LR 帧的 LR 帧特征进行时间插值以捕获局部时间上下文。在广泛使用基准上的大量实验表明，所提框架不仅在干净与含噪 LR 帧上均取得更好的定性与定量性能，而且比近期最先进的两阶段网络快数倍。源代码发布于 https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020 。
引用
@article{arxiv.2104.07473,
title = {Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution},
author = {Xiaoyu Xiang and Yapeng Tian and Yulun Zhang and Yun Fu and Jan P. Allebach and Chenliang Xu},
journal= {arXiv preprint arXiv:2104.07473},
year = {2021}
}
备注
Journal version of "Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution"(CVPR-2020). 14 pages, 14 figures