Zooming Slow-Mo：快速精准的单阶段时空视频超分辨率
计算机视觉与模式识别
2020-02-27 v1 多媒体
图像与视频处理
摘要
在本文中，我们探索时空视频超分辨率任务，其旨在从低帧率（LFR）、低分辨率（LR）视频生成高分辨率（HR）慢动作视频。一个简单的方案是将其拆分为两个子任务：视频帧插值（VFI）与视频超分辨率（VSR）。然而，在该任务中时间插值与空间超分辨率是内在相关的。两阶段方法无法充分利用这一自然属性。此外，最先进的 VFI 或 VSR 网络需要庞大的帧合成或重建模块来预测高质量视频帧，这使得两阶段方法模型规模大因而耗时。为克服这些问题，我们提出了一种单阶段时空视频超分辨率框架，直接从 LFR、LR 视频合成 HR 慢动作视频。与 VFI 网络合成缺失 LR 视频帧不同，我们首先通过所提特征时间插值网络在缺失 LR 视频帧中插值 LR 帧特征以捕获局部时间上下文。然后，我们提出一种可变形 ConvLSTM 同时对齐与聚合时间信息，以更好地利用全局时间上下文。最后，采用深度重建网络预测 HR 慢动作视频帧。在基准数据集上的大量实验表明，所提方法不仅取得了更好的定量与定性性能，而且比近期两阶段最先进方法（如 DAIN+EDVR 与 DAIN+RBPN）快三倍以上。
引用
@article{arxiv.2002.11616,
title = {Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution},
author = {Xiaoyu Xiang and Yapeng Tian and Yulun Zhang and Yun Fu and Jan P. Allebach and Chenliang Xu},
journal= {arXiv preprint arXiv:2002.11616},
year = {2020}
}
备注
This work is accepted in CVPR 2020. The source code and pre-trained model are available on https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020. 12 pages, 10 figures