用于可控时空视频超分辨率的时间调制网络
计算机视觉与模式识别
2021-05-03 v2
摘要
时空视频超分辨率（STVSR）旨在提升低分辨率、低帧率视频的空间与时间分辨率。近年来，基于可变形卷积的方法取得了令人满意的STVSR性能，但它们只能推断训练阶段预先定义的中间帧。此外，这些方法低估了相邻帧间的短期运动线索。本文提出一种时间调制网络（TMNet），以准确的高分辨率重建来插值任意中间帧。具体而言，我们提出时间调制块（TMB）来调制可变形卷积核，实现可控的特征插值。为充分利用时间信息，我们提出局部时间特征比较（LFC）模块，结合双向可变形ConvLSTM，以提取视频中的短期与长期运动线索。在三个基准数据集上的实验表明，我们的TMNet优于以往的STVSR方法。代码已开源：https://github.com/CS-GangXu/TMNet。
引用
@article{arxiv.2104.10642,
title = {Temporal Modulation Network for Controllable Space-Time Video Super-Resolution},
author = {Gang Xu and Jun Xu and Zhen Li and Liang Wang and Xing Sun and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2104.10642},
year = {2021}
}
备注
This paper is accepted at IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2021