TDAN：用于视频超分辨率的时间可变形对齐网络
计算机视觉与模式识别
2018-12-10 v1
摘要
视频超分辨率（VSR）旨在从其对应的低分辨率（LR）帧（参考帧）与多个相邻帧（支持帧）中恢复照片真实感的高分辨率（HR）视频帧。由于相机或物体的运动变化，参考帧与各支持帧并未对齐。因此，时间对齐是 VSR 中一个具挑战性却重要的问题。以往的 VSR 方法通常利用参考帧与各支持帧之间的光流来扭曲支持帧以实现时间对齐。因此，这些基于图像级扭曲的模型性能高度依赖于光流预测精度，而不准确的光流会导致扭曲支持帧中出现伪影，并传播至重建的 HR 视频帧。为克服该局限，本文提出一种时间可变形对齐网络（TDAN），在特征层级自适应对齐参考帧与各支持帧，而无需计算光流。TDAN 利用参考帧与各支持帧的特征动态预测采样卷积核的偏移量。通过使用相应卷积核，TDAN 将支持帧变换以与参考帧对齐。为预测 HR 视频帧，采用一个以对齐帧与参考帧为输入的重建网络。实验结果证明了所提基于 TDAN 的 VSR 模型的有效性。
引用
@article{arxiv.1812.02898,
title = {TDAN: Temporally Deformable Alignment Network for Video Super-Resolution},
author = {Yapeng Tian and Yulun Zhang and Yun Fu and Chenliang Xu},
journal= {arXiv preprint arXiv:1812.02898},
year = {2018}
}
备注
10 pages, 6 figures, demo link http://www.youtube.com/watch?v=eZExENE50I0