使用高分辨率光流估计的深度视频超分辨率
计算机视觉与模式识别
2020-01-08 v1
摘要
视频超分辨率（SR）旨在从低分辨率（LR）帧序列生成具有合理且时间一致细节的高分辨率（HR）帧序列。视频 SR 的关键挑战在于有效利用连续帧间的时间依赖性。现有基于深度学习的方法通常估计 LR 帧间的光流以提供时间依赖性。然而，LR 光流与 HR 输出之间的分辨率冲突阻碍了精细细节的恢复。本文提出一个端到端视频 SR 网络，同时对光流与图像进行超分辨率。从 LR 帧进行光流 SR 提供了准确的时间依赖性，并最终提升视频 SR 性能。具体而言，我们首先提出一个光流重建网络（OFRnet）以由粗到细的方式推断 HR 光流。然后，使用 HR 光流进行运动补偿以编码时间依赖性。最后，补偿后的 LR 输入被送入超分辨率网络（SRnet）以生成 SR 结果。我们进行了大量实验以证明 HR 光流对提升 SR 性能的有效性。在 Vid4 与 DAVIS-10 数据集上的对比结果表明，我们的网络取得了最先进的（SOTA）性能。
引用
@article{arxiv.2001.02129,
title = {Deep Video Super-Resolution using HR Optical Flow Estimation},
author = {Longguang Wang and Yulan Guo and Li Liu and Zaiping Lin and Xinpu Deng and Wei An},
journal= {arXiv preprint arXiv:2001.02129},
year = {2020}
}
备注
Accepted by IEEE TIP. arXiv admin note: text overlap with arXiv:1809.08573