深度时空视频上采样网络
计算机视觉与模式识别
2020-08-11 v2
摘要
视频超分辨率（VSR）与帧插值（FI）是传统的计算机视觉问题，近期通过引入深度学习其性能不断提升。本文研究视频在空间与时间上联合上采样的问题，随着显示系统的发展该问题日益重要。一种解决方案是依次独立地运行 VSR 与 FI，但由于每个方案都涉及沉重的深度神经网络（DNN），这种做法效率极低。为此，我们提出一种端到端 DNN 框架，通过将 VSR 与 FI 高效合并为联合框架来实现时空视频上采样。在我们的框架中，提出一种新颖的加权方案，无需显式运动补偿即可有效融合输入帧，从而实现高效的视频处理。结果表明，与基线相比，本文方法在定量与定性上均取得更优结果，同时将计算时间减少（快 7 倍）并将参数量降低 30%。
引用
@article{arxiv.2004.02432,
title = {Deep Space-Time Video Upsampling Networks},
author = {Jaeyeon Kang and Younghyun Jo and Seoung Wug Oh and Peter Vajda and Seon Joo Kim},
journal= {arXiv preprint arXiv:2004.02432},
year = {2020}
}
备注
ECCV2020 accepted