用于高质量帧插值的跨视频神经表示学习
图像与视频处理
2022-03-02 v1 计算机视觉与模式识别
摘要
本文研究视频时间插值问题，其目标是给定相邻两帧合成一个新的视频帧。我们提出跨视频神经表示（CURE），这是首个基于神经场（NF）的视频插值方法。NF指近期用于复杂3D场景神经表示的一类方法，已在计算机视觉中取得广泛成功与应用。CURE将视频表示为由基于坐标的神经网络参数化的连续函数，其输入为时空坐标，输出为对应的RGB值。CURE引入了一种新架构，以输入帧为条件约束神经网络，从而在被合成视频中施加时空一致性。这不仅提升了最终的插值质量，还使CURE能够跨多个视频学习先验。实验评估表明，CURE在多个基准数据集上的视频插值任务中达到了最先进的性能。
引用
@article{arxiv.2203.00137,
title = {Learning Cross-Video Neural Representations for High-Quality Frame Interpolation},
author = {Wentao Shangguan and Yu Sun and Weijie Gan and Ulugbek S. Kamilov},
journal= {arXiv preprint arXiv:2203.00137},
year = {2022}
}