元插值：基于双重元学习的任意时刻帧插值
计算机视觉与模式识别
2022-07-28 v1
摘要
现有的视频帧插值方法只能在给定的中间时间步（例如 1/2）插值帧。在本文中，我们旨在探索一种更通用的视频帧插值，即在任意时间步插值。为此，我们考虑借助元学习以统一方式用自适应生成的卷积核处理不同时间步。具体而言，我们开发了双重元学习帧插值框架，在上下文信息和光流引导下，并将时间步作为侧信息来合成中间帧。首先，构建内容感知的元学习光流细化模块，基于输入帧的下采样版本提高光流估计的准确性。其次，以细化后的光流和时间步作为输入，运动感知的元学习帧插值模块为输入帧粗扭曲版本的特征图上的卷积操作生成每个像素的卷积核，以生成预测帧。广泛的定性和定量评估以及消融研究证明，通过在我们的框架中以这种精心设计的方式引入元学习，我们的方法不仅取得了优于最先进帧插值方法的性能，而且拥有支持任意时间步插值的扩展能力。
引用
@article{arxiv.2207.13670,
title = {Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning},
author = {Shixing Yu and Yiyang Ma and Wenhan Yang and Wei Xiang and Jiaying Liu},
journal= {arXiv preprint arXiv:2207.13670},
year = {2022}
}