AdaFNIO：用于视频帧插值的自适应傅里叶神经插值算子
计算机视觉与模式识别
2023-03-10 v2
摘要
我们提出AdaFNIO——自适应傅里叶神经插值算子（Adaptive Fourier Neural Interpolation Operator），一种基于神经算子的视频帧插值架构。当前基于深度学习的方法依赖局部卷积进行特征学习，且存在不具备尺度不变性的问题，因此需要通过随机翻转和重缩放来增强训练数据。另一方面，AdaFNIO通过利用快速傅里叶变换（FFT）在傅里叶空间或谱域中进行令牌混合与全局卷积，独立于输入分辨率地学习帧中的特征。我们表明AdaFNIO能够生成视觉上平滑且准确的结果。为评估所插帧的视觉质量，我们计算生成帧与真实帧之间的结构相似性指数（SSIM）和峰值信噪比（PSNR）。我们在Vimeo-90K数据集、DAVIS、UCF101和DISFA+数据集上给出了模型的定量性能。
引用
@article{arxiv.2211.10791,
title = {AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation},
author = {Hrishikesh Viswanath and Md Ashiqur Rahman and Rashmi Bhaskara and Aniket Bera},
journal= {arXiv preprint arXiv:2211.10791},
year = {2023}
}