纹理感知的视频帧插值
图像与视频处理
2021-08-23 v1 计算机视觉与模式识别
摘要
时间插值有潜力成为视频压缩的有力工具。现有的帧插值方法不区分视频纹理，通常调用单一通用模型来插值广泛的视频内容。然而，以往关于视频纹理分析与合成的研究表明，不同纹理表现出截然不同的运动特性，可划分为三类（静态、动态连续和动态离散）。在本工作中，我们研究视频纹理对视频帧插值的影响，并提出一种新颖框架：给定插值算法，在不同纹理上分别训练模型。我们的研究表明，视频纹理对帧插值模型性能有显著影响，且专门适配这些纹理类的独立模型优于训练试图学习通用运动的单一模型。我们的结果显示，使用我们的框架微调的模型在所用测试集上平均取得 0.3dB 的 PSNR 增益。
引用
@article{arxiv.2102.13520,
title = {Texture-aware Video Frame Interpolation},
author = {Duolikun Danier and David Bull},
journal= {arXiv preprint arXiv:2102.13520},
year = {2021}
}