通过运动自适应提升视频帧插值
计算机视觉与模式识别
2023-10-06 v3
摘要
视频帧插值（VFI）是一项具有挑战性的任务，旨在生成视频中两连续帧之间的中间帧。现有的基于学习的 VFI 方法已取得巨大成功，但由于训练数据集运动分布有限，其泛化能力仍然受限。本文提出一种新颖的基于优化的 VFI 方法，可在测试时适应未见过运动。我们的方法基于利用视频帧间运动特征的循环一致性自适应策略。我们还引入了一个轻量适配器，可插入现有预训练 VFI 模型的运动估计模块中，以提升自适应效率。在各种基准上的大量实验表明，我们的方法可提升双帧 VFI 模型的性能，优于现有最优方法，甚至包括那些使用额外输入的方法。
引用
@article{arxiv.2306.13933,
title = {Boost Video Frame Interpolation via Motion Adaptation},
author = {Haoning Wu and Xiaoyun Zhang and Weidi Xie and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2306.13933},
year = {2023}
}
备注
Accepted by BMVC 2023 (Oral Presentation) Project Page: https://haoningwu3639.github.io/VFI_Adapter_Webpage/