BiM-VFI：面向非均匀运动视频的双向运动场引导帧插值
计算机视觉与模式识别
2025-03-25 v4
摘要
现有的视频帧插值（VFI）模型在使用具有非均匀运动（如加速、减速和改变方向）的视频进行训练时，往往容易出现时间到位置的歧义问题，这通常会导致插帧模糊。在本文中，我们提出了 用于有效描述非均匀运动的新型运动描述图——双向运动场； 引导 BiM 的流网络（BiMFN）与内容感知上采样网络（CAUN），用于精确的光流估计；以及 面向 VFI 的流中心知识蒸馏监督（KDVCF），利用 VFI 中心的教师流来监督 VFI 模型的运动估计。所提出的 VFI 被称为双向运动场引导 VFI（BiM-VFI）模型。大量实验表明，我们的 BiM-VFI 模型在 LPIPS 和 STLPIPS 上分别取得了 26% 和 45% 的提升，显著超越了近期最先进的 VFI 方法，在任意时刻生成模糊少得多的插帧。
引用
@article{arxiv.2412.11365,
title = {BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions},
author = {Wonyong Seo and Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:2412.11365},
year = {2025}
}
备注
The last two authors are co-corresponding authors