基于残差扩散的时间自适应视频帧插值
计算机视觉与模式识别
2025-04-17 v2
摘要
本文提出了一种新的基于扩散的方法用于视频帧插值（VFI），具体应用于传统手工动画领域。我们提出了三个主要贡献：首先，我们在模型中显式处理插值时间，并在训练过程中重新估计该时间，以应对动画领域中观察到的巨大变化，与自然视频有显著差异；其次，我们采用并推广一种最近在超分辨率领域提出的扩散方案，称为 ResShift，这使我们能够进行极少的扩散步骤（约10步）即可获得插值估计；第三，我们利用扩散过程的随机性，提供插值帧的像素级不确定性估计，这可能有助于预测模型何处可能出错。我们进行了大量与当前最先进模型的比较，表明在动画视频上，本模型优于这些模型。我们的代码可在 https://github.com/VicFonch/Multi-Input-Resshift-Diffusion-VFI 上获取。
引用
@article{arxiv.2504.05402,
title = {Time-adaptive Video Frame Interpolation based on Residual Diffusion},
author = {Victor Fonte Chavez and Claudia Esteves and Jean-Bernard Hayet},
journal= {arXiv preprint arXiv:2504.05402},
year = {2025}
}
备注
17 pages