用于视频帧插值的实时中间流估计
计算机视觉与模式识别
2022-07-14 v9 机器学习
摘要
实时视频帧插值（VFI）在视频处理、媒体播放器和显示设备中非常有用。我们提出RIFE，一种用于VFI的实时中间流估计算法。为实现高质量的基于流的VFI方法，RIFE使用名为IFNet的神经网络，该网络能以更快的速度端到端估计中间流。设计了一种特权蒸馏方案以稳定IFNet训练并提升整体性能。RIFE不依赖预训练的光流模型，并可通过时间编码输入支持任意时间步帧插值。实验表明，RIFE在多个公开基准上达到了最先进的性能。与流行的SuperSlomo和DAIN方法相比，RIFE快4至27倍且产生更好的结果。此外，得益于时间编码，RIFE可扩展至更广泛的应用。代码见https://github.com/megvii-research/ECCV2022-RIFE。
引用
@article{arxiv.2011.06294,
title = {Real-Time Intermediate Flow Estimation for Video Frame Interpolation},
author = {Zhewei Huang and Tianyuan Zhang and Wen Heng and Boxin Shi and Shuchang Zhou},
journal= {arXiv preprint arXiv:2011.06294},
year = {2022}
}
备注
Accepted to ECCV 2022