XVFI：极端视频帧插值
计算机视觉与模式识别
2021-08-06 v2
摘要
在本文中，我们首次向研究界提供一个具有极端运动的1000 fps的4K视频数据集（X4K1000FPS）用于视频帧插值（VFI），并提出一种称为XVFI-Net的极端VFI网络，首次处理具有大运动的4K视频的VFI。XVFI-Net基于递归多尺度共享结构，包含两个级联模块：用于两输入帧间双向光流学习的BiOF-I，以及用于从目标帧到输入帧双向光流学习的BiOF-T。光流由BiOF-T模块中提出的互补流反转（CFR）稳定近似。推理时，BiOF-I模块可从输入的任意尺度启动，而BiOF-T模块仅在原始输入尺度上运行，从而可在保持高精度VFI性能的同时加速推理。大量实验结果表明，我们的XVFI-Net能成功捕获具有极大运动和复杂纹理物体的关键信息，而现有最优方法表现不佳。此外，我们的XVFI-Net框架在先前较低分辨率基准数据集上也具有可比性能，显示了算法的鲁棒性。所有源代码、预训练模型及提出的X4K1000FPS数据集均公开于 https://github.com/JihyongOh/XVFI。
引用
@article{arxiv.2103.16206,
title = {XVFI: eXtreme Video Frame Interpolation},
author = {Hyeonjun Sim and Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:2103.16206},
year = {2021}
}
备注
The first two authors contributed equally to this work. Accepted in ICCV 2021 (Oral)