IFRNet：用于高效帧插值的中间特征细化网络
计算机视觉与模式识别
2022-05-31 v1
摘要
主流的视频帧插值算法从连续输入生成中间帧，通常依赖具有大量参数或较大延迟的复杂模型架构，阻碍了它们在多样化实时应用中的使用。在本工作中，我们设计了一个高效的基于编码器-解码器的网络，称为 IFRNet，用于快速中间帧合成。它首先从给定输入中提取金字塔特征，然后逐步细化双边中间流场以及一个强大的中间特征，直至生成所需输出。逐渐细化的中间特征不仅能促进中间流估计，还能补偿上下文细节，使得 IFRNet 无需额外的合成或细化模块。为充分释放其潜力，我们进一步提出了一种新颖的面向任务的光流蒸馏损失，以聚焦于学习面向帧合成的有用教师知识。同时，在逐渐细化的中间特征上施加了新的几何一致性正则化项以保持更好的结构布局。在各种基准上的实验证明了所提方法的优异性能与快速推理速度。代码见 https://github.com/ltkong218/IFRNet。
引用
@article{arxiv.2205.14620,
title = {IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation},
author = {Lingtong Kong and Boyuan Jiang and Donghao Luo and Wenqing Chu and Xiaoming Huang and Ying Tai and Chengjie Wang and Jie Yang},
journal= {arXiv preprint arXiv:2205.14620},
year = {2022}
}
备注
Accepted by CVPR 2022