一种用于视频帧插值的统一金字塔循环网络
计算机视觉与模式识别
2023-03-24 v2
摘要
流引导合成提供了一种用于帧插值的通用框架，其中估计光流以引导连续输入之间中间帧的合成。在本文中，我们提出 UPR-Net，一种新颖的用于帧插值的统一金字塔循环网络 (Unified Pyramid Recurrent Network)。UPR-Net 构建于灵活的金字塔框架中，利用轻量级循环模块进行双向光流估计和中间帧合成。在每个金字塔层级，它利用估计的双向光流生成用于帧合成的前向扭曲表示；跨金字塔层级，它实现对光流和中间帧的迭代细化。特别地，我们展示了我们的迭代合成策略能显著提升帧插值在大幅运动情形下的鲁棒性。尽管极其轻量（1.7M 参数），我们的基础版 UPR-Net 在大量基准测试上取得了优异性能。我们的 UPR-Net 系列的代码和训练模型可在 https://github.com/srcn-ivl/UPR-Net 获取。
引用
@article{arxiv.2211.03456,
title = {A Unified Pyramid Recurrent Network for Video Frame Interpolation},
author = {Xin Jin and Longhai Wu and Jie Chen and Youxin Chen and Jayoon Koo and Cheul-hee Hahm},
journal= {arXiv preprint arXiv:2211.03456},
year = {2023}
}
备注
Accepted by CVPR 2023