基于增强相关匹配的视频帧插值
计算机视觉与模式识别
2021-11-18 v1
摘要
我们提出一种新颖的基于 DNN 的框架,称为基于增强相关匹配的视频帧插值网络,以支持如 4K 般具有大尺度运动与遮挡的高分辨率。考虑到网络模型随分辨率的可扩展性,所提方案采用循环金字塔架构,在各金字塔层间共享参数以进行光流估计。在所提光流估计中,光流通过追踪具有最大相关性的位置被递归细化。基于前向扭曲的相关匹配能够通过排除遮挡区域周围错误扭曲的特征来提升流更新的精度。基于最终的双向光流,利用扭曲与混合网络合成任意时间位置的中间帧,并进一步由精炼网络改善。实验结果表明,所提方案在 4K 视频数据与低分辨率基准数据集上,均以最少模型参数量在客观与主观质量上优于以往工作。
引用
@article{arxiv.2111.08869,
title = {Enhanced Correlation Matching based Video Frame Interpolation},
author = {Sungho Lee and Narae Choi and Woong Il Choi},
journal= {arXiv preprint arXiv:2111.08869},
year = {2021}
}
备注
Accepted to WACV 2022, equal contribution from first two authors