基于稠密查询双边相关性的视频帧插值
计算机视觉与模式识别
2023-04-27 v1
摘要
视频帧插值 (VFI) 旨在合成存在帧之间的不存在中间帧。基于光流的 VFI 算法估计中间运动场以扭曲存在帧。现实运动的复杂性以及参考帧的缺失使得运动估计具有挑战性。许多最先进的方法显式建模两相邻帧之间的相关性以获得更精确的运动估计。在常见方法中，较高分辨率下相关性建模的感知野依赖于先前估计的运动场。这种感知野依赖性使得常见运动估计方法难以应对小而快速移动的物体。为更好地建模相关性并生成更精确的运动场，我们提出稠密查询双边相关性 (DQBC)，其摆脱了感知野依赖问题，因而对小且快速移动的物体更友好。借助 DQBC 生成的运动场进一步通过上下文特征细化与上采样。运动场固定后，基于 CNN 的 SynthNet 合成最终插值帧。实验表明，我们的方法比最先进方法具有更高精度与更少推理时间。源代码见 https://github.com/kinoud/DQBC。
引用
@article{arxiv.2304.13596,
title = {Video Frame Interpolation with Densely Queried Bilateral Correlation},
author = {Chang Zhou and Jie Liu and Jie Tang and Gangshan Wu},
journal= {arXiv preprint arXiv:2304.13596},
year = {2023}
}
备注
Accepted by IJCAI 2023