基于光流的视频帧合成中的邻域对应匹配
计算机视觉与模式识别
2022-07-15 v1
摘要
视频帧合成，包括插值与外推，是一种可应用于多种场景的基本视频处理技术。然而，大多数现有方法不能很好地处理小物体或大运动，尤其是在 4K 视频等高分辨率视频中。为消除此类局限，我们引入了一种用于基于光流的帧合成的邻域对应匹配（NCM）算法。由于在视频帧合成中当前帧不可用，NCM 以无当前帧依赖的方式执行，以在每个像素的时空邻域中建立多尺度对应关系。基于 NCM 强大的运动表示能力，我们进一步提出在异构由粗到细方案中估计用于帧合成的中间光流。具体而言，粗尺度模块被设计用于利用邻域对应关系捕捉大运动，而细尺度模块计算效率更高以加速估计过程。两个模块均渐进式训练，以消除训练数据集与真实世界视频之间的分辨率差距。实验结果表明，NCM 在多个基准上取得了最先进的性能。此外，NCM 可应用于视频压缩等多种实际场景以获得更优性能。
引用
@article{arxiv.2207.06763,
title = {Neighbor Correspondence Matching for Flow-based Video Frame Synthesis},
author = {Zhaoyang Jia and Yan Lu and Houqiang Li},
journal= {arXiv preprint arXiv:2207.06763},
year = {2022}
}
备注
Accepted to ACM MM 2022