面向视频帧插值的误差感知空间集成方法
计算机视觉与模式识别
2022-07-26 v1
摘要
近年来，由于数据驱动算法及其实现的空前进展，视频帧插值（VFI）算法已取得显著改进。近期研究引入了先进的运动估计或新颖的扭曲方法，以应对具挑战性的VFI场景。然而，已发表的VFI工作均未考虑插值误差（IE）的空间非均匀特性。本文提出了这样一种解决方案。通过仔细考察光流与IE之间的关联，论文提出新颖的误差预测度量，将中间帧划分为对应于不同IE水平的独立区域。在此IE驱动分割的基础上，并通过使用新颖的误差控制损失函数，引入了由空间自适应插值单元组成的集成，逐步处理并整合分割区域。该空间集成形成了一种高效且计算友好的VFI方案。在流行视频插值基准上的大量实验表明，所提方案在当前受关注的应用中优于现有最先进（SOTA）方法。
引用
@article{arxiv.2207.12305,
title = {Error-Aware Spatial Ensembles for Video Frame Interpolation},
author = {Zhixiang Chi and Rasoul Mohammadi Nasiri and Zheng Liu and Yuanhao Yu and Juwei Lu and Jin Tang and Konstantinos N Plataniotis},
journal= {arXiv preprint arXiv:2207.12305},
year = {2022}
}
备注
10 pages, 8 figures, demo video: https://www.youtube.com/watch?v=_32GNANSr5U