通过视频帧插值优化视频预测
计算机视觉与模式识别
2022-06-28 v1
摘要
视频预测是一种外推任务，给定过去帧预测未来帧；而视频帧插值是一种插值任务，估计两帧之间的中间帧。我们已见证视频帧插值的巨大进展，但通用场景下的一般视频预测仍是开放问题。受视频帧插值照片级真实结果的启发，我们提出一种通过视频帧插值优化视频预测的新框架，其中基于插值模型求解外推问题。我们的视频预测框架建立在带有预训练可微视频帧插值模块的优化之上，无需训练数据集，因而不存在训练与测试数据间的领域鸿沟问题。此外，我们的方法不需要任何额外信息（如语义或实例图），使其可应用于任意视频。在 Cityscapes、KITTI、DAVIS、Middlebury 和 Vimeo90K 数据集上的大量实验表明，我们的视频预测结果在通用场景中稳健，且优于其他需要大量训练数据或额外语义信息的视频预测方法。
引用
@article{arxiv.2206.13454,
title = {Optimizing Video Prediction via Video Frame Interpolation},
author = {Yue Wu and Qiang Wen and Qifeng Chen},
journal= {arXiv preprint arXiv:2206.13454},
year = {2022}
}
备注
Accepted by the CVPR 2022