基于事件驱动光流各向异性调整的视频插值
计算机视觉与模式识别
2022-12-08 v2 人工智能
摘要
由于真实世界场景不断变化,视频帧插值是一项具有挑战性的任务。先前方法常计算双向光流,然后在线性运动假设下预测中间光流,导致各向同性的中间流生成。后续研究通过额外帧估计高阶运动信息获得各向异性调整。基于运动假设,其方法难以建模真实场景中的复杂运动。本文中,我们提出一种端到端训练方法 A^2OF,用于事件驱动光流各向异性调整(Anisotropic Adjustment of Optical Flows)的视频帧插值。具体而言,我们利用事件为中间光流生成光流分布掩码,从而能建模两帧间的复杂运动。我们提出的方法在视频帧插值上优于先前方法,将基于事件的监督视频插值带入更高阶段。
引用
@article{arxiv.2208.09127,
title = {Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow},
author = {Song Wu and Kaichao You and Weihua He and Chen Yang and Yang Tian and Yaoyuan Wang and Ziyang Zhang and Jianxing Liao},
journal= {arXiv preprint arXiv:2208.09127},
year = {2022}
}
备注
Accepted to ECCV2022; Fix a few typos in the equation and figure