中文

基于事件驱动光流各向异性调整的视频插值

计算机视觉与模式识别 2022-12-08 v2 人工智能

摘要

由于真实世界场景不断变化,视频帧插值是一项具有挑战性的任务。先前方法常计算双向光流,然后在线性运动假设下预测中间光流,导致各向同性的中间流生成。后续研究通过额外帧估计高阶运动信息获得各向异性调整。基于运动假设,其方法难以建模真实场景中的复杂运动。本文中,我们提出一种端到端训练方法 A^2OF,用于事件驱动光流各向异性调整(Anisotropic Adjustment of Optical Flows)的视频帧插值。具体而言,我们利用事件为中间光流生成光流分布掩码,从而能建模两帧间的复杂运动。我们提出的方法在视频帧插值上优于先前方法,将基于事件的监督视频插值带入更高阶段。

关键词

引用

@article{arxiv.2208.09127,
  title  = {Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow},
  author = {Song Wu and Kaichao You and Weihua He and Chen Yang and Yang Tian and Yaoyuan Wang and Ziyang Zhang and Jianxing Liao},
  journal= {arXiv preprint arXiv:2208.09127},
  year   = {2022}
}

备注

Accepted to ECCV2022; Fix a few typos in the equation and figure