用于视频填充的随机动力学方法
计算机视觉与模式识别
2019-09-18 v5 人工智能
机器学习
摘要
本文中，我们引入一种随机动力学视频填充（SDVI）框架，以生成视频中长间隔之间的帧。我们的任务不同于视频插值，后者旨在为每两帧之间的短间隔生成过渡帧并提高时间分辨率。然而，我们的任务即视频填充，旨在用合理的帧序列填充长间隔。我们的框架将填充建模为约束随机生成过程，并从推断的分布中顺序采样动力学。SDVI 由两部分组成：（1）双向约束传播模块以保证帧间的时空一致性，（2）从推断分布中生成动力学的随机采样过程。实验结果表明，SDVI 能够生成具有变化内容的清晰帧序列。此外，生成序列中的运动真实，并能够从给定的起始帧平滑转移到终止帧。我们的项目主页为 https://xharlie.github.io/projects/project_sites/SDVI/video_results.html
引用
@article{arxiv.1809.00263,
title = {Stochastic Dynamics for Video Infilling},
author = {Qiangeng Xu and Hanwang Zhang and Weiyue Wang and Peter N. Belhumeur and Ulrich Neumann},
journal= {arXiv preprint arXiv:1809.00263},
year = {2019}
}
备注
Winter Conference on Applications of Computer Vision (WACV 2020)