通过神经常微分方程学习底层动力系统实现可控视频生成
计算机视觉与模式识别
2023-04-05 v2
摘要
视频以离散图像序列的形式描绘了复杂动力系统随时间的演变。通过学习动力系统来生成可控视频是计算机视觉领域中一个重要但未被充分探索的课题。本文提出一种新颖的框架 TiV-ODE，用于从静态图像和文本描述生成高度可控的视频。具体而言，我们的框架利用神经常微分方程（Neural ODEs）将复杂动力系统表示为一组非线性常微分方程的能力。所得到的框架能够生成兼具期望动态与内容的视频。实验证明了所提方法在生成高度可控且视觉一致视频方面的能力，以及其建模动力系统的能力。总体而言，本工作是朝着开发能够处理复杂动态场景的先进可控视频生成模型迈出的重要一步。
引用
@article{arxiv.2303.05323,
title = {Controllable Video Generation by Learning the Underlying Dynamical System with Neural ODE},
author = {Yucheng Xu and Li Nanbo and Arushi Goel and Zijian Guo and Zonghai Yao and Hamidreza Kasaei and Mohammadreze Kasaei and Zhibin Li},
journal= {arXiv preprint arXiv:2303.05323},
year = {2023}
}