基于神经常微分方程的简易视频生成
计算机视觉与模式识别
2021-09-09 v1 机器学习
图像与视频处理
摘要
尽管已被广泛研究，条件生成帧序列（即视频）的任务仍极具挑战性。普遍观点认为，解决该任务的关键一步在于准确建模视频信号中的空间与时间信息。近期文献指出，一个有前景的方向是学习在潜空间预测未来并投影回像素的潜变量模型。遵循这一思路并基于先前工作引入的Neural ODE模型族，我们研究了一种以关于时间的微分方程在连续潜空间上建模时间连续动力学的方法。该方法背后的直觉是，潜空间中的这些轨迹可被外推以生成超出模型训练时间步的视频帧。我们表明，在Moving MNIST数据集（含1与2个数字）的未来帧预测任务中，我们的方法取得了有前景的结果。
引用
@article{arxiv.2109.03292,
title = {Simple Video Generation using Neural ODEs},
author = {David Kanaa and Vikram Voleti and Samira Ebrahimi Kahou and Christopher Pal},
journal= {arXiv preprint arXiv:2109.03292},
year = {2021}
}
备注
8 pages, 4 figures, NeurIPS 2019 workshop