使用多阶段动态生成对抗网络学习生成延时视频
计算机视觉与模式识别
2018-04-02 v3
摘要
在户外拍一张照片，我们能否预测紧接着的未来，例如云在天空中会如何移动？我们通过提出一种基于生成对抗网络 (GAN) 的两阶段方法来解决这一问题，以生成高分辨率的逼真延时视频。给定第一帧，我们的模型学习生成长期的未来帧。第一阶段为每一帧生成具有逼真内容的视频。第二阶段通过在运动动力学方面强制生成的视频更接近真实视频，从而对第一阶段生成的视频进行细化。为了在最终生成的视频中进一步鼓励生动的运动，我们采用 Gram 矩阵来更精确地建模运动。我们构建了一个大规模延时数据集，并在该新数据集上测试了我们的方法。使用我们的模型，我们能够生成最高 分辨率、32 帧的逼真视频。定量和定性实验结果均证明了我们的模型相对于现有最佳模型的优越性。
引用
@article{arxiv.1709.07592,
title = {Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks},
author = {Wei Xiong and Wenhan Luo and Lin Ma and Wei Liu and Jiebo Luo},
journal= {arXiv preprint arXiv:1709.07592},
year = {2018}
}
备注
To appear in Proceedings of CVPR 2018