结合场景动态的视频生成
计算机视觉与模式识别
2016-10-27 v3 图形学
机器学习
摘要
我们利用大量无标签视频，为视频识别任务（例如动作分类）和视频生成任务（例如未来预测）学习场景动态模型。我们提出了一种用于视频的生成对抗网络，其具有时空卷积架构，能够将场景的前景与背景解耦。实验表明，该模型在以全帧率生成长达一秒的微小视频方面优于简单基线，并且我们展示了其在预测静态图像的合理未来方面的效用。此外，实验和可视化表明，该模型在最小监督下内部学习到了用于识别动作的有用特征，这表明场景动态是表征学习的一个有前景的信号。我们相信生成式视频模型可以影响视频理解和仿真中的许多应用。
引用
@article{arxiv.1609.02612,
title = {Generating Videos with Scene Dynamics},
author = {Carl Vondrick and Hamed Pirsiavash and Antonio Torralba},
journal= {arXiv preprint arXiv:1609.02612},
year = {2016}
}
备注
NIPS 2016. See more at http://web.mit.edu/vondrick/tinyvideo/