用于视频生成的马尔可夫决策过程
计算机视觉与模式识别
2019-09-30 v1
摘要
我们指出了视频生成中两种时间不一致性的病态情形：视频冻结与视频循环。为更好地量化时间多样性，我们提出一类互补度量，其有效、易实现、数据无关且可解释。此外，我们观察到当前最先进模型在固定长度视频样本上训练，从而限制了长期建模。为此，我们将视频生成问题重新表述为马尔可夫决策过程（MDP）。其底层思想是将运动表示为具有无限预测视界的随机过程，以克服固定长度限制并缓解时间伪影的出现。我们表明我们的表述易于集成到最先进的 MoCoGAN 框架中。在 Human Actions 与 UCF-101 数据集上的实验表明，我们基于 MDP 的模型内存效率更高，并在新度量与已有度量上均提升了视频质量。
引用
@article{arxiv.1909.12400,
title = {Markov Decision Process for Video Generation},
author = {Vladyslav Yushchenko and Nikita Araslanov and Stefan Roth},
journal= {arXiv preprint arXiv:1909.12400},
year = {2019}
}
备注
To appear at 2019 ICCV Workshop on Large Scale Holistic Video Understanding