TwoStreamVAN：改进视频生成中的运动建模
计算机视觉与模式识别
2020-01-13 v2
摘要
视频生成本质上是一项具有挑战性的任务，因为它要求对真实的时间动态与空间内容进行建模。现有方法在单一生成器网络中纠缠了运动与内容创建这两个本质不同的任务，但该方法难以同时生成合理的运动与内容。为改进视频生成任务中的运动建模，我们提出一种将运动生成与内容生成解耦的双流模型，称为双流变分对抗网络（TwoStreamVAN）。给定动作标签与噪声向量，我们的模型能够创建清晰且一致的运动，从而产生照片级真实感视频。其核心思想是逐步生成多尺度运动并将其与相应空间内容融合。我们的模型在标准的 Weizmann Human Action、MUG Facial Expression 和 VoxCeleb 数据集，以及我们具有挑战性和复杂运动的多样人类动作新数据集上显著优于现有方法。我们的代码可在 https://github.com/sunxm2357/TwoStreamVAN/ 获取。
引用
@article{arxiv.1812.01037,
title = {TwoStreamVAN: Improving Motion Modeling in Video Generation},
author = {Ximeng Sun and Huijuan Xu and Kate Saenko},
journal= {arXiv preprint arXiv:1812.01037},
year = {2020}
}
备注
WACV 2020