基于表观与运动条件的视频预测

视频预测旨在通过动态视觉模式学习生成逼真的未来帧。一个基本挑战是处理未来的不确定性：当存在多个正确且概率相等的未来时，模型应当如何表现？我们提出一种表观-运动条件 GAN(Appearance-Motion Conditional GAN)以应对该挑战。我们提供表观与运动信息作为条件来指定未来可能的样子，从而降低不确定性水平。我们的模型由一个生成器、负责表观与运动通路的两个判别器，以及一个鼓励相似条件的视频看起来相似的感知排序模块组成。为训练模型，我们开发了一种由不同表观与运动条件组合构成的新颖条件方案。我们在面部表情与人体动作数据集上评估了模型，并报告了相较现有方法更优的结果。