从单张快照生成视频的无监督双向光流方法

给定单张快照想象多幅连续帧具有挑战性，因为很难从单张图像中同时预测多样的运动，并在无视觉失真的情况下忠实生成新帧。在本工作中，我们利用无监督变分模型以长期双向光流场的形式学习丰富的运动模式，并应用预测的光流生成高质量视频序列。与现有最先进方法相比，我们的方法不需要外部光流监督进行学习。这是通过一个从单张图像执行双向光流预测的新模块实现的。此外，通过双向光流一致性检查，我们的方法能够以有原则的方式处理遮挡和扭曲伪影。我们的方法可以基于任意采样的自然视频片段进行端到端训练，并且能够捕捉多模态运动不确定性，合成逼真的新序列。在合成和真实数据集上的定量和定性评估证明了所提出方法优于现有最先进方法的有效性。