基于神经 ODE 学习运动动力学实现连续时间视频生成

为了进行无条件视频生成，我们必须学习真实世界视频的分布。为了合成高质量视频，各种研究尝试学习噪声与视频之间的映射函数，包括近期将运动分布与外观分布分离的努力。然而，先前的方法在离散化、固定间隔的时间步上学习运动动力学，这与物理实体运动的连续性相悖。在本文中，我们提出了一种新颖的视频生成方法，该方法为运动和外观学习独立的分布，其中前者由 neural ODE 建模以学习自然的运动动力学。具体而言，我们采用两阶段方法：第一阶段将噪声向量转换为任意帧率的关键点序列，第二阶段基于给定的关键点序列和外观噪声向量合成视频。我们的模型不仅在视频生成的定量上优于近期基线，还展示了如动态帧率操控和两数据集间运动迁移等多样功能，从而为多样的视频生成应用开启了新的可能。