Vid-ODE：基于神经常微分方程的连续时间视频生成

视频生成模型通常在固定帧率假设下运行，这导致其在处理灵活帧率（例如，增加视频中更具动态部分的帧率以及处理缺失视频帧）时性能欠佳。为解决现有视频生成模型处理任意时间步能力受限的问题，我们提出通过结合神经ODE（Vid-ODE）与像素级视频处理技术来实现连续时间视频生成。使用ODE-ConvGRU作为编码器——即近期提出的神经ODE的卷积版本，其使我们能够学习连续时间动态——Vid-ODE可学习灵活帧率输入视频的时空动态。解码器对所学动态函数进行积分，以在任意给定时间步合成视频帧，其中像素级合成技术用于保持各帧的清晰度。通过在四个真实世界视频数据集上的大量实验，我们验证了所提出的Vid-ODE在各种视频生成设置下均优于最先进方法，无论是在训练时间范围内（插值）还是范围外（外推）。据我们所知，Vid-ODE是首个成功使用真实世界视频进行连续时间视频生成的工作。