Imagen Video：基于扩散模型的高清视频生成

我们提出 Imagen Video，一种基于级联视频扩散模型的文本条件视频生成系统。给定文本提示，Imagen Video 使用基础视频生成模型以及一系列交错的时空视频超分辨率模型生成高清视频。我们描述了如何将系统扩展为高清文本到视频模型，包括诸如在特定分辨率下选择全卷积时空超分辨率模型，以及选择扩散模型的 v-parameterization 等设计决策。此外，我们确认并将先前基于扩散的图像生成工作中的发现迁移到视频生成设定中。最后，我们将渐进式蒸馏应用于我们的视频模型，并结合无分类器引导（classifier-free guidance）以实现快速、高质量的采样。我们发现 Imagen Video 不仅能生成高保真视频，还具有高度可控性与世界知识，包括以多种艺术风格生成多样化视频与文本动画，并具备三维物体理解能力。样例见 https://imagen.research.google/video/。