使用高斯过程触发器的多样化视频生成

给定少量上下文（或过去）帧来生成未来帧是一项具有挑战性的任务。它需要对视频的时间相干性以及未来潜在状态多样性方面的多模态进行建模。当前用于视频生成的变分方法倾向于对边际化多模态未来结果。相反，我们提议显式建模未来结果中的多模态，并利用它来采样多样化的未来。我们的方法，多样化视频生成器，使用高斯过程（GP）在给定过去的情况下学习未来状态的先验，并在给定特定样本时维持关于可能未来的概率分布。此外，我们利用该分布随时间的变化，通过估计进行中序列的结束来控制多样化未来状态的采样。即，我们使用 GP 在输出函数空间上的方差来触发动作序列中的变化。我们在重建质量与生成序列的多样性方面，取得了多样化未来帧生成上的最先进结果。