生成式图像动力学

我们提出了一种对场景运动建模的图像空间先验方法。该先验从真实视频序列中提取的运动轨迹集合中学习，这些序列描绘了自然、振荡的动态，例如风中摇曳的树木、花朵、蜡烛和衣物。我们在傅里叶域中对这种密集的、长期的运动先验进行建模：给定单张图像，我们训练好的模型使用频率协调的扩散采样过程来预测一个频谱体，该频谱体可转换为跨越整段视频的运动纹理。结合一个基于图像的渲染模块，这些轨迹可用于若干下游应用，例如将静态图像转换为无缝循环的视频，或通过将该频谱体解释为图像空间模态基（近似物体动力学）来让用户与现实图片中的物体进行逼真交互。