扭曲扩散：用于图像扩散模型解决视频逆问题

直接使用图像模型解决视频逆问题常常会出现闪烁、纹理黏附和时间不一致等问题。为解决这些问题，本文我们将帧视为二维空间中的连续函数，将视频视为不同帧之间连续扭曲变换的序列。这种视角允许我们仅在图像上训练函数空间扩散模型，并用于解决具有时序相关性的逆问题。函数空间扩散模型需要关于 underlying spatial transformations 的等变性。为确保时间一致性，我们引入一种简单的 post-hoc test-time guidance，以实现 (self)-等变解。我们的方法允许将诸如 Stable Diffusion XL 等最先进的潜在扩散模型用于解决视频逆问题。我们展示了本方法在视频填充和 $8\times$ 视频超分辨率中的有效性，优于基于噪声变换的现有技术。我们提供生成视频结果：https://giannisdaras.github.io/warped_diffusion.github.io/。