如何扭曲你的噪声：面向扩散模型的时相关噪声先验

视频编辑和生成方法常依赖预训练的基于图像的扩散模型。然而，在扩散过程中，依赖不保留后续帧相关性的原始噪声采样技术，对结果质量具有不利影响。这会产生高频抖动或纹理黏附性瑕疵，且难以通过后处理加以缓解。为此，我们提出一种新方法，以保持噪声样本序列之间的时相关性。该方法通过一种新颖的噪声表示实现，即称为$\int$-噪声（积分噪声）的噪声表示，将单个噪声样本重新解释为连续积分噪声场：像素值不再表示离散值，而是表示底层无限分辨率噪声在像素区域上的积分。此外，我们提出一种精心设计的传输方法，使用$\int$-噪声准确地在一系列帧之间对噪声样本进行输送，最大化不同帧之间的相关性，同时保持噪声特性。我们的结果表明，所提出的$\int$-噪声可用于各种任务，如视频修复、代理渲染和条件视频生成。详见 https://warpyournoise.github.io/ 查看视频结果。