图像扩散模型中的局部性源于数据统计

最近的工作表明，图像扩散模型的泛化能力源于训练神经网络的局部性质。特别是，当去噪某个像素时，该模型依赖于输入图像该像素周围的有限邻域，而根据前期工作，这与这些模型产生新图像的能力密切相关。由于局部性是泛化的核心，理解扩散模型为何在第一时间学习局部行为，以及决定局部性模式属性的因素，至关重要。本工作我们提出证据表明，深度扩散模型中的局部性作为图像数据集的统计属性而出现，不是源于卷积神经网络的归纳偏置，如前期工作所建议。具体而言，我们证明，一个最优的参数化线性去噪器具有与深度神经网络去噪器相似的局部性质。我们表明，这种局部性直接来自图像数据集中像素相关性。此外，局部性模式在特定数据集上有显著不同，近似于数据协方差的主成分。我们利用这些见解构建了分析性去噪器，其预测的得分与深度扩散模型的得分相匹配，优于先前的专家制作备选方案。我们的关键要点是，尽管神经网络架构影响生成质量，但其主要作用是捕获数据中固有的局部性模式。