扩散模型学习动力学中谱偏差的解析理论

我们发展了一个解析框架，用于理解扩散模型训练过程中生成分布的演化。利用高斯等价原理，我们求解了线性与卷积去噪器的全批量梯度流动力学，并将所得的概率流常微分方程进行积分，得到生成分布的解析表达式。该理论揭示了一个通用的逆方差谱律：特征模或傅里叶模与其目标方差匹配所需的时间满足 $\tau\propto\lambda^{-1}$，因此高方差（粗）结构的掌握比低方差（细）细节快数个数量级。将分析扩展至深度线性网络和循环全宽度卷积表明，权重共享仅乘以学习率——加速但未消除偏差——而局部卷积引入了定性上不同的偏差。在高斯和自然图像数据集上的实验证实了该谱律在基于深度 MLP 的 UNet 中仍然成立。然而，卷积 U-Net 表现出许多模态的快速近同时出现，暗示局部卷积在重塑学习动力学中发挥了作用。这些结果强调了数据协方差如何决定扩散模型学习的顺序与速度，并呼吁对局部卷积引入的独特归纳偏置进行更深入的研究。