扩散模型中的相变揭示了数据的层次结构

理解真实数据的结构对于推进现代深度学习方法至关重要。图像等自然数据被认为由以层次化和组合方式组织的特征构成，神经网络在学习过程中会捕捉这些特征。最近的进展表明，扩散模型可以生成高质量图像，暗示了其捕捉这种底层组合结构的能力。我们在数据的层次化生成模型中研究了这一现象。我们发现，在时间 $t$ 之后 acting 的反向扩散过程受某个阈值时间的相变控制，此时重建高级特征（如图像类别）的概率会突然下降。相反，低级特征（如图像的具体细节）的重建在整个扩散过程中平滑演变。这一结果表明，在超过相变的时间点，类别已发生变化，但生成的样本仍可能由初始图像的低级元素组成。我们通过对无类别条件的 ImageNet 扩散模型进行数值实验验证了这些理论见解。我们的分析刻画了扩散模型中时间与尺度之间的关系，并提出生成模型是模拟组合数据属性的有力工具。