流形、随机矩阵与谱隙：生成扩散的几何相位

本文在流形假设下研究生成扩散模型的潜在几何结构。为此，我们分析了得分函数雅可比矩阵的特征值（及奇异值）谱，其不连续性（间隙）揭示了不同子流形的存在及其维度。采用统计物理方法，我们在若干分布假设下推导了谱分布和谱隙公式，并将这些理论预测与从训练网络中估计的谱进行了比较。我们的分析揭示了生成过程中三个不同的定性阶段：平凡阶段；流形覆盖阶段，其中扩散过程拟合流形内部的分布；巩固阶段，其中得分变得与流形正交，所有粒子都被投影到数据支撑上。这种不同时间尺度之间的“分工”优雅地解释了为什么生成扩散模型不受困扰基于似然模型的流形过拟合现象的影响，因为内部分布和流形几何是在生成过程中的不同时间点产生的。