数据结构与不平衡在扩散模型学习动力学中的相互作用

现实世界数据集具有内在的异质性，但各类别结构差异和抽样不平衡如何塑造扩散模型的训练动力学—— potentially 加剧不平等 —— 仍不太为人所了解。虽然模型通常会从初始的泛化阶段过渡到记住训练集，但现有理论假设数据是均匀的，这留下了类别不平衡和异质性如何重塑这些动力学的悬置问题。在本研究中，我们发展了一个高维分析框架来研究基于得分的扩散模型中的类别依赖学习。通过分析在高斯混合物上训练的随机特征模型，我们推导特征协方差谱来刻画各类别的泛化和记忆时间。我们揭示了这些动力学的明确层次结构：类别方差是学习顺序的主要决定因子——始终偏好更高方差的类别——而类心几何发挥次要作用。抽样不平衡充当一个调制器，可逆转这种排序，并在强不平衡下迫使少数类在反向扩散期间获得 distinct、延迟的特化时间。总的来说，这些结果表明，扩散模型可以记住某些类别，而其他类别则不足以学习。我们使用在 Fashion MNIST 上训练的 U-Net 模型对我们的理论预测进行实证验证。