扩散微调链中的模型崩溃：从定量特征建模的新视角

模型崩溃——即在迭代训练其自输出后发生的生成模型严重退化——近年来引起了广泛关注。本文考察了扩散链 (Chain of Diffusion)，其中对预训练文本到图像扩散模型进行微调以使用其生成的图像进行训练。我们证明了图像质量退化是普遍现象，并确定 CFG scale 是影响此类模型崩溃的关键因素。基于扩散链与生物进化的类比，我们引入了基于统计遗传学中的定量特征建模的新理论分析。我们的理论分析与扩散链中生成图像的经验观察一致。最后，我们提出了可重用扩散微调 (ReDiFine) 方法，这是一种受遗传突变启发的简单而有效的策略。它在各种场景下都能稳健运行，不需要任何超参数调优，成为一种即插即用的数据生成解决方案。