通过潜在空间过滤稳定自消耗扩散模型

随着合成数据的 proliferation 跨越互联网，后续生成的生成模型往往以合成数据为训练数据，形成“自消耗环”。这种现象可能导致训练不稳定或模型崩溃。常见的缓解策略——如累积历史训练数据或注入新鲜真实数据——要么增加计算成本，要么需要昂贵的人类标注。在本文中，我们经验性地分析了自消耗扩散模型的潜在空间动态，观察到从合成数据中提取的低维潜在表示随生成过程的迭代而退化。基于此洞察，我们提出了一种新方法——潜在空间过滤 (Latent Space Filtering, LSF)——通过过滤混合数据集中不够真实的合成数据来缓解模型崩溃。理论上，我们提出了一个框架，将潜在空间退化与经验观察联系起来。实验上，我们展示 LSF 在多个真实数据集上 consistently 超过现有基线，有效缓解模型崩溃，而无需增加训练成本或依赖人类标注。