Ambient Dataloops：用于数据集优化的生成模型

我们提出了Ambient Dataloops，一个用于优化数据集的迭代框架，使得扩散模型更容易学习底层数据分布。现代数据集包含质量差异极大的样本，直接在此类异构数据上进行训练通常会产生次优模型。我们提出了一种数据集-模型协同演化过程；在我们方法的每次迭代中，数据集质量逐渐提高，模型也随之改进。为避免破坏性的自消耗循环，在每一代中，我们将合成改进的样本视为带噪的，但其噪声水平略低于前一次迭代，并使用Ambient Diffusion技术在损坏情况下进行学习。从实验上看，Ambient Dataloops在无条件和文本条件图像生成以及从头蛋白质设计中取得了最先进的性能。我们进一步为所提出的框架提供了理论证明，该框架捕捉了数据循环过程的优势。