扩散模型中可复现性与泛化性的涌现

在这项工作中，我们研究了一个引人注目且普遍存在的扩散模型现象，我们称之为“一致模型可复现性”：给定相同的起始噪声输入和确定性采样器，不同的扩散模型往往产生显著相似的输出。我们通过综合实验证实了这一现象，意味着不同的扩散模型无论其框架、模型架构或训练过程如何，都一致地达到相同的数据分布和评分函数。更引人注目的是，我们的进一步研究意味着扩散模型正在学习受训练数据大小影响的不同分布。这由以下事实支持：模型可复现性在两种不同训练机制中显现：(i)“记忆机制”，其中扩散模型过拟合到训练数据分布；(ii)“泛化机制”，其中模型学习底层数据分布。我们的研究还发现这一有价值的性质泛化到扩散模型的许多变体，包括用于条件生成、求解逆问题和模型微调的变体。最后，我们的工作提出了许多供未来研究的理论问题，并强调了关于训练效率、模型隐私和扩散模型可控生成的实际意义。