基于 It\^o 密度估计的扩散模型叠加
摘要
新出现的众多易于获取的预训练扩散模型暗示了一种需求，即在不进行显著计算负担的再训练更大组合模型的情况下，将多个不同预训练扩散模型组合起来。本文在 novel proposed framework 术语下，将在生成阶段组合多个预训练扩散模型的问题置于一种新颖的框架内，称为 superposition。理论上，我们从著名的连续方程出发，严格导出了 superposition。我们设计了两种专为组合扩散模型而设计的算法，适用于 SuperDiff。SuperDiff 利用一种新的可扩展 It\^o 密度估计器来估计 diffusion SDE 的对数似然概率，这与用于计算发散所需的著名 Hutchinson 估计器没有额外的开销。我们演示了 SuperDiff 可扩展到大型预训练扩散模型，因为叠加仅通过推理时的 composition 实现，并且通过自动 re-weighting 方案将不同预训练的 vector field 组合在一起，实现了无缝集成。值得注意的是，我们展示了 SuperDiff 在推理时间上是高效的，并且模仿传统的 composition 算子，如 logical OR 和 logical AND。我们经验性地演示了使用 SuperDiff 在 CIFAR-10 上生成更具多样性的图像、使用 Stable Diffusion 进行更可靠的 prompt 条件图像编辑，以及改进的条件分子生成和无条件 de novo 蛋白质结构设计。https://github.com/necludov/super-diffusion
关键词
引用
@article{arxiv.2412.17762,
title = {The Superposition of Diffusion Models Using the It\^o Density Estimator},
author = {Marta Skreta and Lazar Atanackovic and Avishek Joey Bose and Alexander Tong and Kirill Neklyudov},
journal= {arXiv preprint arXiv:2412.17762},
year = {2025}
}
备注
Accepted as a Spotlight Presentation at the International Conference on Learning Representations 2025