基于得分函数的幂等扩散模型去采样
机器学习
2025-09-29 v1 人工智能
摘要
幂等生成网络（IGNs）是一种基于幂等映射到目标流形的新型生成模型。IGN 支持单步和多步生成，允许在计算成本和样本质量之间灵活地进行权衡。但类似于生成对抗网络（GANs），传统 IGN 需要对抗训练，容易出现训练不稳定和模式崩溃。扩散模型和得分基模型是流行的生成建模方法，通过迭代将样本从一种分布（通常是高斯分布）传输到目标数据分布。由于其稳定的训练动力学和高保真生成质量，这些模型越来越受欢迎。然而，这种稳定性和质量以高计算成本为代价，因为必须沿着整个轨迹逐步传输数据。新的采样方法、模型扩散和一致性模型已开发用于降低采样成本，甚至可以从扩散模型中进行单次采样。在本工作中，我们通过从扩散模型得分函数中蒸馏幂等模型，称为 SIGN，将扩散和 IGN 合并。我们提出的方法具有高度稳定性，不需要对抗损失。我们对提出的得分基训练方法进行理论分析，并经验性地表明 IGN 可以有效地从预训练的扩散模型中进行蒸馏，从而实现比迭代得分基模型更快的推理。SIGN 可以进行多步采样，允许用户在质量和效率之间进行权衡。这些模型直接作用于源域；它们可以将损坏或替代分布投射回目标流形，从而实现对输入的零样本编辑。我们在多个图像数据集上对模型进行了验证，在 CIFAR 和 CelebA 数据集上实现了 IGN 模型的最新成果。
引用
@article{arxiv.2509.21470,
title = {Score-based Idempotent Distillation of Diffusion Models},
author = {Shehtab Zaman and Chengyan Liu and Kenneth Chiu},
journal= {arXiv preprint arXiv:2509.21470},
year = {2025}
}