混合分布得分训练：通过估计混合分布的得分简化单步生成模型训练
机器学习
2025-07-16 v3 人工智能
机器学习
摘要
我们提出了混合分布得分训练（Score-of-Mixture Training, SMT），这是一种用于训练单步生成模型的新框架，通过最小化称为 偏 Jensen--Shannon 散度的一类散度来实现。SMT 的核心是估计单步生成模型在多个噪声水平上，实样本与假样本之间混合分布的得分。类似于一致性模型，我们的方法支持从头训练（SMT）以及使用预训练扩散模型进行蒸馏，我们称之为混合分布得分蒸馏（Score-of-Mixture Distillation, SMD）。该方法实现简单，几乎不需要调参，能够保证训练稳定。在 CIFAR-10 和 ImageNet 64x64 上的实验表明，SMT/SMD 与现有方法竞争力强，甚至可以超过现有方法。
引用
@article{arxiv.2502.09609,
title = {Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions},
author = {Tejas Jayashankar and J. Jon Ryu and Gregory Wornell},
journal= {arXiv preprint arXiv:2502.09609},
year = {2025}
}
备注
29 pages, 12 figures. ICML 2025 (spotlight)