基于高斯混合模型与负高斯混合梯度的扩散模型条件化
机器学习
2024-02-02 v2 计算机视觉与模式识别
摘要
扩散模型是一类对图像合成等领域产生巨大影响的生成模型。它们在各种生成任务中取得了最先进的生成结果。多种多样的条件输入（如文本或边界框）可用于控制生成过程。在本工作中，我们提出了一种利用高斯混合模型作为特征条件化来引导去噪过程的条件化机制。基于集合论，我们提供了全面的理论分析，表明基于特征和类别的条件潜在分布存在显著差异，因此基于特征的条件潜在分布比基于类别的条件化产生更少的缺陷生成。我们分别训练了两个以高斯混合模型为条件的扩散模型进行比较。实验支持了我们的发现。我们提出了一种名为负高斯混合梯度的新型梯度函数，并将其应用于带有附加分类器的扩散模型训练中。训练稳定性得到了提升。我们还在理论上证明了，与 Earth Mover 距离（Wasserstein）一样，NGMG 在学习由低维流形支撑的分布时作为一种更合理的代价函数具有相同的优势。
引用
@article{arxiv.2401.11261,
title = {Diffusion Model Conditioning on Gaussian Mixture Model and Negative Gaussian Mixture Gradient},
author = {Weiguo Lu and Xuan Wu and Deng Ding and Jinqiao Duan and Jirong Zhuang and Gangnan Yuan},
journal= {arXiv preprint arXiv:2401.11261},
year = {2024}
}