软截断：一种用于高精度分数估计的基于分数的扩散模型的通用训练技术
机器学习
2022-06-14 v5 人工智能
机器学习
摘要
扩散模型的最新进展在图像生成任务上带来了最先进的性能。然而，先前扩散模型研究的实证结果暗示了密度估计与样本生成性能之间的负相关。本文以充分的实证证据表明，这种负相关之所以发生，是因为密度估计主要由较小的扩散时间贡献，而样本生成主要依赖于较大的扩散时间。然而，在整个扩散时间上训练好一个分数网络是很苛刻的，因为各扩散时间处的损失尺度极不平衡。因此，为了成功训练，我们引入了软截断（Soft Truncation），一种普遍适用于扩散模型的训练技术，它将固定且静态的截断超参数柔化为一个随机变量。在实验中，软截断在CIFAR-10、CelebA、CelebA-HQ 256x256和STL-10数据集上取得了最先进的性能。
引用
@article{arxiv.2106.05527,
title = {Soft Truncation: A Universal Training Technique of Score-based Diffusion Model for High Precision Score Estimation},
author = {Dongjun Kim and Seungjae Shin and Kyungwoo Song and Wanmo Kang and Il-Chul Moon},
journal= {arXiv preprint arXiv:2106.05527},
year = {2022}
}
备注
28 pages, 16 figures, 15 tables