扩散模型的分数增强
机器学习
2025-08-12 v1
摘要
扩散模型在生成建模中取得了显著成功。然而，本研究证实了扩散模型训练中存在过拟合现象，尤其是在数据有限的情况下。为应对这一挑战，我们提出了分数增强（ScoreAug），这是一种专为扩散模型设计的新型数据增强框架。与在干净数据上操作的传统增强方法不同，ScoreAug对带噪数据施加变换，这与扩散模型固有的去噪机制相一致。至关重要的是，ScoreAug进一步要求去噪器预测原始目标的增强版本。这一设计建立了一个等变学习目标，使去噪器能够在不同的去噪空间中学习分数，从而实现我们称之为分数增强的效果。我们还从理论上分析了在一般变换下不同空间中分数之间的关系。在实验中，我们在包括CIFAR-10、FFHQ、AFHQv2和ImageNet在内的多个基准上广泛验证了ScoreAug，结果表明其性能显著优于基线。值得注意的是，ScoreAug在多种场景下（如不同数据规模和模型容量）有效缓解了过拟合，同时展现出稳定的收敛特性。ScoreAug相对于标准数据增强的另一个优势在于，它在某些条件下能够规避数据泄露问题。此外，我们证明ScoreAug可以与传统数据增强技术协同结合，以实现额外的性能提升。
引用
@article{arxiv.2508.07926,
title = {Score Augmentation for Diffusion Models},
author = {Liang Hou and Yuan Gao and Boyuan Jiang and Xin Tao and Qi Yan and Renjie Liao and Pengfei Wan and Di Zhang and Kun Gai},
journal= {arXiv preprint arXiv:2508.07926},
year = {2025}
}