基于去噪任务难度的课程学习训练扩散模型
计算机视觉与模式识别
2025-02-12 v3 机器学习
摘要
基于扩散的生成模型已成为生成建模领域的强大工具。尽管对各种时间步和噪声水平下的去噪进行了广泛研究，但关于去噪任务的相对难度仍存在争议。虽然一些研究认为较低的时间步呈现更具挑战性的任务，但另一些研究则坚持较高的时间步更困难。为了解决这一冲突，我们的研究对任务难度进行了全面检验，重点关注收敛行为以及各时间步间连续概率分布的相对熵变化。我们的观察研究表明，早期时间步的去噪面临收敛较慢和相对熵较高的挑战，表明这些较低时间步的任务难度增加。基于这些观察，我们引入了一种借鉴课程学习的由易到难的学习方案，以增强扩散模型的训练过程。通过将时间步或噪声水平组织成簇，并按难度递增的顺序训练模型，我们实现了一种顺序感知的训练机制，从较易到较难的去噪任务逐步推进，从而偏离了在所有时间步同时训练扩散模型的传统方法。我们的方法利用课程学习的优势，实现了性能提升和更快的收敛速度，同时与扩散训练技术的现有改进保持正交性。我们通过图像生成任务的全面实验验证了这些优势，包括无条件生成、类条件生成和文本到图像生成。
引用
@article{arxiv.2403.10348,
title = {Denoising Task Difficulty-based Curriculum for Training Diffusion Models},
author = {Jin-Young Kim and Hyojun Go and Soonwoo Kwon and Hyun-Gyoon Kim},
journal= {arXiv preprint arXiv:2403.10348},
year = {2025}
}