阐明扩散模型训练中的表示退化问题
机器学习
2026-05-12 v1
摘要
扩散模型已取得显著成功，但其训练仍效率低下，因严重的优化瓶颈，我们称之为表示退化。随着噪声水平的增加，训练模型的输出呈现逐渐的结构失真，这会 destabilize 训练并损害生成质量。我们的分析表明，这种不稳定性是由目标可恢复性不匹配驱动的，这与 Neural Tangent Kernel (NTK) 谱减弱和有效低秩行为相关。为此，我们提出了 Elucidated Representation Diffusion (ERD)，一个即插即用的框架，根据有效可恢复性动态重新分配优化资源。通过无需外部监督来稳定表示学习，ERD 加快了收敛速度，并在各种扩散 backbone 上实现了强大的实证性能。
引用
@article{arxiv.2605.10790,
title = {Elucidating Representation Degradation Problem in Diffusion Model Training},
author = {Zhipeng Yao and Dazhou Li and Zitong Zhang and Durude Mahee and Fan Zhu and Wenbin Zhang and Xinwei He and Yeying Jin and Rui Yu},
journal= {arXiv preprint arXiv:2605.10790},
year = {2026}
}