扩散变换器中的幅值保持与旋转调制探索
计算机视觉与模式识别
2025-05-27 v1 机器学习
摘要
去噪扩散模型展现出惊人的生成能力，但由于内在随机性，训练仍具有挑战性，其中高方差梯度估计导致收敛缓慢。先前的研究表明，幅值保持有助于 U-net 架构中的训练稳定。本工作探讨了这种效应是否扩展到扩散变换器(DiT)架构。因此，我们提出一种无需归一化层的幅值保持设计来稳定训练。为了维持激活幅值，我们额外引入旋转调制，这是一种新型条件方法，使用学习旋转代替传统的缩放或平移。通过在小规模模型上的经验评估和消融研究，我们展示，幅值保持策略显著提升性能，尤其将 FID 分数降低约 12.8%。进一步，我们表明旋转调制与缩放组合的性能与 AdaLN 相当，而所需参数约少 5.4%。本工作提供了关于条件策略和幅值控制的见解。我们将公开发布我们的方法实现。
引用
@article{arxiv.2505.19122,
title = {Exploring Magnitude Preservation and Rotation Modulation in Diffusion Transformers},
author = {Eric Tillman Bill and Cristian Perez Jensen and Sotiris Anagnostidis and Dimitri von Rütte},
journal= {arXiv preprint arXiv:2505.19122},
year = {2025}
}