扩散模型的“磨合”现象：模块加法案例研究
机器学习
2026-04-21 v1
摘要
尽管扩散模型在实证上取得了成功，但其如何泛化仍从机制角度 poorly 理解。我们展示在模块加法任务上训练的扩散模型 exhibits 磨合现象——即在过拟合后发生延迟泛化——从而实现可控的内部计算分析。我们在两个数据规模层面上进行研究。在单图规模下，机械解剖揭示模型通过组合单个操作数的周期性表示来实现模块加法。在高类内变异的多样化图像规模下，我们发现模型利用其迭代采样过程将任务划分为算术计算阶段和视觉去噪阶段，两者之间由关键时间步长阈值分隔。我们的工作提供了扩散模型中算法学习的机械分解，揭示了这些模型如何桥接连续像素空间生成与离散符号推理。
引用
@article{arxiv.2604.17673,
title = {Grokking of Diffusion Models: Case Study on Modular Addition},
author = {Joon Hyeok Kim and Yong-Hyun Park and Mattis Dalsætra Østby and Jiatao Gu},
journal= {arXiv preprint arXiv:2604.17673},
year = {2026}
}