揭示扩散模型中 Unet 的时间动态
计算机视觉与模式识别
2023-12-27 v1 机器学习
摘要
扩散模型因能够有效学习复杂的多变量高斯分布，从而产生多样化、高质量的结果而备受关注。它们将高斯噪声引入训练数据，并迭代地重建原始数据。这一迭代过程的核心是一个单一的 Unet，它跨时间步进行调整以促进生成。最近的工作揭示了该生成过程中存在组合和去噪阶段，引发了关于 Unet 角色变化的疑问。我们的研究深入探讨了去噪扩散概率模型（DDPM）中 Unet 的动态行为，重点关注跨时间步的（反）卷积块和跳跃连接。我们提出了一种分析方法，以系统地评估时间步和核心 Unet 组件对最终输出的影响。该方法通过消除组件来研究因果关系，并调查它们对输出变化的影响。主要目的是理解时间动态并识别推理过程中的潜在捷径。我们的发现为推理过程中的各个生成阶段提供了有价值的见解，并阐明了 Unet 在这些阶段中的使用模式。利用这些见解，我们识别了 GLIDE（一种改进的 DDPM）中的冗余，并在输出质量仅有极小下降的情况下将推理时间缩短了约 27%。我们的最终目标是指导更明智的推理优化策略，并影响新的模型设计。
引用
@article{arxiv.2312.14965,
title = {Unraveling the Temporal Dynamics of the Unet in Diffusion Models},
author = {Vidya Prasad and Chen Zhu-Tian and Anna Vilanova and Hanspeter Pfister and Nicola Pezzotti and Hendrik Strobelt},
journal= {arXiv preprint arXiv:2312.14965},
year = {2023}
}