Diffusion U-Net中的动态重要性：用于增强图像合成
计算机视觉与模式识别
2025-05-06 v2
摘要
传统扩散模型通常采用U-Net架构。先前的研究揭示了U-Net中注意力机制的作用。然而，它们忽略了其重要性在推理过程中的动态演变，这阻碍了进一步利用它们来改善图像应用。在本研究中，我们首先在理论上证明，对U-Net内Transformer块的输出进行重加权是改善采样过程中信噪比的“免费午餐”。接下来，我们提出了Importance Probe以揭示并量化Transformer块在整个去噪过程中重要性的动态变化。最后，我们设计了一种针对特定图像生成和编辑任务量身定制的自适应基于重要性的重加权调度。实验结果表明，我们的方法显著提高了推理过程的效率，并增强了具有身份一致性的样本的美学质量。我们的方法可以无缝集成到任何基于U-Net的架构中。代码：https://github.com/Hytidel/UNetReweighting
引用
@article{arxiv.2504.03471,
title = {Dynamic Importance in Diffusion U-Net for Enhanced Image Synthesis},
author = {Xi Wang and Ziqi He and Yang Zhou},
journal= {arXiv preprint arXiv:2504.03471},
year = {2025}
}
备注
Accepted to ICME 2025. Appendix & Code: https://github.com/Hytidel/UNetReweighting