通过自动区间和子网络选择构建高效扩散专家混合模型
计算机视觉与模式识别
2024-09-25 v1
摘要
扩散概率模型能够生成高质量样本，但其采样过程需要大量去噪步骤，导致速度慢且计算密集。我们提出通过修剪预训练扩散模型构建高效专家混合模型来降低采样成本。首先，我们研究了成对去噪时间步之间的相似性，观察到即使跨越不同数据集也存在自然的聚类。这表明与其为所有时间步使用单个模型，不如使用专为各个时间区间设计的独立模型作为“专家”。因此，我们在每个区间单独微调预训练模型，采用弹性深度和宽度维度，以获得专注于其对应去噪区间的专家。为优化各专家之间的资源使用，我们引入了 Expert Routing Agent，它学习选择一组合适的网络配置。如此一来，我们的方法可以在端到端地在专家之间分配计算预算，而无需手动启发式方法。最后，在确定的配置下，我们微调所修剪的专家以获得我们的高效专家混合模型。我们在多个数据集上演示了该方法的有效性，包括 LSUN-Church、LSUN-Beds、FFHQ 和 ImageNet，基于 Latent Diffusion Model 架构。
引用
@article{arxiv.2409.15557,
title = {Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection},
author = {Alireza Ganjdanesh and Yan Kang and Yuchen Liu and Richard Zhang and Zhe Lin and Heng Huang},
journal= {arXiv preprint arXiv:2409.15557},
year = {2024}
}
备注
Accepted to the 18th European Conference on Computer Vision, ECCV 2024