通过聚合多个扩散模型提高精细控制
计算机视觉与模式识别
2026-01-29 v5 机器学习
摘要
虽然许多扩散模型在控制特定方面（如风格、人物和互动）方面表现良好，但由于数据限制和复杂的模型架构设计，难以实现精细控制。本文引入一种新颖的无训练算法，用于精细生成，称为多个扩散模型的聚合（AMDM）。该算法将同一生态系统中多个扩散模型在潜在数据空间中的特征整合到指定模型中，从而激活特定特征，实现精细控制。实验结果表明，AMDM在无需训练的情况下显著提升了精细控制，验证了其有效性。此外，本研究揭示了扩散模型最初关注位置、属性和风格等特征，后期阶段则改善生成质量和一致性。AMDM为解决扩散模型中精细条件生成挑战提供了新视角。具体而言，它允许我们充分利用现有或开发新的可控扩散模型，以控制特定方面，然后通过AMDM算法对其进行聚合。这无需构建复杂数据集、设计复杂模型架构或承担高昂的训练成本。代码地址：https://github.com/Hammour-steak/AMDM。
引用
@article{arxiv.2410.01262,
title = {Improving Fine-Grained Control via Aggregation of Multiple Diffusion Models},
author = {Conghan Yue and Zhengwei Peng and Shiyan Du and Zhi Ji and Chuangjian Cai and Le Wan and Dongyu Zhang},
journal= {arXiv preprint arXiv:2410.01262},
year = {2026}
}