通过块式参数化低秩适应实现扩散模型的模块化定制
计算机视觉与模式识别
2025-03-12 v1
摘要
近期的扩散模型定制工作在仅用少量图像即可融入主体或风格概念方面取得了令人瞩目的成果。然而，将多个概念模块化地组合为定制模型，以高效合并去中心化训练的概念而不影响其身份标识，这一问题仍未解决。模块化定制对于概念风格化以及使用不同用户训练的概念进行多概念定制等应用至关重要。现有的后训练方法仅限于一组固定概念，任何不同组合都需要重新训练。相比之下，即时合并方法往往导致身份丢失和单个合并概念之间的相互干扰，并且通常仅适用于少量概念。为了解决这些问题，我们提出了BlockLoRA，一种旨在高效合并多个概念同时准确保持各概念身份标识的即时合并方法。通过对干扰产生的底层原因进行仔细分析，我们开发了随机输出擦除技术以最小化不同定制模型之间的干扰。此外，提出了块式LoRA参数化方法以减少即时模型合并过程中的身份丢失。大量实验验证了BlockLoRA的有效性，该方法可以即时合并15个涉及人物、主体、场景和风格的概念，并保持高保真度。
引用
@article{arxiv.2503.08575,
title = {Modular Customization of Diffusion Models via Blockwise-Parameterized Low-Rank Adaptation},
author = {Mingkang Zhu and Xi Chen and Zhongdao Wang and Bei Yu and Hengshuang Zhao and Jiaya Jia},
journal= {arXiv preprint arXiv:2503.08575},
year = {2025}
}