Mix-of-Show：面向扩散模型多概念定制的去中心化低秩适配
计算机视觉与模式识别
2023-11-13 v2
摘要
Stable Diffusion 等公开的大规模文本到图像扩散模型已引起社区的广泛关注。这些模型可使用低秩适配（LoRA）轻松针对新概念进行定制。然而，利用多个概念 LoRA 联合支持多个定制概念存在挑战。我们将此场景称为去中心化多概念定制，其包含单客户端概念微调与中心节点概念融合。本文提出一种称为 Mix-of-Show 的新框架，解决了去中心化多概念定制的挑战，包括现有单客户端 LoRA 微调导致的概念冲突以及模型融合过程中的身份丢失。Mix-of-Show 采用嵌入分解 LoRA（ED-LoRA）进行单客户端微调，并在中心节点使用梯度融合，以保留单概念的内在本质并理论上支持无限的概念融合。此外，我们引入区域可控采样，将空间可控采样（如 ControlNet 和 T2I-Adaptor）扩展至多概念采样中的属性绑定与物体缺失问题。大量实验表明，Mix-of-Show 能够高保真地组合多个定制概念，包括角色、物体与场景。
引用
@article{arxiv.2305.18292,
title = {Mix-of-Show: Decentralized Low-Rank Adaptation for Multi-Concept Customization of Diffusion Models},
author = {Yuchao Gu and Xintao Wang and Jay Zhangjie Wu and Yujun Shi and Yunpeng Chen and Zihan Fan and Wuyou Xiao and Rui Zhao and Shuning Chang and Weijia Wu and Yixiao Ge and Ying Shan and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2305.18292},
year = {2023}
}