X-Adapter：为升级的扩散模型添加插件的通用兼容性
计算机视觉与模式识别
2024-04-24 v3 人工智能
多媒体
摘要
我们引入了 X-Adapter，一个通用升级器，使预训练的即插即用模块（例如 ControlNet、LoRA）能够直接与升级的文本到图像扩散模型（例如 SDXL）协同工作，而无需进一步重训练。我们通过训练一个额外的网络，利用新的文本-图像数据对来控制冻结的升级模型，从而实现这一目标。具体而言，X-Adapter 保留了旧模型的冻结副本，以保留不同插件的连接器。此外，X-Adapter 添加了可训练的映射层，桥接不同版本模型的解码器以进行特征重映射。重映射后的特征将用作升级模型的指导。为了增强 X-Adapter 的指导能力，我们对升级模型采用了 null-text 训练策略。训练完成后，我们还引入了两阶段去噪策略，以对齐 X-Adapter 和升级模型的初始潜变量。得益于我们的策略，X-Adapter 展现出与各种插件的通用兼容性，并且还使不同版本的插件能够协同工作，从而扩展了扩散模型社区的功能。为了验证所提方法的有效性，我们进行了大量实验，结果表明 X-Adapter 可能促进升级的基础扩散模型在更广泛的应用中使用。
引用
@article{arxiv.2312.02238,
title = {X-Adapter: Adding Universal Compatibility of Plugins for Upgraded Diffusion Model},
author = {Lingmin Ran and Xiaodong Cun and Jia-Wei Liu and Rui Zhao and Song Zijie and Xintao Wang and Jussi Keppo and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2312.02238},
year = {2024}
}
备注
Project page: https://showlab.github.io/X-Adapter/