LoRACLR: 对比式适配用于扩散模型的多概念定制
计算机视觉与模式识别
2025-09-30 v2
摘要
最近的文本到图像定制技术进展使我们能够实现高保真、富有情境的个性化图像生成，允许特定概念以多种场景呈现。然而，现有方法在组合多个个性化模型时仍存困难，常导致属性纠缠，或需额外训练以保持概念的独特性。我们提出 LoRACLR，一种用于多概念图像生成的新方法，该方法将每个针对不同概念微调的 LoRA 模型合并为单个统一模型，无需额外的单独微调。LoRACLR 使用对比目标对这些模型的权重空间进行对齐和合并，确保兼容性的同时最小化干扰。通过强制每个概念保持独立且协调的表征，LoRACLR 实现了高质量多概念图像合成的高效、可扩展模型融合。我们的实验结果凸显了 LoRACLR 在准确合并多个概念方面的有效性，推动了个性化图像生成能力的提升。
引用
@article{arxiv.2412.09622,
title = {LoRACLR: Contrastive Adaptation for Customization of Diffusion Models},
author = {Enis Simsar and Thomas Hofmann and Federico Tombari and Pinar Yanardag},
journal= {arXiv preprint arXiv:2412.09622},
year = {2025}
}
备注
Accepted to CVPR'25. Project page: https://loraclr.github.io/