CAT：用于个性化图像生成的对比适配器训练
计算机视觉与模式识别
2024-10-24 v2 人工智能
摘要
各种适配器的出现，包括从自然语言处理领域引入的低秩适配，使得扩散模型能够以低成本实现个性化图像生成。然而，由于数据集有限、正则化和计算资源短缺等各种挑战，适配器训练常常导致不理想的结果，从而破坏骨干模型的先验知识。一个众所周知的现象是对象生成多样性的丧失，尤其是在同一类别内，这导致生成几乎相同但略有变化的对象。这给生成能力带来了挑战。为了解决这个问题，我们提出了对比适配器训练，这是一种简单而有效的策略，通过应用CAT损失来增强适配器训练。我们的方法有助于在模型启动适配器时保留基础模型的原始知识。此外，我们引入了知识保留分数来评估CAT保留先前信息的能力。我们从定性和定量两方面比较了CAT的改进效果。最后，我们提到了CAT在多概念适配器和优化方面的可能性。
引用
@article{arxiv.2404.07554,
title = {CAT: Contrastive Adapter Training for Personalized Image Generation},
author = {Jae Wan Park and Sang Hyun Park and Jun Young Koh and Junha Lee and Min Song},
journal= {arXiv preprint arXiv:2404.07554},
year = {2024}
}
备注
CVPRW 2024