用于扩散模型细粒度控制、编辑与概念擦除的Prompt Sliders
计算机视觉与模式识别
2024-09-26 v1
摘要
扩散模型最近在图像合成和编辑方面超越了GAN，提供了卓越的图像质量和多样性。然而，实现对生成图像中属性的精确控制仍然是一个挑战。Concept Sliders引入了一种通过学习概念（属性/对象）来进行细粒度图像控制和编辑的方法。然而，由于用于学习概念的低秩适配器(LoRA)的加载和卸载，这种方法增加了参数并增加了推理时间。这些适配器是特定于模型的，需要对不同架构（如Stable Diffusion (SD) v1.5和SD-XL）进行重新训练。在本文中，我们提出了一种直接的文本反转方法，通过文本嵌入来学习概念，这些概念可推广至共享相同文本编码器的模型，包括不同版本的SD模型。我们将我们的方法称为Prompt Sliders。除了学习新概念外，我们还展示了Prompt Sliders可用于擦除不良概念，如艺术风格或成人内容。我们的方法比使用LoRA快30%，因为它消除了加载和卸载适配器的需要，并且除了目标概念文本嵌入外不引入任何额外参数。与每个LoRA适配器所需的8922KB或更多存储空间相比，每个概念嵌入仅需3KB的存储空间，这使得我们的方法在计算上更加高效。项目页面：https://deepaksridhar.github.io/promptsliders.github.io/
引用
@article{arxiv.2409.16535,
title = {Prompt Sliders for Fine-Grained Control, Editing and Erasing of Concepts in Diffusion Models},
author = {Deepak Sridhar and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2409.16535},
year = {2024}
}
备注
ECCV'24 - Unlearning and Model Editing Workshop. Code: https://github.com/DeepakSridhar/promptsliders