消融文本到图像扩散模型中的概念

大规模文本到图像扩散模型可生成高保真图像，并具有强大的组合能力。然而，这些模型通常在海量互联网数据上训练，常包含受版权保护的材料、授权图像和个人照片。此外，它们被发现会复制各种在世艺术家的风格或记忆确切的训练样本。我们如何在不从头重新训练模型的情况下移除此类受版权保护的概念或图像？为实现该目标，我们提出一种在预训练模型中消融概念的高效方法，即阻止目标概念的生成。我们的算法学习将我们希望消融的目标风格、实例或文本提示的图像分布匹配到对应于锚定概念的分布。这阻止了模型在其文本条件下生成目标概念。大量实验表明，我们的方法能成功阻止被消融概念的生成，同时保留模型中紧密相关的概念。