基于低秩适应的少样本概念遗忘

图像生成模型正成为热门话题，许多人利用人工智能模型生成图像。许多模型可根据文本提示生成描述该提示的图像。目前已有许多图像生成模型，如潜在扩散模型、去噪扩散概率模型、生成对抗网络等。生成图像时，这些模型可能会生成敏感图像数据，可能威胁隐私或侵犯私人实体的版权法。机器遗忘旨在从训练模型中移除特定数据子集的影响，在图像生成模型中，亦即移除特定概念的影响，使模型无法生成该概念的图像。传统模型重训练可能最长达数天，因此快速算法更为迫切。本文提出一种算法，通过更新文本编码器最终层的梯度来消除扩散模型中概念的影响。我们采用加权损失函数利用反向传播更新稳定扩散模型文本编码器组件的权重，从而消除文本-图像嵌入空间中该概念的影响，使得生成时不会包含该概念。加权损失函数运用了文本倒置和低秩适应。我们在潜在扩散模型上进行实验，即稳定扩散v2模型，平均概念遗忘运行时间为50秒，使用4-5张图像。