基于残差注意力门的文本到图像扩散模型概念精准擦除
计算机视觉与模式识别
2025-07-01 v1 机器学习
摘要
文本到图像扩散模型取得了显著进展，引发了关于可能生成不当或商标概念图像的主要关注。概念擦除旨在在保持其他概念并尽可能保持最小扭曲的前提下删除扩散模型中的目标概念。为实现这些目标，最近的概念擦除方法通常对扩散模型的跨注意力层进行微调。在本工作中，我们首先表明，仅更新扩散模型的跨注意力层（在数学上等效于向权重添加\emph{线性}模块）可能无法保留多样化的剩余概念。随后，我们提出了一种新框架，称为概念精准擦除器（Concept Pinpoint Eraser, CPE），通过添加\emph{非线性}残差注意力门（Residual Attention Gates, ResAGs）来选择性地擦除（或切断）目标概念，同时通过采用注意力锚定损失来防止遗忘，保护剩余概念免受广泛分布的影响。此外，我们以对抗方式训练 CPE 与 ResAG 及可学习文本嵌入，迭代方式最大化擦除性能并增强对对抗攻击的鲁棒性。在对明星人物、艺术风格和含义内容擦除方面的大量实验表明，所提出的 CPE 在保持多样化剩余概念的同时，以对抗攻击提示词的鲁棒性，优于先前的方法。代码已提供，链接为 https://github.com/Hyun1A/CPE。
引用
@article{arxiv.2506.22806,
title = {Concept Pinpoint Eraser for Text-to-image Diffusion Models via Residual Attention Gate},
author = {Byung Hyun Lee and Sungjin Lim and Seunggyu Lee and Dong Un Kang and Se Young Chun},
journal= {arXiv preprint arXiv:2506.22806},
year = {2025}
}