基于训练-free Gated Low-Rank Adaptation 的文本到图像扩散模型局部概念擦除
计算机视觉与模式识别
2025-07-11 v3 人工智能
摘要
基于微调的概念擦除已在通过删除目标概念而保留剩余概念来防止文本到图像扩散模型生成有害内容方面显示出前景。为了维持扩散模型在概念擦除后的生成能力，需要仅删除图像中包含目标概念的区域，其余区域保持完整。然而，先前的方法往往为擦除特定区域内的局部目标概念而牺牲其他图像区域的保真度，从而降低整体图像生成性能。为解决这些限制，我们首先引入一种称为局部概念擦除的框架，允许仅删除图像中包含目标概念的特定区域，同时保留其他区域。作为局部概念擦除的解决方案，我们提出一种训练-free 方法，称为Gated Low-rank adaptation for Concept Erasure (GLoCE)，将轻量级模块注入扩散模型。GLoCE由低秩矩阵和简单门控单元组成，该门控单元仅由几个生成步骤确定，不需要训练。通过直接应用于图像嵌入并设计门控单元仅针对目标概念激活，GLoCE能够在目标概念和剩余概念共存于图像中时选择性地仅删除目标概念的区域。大量实验表明，GLoCE不仅提高了擦除局部目标概念后图像对文本提示的保真度，还在有效性、特异性和鲁棒性方面显著优于先前方法，并可扩展到大规模概念擦除。
引用
@article{arxiv.2503.12356,
title = {Localized Concept Erasure for Text-to-Image Diffusion Models Using Training-Free Gated Low-Rank Adaptation},
author = {Byung Hyun Lee and Sungjin Lim and Se Young Chun},
journal= {arXiv preprint arXiv:2503.12356},
year = {2025}
}
备注
Accepted to CVPR 2025