文本到图像扩散模型中的邻域感知局部概念擦除
计算机视觉与模式识别
2026-03-30 v1 密码学与安全
摘要
文本到图像扩散模型中的概念擦除旨在移除不期望的概念，同时保持整体生成能力。局部擦除方法旨在将编辑限制在目标概念所占据的空间区域。然而，我们观察到抑制一个概念可能会无意中削弱语义相关的邻域概念，从而降低细粒度领域的保真度。我们提出了邻域感知局部概念擦除（NLCE），一个旨在在移除目标概念的同时更好地保留邻域概念的无训练框架。它包含三个阶段：(1) 谱加权嵌入调制，在衰减目标概念方向的同时稳定邻域概念表示；(2) 注意力引导的空间门控，用于识别表现出残余概念激活的区域；(3) 空间门控的硬擦除，仅在必要时消除剩余痕迹。该邻域感知流程实现了局部概念移除，同时保持了周围的邻域概念结构。在细粒度数据集（Oxford Flowers、Stanford Dogs）上的实验表明，我们的方法在移除目标概念的同时能更好地保留密切相关类别。在名人身份、露骨内容和艺术风格方面的额外结果展示了鲁棒性和对更广泛擦除场景的泛化能力。
引用
@article{arxiv.2603.25994,
title = {Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models},
author = {Zhuan Shi and Alireza Dehghanpour Farashah and Rik de Vries and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2603.25994},
year = {2026}
}
备注
Accepted by CVPR 2026 main