Empty SPACE：用于扩散模型概念擦除的交叉注意力稀疏化
机器学习
2026-05-12 v1 人工智能
摘要
从文本到图像扩散模型中擦除特定概念对于避免生成受版权保护及露骨内容至关重要。闭式概念擦除方法为基于反向传播的技术提供了一种快速替代方案，但在从 Stable Diffusion 1.5 等较小模型扩展至 Stable Diffusion XL 等较大模型时，其效果会减弱。为了在这些大规模架构中保持擦除有效性，我们提出了基于稀疏交叉注意力的概念擦除 (SPACE)。SPACE 通过闭式更新迭代修改模型的交叉注意力参数，该更新同时诱导稀疏性并擦除目标概念。通过将概念映射集中于低维子空间，SPACE 相比稠密基线实现了更优的擦除效果。大量实验结果表明其在擦除有效性及对抗对抗性提示的鲁棒性方面均有提升。此外，SPACE 实现了 80\%-90\% 的交叉注意力稀疏度，将保存修改参数的存储需求降低了 70\%，证明了其内存效率。
引用
@article{arxiv.2605.10198,
title = {Empty SPACE: Cross-Attention Sparsity for Concept Erasure in Diffusion Models},
author = {Nicola Novello and Andrea M. Tonello},
journal= {arXiv preprint arXiv:2605.10198},
year = {2026}
}