扩散模型的正交概念抹除
人工智能
2026-05-29 v1
摘要
概念抹除已成为缓解扩散模型中不必要或不安全内容的有前景方法，但现有方法仍面临显著局限。虽然基于训练的方法有效，但其高计算成本限制了可扩展性。基于编辑的方法更高效且部署友好，但在实现精确概念抹除与保持整体生成能力方面仍受挑战。我们认识到基于编辑的方法的核心局限性在于依赖加法参数更新。我们的实证分析表明，概念语义主要取决于神经元方向，而整体生成能力依赖于神经元的角几何。由于加法更新本质上会 entangled 方向、幅度和角几何，必然在概念抹除和整体生成性能之间引入意外干扰。为此，我们提出正交概念抹除 (OCE)，将基于编辑的抹除重新表述为从几何角度看待的乘法参数更新。具体而言，OCE 应用基于闭式解的层级正交变换，对参数进行操作，实现精确概念抹除，同时保持神经元幅度和角几何。此外，为解决多概念抹除中的冲突约束，OCE 引入子空间级目标，采用结构化子空间操作，实现更有效、更可扩展的抹除。广泛的单概念和多概念抹除实验表明，OCE 在概念抹除和非目标保持方面超越了现有方法，仅用 4.3 秒即可抹除最高 100 个概念。代码：https://github.com/HansSunY/OCE。
引用
@article{arxiv.2605.28902,
title = {Orthogonal Concept Erasure for Diffusion Models},
author = {Yuhao Sun and Lingyun Yu and Haoxiang Xu and Fengyuan Miao and Zhuoer Xu and Hongtao Xie},
journal= {arXiv preprint arXiv:2605.28902},
year = {2026}
}
备注
Accepted by ICML 2026 Oral