中文

语义手术:扩散模型中的零样本概念擦除

计算机视觉与模式识别 2025-10-28 v1 人工智能

摘要

文本到图像扩散模型中的概念擦除对于缓解有害内容至关重要,但现有方法常会损害生成质量。我们引入语义手术(Semantic Surgery),一种新颖的、无需训练的、零样本概念擦除框架,其直接作用于文本嵌入向量,在扩散过程之前进行操作。该框架动态估计提示词中目标概念的存在情况,并执行校准的向量减法,以在源头消除其影响,从而提升擦除的完整性和局部性。该框架包含用于稳健多概念擦除的共现编码模块,以及用于解决潜在概念持久性的视觉反馈循环。作为一种无需训练的方法,语义手术能够动态适应每个提示词,确保精确的干预。广泛的实验在对象擦除、显性内容擦除、艺术风格擦除和多明星擦除任务方面表明,我们的方法显著优于最先进的方法。我们在保持局部性和图像质量的同时实现了卓越的完整性和鲁棒性(例如在对象擦除中达到93.58的H-score,将显性内容降至仅1个实例,在风格擦除中达到8.09的H_a且无质量退化)。这种鲁棒性还使我们的框架能够作为内置的威胁检测系统,为更安全的文本到图像生成提供实用解决方案。

关键词

引用

@article{arxiv.2510.22851,
  title  = {Semantic Surgery: Zero-Shot Concept Erasure in Diffusion Models},
  author = {Lexiang Xiong and Chengyu Liu and Jingwen Ye and Yan Liu and Yuecong Xu},
  journal= {arXiv preprint arXiv:2510.22851},
  year   = {2025}
}

备注

Accepted to the 39th Conference on Neural Information Processing Systems (NeurIPS 2025). Code is available at https://github.com/Lexiang-Xiong/Semantic-Surgery