CRCE:文本到图像扩散模型中的共指保留概念擦除
计算机视觉与模式识别
2025-05-21 v2 人工智能
计算与语言
机器学习
摘要
文本到图像扩散模型可能产生不理想的内容,需要进行概念擦除。然而,现有方法在擦除不足(留下目标概念的残留痕迹)和擦除过度(错误消除无关但视觉上相似的概念)方面存在困难。为解决这些局限性,我们提出了 CRCE,一个利用大语言模型(LLM)识别应与目标一起擦除的语义相关概念以及应保留的独立概念的概念擦除新框架。通过显式地对共指概念和保留概念进行语义建模,CRCE 实现了更精确的概念移除,避免了意外擦除。实验表明,CRCE 在多种擦除任务上优于现有方法,包括真实世界物体、人物身份和抽象知识产权特征。构建的数据集 CorefConcept 和源代码将在录用后发布。
引用
@article{arxiv.2503.14232,
title = {CRCE: Coreference-Retention Concept Erasure in Text-to-Image Diffusion Models},
author = {Yuyang Xue and Edward Moroshko and Feng Chen and Jingyu Sun and Steven McDonagh and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2503.14232},
year = {2025}
}