文本到图像扩散基础模型中的细粒度擦除
计算机视觉与模式识别
2025-03-26 v1
摘要
文本到图像生成模型中现有的遗忘算法在移除特定目标概念时，通常无法保留语义相关概念的知识：这一挑战被称为邻接性。为了解决这个问题，我们提出了 FADE（用于扩散擦除的细粒度衰减，Fine grained Attenuation for Diffusion Erasure），在扩散模型中引入了邻接感知遗忘。FADE 包含两个组件：(1) 概念邻域，用于识别相关概念的邻接集；以及 (2) Mesh 模块，采用 Expungement、Adjacency 和 Guidance 损失组件的结构化组合。这些组件能够精确擦除目标概念，同时在相关和无关概念上保持保真度。在 Stanford Dogs、Oxford Flowers、CUB、I2P、Imagenette 和 ImageNet1k 等数据集上的评估表明，FADE 能有效移除目标概念且对相关概念的影响最小，在保留性能上比 SOTA 方法至少提升了 12%。
引用
@article{arxiv.2503.19783,
title = {Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models},
author = {Kartik Thakral and Tamar Glaser and Tal Hassner and Mayank Vatsa and Richa Singh},
journal= {arXiv preprint arXiv:2503.19783},
year = {2025}
}
备注
Published in CVPR 2025