概念替换器：通过精确定位替换扩散模型中的敏感概念
计算机视觉与模式识别
2024-12-04 v2
摘要
随着大规模扩散模型的不断进步，它们在生成高质量图像方面表现出色，但常常会产生不需要的内容，例如色情或暴力内容。现有的概念移除方法通常指导图像生成过程，但可能会无意中修改无关区域，导致与原始模型不一致。我们提出了一种新颖的扩散模型目标概念替换方法，使得特定概念能够被移除而不影响非目标区域。我们的方法引入了一个专门的概念定位器，用于在去噪过程中精确定位目标概念，该定位器通过少样本学习进行训练，只需要最少的标记数据。在识别出的区域内，我们引入了一个无需训练的双提示交叉注意力（DPCA）模块来替换目标概念，确保对周围内容的干扰最小。我们在概念定位精度和替换效率上评估了我们的方法。实验结果表明，我们的方法在定位目标概念方面实现了卓越的精度，并执行了连贯的概念替换，对非目标区域的影响最小，优于现有方法。
引用
@article{arxiv.2412.01244,
title = {Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization},
author = {Lingyun Zhang and Yu Xie and Yanwei Fu and Ping Chen},
journal= {arXiv preprint arXiv:2412.01244},
year = {2024}
}