EraseAnything：用于矩形流变换器中的概念擦除
计算机视觉与模式识别
2025-01-03 v2
摘要
从大规模文本到图像 (T2I) 扩散模型中去除不必要概念 while maintaining 其整体生成质量 remains an open challenge。这种困难尤其体现在新兴范式中，如 Stable Diffusion (SD) v3 和 Flux，这些模型采用流匹配和变换器架构。这些进展限制了现有概念擦除技术在前一 T2I 范式（例如 SD v1.4）上设计的可移植性。在本 work 中，我们引入 EraseAnything，是 首个针对最新基于流的 T2I 框架开发的概念擦除方法。我们将概念擦除建模为双层优化问题，采用 LoRA-based 参数调优和注意力图正则化来选择性抑制不良激活。此外，我们提出了自对比学习策略，以确保去除不必要概念不会不小心地损害对无关概念的性能。实验结果表明，EraseAnything 成功填补了此前方法在此新 T2I 范式中留下的研究空白，在广泛的概念擦除任务中实现了业界最佳性能。
引用
@article{arxiv.2412.20413,
title = {EraseAnything: Enabling Concept Erasure in Rectified Flow Transformers},
author = {Daiheng Gao and Shilin Lu and Shaw Walters and Wenbo Zhou and Jiaming Chu and Jie Zhang and Bang Zhang and Mengxi Jia and Jian Zhao and Zhaoxin Fan and Weiming Zhang},
journal= {arXiv preprint arXiv:2412.20413},
year = {2025}
}
备注
24 pages, 18 figures