RealEra：通过邻近概念矗立实现语义层次概念抹除
计算机视觉与模式识别
2024-10-15 v1
摘要
文本到图像生成模型的显著发展引发了诸如肖像权侵犯和生成不当内容等安全问题。概念抹除（concept erasure）已被提出用于移除有关受保护和不当概念的模型知识。虽然许多方法试图在有效性（抹除目标概念）和 specific性（保留无关概念）之间取得平衡，但仍会在语义相关输入的引导下产生大量抹除概念。本工作提出 RealEra 以解决此“概念残留”问题。具体而言，我们首先引入邻近概念矗立（neighbor-concept mining）机制，通过对受抹除概念的嵌入添加随机扰动来挖掘相关概念，从而扩大抹除范围并消除即使通过相关概念输入也会生成的图像。此外，为缓解扩大抹除范围对无关概念生成产生的负面影响，RealEra 通过超概念正则化（beyond-concept regularization）来保持 specific性。这使得无关概念保持其相应的空间位置，从而保持其正常的生成性能。我们还采用闭式解来优化 U-Net 的 cross-attention 对齐权重，以及与 LoRA 模块的预测噪声对齐。多个基准上的大量实验表明，RealEra 在抹除有效性、specific性和 general性方面均优于先前的概念抹除方法。更多细节请参见我们的项目页面 https://realerasing.github.io/RealEra/。
引用
@article{arxiv.2410.09140,
title = {RealEra: Semantic-level Concept Erasure via Neighbor-Concept Mining},
author = {Yufan Liu and Jinyang An and Wanqian Zhang and Ming Li and Dayan Wu and Jingzi Gu and Zheng Lin and Weiping Wang},
journal= {arXiv preprint arXiv:2410.09140},
year = {2024}
}