价值空间中的精确、快速且低成本概念擦除：正交补充关键
计算机视觉与模式识别
2025-04-01 v2 人工智能
摘要
文本到图像（T2I）生成的近期成功及其日益增长的实际应用，使得有紧急需求考虑从预训练模型中擦除不需要的概念（例如版权受保护、冒犯性或不安全性概念），以实现精确、及时且低成本的擦除。概念擦除的双重需求包括：在生成过程中既要精确移除目标概念（即擦除效果），又要对非目标内容保持最小变更（即先验保留）。现有方法在擦除效果与先验保留之间难以保持有效平衡，并且可能计算成本较高。为改善此问题，本文提出一种精确、快速且低成本的概念擦除方法，称为自适应价值分解器（AdaVD），其为训练-free方法。该方法基于计算正交补的经典线性代数运算，在扩散模型UNet中每个跨注意力层的值空间中实现。我们设计了一个平移因子，以自适应导航擦除强度，增强先验保留效果，而不牺牲擦除效果。大量对比实验表明，所提出的AdaVD在单概念和多概念擦除方面均表现出色，在先验保留方面比第二名方法提高了2到10倍，同时实现了最佳或接近最佳的擦除效果。AdaVD支持一系列扩散模型和下游图像生成任务，且代码已公开：https://github.com/WYuan1001/AdaVD。
引用
@article{arxiv.2412.06143,
title = {Precise, Fast, and Low-cost Concept Erasure in Value Space: Orthogonal Complement Matters},
author = {Yuan Wang and Ouxiang Li and Tingting Mu and Yanbin Hao and Kuien Liu and Xiang Wang and Xiangnan He},
journal= {arXiv preprint arXiv:2412.06143},
year = {2025}
}