EGLOCE:免训练的基于能量引导的潜在空间优化用于概念擦除
计算机视觉与模式识别
2026-04-13 v1
摘要
随着文本到图像扩散模型日益普及,移除特定概念(主要是露骨内容以及许多受版权保护的角色或风格)的能力对于安全性和合规性变得至关重要。现有的反学习(unlearning)方法通常需要昂贵的重新训练,以牺牲无关概念保真度为代价修改参数,或者依赖于间接的推理时调整,这损害了概念擦除的有效性。受能量引导采样在保持扩散模型条件方面取得成功的启发,我们引入了用于概念擦除的能量引导潜在空间优化(EGLOCE),这是一种免训练的方法,通过在推理过程中重新引导噪声潜在变量来移除不需要的概念。我们的方法采用了一个双目标框架:一个排斥能量,通过潜在空间中的梯度下降引导生成远离目标概念;一个保持能量,保持与原始提示的语义对齐。与之前需要错误修改的模型权重或提供较弱推理时指导的方法相比,EGLOCE完全在推理时运行,并增强了擦除性能,实现了即插即用集成。大量实验表明,即使在对抗性攻击下,EGLOCE也能在保持图像质量和提示对齐的同时,改善跨基线的概念移除效果。据我们所知,我们的工作首次通过在采样过程中使用基于能量的双重引导,为安全可控的图像生成建立了一个新范式。
引用
@article{arxiv.2604.09405,
title = {EGLOCE: Training-Free Energy-Guided Latent Optimization for Concept Erasure},
author = {Junyeong Ahn and Seojin Yoon and Sungyong Baik},
journal= {arXiv preprint arXiv:2604.09405},
year = {2026}
}