动态遮蔽与概念感知优化:扩散模型中多概念遗忘的雕塑式方法
计算机视觉与模式识别
2025-07-01 v2 人工智能
机器学习
摘要
文本到图像扩散模型已在从文本提示生成高质量图像方面取得了显著的成功。然而,它们存储大量知识的能力在需要选择性遗忘的场景中引发了担忧,例如删除版权内容、减少偏见或消除有害概念。虽然现有的遗忘方法可以消除某些概念,但在多概念遗忘方面存在不稳定性、残余知识持久化以及生成质量下降等问题。为此,我们提出了Dynamic Mask与Concept-Aware Loss的组合方法,这是一种专为扩散模型中的多概念遗忘设计的新型遗忘框架。我们的Dynamic Mask机制根据当前优化状态动态更新梯度遮蔽,允许选择性地修改权重,以防止与无关知识的干扰。此外,我们的Concept-Aware Loss通过强制超类对齐来明确引导遗忘过程,确保在顺序遗忘期间,之前被遗忘的概念保持遗忘状态。我们进行了大量实验来评估我们的方法。结果表明,我们的方法在遗忘效果、输出保真度和语义连贯性方面均优于现有的遗忘技术,尤其是在多概念场景中。我们的工作提供了一个原则且灵活的框架,用于生成模型中的稳定且高保真遗忘。该代码将公开发布。
引用
@article{arxiv.2504.09039,
title = {Sculpting Memory: Multi-Concept Forgetting in Diffusion Models via Dynamic Mask and Concept-Aware Optimization},
author = {Gen Li and Yang Xiao and Jie Ji and Kaiyuan Deng and Bo Hui and Linke Guo and Xiaolong Ma},
journal= {arXiv preprint arXiv:2504.09039},
year = {2025}
}
备注
ICCV2025(Accept)