从扩散模型中可分离地擦除多概念
机器学习
2024-02-12 v1 计算机视觉与模式识别
摘要
大规模扩散模型以其令人印象深刻的图像生成能力而闻名，但也引起了研究人员对其社会影响（如模仿受版权保护的艺术风格）的担忧。作为回应，现有方法转向机器遗忘技术以从预训练模型中消除不安全概念。然而，这些方法损害了生成性能，并忽略了多概念擦除之间的耦合以及概念恢复问题。为了解决这些问题，我们提出了一种可分离多概念擦除器，主要包括两部分：概念无关表示的生成和权重解耦。前者旨在避免遗忘与被遗忘概念无关的重要信息。后者分离可优化的模型权重，使得每个权重增量对应于特定概念的擦除，而不影响其他概念上的生成性能。具体而言，用于擦除指定概念的权重增量被表述为基于其他已知不良概念计算的解的线性组合。大量实验表明了我们的方法在消除概念、保持模型性能以及在各种概念的擦除或恢复方面提供灵活性方面的有效性。
引用
@article{arxiv.2402.05947,
title = {Separable Multi-Concept Erasure from Diffusion Models},
author = {Mengnan Zhao and Lihe Zhang and Tianhang Zheng and Yuqiu Kong and Baocai Yin},
journal= {arXiv preprint arXiv:2402.05947},
year = {2024}
}