Forget-Me-Not：文本到图像扩散模型中的遗忘学习
计算机视觉与模式识别
2023-03-31 v1 人工智能
机器学习
摘要
深度学习模型的遗忘问题，曾主要是学术关切，现已成为工业界普遍议题。文本到图像生成技术的重大进展引发了全球关于隐私、版权与安全的讨论，因为大量未授权的个人 ID、内容、艺术创作及潜在有害材料已被这些模型习得，并随后用于生成与传播不受控内容。为应对此挑战，我们提出 Forget-Me-Not，一种高效低成本的方案，旨在从配置良好的文本到图像模型中安全移除指定 ID、物体或风格，耗时最短仅 30 秒，且不损害其生成其他内容的能力。除方法外，我们引入 Memorization Score（M-Score）与 ConceptBench 以衡量模型生成通用概念的能力，这些概念分为三类：ID、物体与风格。利用 M-Score 与 ConceptBench，我们证明 Forget-Me-Not 可有效消除目标概念，同时保持模型在其他概念上的表现。此外，Forget-Me-Not 提供两个实用扩展：a) 移除潜在有害或 NSFW 内容；b) 通过概念纠正与解耦提升模型准确性、包容性与多样性。它也可作为 Stable Diffusion 的轻量模型补丁，便于概念操控与分发。为鼓励该关键领域的未来研究并推动安全包容生成模型的发展，我们将在 https://github.com/SHI-Labs/Forget-Me-Not 开源代码与 ConceptBench。
引用
@article{arxiv.2303.17591,
title = {Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models},
author = {Eric Zhang and Kai Wang and Xingqian Xu and Zhangyang Wang and Humphrey Shi},
journal= {arXiv preprint arXiv:2303.17591},
year = {2023}
}