全面遗忘基准：文本到图像扩散模型遗忘的多维度评估

随着文本到图像扩散模型在商业应用中的广泛普及，人们越来越担心不道德或有害的使用，包括未经授权生成受版权保护或敏感内容。概念遗忘已成为应对这些挑战的一种有前景的解决方案，它通过从预训练模型中移除不需要和有害的信息来实现。然而，先前的评估主要关注在保持图像质量的同时是否移除了目标概念，而忽略了更广泛的影响，例如意外的副作用。在这项工作中，我们提出了全面遗忘基准（HUB），这是一个用于在六个关键维度上评估遗忘方法的综合框架：忠实度、对齐度、精准性、多语言鲁棒性、攻击鲁棒性和效率。我们的基准涵盖了33个目标概念，每个概念包含16,000个提示，跨越四个类别：名人、风格、知识产权和NSFW。我们的调查表明，没有一种方法在所有评估标准上都表现出色。通过发布我们的评估代码和数据集，我们希望激发该领域的进一步研究，从而产生更可靠、更有效的遗忘方法。