MACE:扩散模型中的大规模概念擦除
计算机视觉与模式识别
2024-03-12 v1 人工智能
机器学习
摘要
大规模文本到图像扩散模型的快速扩张引发了人们对其可能被滥用于生成有害或误导性内容的日益担忧。在本文中,我们介绍了 MACE,这是一个用于大规模概念擦除任务的微调框架。该任务旨在防止模型在被提示时生成体现不需要概念的图像。现有的概念擦除方法通常局限于同时处理少于五个概念,并且难以在擦除概念同义词(通用性)和保持无关概念(特异性)之间找到平衡。相比之下,MACE 的不同之处在于成功将擦除范围扩展至 100 个概念,并实现了通用性与特异性之间的有效平衡。这是通过利用闭式交叉注意力细化以及 LoRA 微调共同消除不良概念信息来实现的。此外,MACE 集成了多个 LoRA 而不会产生相互干扰。我们在四个不同的任务中对 MACE 与先前方法进行了广泛评估:物体擦除、名人擦除、显式内容擦除和艺术风格擦除。我们的结果表明,MACE 在所有评估任务中均优于先前的方法。代码可在 https://github.com/Shilin-LU/MACE 获取。
引用
@article{arxiv.2403.06135,
title = {MACE: Mass Concept Erasure in Diffusion Models},
author = {Shilin Lu and Zilan Wang and Leyang Li and Yanzhu Liu and Adams Wai-Kin Kong},
journal= {arXiv preprint arXiv:2403.06135},
year = {2024}
}
备注
Accepted by CVPR 2024