DuMo：用于精确概念擦除的双编码器调制网络
计算机视觉与模式识别
2025-01-03 v1
摘要
文本到图像模型的卓越生成能力引发了关于生成不适合工作（NSFW）内容和潜在版权侵权的广泛安全担忧。为解决这些问题，先前的方法通过消除不适当的概念来保护模型。尽管如此，这些模型会改变背板网络的参数，并对图像的结构（低频）组件造成严重影响，这削弱了模型保留非目标概念的能力。本文提出了我们的双编码器调制网络（DuMo），实现了对不适当目标概念的精确擦除，并最小化对非目标概念的影响。与先前方法不同，DuMo采用带先验知识的擦除器（EPR）模块，该模块修改U-NET的跳跃连接特征，主要在图像的细节（高频）组件上实现概念擦除。为最小化擦除期间对非目标概念的损害，冻结了U-NET的背板参数，并引入原始跳跃连接特征的先验知识以进行擦除。同时，观察到EPR在不同时间步和不同层上对图像结构和细节的擦除偏好存在差异。因此，我们采用了一种新的时间-层调制过程（TLMO），该过程在不同层和时间步上调整EPR模块输出的擦除规模，自动平衡擦除效果和模型的生成能力。我们的方法在显式内容擦除、漫画概念移除和艺术风格擦除方面均实现了状态突破（SOTA）性能，明显优于其他方法。代码已在 https://github.com/Maplebb/DuMo 上提供。
引用
@article{arxiv.2501.01125,
title = {DuMo: Dual Encoder Modulation Network for Precise Concept Erasure},
author = {Feng Han and Kai Chen and Chao Gong and Zhipeng Wei and Jingjing Chen and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2501.01125},
year = {2025}
}
备注
AAAI 2025 accepted