一维适配器统御全局：概念、扩散模型与擦除应用
计算机视觉与模式识别
2024-03-13 v2 人工智能
机器学习
摘要
商业和开源扩散模型 (DMs) 在文本到图像生成中的普遍使用促使人们采取风险缓解措施以防止不良行为。学术界现有的概念擦除方法均基于全参数或基于规范的微调，我们从中观察到以下问题：1) 生成变异导致侵蚀：目标消除过程中的参数漂移会导致所有生成结果发生变异和潜在变形，甚至在不同程度上侵蚀其他概念，这在多概念擦除时更为明显；2) 迁移能力缺失与部署低效：先前针对特定模型的擦除阻碍了概念的灵活组合及向其他模型的无训练迁移，导致随着部署场景增加而呈线性成本增长。为实现非侵入式、精确、可定制且可迁移的消除，我们将擦除框架建立在一维适配器之上，以一次性从大多数 DMs 中擦除多个概念，适用于多种擦除应用。概念半透结构作为膜 (SPM) 注入到任意 DM 中以学习针对性擦除，同时通过一种新颖的潜在锚定微调策略有效缓解了变异和侵蚀现象。一旦获得，SPM 可以灵活组合并以即插即用方式应用于其他 DMs，无需特定重调优，从而能够及时高效地适应多样化场景。在生成过程中，我们的促进传输机制动态调节每个 SPM 的通透性以响应不同的输入提示，进一步最小化对其他概念的影响。在约 40 个概念、7 个 DMs 和 4 种擦除应用上的定量和定性结果证明了 SPM 卓越的擦除能力。我们的代码和预调优 SPM 可在项目页面 https://lyumengyao.github.io/projects/spm 获取。
引用
@article{arxiv.2312.16145,
title = {One-Dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications},
author = {Mengyao Lyu and Yuhong Yang and Haiwen Hong and Hui Chen and Xuan Jin and Yuan He and Hui Xue and Jungong Han and Guiguang Ding},
journal= {arXiv preprint arXiv:2312.16145},
year = {2024}
}
备注
CVPR 2024