FreezeAsGuard：通过选择性张量冻结缓解扩散模型的非法适配

文本到图像的扩散模型可以在自定义领域进行微调以适应特定的用户偏好，但这种适应性也被用于非法目的，例如伪造公众人物肖像、复制受版权保护的艺术品以及生成露骨内容。现有工作主要集中在检测非法生成的内容，但无法预防或缓解扩散模型的非法适配。其他模型遗忘和重新初始化方案同样无法防止用户使用自定义数据重新学习非法模型适配的知识。在本文中，我们提出了 FreezeAsGuard，这是一种新技术，旨在解决这些局限性并实现对扩散模型非法适配的不可逆缓解。我们的方法是，模型发布者选择性地冻结预训练扩散模型中对非法模型适配至关重要的张量，以削弱微调模型在非法适配中的表示能力，同时将对其他合法适配的影响降至最低。在多个文本到图像应用领域的实验结果表明，与具有竞争力的基线相比，FreezeAsGuard 在缓解非法模型适配方面的能力增强了 37%，同时对合法模型适配的影响不到 5%。源代码可在：https://github.com/pittisl/FreezeAsGuard 获取。