面向定制化扩散模型的提示无关对抗扰动

扩散模型革新了定制化文本到图像生成，能够通过文本描述从个人数据高效合成照片。然而，这些进展带来了隐私泄露和艺术品未经授权复制等风险。先前研究主要围绕使用提示特定的方法生成对抗样本来保护个人图像，但现有方法的有效性受到对不同提示适应能力受限的制约。在本文中，我们提出了一种面向定制化扩散模型的提示无关对抗扰动（PAP）方法。PAP首先使用拉普拉斯近似对提示分布进行建模，然后通过最大化基于该建模分布的扰动期望来生成提示无关的扰动。该方法有效应对了提示无关攻击，从而提升了防御的稳定性。在面部隐私和艺术风格保护方面的大量实验表明，PAP相较于现有方法具有更优的泛化能力。我们的项目页面位于 https://github.com/vancyland/Prompt-Agnostic-Adversarial-Perturbation-for-Customized-Diffusion-Models.github.io。