DDAP：针对文本到图像扩散模型的双域反个性化框架

基于扩散的个性化视觉内容生成技术已取得显著进展，使可仅通过学习来自少量参考照片的对象而实现特定对象的创建。然而，当这些技术被滥用以制造针对个体的虚假新闻或令人不安的内容时，可能对社会造成严重损害。为此，现有方法通过对抗性地最大化训练损失来生成对抗样本，从而扰乱任何基于这些样本训练的个性化生成模型的输出。然而，现有方法未能实现有效的防御且保持隐蔽性，因为忽视了扩散模型的内在特性。本文引入一种新的双域反个性化框架（DDAP）。具体而言，我们开发了空间扰动学习（SPL），利用图像编码器的固定性和对扰动敏感性进行建模。随后，我们设计了频率扰动学习（FPL）方法，利用扩散模型在频域特性。SPL 扰乱生成图像的整体纹理，而 FPL 则聚焦于图像细节。通过在这两种方法之间交替工作，构建 DDAP 框架，有效地发挥了两个领域的优势。为进一步提升对抗样本的视觉质量，我们设计了一个局部化模块，以准确捕获注意力区域，确保攻击有效性，同时避免背景中不必要的干扰。大量实验表明，所提出的 DDAP 在扰乱个性化生成模型方面具有更大的破坏力，同时保持对抗样本的高质量，使其在实际应用中更有效地保护了隐私。