通过靶向跨注意力对抗攻击实现个性化扩散模型隐私保护

定制化视觉内容的需求不断增长，推动了个性化文本到图像扩散模型的兴起。尽管这些模型具有巨大的潜力，但在被滥用时会造成显著的隐私风险。本文提出一种新型且高效的对抗攻击方法，即通过选择性注意力操控实现概念保护(Concept Protection by Selective Attention Manipulation, CoPSAM)，该方法仅针对文本到图像扩散模型的跨注意力层。为此，我们仔细构建不可感知的噪声以获取其对抗样本。这一结果通过最大化用户特定标记与类别特定标记对应的跨注意力图之间的差异来实现，在微调过程中获得。在CelebA-HQ人脸图像数据集的子集上进行实验验证表明，我们的方法在已有方法之上。除了此，本方法还呈现出两种重要优势，源于定性评估：(i) 我们在较低噪声水平下获得比竞争者更好的保护效果；(ii) 我们保护内容免受未经授权的使用，从而保护个人身份免受潜在滥用。