基于 h 空间的对抗攻击: 用于防御少样本个性化

扩散模型在从少量样本生成定制图像方面具有高度灵活性，这引发了关于未经授权修改私有内容的隐私担忧。这一关切问题促使人们致力于开发基于对抗攻击的保护机制，这些机制生成有效扰动以中毒扩散模型。我们的工作受到这样一种观察的启发:这些模型在其语义潜空间 (h 空间) 中具有高度抽象化,该空间编码了用于生成连贯且有意义内容的关键高层特征。在本文中,我们提出了一种新的反定制方法,称为 HAAD (h 空间基于对抗攻击用于扩散模型),该方法利用对抗攻击在 h 空间中制造扰动,以有效降低图像生成过程。建立在 HAAD 基础上,我们进一步引入了一个更高效的变体 HAAD-KV,该变体仅基于 h 空间的 KV 参数构建扰动。该策略提供了更强的保护,且计算成本更低。尽管其简单性强,我们的方法仍优于对抗攻击的最新技术,凸显了其有效性。