基于语义注入的扩散模型图像编辑通用免疫

近期扩散模型的进展已实现基于自然语言提示的强大图像编辑能力，开辟了新的创意可能性。然而它们引入了显著的伦理和法律风险，如深度伪造和未经授权的版权视觉内容使用。为此，图像免疫作为防御AI驱动语义操纵的热门方法。然而，大多数现有方法依赖针对单个图像的图像特定对抗扰动，限制了其可扩展性和实用性。本文我们提出首个通用图像免疫框架，该框架生成单一的、广泛适用的对抗扰动，专为扩散模型编辑管道设计。灵感来自针对目标攻击的通用对抗扰动（UAP）技术，我们的方法生成一种UAP，将语义目标嵌入需受保护的图像。同时抑制原始内容，以有效误导模型在编辑期间的注意力。结果，我们的方法有效阻止恶意编辑尝试，通过UAP覆盖图像中的原始语义内容。此外，我们的方法即使在无数据自由设置下也能有效工作，而无需访问训练数据或领域知识，进一步增强了其实用性和广泛适用性。广泛实验表明，我们的方法作为首个通用免疫方法，显著优于多个基线方法在UAP设置下的性能。尽管通用扰动固有的困难，我们的方法也在较受限制的扰动预算下实现与图像特定方法相当的性能，同时表现出强大的黑箱迁移性，跨越不同的扩散模型。