通过语义偏离破坏基于扩散的图像填充

随着基础文本到图像扩散模型的出现，网络和社交媒体上的视觉虚假信息制造速度呈指数级增长。具体而言，Stable Diffusion inpainters允许合成被恶意填充的个人和私人形象以及受版权保护内容的图像，亦即所谓的深度伪造（deepfakes）。为对抗此类生成，已提出一种破坏框架，即Photoguard，通过为上下文图像添加对抗性噪声来破坏其图像填充合成。尽管该框架建议了一种扩散友好的方法，但破坏力度不足，且需要大量GPU资源和时间才能为上下文图像提供免疫。本文重新审视了成功图像填充破坏的最小条件和最佳条件，提出了DDD框架，即“引导语义偏离的扩散破坏”。首先，我们识别了相对于隐藏空间最具对抗性脆弱性的扩散时间步长范围。在此无噪流形范围内，我们将问题建模为语义偏离优化。我们最大化图像填充实例的隐藏状态与语义感知的隐藏状态质心之间的距离，该质心通过蒙特卡洛抽样隐藏状态和离散投射优化（在词汇空间中）进行校准。有效地，我们的方法在破坏力度和成功率上均优于Photoguard，同时降低了GPU内存要求，并将优化速度提高了最高可达三倍。