AdvPaint：通过对抗性注意力干扰保护图像免受修复操作
计算机视觉与模式识别
2025-03-14 v1 密码学与安全
摘要
扩散模型在生成高质量图像方面的卓越能力在被恶意利用时构成了重大威胁。特别是，我们假设恶意攻击者利用扩散模型进行修复任务，例如用名人替换特定区域。虽然现有的保护图像免受基于扩散的生成模型操作的方法主要集中在图像到图像和文本到图像任务上，但防止未经授权的修复的挑战很少被解决，通常导致次优的保护性能。为了减轻修复滥用，我们提出了ADVPAINT，一种新颖的防御框架，它生成能有效干扰攻击者修复任务的对抗性扰动。ADVPAINT针对目标扩散修复模型中的自注意力和交叉注意力块，以在图像生成过程中干扰语义理解和提示交互。ADVPAINT还采用了两阶段扰动策略，基于对象周围的扩大边界框划分扰动区域，增强了对不同形状和大小掩码的鲁棒性。我们的实验结果表明，ADVPAINT的扰动在干扰攻击者的修复任务方面非常有效，优于现有方法；ADVPAINT在FID上实现了超过100分的提升，并显著降低了精确度。
引用
@article{arxiv.2503.10081,
title = {AdvPaint: Protecting Images from Inpainting Manipulation via Adversarial Attention Disruption},
author = {Joonsung Jeon and Woo Jae Kim and Suhyeon Ha and Sooel Son and Sung-eui Yoon},
journal= {arXiv preprint arXiv:2503.10081},
year = {2025}
}
备注
Accepted to ICLR 2025