Anti-Diffusion：防止基于扩散模型的修改被滥用
计算机视觉与模式识别
2025-03-10 v1
摘要
尽管基于扩散的技术在图像生成和编辑任务中取得了显著成功，但其滥用可能导致严重的负面社会影响。最近，一些工作被提出以防御基于扩散方法的滥用。然而，它们的保护在特定场景下可能受到手动定义的提示词或稳定扩散（SD）版本的限制。此外，这些方法仅关注微调方法，忽略了同样可能构成重大威胁的编辑方法。在本工作中，我们提出了 Anti-Diffusion，这是一个为通用基于扩散方法设计的隐私保护系统，适用于微调和编辑技术。为了减轻手动定义提示词对防御性能的限制，我们引入了提示词微调（PT）策略，能够精确表达原始图像。为了对微调和编辑方法均提供防御，我们提出了语义扰动损失（SDL）来破坏受保护图像的语义信息。鉴于针对编辑方法防御的研究有限，我们开发了一个名为 Defense-Edit 的数据集，以评估各种方法的防御性能。实验表明，我们的 Anti-Diffusion 在不同场景下的广泛基于扩散技术中均实现了卓越的防御性能。
引用
@article{arxiv.2503.05595,
title = {Anti-Diffusion: Preventing Abuse of Modifications of Diffusion-Based Models},
author = {Zheng Li and Liangbin Xie and Jiantao Zhou and Xintao Wang and Haiwei Wu and Jinyu Tian},
journal= {arXiv preprint arXiv:2503.05595},
year = {2025}
}