Make the Most of Everything: Further Considerations on Disrupting Diffusion-based Customization
计算机视觉与模式识别
2025-03-19 v1
摘要
文本到图像扩散模型的精调技术促进了图像定制，但风险包括隐私泄露和意见操控。当前研究聚焦于针对反定制的提示或图像层次的对抗攻击，却忽略了这两个层次之间的相关性以及内部模块与输入之间的关系，限制了实际威胁情景下的反定制性能。我们提出Dual Anti-Diffusion（DADiff），一种针对扩散定制的两阶段对抗攻击，首次将对抗提示层次的攻击集成到图像层次对抗示例的生成过程中。在阶段1中，我们生成对抗提示向量以引导后续的图像层次攻击。在阶段2中，除了对UNet模型进行端到端攻击外，我们破坏其自注意力和跨注意力模块，旨在打破图像像素与提示之间的相关性，并在图像中将使用实例提示和对抗提示向量计算的跨注意力结果进行对齐。此外，我们引入一种局部随机时间步梯度集合策略，通过整合来自多个分段时间集合的随机梯度来更新对抗扰动。在 various 活主流人脸数据集上进行的实验结果表明，与现有方法相比，DADiff在跨提示、关键词不匹配、跨模型和跨机制反定制方面提高了10%-30%。
引用
@article{arxiv.2503.13945,
title = {Make the Most of Everything: Further Considerations on Disrupting Diffusion-based Customization},
author = {Long Tang and Dengpan Ye and Sirun Chen and Xiuwen Shi and Yunna Lv and Ziyi Liu},
journal= {arXiv preprint arXiv:2503.13945},
year = {2025}
}