扰动注意力机制使你事半功倍：高效欺骗定制扩散模型的细微成像扰动
计算机视觉与模式识别
2024-10-14 v2 密码学与安全
机器学习
摘要
扩散模型（DMs）开启了生成建模的新时代，并为高效生成高质量且逼真的数据样本提供了更多机会。然而，它们的广泛使用也带来了模型安全方面的新挑战，促使人们创造更有效的针对扩散模型的对抗攻击方法以了解其脆弱性。我们提出了CAAT，这是一种简单但通用且高效的方法，无需昂贵的训练即可有效欺骗潜在扩散模型。该方法基于观察到交叉注意力层对梯度变化表现出更高的敏感性，从而允许利用对已发布图像的细微扰动来显著破坏生成的图像。我们表明，对图像的细微扰动可以显著影响交叉注意力层，从而在定制扩散模型的微调过程中改变文本与图像之间的映射。大量实验表明，CAAT与多种扩散模型兼容，并以更有效（更多噪声）和更高效（速度是Anti-DreamBooth和Mist的两倍）的方式优于基线攻击方法。
引用
@article{arxiv.2404.15081,
title = {Perturbing Attention Gives You More Bang for the Buck: Subtle Imaging Perturbations That Efficiently Fool Customized Diffusion Models},
author = {Jingyao Xu and Yuetong Lu and Yandong Li and Siyang Lu and Dongdong Wang and Xiang Wei},
journal= {arXiv preprint arXiv:2404.15081},
year = {2024}
}
备注
Published at CVPR 2024, code:https://github.com/CO2-cityao/CAAT