揭示结构记忆：面向文本到图像扩散模型的结构成员推断攻击
计算机视觉与模式识别
2024-07-19 v1
摘要
随着大规模文本到图像扩散模型的快速发展，various 实际应用不断涌现，为社会带来了便利。然而，模型开发者可能滥用未经授权的数据训练扩散模型，这些数据风险被模型记忆，从而可能侵犯公民隐私权。为判断特定图像是否被用作模型训练集的成员，成员推断攻击（MIA）被提出作为隐私保护工具。当前 MIA 方法主要利用像素级比较作为区分线索，认为扩散模型的像素级记忆特性是主要特征。然而，文本到图像模型不可能记忆大量训练集中所有像素级信息。因此，我们转向更高级的结构级记忆。对扩散过程的观察表明，成员图像的结构保存得更好，这表明扩散模型具备从训练集记忆成员图像结构的能力。基于这些洞见，我们提出一种针对文本到图像扩散模型的简单而有效的 MIA 方法。广泛的实验结果验证了我们方法的有效性。与当前像素级基线相比，我们的方法不仅实现了最佳性能，还在各种扰动下表现出显著的鲁棒性。
引用
@article{arxiv.2407.13252,
title = {Unveiling Structural Memorization: Structural Membership Inference Attack for Text-to-Image Diffusion Models},
author = {Qiao Li and Xiaomeng Fu and Xi Wang and Jin Liu and Xingyu Gao and Jiao Dai and Jizhong Han},
journal= {arXiv preprint arXiv:2407.13252},
year = {2024}
}