真实世界基准使成员推断攻击在扩散模型上失败
机器学习
2024-10-07 v1
摘要
扩散模型上的成员推断攻击（Membership Inference Attacks, MIAs）已成为检测预训练扩散模型训练中未经授权数据使用情况的潜在证据。这些攻击旨在检测扩散模型训练数据集中特定图像的存在。我们的研究深入评估了扩散模型上最先进的 MIA 方法，揭示了现有 MIA 评估中存在的关键缺陷和过于乐观的性能估计。我们引入了 CopyMark，一个更真实的 MIA 基准，区别于支持预训练扩散模型、无偏数据集和公平评估管道。通过大量实验，我们证明，在这些更实际的条件下，当前 MIA 方法的有效性显著下降。基于我们的发现，我们警告称，目前 MIA 状态下，尚不是可靠的用于识别扩散模型中未经授权数据使用的 approach。据我们了解，我们是首次发现扩散模型上 MIA 性能被高估并提出统一基准进行更真实评估的人。我们的代码可在 GitHub 上获取：\url{https://github.com/caradryanl/CopyMark}。
引用
@article{arxiv.2410.03640,
title = {Real-World Benchmarks Make Membership Inference Attacks Fail on Diffusion Models},
author = {Chumeng Liang and Jiaxuan You},
journal= {arXiv preprint arXiv:2410.03640},
year = {2024}
}