模型会告诉你:面向扩散模型的训练成员推断
计算机视觉与模式识别
2024-03-14 v1
摘要
扩散模型带来了隐私泄露和版权争议的风险,主要源于训练阶段可能使用了未经授权的数据。训练成员推断(TMI)任务旨在判断特定样本是否被用于目标模型的训练过程,是验证隐私侵犯的关键工具。然而,扩散模型固有的随机性增强,使得传统的基于影子模型或基于度量的方法在应用于扩散模型时失效。此外,现有方法仅输出二分类标签,在实际应用中缺乏必要的可解释性。本文通过利用扩散模型内在的生成先验,为TMI任务探索了一个新视角。与未见过的样本相比,训练样本在扩散模型内表现出更强的生成先验,使得严重退化的训练图像能够被成功重建。据此,我们提出了“退化-恢复-比较”(DRC)框架。在该框架中,图像经历顺序退化和恢复,并通过将其与恢复后的对应图像进行比较来确定其成员身份。实验结果验证,我们的方法不仅在准确率上显著优于现有方法,而且提供了可理解的决策依据,为潜在的隐私侵犯提供了证据。
引用
@article{arxiv.2403.08487,
title = {Model Will Tell: Training Membership Inference for Diffusion Models},
author = {Xiaomeng Fu and Xi Wang and Qiao Li and Jin Liu and Jiao Dai and Jizhong Han},
journal= {arXiv preprint arXiv:2403.08487},
year = {2024}
}
备注
18 pages, 6 figures, 7 tables