基于近端初始化的扩散模型高效成员推断攻击
声音
2023-10-10 v2 人工智能
机器学习
音频与语音处理
摘要
近年来，扩散模型在图像与音频生成等生成任务中取得了显著成功。然而，与其他生成模型一样，扩散模型也存在隐私问题。本文提出一种高效的基于查询的成员推断攻击（MIA），即近端初始化攻击（PIA），其利用由在 处初始化的 和预测点所获得的真实轨迹来推断成员关系。实验结果表明，所提方法在离散时间与连续时间扩散模型上仅用两次查询即可取得具有竞争力的性能。此外，先前关于扩散模型隐私的研究集中于视觉任务，未考虑音频任务。因此，我们还在文本到语音（TTS）这一音频生成任务中探讨了扩散模型对 MIA 的鲁棒性。据我们所知，本工作是首个在 TTS 任务中研究扩散模型对 MIA 鲁棒性的工作。实验结果表明，具有梅尔频谱（类图像）输出的模型易受 MIA 攻击，而具有音频输出的模型对 MIA 相对鲁棒。{代码见 \url{https://github.com/kong13661/PIA}}。
引用
@article{arxiv.2305.18355,
title = {An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization},
author = {Fei Kong and Jinhao Duan and RuiPeng Ma and Hengtao Shen and Xiaofeng Zhu and Xiaoshuang Shi and Kaidi Xu},
journal= {arXiv preprint arXiv:2305.18355},
year = {2023}
}