SoK：以综合基准比较不同成员推断攻击
密码学与安全
2023-07-13 v1 机器学习
摘要
成员推断（MI）攻击通过判定给定数据样本是否用于训练目标模型来威胁用户隐私。然而，人们日益认识到现有工作中使用的“比较不同 MI 攻击”方法存在严重局限。由于这些局限，我们发现（通过本文实验）文献中报道的某些比较结果颇具误导性。在本文中，我们力求开发一个用于比较不同 MI 攻击的综合基准，称为 MIBench，其不仅包含评估指标，还包含评估场景。我们从四个角度设计评估场景：目标数据集中数据样本的距离分布、目标数据集中数据样本之间的距离、两个数据集（即目标数据集与仅含非成员的合成数据集）之间的差分距离，以及未被某 MI 攻击做出推断的样本比例。评估指标由十个典型评估指标组成。我们为所提“比较不同 MI 攻击”方法确定了三项原则，并设计实现了每个数据集含 84 个评估场景的 MIBench 基准。总计，我们使用该基准在 588 个评估场景下公平且系统地比较了 15 种最先进的 MI 攻击算法，这些评估场景覆盖 7 个广泛使用的数据集和 7 类代表性模型。MIBench 的所有代码与评估均公开于 https://github.com/MIBench/MIBench.github.io/blob/main/README.md。
引用
@article{arxiv.2307.06123,
title = {SoK: Comparing Different Membership Inference Attacks with a Comprehensive Benchmark},
author = {Jun Niu and Xiaoyan Zhu and Moxuan Zeng and Ge Zhang and Qingyang Zhao and Chunhui Huang and Yangming Zhang and Suyu An and Yangzhong Wang and Xinghui Yue and Zhipeng He and Weihao Guo and Kuo Shen and Peng Liu and Yulong Shen and Xiaohong Jiang and Jianfeng Ma and Yuqing Zhang},
journal= {arXiv preprint arXiv:2307.06123},
year = {2023}
}
备注
21 pages,15 figures