通过隐私感知稀疏调优防御成员推断攻击
机器学习
2024-10-10 v1 人工智能
摘要
超大参数模型通常易受成员推断攻击，这类攻击旨在确定特定样本是否包含在给定模型的训练中。以往的权重正则化方法（如 L1 正则化）对所有参数施加统一惩罚，导致在模型实用性与隐私之间的权衡次优。在本工作中，我们首先表明，仅有少数参数对隐私风险贡献显著。基于此，我们提出一种隐私感知稀疏调优方法（Privacy-aware Sparsity Tuning, PAST），作为 L1 正则化的简单改进，通过对不同参数施加自适应惩罚。我们 PAST 的关键思想是促进对显著贡献隐私泄露的参数的稀疏化。具体而言，我们根据每个参数的隐私敏感性（即损失间隙相对于参数的梯度）构建该参数的自适应权重。使用 PAST，该网络缩小了成员与非成员之间的损失间隙，从而提供强大的隐私攻击抵抗力。大量实验表明，PAST 在隐私-实用性权衡方面具有优势，实现了最新的水平。
引用
@article{arxiv.2410.06814,
title = {Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning},
author = {Qiang Hu and Hengxiang Zhang and Hongxin Wei},
journal= {arXiv preprint arXiv:2410.06814},
year = {2024}
}