中文

对于成员推断,参数比损失函数揭示更多信息吗?

机器学习 2024-12-20 v4 人工智能 密码学与安全

摘要

成员推断攻击被用作披露审计的关键工具。其目的是推断某个个体记录是否被用于训练模型。虽然此类评估有助于展示风险,但计算成本高昂,并且通常对潜在对手访问模型和训练环境的能力做出强假设,因此无法为潜在攻击的泄露提供紧致界。我们证明了先前关于黑盒访问足以实现最优成员推断的论断对于随机梯度下降并不成立,并且最优成员推断确实需要白盒访问。我们的理论结果催生了一种新的白盒推断攻击 IHA(逆 Hessian 攻击),它通过利用计算逆 Hessian 向量积来显式地使用模型参数。我们的结果表明,审计者和对手都可能从访问模型参数中受益,我们提倡进一步研究用于成员推断的白盒方法。

关键词

引用

@article{arxiv.2406.11544,
  title  = {Do Parameters Reveal More than Loss for Membership Inference?},
  author = {Anshuman Suri and Xiao Zhang and David Evans},
  journal= {arXiv preprint arXiv:2406.11544},
  year   = {2024}
}

备注

Accepted to Transactions on Machine Learning Research (TMLR)