中文

难以遗忘:针对认证机器遗忘的投毒攻击

机器学习 2022-02-11 v2 密码学与安全

摘要

删除权要求组织从其持有的数据中移除用户的信息,严格的解释延伸至下游产品如学习到的模型。从头重新训练并省略特定用户的数据可完全消除其对所得模型的影响,但计算成本高昂。机器“遗忘”缓解了完全重训带来的成本:相反,模型被增量更新,可能仅在近似误差累积时才需要重训。在使遗忘模型与重训模型不可区分的隐私保证方面已取得快速进展,但当前的形式化方法未对计算给出实际界限。在本文中,我们展示了攻击者如何利用这一疏忽,揭示了由机器遗忘引入的新攻击面。我们考虑一个旨在增加数据移除计算成本的攻击者。我们推导并实证研究了针对认证机器遗忘的一种投毒攻击,其中策略性设计的训练数据在被移除时会触发完全重训。

关键词

引用

@article{arxiv.2109.08266,
  title  = {Hard to Forget: Poisoning Attacks on Certified Machine Unlearning},
  author = {Neil G. Marchant and Benjamin I. P. Rubinstein and Scott Alfeld},
  journal= {arXiv preprint arXiv:2109.08266},
  year   = {2022}
}

备注

Align with camera-ready submission to AAAI-22. Changes include: switched to row-wise normalization in Algorithm 3, added link to GitHub repository, added Appendix C with additional results on long-term effectiveness