机器学习与机器反学习中的删除推断、重建与合规性

针对机器学习模型的隐私攻击旨在识别用于训练此类模型的数据。传统上，这类攻击研究的是经一次性训练且可被敌手访问的静态模型。受新法律要求的推动，许多机器学习方法近期被扩展以支持机器反学习，即更新模型以仿佛某些样本已从训练集中移除，并满足新的法律要求。然而，在这种新设定下隐私攻击可能更具破坏性，因为攻击者现在可同时访问删除前的原始模型与删除后的新模型。事实上，删除行为本身可能使被删记录更易遭受隐私攻击。受密码学定义与差分隐私框架启发，我们形式化研究了机器反学习的隐私影响。我们形式化了（多种形式的）删除推断与删除重建攻击，其中敌手旨在识别哪条记录被删除，或重建（可能是部分的）被删记录。随后，我们针对分类、回归与语言模型等多种机器学习模型与任务，给出了成功的删除推断与重建攻击。最后，我们表明若方案满足（变体的）删除合规性（Garg、Goldwasser 与 Vasudevan，Eurocrypt'20），则我们的攻击可被证明地避免。