中文

面向生命周期不可忘诉义务管理:测度样本级不可忘诉完整性

机器学习 2025-06-09 v1 人工智能 密码学与安全

摘要

数据隐私与安全日益受到关注,凸显了机器不可忘诉——在不进行完整再训练的情况下从训练好的模型中移除特定数据影响的重要性。此类技术如成员推断攻击(Membership Inference Attacks, MIAs)广泛用于外部评估不可忘诉的成功情况。然而,现有方法面临两个关键局限:(1)最大化MIA的有效性(例如通过在线攻击)需要巨大的计算资源,往往超过再训练成本;(2)MIAs设计用于二元包含测试,难以捕捉近似不可忘诉中的细粒度变化。为此,我们提出了插值近似测度(Interpolated Approximate Measurement, IAM),该框架原生设计用于不可忘诉推断。IAM通过对查询样本上模型泛化-拟合行为差距进行插值,来量化样本级不可忘诉的完整性。IAM在exact不可忘诉的二元包含测试中表现出色,对于approximate不可忘诉的高相关性——仅需一个预训练的影子模型即可扩展至大型语言模型。我们对IAM的计分机制如何高效维持性能进行了理论分析。随后,我们将IAM应用于近期的approximate不可忘诉算法,揭示了both over-unlearning和under-unlearning的一般风险,凸显了approximate不可忘诉系统需要更强监控的重要性。代码已公开于 https://github.com/Happy2Git/Unlearning_Inference_IAM。

关键词

引用

@article{arxiv.2506.06112,
  title  = {Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness},
  author = {Cheng-Long Wang and Qi Li and Zihang Xiang and Yinzhi Cao and Di Wang},
  journal= {arXiv preprint arXiv:2506.06112},
  year   = {2025}
}

备注

To appear in the Proceedings of USENIX Security Symposium, 2025