通过无忘却集合实现隐私风险缓解
机器学习
2026-04-14 v1
摘要
训练机器学习模型需要存储大型数据集，这些数据集通常包含敏感或私有数据。存储数据与一系列潜在风险相关联，这些风险会随时间的推移增加，例如数据库泄露和恶意对手。机器学习遗忘是研究如何有效地从先前训练的模型中删除训练数据子集影响的方法。现有的遗忘方法通常需要对"要遗忘的集合"（forget set）--即要遗忘的数据--具有直接访问权限;组织必须保留这些数据以进行遗忘，而不是在请求删除时立即删除，从而增加要遗忘集合相关的风险。我们引入部分盲目遗忘--利用辅助信息在不显式访问要遗忘集合的情况下进行遗忘。我们还提出了一种实用框架 Reload，一种基于梯度优化和结构化稀疏化的部分盲目方法，用于实现部分盲目遗忘。我们表明 Reload 有效地进行遗忘，近似地再训练模型，并且在多个要遗忘集合依赖方法中表现更好。在语言模型上，Reload 使用不到 0.025% 的保留集合和不到 7% 的模型权重在不到 8 分钟内对 Llama2-7B 进行遗忘。在纠正情况下，Reload 即使只有 10% 的损坏数据被识别，也能实现遗忘。
引用
@article{arxiv.2604.10636,
title = {Mitigating Privacy Risk via Forget Set-Free Unlearning},
author = {Aviraj Newatia and Michael Cooper and Viet Nguyen and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2604.10636},
year = {2026}
}
备注
50 pages, 20 figures, Published at The Fourteenth International Conference on Learning Representations