利用噪声实现联邦遗忘学习
机器学习
2024-12-10 v1 密码学与安全
分布式、并行与集群计算
摘要
在联邦学习中，多个客户端协作训练模型而无需共享原始数据。这种范式可以通过差分隐私进一步增强，以保护本地数据免受信息推断攻击，因此被称为DPFL。一项新兴的隐私需求——“被遗忘权”，给DPFL带来了新的挑战，但很大程度上仍未得到探索。尽管关于联邦遗忘学习已有大量研究，但它们不适用于DPFL，因为DP机制引入的噪声损害了其有效性和效率。在本文中，我们首次提出了具有不可区分性的联邦遗忘学习（FUI），以在DPFL中遗忘目标客户端的本地数据。FUI包括两个主要步骤：本地模型回退和全局噪声校准，从而得到一个与重新训练模型在统计上不可区分的遗忘模型。具体来说，我们证明了DPFL中添加的噪声可以在本地模型回退后赋予遗忘模型一定程度的不可区分性，然后通过全局噪声校准来加强遗忘程度。此外，为了高效且一致地实现所提出的FUI，我们构建了一个两阶段Stackelberg博弈，以推导服务器和目标客户端双方的最优遗忘策略。隐私和收敛性分析证实了理论保证，基于四个真实数据集的实验结果表明，与主流联邦遗忘方案相比，我们提出的FUI实现了更优的模型性能和更高的效率。仿真结果进一步验证了所推导遗忘策略的最优性。
关键词
引用
@article{arxiv.2412.05529,
title = {Upcycling Noise for Federated Unlearning},
author = {Jianan Chen and Qin Hu and Fangtian Zhong and Yan Zhuang and Minghui Xu},
journal= {arXiv preprint arXiv:2412.05529},
year = {2024}
}