FedUHB：基于 Polyak 重球法加速联邦遗忘
机器学习
2024-11-19 v1 分布式、并行与集群计算
摘要
联邦学习促进了协作式机器学习，使多个参与者能够共同开发共享模型，同时保护个人数据的隐私。“被遗忘权”日益增长的重要性要求有有效的机制来根据请求删除数据。作为回应，联邦遗忘（FU）被开发出来，以有效地消除模型中特定数据的影响。当前的 FU 方法主要依赖于近似遗忘策略，这些策略试图在数据删除效果与计算和通信成本之间取得平衡，但往往无法完全消除数据影响。为了解决这些局限性，我们提出了 FedUHB，这是一种新颖的精确遗忘方法，它利用 Polyak 重球优化技术（一种一阶方法）来实现快速重训练。此外，我们引入了一种动态停止机制来优化遗忘过程的终止。我们广泛的实验表明，FedUHB 不仅提高了遗忘效率，而且在遗忘后保持了稳健的模型性能。此外，动态停止机制有效地减少了遗忘迭代次数，节省了计算和通信资源。FedUHB 可被证明是联邦学习环境中精确数据删除的有效且高效的解决方案。
关键词
引用
@article{arxiv.2411.11039,
title = {FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method},
author = {Yu Jiang and Chee Wei Tan and Kwok-Yan Lam},
journal= {arXiv preprint arXiv:2411.11039},
year = {2024}
}