基于梯度下降与冲突缓解的联邦数据遗忘

联邦学习（Federated Learning, FL）近年来受到广泛关注。尽管客户端在联邦学习中无需共享数据，但全局模型本身可以隐式地记住客户端的本地数据。因此，有必要有效地从联邦学习全局模型中移除目标客户端的数据，以缓解隐私泄露风险并实现“被遗忘权利”。联邦数据遗忘（Federated Unlearning, FU）被视为一种在不进行完整重新训练的情况下移除数据的有前景的方法。然而，由于梯度冲突，数据遗忘过程中模型性能容易显著下降。此外，在进行后训练以恢复模型性能时，模型容易回退，撤销已完成的数据遗忘。为解决上述问题，我们提出了一种基于正交最速下降的方法进行联邦数据遗忘（FedOSD）。我们首先设计一种用于遗忘的交叉熵损失，以克服梯度上升的收敛问题。随后，在确保与其他客户端梯度不冲突且最接近目标客户端梯度的条件下，计算遗忘的最速下降方向。这有助于高效遗忘并减轻模型性能下降。数据遗忘后，我们通过维持数据遗忘成果来恢复模型性能。最终，在多个联邦学习场景下的大量实验表明，FedOSD 在数据遗忘和模型性能方面均优于当前最先进的联邦数据遗忘算法。