联邦遗忘学习

联邦学习（FL）近来已成为一种有前景的分布式机器学习（ML）范式。对“被遗忘权”的实际需求以及应对数据投毒攻击，呼唤能够从训练好的 FL 模型中移除或遗忘特定训练数据的高效技术。然而，ML 语境下已有的遗忘技术在 FL 中不再有效，主要源于 FL 与 ML 从数据学习的方式存在固有差异。因此，如何实现从 FL 模型中高效移除数据在很大程度上仍待探索。本文中，我们迈出填补此空白的第一步，提出 FedEraser——首个联邦遗忘方法论，它能在显著减少构建遗忘后 FL 模型所用时间的同时，消除某个联邦客户端数据对全局 FL 模型的影响。FedEraser 的基本思想是以中心服务器的存储换取遗忘模型的构建时间，其通过利用 FL 训练过程中保留在中心服务器的联邦客户端历史参数更新来重构遗忘模型。进一步提出一种新颖的校准方法以校准所保留的更新，这些更新进而被用于迅速构建遗忘模型，在保持模型效用的同时大幅加速遗忘模型的重构。在四个真实数据集上的实验证明了 FedEraser 的有效性，与从头重训相比预期加速达 $4\times$。我们视本工作为 FL 迈向以公平透明方式符合法律与伦理标准的早期一步。