联邦正交训练:缓解持续联邦学习中的全局灾难性遗忘
机器学习
2023-10-18 v3
摘要
联邦学习(FL)因能在去中心化数据上实现隐私保护训练而备受关注。当前 FL 文献多聚焦于单任务学习。然而随着时间推移,客户端可能出现新任务,全局模型应在不遗忘旧任务的前提下学习这些新任务。这一现实场景被称为持续联邦学习(CFL)。CFL 的主要挑战是全局灾难性遗忘,即全局模型在新任务上训练时,其在旧任务上的性能下降。近期已有若干 CFL 工作提出旨在解决全局灾难性遗忘问题的方法。但这些工作要么对过往数据样本的可获得性有不现实假设,要么违背 FL 的隐私原则。我们提出一种新方法——联邦正交训练(FOT),以克服上述缺陷并解决 CFL 中的全局灾难性遗忘。我们的算法提取各旧任务的各层全局输入子空间,并修改新任务的聚合更新,使其对各层旧任务的全局主子空间正交。这降低了任务间干扰,而干扰正是遗忘的主因。我们通过实验表明,FOT 在 CFL 设定下优于最先进的持续学习方法,在遗忘降低 27% 的同时平均准确率提升高达 15%,且仅带来极小的计算与通信开销。
引用
@article{arxiv.2309.01289,
title = {Federated Orthogonal Training: Mitigating Global Catastrophic Forgetting in Continual Federated Learning},
author = {Yavuz Faruk Bakman and Duygu Nur Yaldiz and Yahya H. Ezzeldin and Salman Avestimehr},
journal= {arXiv preprint arXiv:2309.01289},
year = {2023}
}