基于增量聚合梯度的持续联邦学习收敛性研究
机器学习
2025-11-11 v3 分布式、并行与集群计算
摘要
机器学习的终极目标是实现持续联邦学习（CFL），以在从流数据中学习的同时，增强人工智能系统的效率、隐私性和可扩展性。CFL 系统的主要挑战是克服全局灾难性遗忘，即在新任务上训练的全局模型在旧任务上的准确率下降。在这项工作中，我们提出了基于聚合梯度的持续联邦学习（C-FLAG），这是一种新颖的基于回放记忆的联邦策略，由基于记忆的边缘梯度更新和基于当前数据的聚合梯度组成。我们提供了 C-FLAG 方法的收敛性分析，该方法在解决遗忘和偏差问题的同时，在 T 轮通信中以 O(1/√T) 的速率收敛。我们构建了一个最小化灾难性遗忘的优化子问题，将 CFL 转化为一个具有自适应学习率的迭代算法，确保跨任务的无缝学习。我们通过实验证明，在任务增量和类别增量设置下，C-FLAG 在准确率和遗忘率等指标上均优于多个最先进的基线方法。
引用
@article{arxiv.2411.07959,
title = {On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients},
author = {Satish Kumar Keshri and Nazreen Shah and Ranjitha Prasad},
journal= {arXiv preprint arXiv:2411.07959},
year = {2025}
}
备注
Accepted at AISTATS 2025. (https://proceedings.mlr.press/v258/keshri25a.html)