在具有非独立同分布数据的联邦学习中通过保留全局知识梯度避免遗忘
机器学习
2025-07-02 v3 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
性能
摘要
数据异质性的不可避免存在使得联邦学习变得非常具有挑战性。有许多方法可以处理这个问题，例如局部正则化、更好的模型融合技术和数据共享。尽管有效，但它们缺乏对数据异质性如何影响全局决策边界的深刻理解。在本文中，我们通过使用一个简单示例对学习到的决策边界进行实验分析来弥合这一差距。我们的观察令人惊讶： 我们发现现有方法存在遗忘问题，客户端会忘记全局决策边界而只学习到完美的局部决策边界； 无论初始权重如何，这种情况都会发生，客户端甚至从预训练的最优权重开始也会忘记全局决策边界。在本文中，我们提出了 FedProj，这是一个联邦学习框架，能够稳健地学习全局决策边界并避免在局部训练中对其产生遗忘。为了实现更好的集成知识融合，我们设计了一种新颖的服务器端集成知识迁移损失，以进一步校准学习到的全局决策边界。为了缓解学习到的全局决策边界被遗忘的问题，我们进一步提出利用在公共无标签数据集上的平均集成 logits 的情景记忆，以在局部训练的每一步调节梯度更新。实验结果表明，FedProj 以较大优势优于 SOTA 方法。
引用
@article{arxiv.2505.20485,
title = {Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data},
author = {Abhijit Chunduru and Majid Morafah and Mahdi Morafah and Vishnu Pandi Chellapandi and Ang Li},
journal= {arXiv preprint arXiv:2505.20485},
year = {2025}
}