FedRewind：去中心化联邦学习中的倒回持续模型交换
机器学习
2024-11-18 v1
摘要
本文提出了FedRewind，一种去中心化联邦学习的新方法，利用节点间的模型交换来解决数据分布偏移问题。受持续学习（CL）原则和认知神经科学记忆保持理论的启发，FedRewind实现了一种去中心化路由机制，节点在联邦中向其他节点发送/接收模型，以解决分布式学习（FL）固有的空间分布挑战。在本地训练期间，联邦节点周期性地将其模型发送回（即倒回）它们接收模型的节点，进行有限次数的迭代。该策略减少了节点间数据的分布偏移，从而提升了学习和泛化性能。我们在多个基准上评估了该方法，展示了其优于标准去中心化联邦学习方法和强制特定路由方案的方法。此外，联邦学习与持续学习概念的结合使我们的方法能够应对更具挑战性的联邦持续学习任务，即数据在空间和时间上均发生偏移，超越了现有基线。
引用
@article{arxiv.2411.09842,
title = {FedRewind: Rewinding Continual Model Exchange for Decentralized Federated Learning},
author = {Luca Palazzo and Matteo Pennisi and Federica Proietto Salanitri and Giovanni Bellitto and Simone Palazzo and Concetto Spampinato},
journal= {arXiv preprint arXiv:2411.09842},
year = {2024}
}