超越联邦:面向未见客户端的拓扑感知联邦学习
机器学习
2024-07-09 v1 分布式、并行与集群计算
摘要
联邦学习广泛用于解决分布式敏感数据的问题。现有方法主要关注解决联邦内数据异构性,但我们注意到它们在应用于未见客户端进行联邦外(OOF)泛化时会出现显著性能下降。近期试图解决未见客户端泛化的问题的研究方法通常难以扩展到大规模分布式设置,due to 高通信或计算成本。而那些能够扩展的方法往往表现出较差的泛化能力。为实现可扩展的 OOF 鲁棒性,我们提出拓扑感知联邦学习(TFL),该方法利用客户端拓扑——表示客户端关系的图——有效地训练对 OOF 数据鲁棒的模型。我们构建了一个新的优化问题用于 TFL,包含两个关键模块:客户端拓扑学习,该模块以隐私保护方式推断客户端之间的关系;在客户端拓扑上的学习,该模块利用所学拓扑识别关键客户端并将此信息纳入联邦学习优化过程,以高效构建鲁棒模型。在多种真实数据集上的经验评估验证了 TFL 在 OOF 鲁棒性和可扩展性方面的优势。
引用
@article{arxiv.2407.04949,
title = {Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients},
author = {Mengmeng Ma and Tang Li and Xi Peng},
journal= {arXiv preprint arXiv:2407.04949},
year = {2024}
}
备注
ICML 2024