基于多尺度梯度校正的层次化联邦学习
机器学习
2024-12-18 v3
摘要
虽然传统联邦学习 (FL) 通常 focuses on 星形拓扑，其中客户端直接连接到中心服务器，但现实中的分布式系统往往 exhibit 层次化架构。层次化联邦学习 (HFL) 作为一种Bridging this gap的解决方案，利用多个层级的聚合点。然而，现有针对 HFL 的算法在处理跨层次数据异构性导致的模型漂移时面临挑战。本文提出一种多尺度梯度校正 (MTGC) 方法以解决此问题。我们的核心思想是引入不同的控制变量来 (i) 将客户端梯度校正向群组梯度，即减少基于 individual 数据集的局部更新导致的客户端模型漂移，以及 (ii) 将群组梯度校正向全局梯度，即减少组内客户端的 FL 导致的群组模型漂移。我们在一般非凸设置下对 MTGC 的收敛行为进行分析，克服了校正项之间耦合带来的挑战。我们表明，该收敛界限对数据异构性程度免疫，确认了该算法在抵御多层非独立同分布数据方面的稳定性。通过在 various 数据集和模型上的大规模实验，我们验证了 MTGC 在 diverse HFL 设置下的有效性。该项目的代码可在 \href{https://github.com/wenzhifang/MTGC}{https://github.com/wenzhifang/MTGC} 获取。
引用
@article{arxiv.2409.18448,
title = {Hierarchical Federated Learning with Multi-Timescale Gradient Correction},
author = {Wenzhi Fang and Dong-Jun Han and Evan Chen and Shiqiang Wang and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2409.18448},
year = {2024}
}
备注
Accepted to NeurIPS 2024