FedGCN:图卷积网络联邦训练中的收敛-通信权衡
机器学习
2023-12-19 v7 分布式、并行与集群计算
摘要
由于图规模庞大以及数据就地留存的相关规定,在分布于多个客户端的图上训练模型的方法近来日益流行。然而,跨客户端边在客户端间自然存在。因此,在单一图上训练模型的分布式方法要么导致客户端间显著的通信开销,要么造成训练可用信息的损失。我们提出联邦图卷积网络(FedGCN)算法,该算法使用联邦学习以快速收敛和低通信开销训练用于半监督节点分类的 GCN 模型。与先前需要在每轮训练中进行额外客户端间通信的方法相比,FedGCN 客户端仅在一个预训练步骤中与中心服务器通信,大幅降低了通信成本,并允许使用同态加密进一步增强隐私。我们从理论上分析了不同数据分布下 FedGCN 收敛率与通信成本之间的权衡。实验结果表明,与先前工作相比,我们的 FedGCN 算法实现了更好的模型精度,平均收敛速度加快 51.7%,且通信量至少减少 100 倍。
引用
@article{arxiv.2201.12433,
title = {FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks},
author = {Yuhang Yao and Weizhao Jin and Srivatsan Ravi and Carlee Joe-Wong},
journal= {arXiv preprint arXiv:2201.12433},
year = {2023}
}
备注
Code in https://github.com/yh-yao/FedGCN