FedGraphNN:面向图神经网络的联邦学习系统与基准
摘要
得益于图神经网络(GNN)从图结构数据中学习分布式表示的能力,其研究正快速增长。然而,出于隐私顾虑、监管限制和商业竞争,集中大量真实世界图数据用于 GNN 训练是不可行的。联邦学习(FL)作为一种新兴的分布式学习范式,在保护数据隐私的同时为解决该挑战提供了可能。尽管在视觉与语言领域已有近期进展,目前仍缺乏适用于 GNN 联邦学习的合适平台。为此,我们推出 FedGraphNN,一个可促进联邦 GNN 研究的开放 FL 基准系统。FedGraphNN 构建于图联邦学习的统一表述之上,包含来自不同领域的广泛数据集、流行的 GNN 模型与 FL 算法,并提供安全高效的系统支持。尤其在数据集方面,我们收集、预处理并划分了来自 7 个领域的 36 个数据集,包括公开可用数据集以及专门获取的数据集(如 hERG 和 Tencent)。我们的实证分析展示了该基准系统的效用,同时揭示了图联邦学习中的重大挑战:在大多数采用非独立同分布(non-IID)划分的数据集上,联邦 GNN 表现劣于集中式 GNN;在集中式设定下取得最佳结果的 GNN 模型,在 FL 设定下可能无法保持优势。这些结果表明,需要更多研究努力来揭示联邦 GNN 背后的奥秘。此外,我们的系统性能分析表明 FedGraphNN 系统对大规模图数据集计算高效且安全。我们在 https://github.com/FedML-AI/FedGraphNN 维护源代码。
引用
@article{arxiv.2104.07145,
title = {FedGraphNN: A Federated Learning System and Benchmark for Graph Neural Networks},
author = {Chaoyang He and Keshav Balasubramanian and Emir Ceyani and Carl Yang and Han Xie and Lichao Sun and Lifang He and Liangwei Yang and Philip S. Yu and Yu Rong and Peilin Zhao and Junzhou Huang and Murali Annavaram and Salman Avestimehr},
journal= {arXiv preprint arXiv:2104.07145},
year = {2021}
}
备注
Our shorter versions are accepted to ICLR 2021 Workshop on Distributed and Private Machine Learning(DPML) and MLSys 2021 GNNSys Workshop on Graph Neural Networks and Systems. The full version is under review