中文

Lumos:去中心化设备上面向异构感知的联邦图学习

机器学习 2024-02-20 v3 分布式、并行与集群计算

摘要

图神经网络(GNN)因处理图结构数据的能力已广泛部署于现实网络应用与系统中。然而,数据隐私意识的增强严重挑战了传统集中式模型训练范式(服务器掌握所有图信息)。联邦学习是一种新兴协作计算范式,允许在不集中数据的情况下进行模型训练。现有联邦 GNN 研究主要关注客户端持有不同图或子图的系统。实际的节点级联邦情形(每个客户端仅知晓其直接邻居)尚待研究。本文中,我们提出首个称为 Lumos 的联邦 GNN 框架,支持在节点级联邦图上进行带特征与度保护的有监督与无监督学习。我们首先设计树构造器以在有限结构信息下提升表示能力。进一步提出基于蒙特卡洛马尔可夫链的算法,以缓解由度异构引起的负载不均衡,并具有理论保证的性能。基于为每个客户端构造的树,提出去中心化基于树的 GNN 训练器以支持多样化训练。大量实验表明 Lumos 以显著更高精度优于基线,并大幅降低通信开销与训练时间。

关键词

引用

@article{arxiv.2303.00492,
  title  = {Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized Devices},
  author = {Qiying Pan and Yifei Zhu and Lingyang Chu},
  journal= {arXiv preprint arXiv:2303.00492},
  year   = {2024}
}

备注

13 pages, 7 figures, published in the Proceedings of the 39th IEEE International Conference on Data Engineering (ICDE 2023)