FedGTA:面向联邦图学习的拓扑感知平均
机器学习
2024-01-23 v1 人工智能
数据库
社会与信息网络
摘要
联邦图学习 (FGL) 是一种分布式机器学习范式,支持在多个本地系统间的大规模子图上进行协作训练。现有的 FGL 研究分为两类:(i) FGL 优化,旨在改进现有机器学习模型中的多客户端训练;(ii) FGL 模型,旨在通过复杂的本地模型和多客户端交互提升性能。然而,大多数 FGL 优化策略专为计算机视觉领域设计,忽略了图结构,导致性能不佳且收敛缓慢。同时,FGL 模型研究中复杂的本地模型架构缺乏处理大规模子图的可扩展性,并存在部署限制。为解决这些问题,我们提出了联邦图拓扑感知聚合 (FedGTA),这是一种个性化优化策略,通过拓扑感知的局部平滑置信度和混合邻居特征进行优化。在实验中,我们在 12 个多尺度真实世界数据集上部署了 FedGTA,并采用 Louvain 和 Metis 划分。这使我们能够评估 FedGTA 在各种场景下的性能和鲁棒性。大量实验表明,FedGTA 在展现出高可扩展性和效率的同时,取得了最先进 (SOTA) 的性能。实验包括最具代表性的大规模图数据库 ogbn-papers100M,从而验证了我们方法在大规模图学习中的适用性。据我们所知,本研究是首个利用该优化策略将大规模图学习与 FGL 相结合的工作,促进了高效且可扩展的 FGL 方法的发展。
引用
@article{arxiv.2401.11755,
title = {FedGTA: Topology-aware Averaging for Federated Graph Learning},
author = {Xunkai Li and Zhengyu Wu and Wentao Zhang and Yinlin Zhu and Rong-Hua Li and Guoren Wang},
journal= {arXiv preprint arXiv:2401.11755},
year = {2024}
}
备注
Accepted by VLDB 2024