解决联邦图学习中的局部偏差问题
机器学习
2024-08-27 v3 人工智能
密码学与安全
摘要
联邦图学习（FGL）已成为一个重要研究方向，以应对现实世界中图结构数据日益增长的规模与分布式特性。在 FGL 中，一个全局图分布于不同客户端，每个客户端持有一个子图。现有 FGL 方法往往无法有效利用跨客户端边，在训练过程中丢失结构信息；此外，局部图常表现出显著的分布式差异。这两个问题使得 FGL 中的局部模型不如集中式图学习中的模型理想，本文称之为局部偏差问题。为解决该问题，我们提出一种新颖的 FGL 框架，使局部模型接近于集中式设置下训练的模型。具体而言，我们设计了一种分布式学习方案，充分利用跨客户端边从其他客户端聚合信息。此外，我们提出一种标签引导采样方法，以缓解局部数据不平衡，同时显著降低训练开销。大量实验表明，局部偏差会损害模型性能并减缓训练收敛。实验结果也验证了我们的框架成功缓解了局部偏差，以更低的时间和内存开销取得了优于其他基线的性能。
引用
@article{arxiv.2110.12906,
title = {Tackling the Local Bias in Federated Graph Learning},
author = {Binchi Zhang and Minnan Luo and Shangbin Feng and Ziqi Liu and Jun Zhou and Qinghua Zheng},
journal= {arXiv preprint arXiv:2110.12906},
year = {2024}
}
备注
19 pages, 6 figures