优化联邦图学习：内在结构知识与双稠密连接 GNN
机器学习
2024-08-22 v1
摘要
联邦图学习（FGL）是一种在分布式环境下且不暴露私有数据的情况下，使客户端协同训练强大图神经网络（GNN）的新兴技术。然而，FGL 仍面临图结构呈现严重非独立同分布（non-IID）挑战，这些图具有多样化的节点和边结构，尤其在不同领域之间差异显著。因此，探索这些结构中固有的知识变得至关重要。现有方法要么忽视图数据中固有的结构知识，要么在获取这些知识的代价显著增加（例如 FLOPs 和通信带宽）——这对分布式范式不利。灵感来自这一点，我们提出了 FedDense—a 新颖的 FGL 框架，用于优化内在结构知识的利用效率。为更好地获取多样且未被充分利用的结构知识，FedDense 首先显式地对图数据自身包含的结构知识以及节点特征进行编码。此外，FedDense 引入一种双稠密连接（Dual-Densely Connected, DDC）GNN 架构，用于利用每个图层中聚合特征图中嵌入的多尺度（即从一跳到多跳）特征和结构洞察。除了对固有结构的利用，我们还考虑 FGL 中的资源限制，设计了垂直于 DDC 架构的极窄层，并采用选择性参数共享策略，以显著降低资源成本。我们在 15 个数据集上进行大量实验，覆盖 4 个不同领域，结果表明 FedDense 在训练性能上 consistently 超过基线方法，且资源开销最小。
引用
@article{arxiv.2408.11662,
title = {Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs},
author = {Longwen Wang and Jianchun Liu and Zhi Liu and Jinyang Huang},
journal= {arXiv preprint arXiv:2408.11662},
year = {2024}
}