通过结构知识共享处理非独立同分布图的联邦学习
机器学习
2022-11-24 v1 人工智能
分布式、并行与集群计算
摘要
图神经网络（GNNs）在建模图数据方面已展现出其优越性。得益于联邦学习的优势，联邦图学习（FGL）使各客户端能够在不共享私有数据的情况下以分布式方式训练强大的GNN模型。联邦系统中的一个核心挑战是非IID问题，这也广泛存在于现实世界的图数据中。例如，客户端的本地数据可能来自不同的数据集甚至不同的领域，如社交网络与分子，这增加了FGL方法捕获共享知识并学习通用编码器的难度。从现实世界的图数据集中，我们观察到一些结构特性为不同领域所共有，在FGL中共享结构知识具有巨大潜力。受此启发，我们提出FedStar，一种用于图间联邦学习任务的FGL框架，其提取并共享通用的底层结构信息。为了显式地提取结构信息而非将其与节点特征一同编码，我们定义了结构嵌入并采用独立的结构编码器对其进行编码。随后，该结构编码器在客户端间共享，而基于特征的知识以个性化方式学习，使FedStar能够捕获更多基于结构的域不变信息并避免特征错位问题。我们在跨数据集与跨领域的非IID FGL设定下进行了大量实验，证明了FedStar的优越性。
引用
@article{arxiv.2211.13009,
title = {Federated Learning on Non-IID Graphs via Structural Knowledge Sharing},
author = {Yue Tan and Yixin Liu and Guodong Long and Jing Jiang and Qinghua Lu and Chengqi Zhang},
journal= {arXiv preprint arXiv:2211.13009},
year = {2022}
}