GLASU：一种面向纵向分布图数据的通信高效联邦学习算法
机器学习
2023-03-17 v1 机器学习
摘要
纵向联邦学习（VFL）是一种分布式学习范式，其中计算客户端基于它们所拥有的同一组样本的部分特征来共同训练模型。当前关于VFL的研究聚焦于样本相互独立的情况，但很少涉及样本通过图相互关联这一新兴场景。对于图结构数据，图神经网络（GNN）是具有竞争力的机器学习模型，但在VFL设定下的朴素实现会导致显著的通信开销。此外，训练分析面临着由有偏随机梯度引起的挑战。在本文中，我们提出了一种模型拆分方法，将骨干GNN拆分到客户端和服务器之间，并提出了一种通信高效算法GLASU来训练此类模型。GLASU采用惰性聚合和陈旧更新，在评估模型时跳过聚合，在训练期间跳过特征交换，从而大幅减少通信。我们提供了理论分析并在真实数据集上进行了大量数值实验，表明所提算法能有效训练GNN模型，其性能与集中式训练骨干GNN相当。
引用
@article{arxiv.2303.09531,
title = {GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data},
author = {Xinwei Zhang and Mingyi Hong and Jie Chen},
journal= {arXiv preprint arXiv:2303.09531},
year = {2023}
}